Tool chain to process Japanese WikiPedia text

Wikipediaの日本語テキストを処理し、
言語の統計モデルのパラメータを決定するツールチェーンです。

かな漢字変換エンジンAnthyの性能を向上させることを主に目指しています。


--Files and Directories
README
   このファイル
extract_sentence.rb
   WikipediaのデータベースのXMLファイルから日本語の文をとりだすRubyスクリプト
make_transition.cpp
   Anthyの形態素解析器の出力より、文節クラスの遷移頻度などを求める
freq_to_transition.cpp
   遷移頻度より遷移の出現確率や条件付確率を求める
make_me_params.cpp
   遷移の出現確率を学習データとして、
   最大エントロピーモデルによって遷移の条件付確率を求める際のパラメータを決定する