sudachi.rs / SudachiPy v0.7 にて辞書のバイナリ形式が V1 形式に変更され、v0.6 までのバイナリ辞書(V0 形式)は使用できなくなりました。 移行には以下の対応が必要です。
- V1 形式のシステム辞書を取得する
- V1 形式バイナリ辞書配布ページ にて配布しています。
- ユーザー辞書を V1 形式に再ビルドする
- このとき、実行時に使用するものと同じシステム辞書を使用する必要があります。
- 辞書配布ページの URL を使用している場合は更新する
SudachiDict-* (small/core/full) から取得できるシステム辞書は、バージョン v20260723.1 以降のみ使用可能です。 それ以前の辞書を使用するには、上記配布ページから取得するか、個別にソースファイルからのビルドが必要です。
ユーザー辞書の再ビルドについてはJava版のユーザー辞書移行ガイドを参照してください。 辞書バイナリは Java/Rust/Python で共通です。辞書のビルドには sudachi.rs/ SudachiPy も使用可能です。
ユーザー辞書には、ビルド時に使用したシステム辞書の識別情報が記録されるようになりました。実行時にこれと異なるシステム辞書が指定された場合はエラーとなります。 システム辞書を更新する際には、使用するすべてのユーザー辞書についてもそのシステム辞書で再ビルドする必要があります。
Java版と挙動を一致させることを目的として、解析アルゴリズムが一部修正されています。 同一の辞書を使用しても、v0.6 とは結果が異なることがあります。
NOOOVBOW2 カテゴリは廃止され、NOOOVEOW が導入されました。
NOOOVBOW と NOOOVEOW の複合が NOOOVBOW2 に相当します。
これらはある文字が語頭になりうるかの事前計算では使われなくなりました。 カテゴリ名の通り、OOVの語頭判定でのみ使用されるようになりました。
join_katakana_oov プラグインにおいてノードの結合を行う際、結合後のノードがラティスに既に存在している場合はそれを利用します。
v0.6 ではこの候補が複数ある際に連接コスト込みで選択を行っていましたが、v0.7 ではそのノードのコストのみを参照して選択するように修正されました。
文字種の連続長の計算アルゴリズムをJava版と同じものに修正しました。
-a 指定時の出力について、その語がOOVでない場合に末尾に TAB (\t) が出力されるようになりました。
これにより出力が EOS 表示行を除いて TSV 形式となります。
char.def などのデフォルトリソースファイルはバイナリに埋め込まれるようになりました。
これに伴い v0.6 で CLI が使用していたデフォルトリソースディレクトリ(resources/)は使用されなくなりました。
このためデフォルトで参照するシステム辞書ファイルも resources/system.dic から $PWD/system.dic に変更されています。
ConfigBuilder の内部構造が実設定値とファイル解決方法に整理されました。
リソースファイル解決のためのファイルパスは PathResolver にまとめて保持されます。
これに伴い ConfigBuilder.resource_path や ConfigBuilder.root_directory は廃止されました。
with_resolver, append_resolver や push_resolver_root などを用いて解決先の指定や優先順序の調整を行ってください。
char.def などのデフォルトリソースファイルはバイナリに埋め込まれるようになりました。
コンフィグでは PathResolver に ResolverRoot::Embedded を与えることでこれらを指定することができます。
PathResolver.from_embedded や ConfigBuilder.push_embedded を用いて設定してください。
ConfigBuilder の初期化時にはこれは設定されていないため、デフォルトリソースファイルを使用するには手動での設定が必要であることに注意してください。
コンフィグの作成 Config::new(config_file, resource_dir, dictionary_path) (Rust) と, 辞書の読み込み Dictionary(config, resource_dir, dict) (Python) におけるリソースファイル解決の順序が変更されています。
v0.6 での解決順は、コンフィグ内 path フィールド > デフォルトもしくは指定のリソースディレクトリ > コンフィグファイルの親ディレクトリ > デフォルトリソースファイル、の順でしたが、
v0.7 での解決順は、指定のリソースディレクトリ > コンフィグ内 path フィールド > コンフィグファイルの親ディレクトリ > デフォルトリソースファイル の順になりました。
トークナイザーを生成する Dictionary.create() は非推奨になりました。
代わりに Dictionary.tokenizer() を使用してください。
WordInfo クラスおよびそれを取得するメソッド Morpheme.get_word_info は廃止されました。
解析時に取得するフィールドを指定する subsetting について、同義語グループIDを指定する値 synonym_group_id は廃止されました。
代わりに synonym_group_ids を使用してください。