Rust Jieba

Date:	08/28 2018

Contents

• 分词方法
• Build
• 分词速度
• 参考资料

分词方法

• HMM
• MMSEG

Build

git clone https://github.com/LuoZijun/rust-jieba.git
cd rust-jieba

cargo run --bin mk_hmm_dict > src/hmm_dict.rs
cargo run --bin mk_mmseg_dict > src/mk_mmseg_dict.rs
cargo build

cargo run --example hmm_cut
cargo run --example mmseg_cut
cargo test
cargo bench

分词速度

样本:	钱钟书 - 《围城》
处理器:	Intel(R) Core(TM) i7-4770HQ @2.2 GHz
单核吞吐量:	~= 4MB/s

参考资料

• 国家语委现代汉语语料库
• 互联网上开放的中文语料库有哪些
• 搜狗实验室_语料数据