Name		Name	Last commit message	Last commit date
Latest commit History 6 Commits
common/word2vec		common/word2vec
.gitignore		.gitignore
README.md		README.md
clean.py		clean.py
get_tf_dict.sh		get_tf_dict.sh
oov.py		oov.py
predict.py		predict.py
run.sh		run.sh
train.sh		train.sh
userdict.txt		userdict.txt

Repository files navigation

new_words_find

新词发现／未登录词识别：

采用凝固度和左右信息熵规则来过滤，识别出新词。

执行python oov.py进行未登录词识别

同义词挖掘：

分词过滤后，简单采用word2vec进行挖掘，取topk人工审核后作为同义词。

执行train.sh挖掘同义词

About

新词发现算法与同义词挖掘

Report repository

Releases

No releases published

Packages

No packages published

Languages