这里将会有中英文数据处理脚本,编程语言不限,会有详细的README说明。
- 中文繁体转简体
- 维基百科数据处理
- 抽取单字特征
- 抽取双字特征
- 抽取汉字笔画信息
- 去除非中文字符
- 中文Money转换数字Money
- 全半角转换
- python2代码批量转换python3
- NER标签转换(BIO, BMESO)
-
if you have any question, you can open a issue or email bamtercelboo@{gmail.com, 163.com}.
-
if you have any good suggestions, you can PR or email me.