本项目对文本分类任务的相关模型进行了简单的探究。模型包括NaiveBayes，FastText和TextCNN，其他模型有待后续增加。
-
configs 配置文件目录
-
data 数据文件目录
-
models 模型定义脚本目录
-
outputs 数据输出目录，包括训练好的模型等
-
preprocess 数据预处理脚本
-
utils 通用工具类脚本，包括词典，切词等
-
classifier.py 入口脚本
-
linux
pip install -r requirements.txt
-
windows
由于FastText没有提供Windows安装包，需要下载第三方预编译安装包进行安装：
https://www.lfd.uci.edu/~gohlke/pythonlibs/#fasttext
下载相应版本后，执行：pip install path_to_your_package 进行安装
其余依赖项均可使用pip直接进行安装
朴素贝叶斯分类器基于词袋模型，通过词袋模型我们可识别出文本中出现的词属于积极还是消极，若这个词出现在积极的词语列表中，文本的总体分数 +1，若总体分数为正，该段文本被分类为积极，反之亦然。
朴素贝叶斯通过统计词频信息学习联合概率分布$p(x,c)$，同时假设所有属性之间相互独立（这里即每个词之间相互独立）。于是联合概率可以通过词的概率乘积获得，后验概率分布可以通过贝叶斯公式求得：
$$
p(c|x)=\frac{p(c)p(x|c)}{p(x)}=\frac{p(c)\prod_{i=1}^{d}p(x_i|c)}{p(x)}
$$
其中，$p(c)$为类别先验分布，$p(x_i|c)$为类条件概率，即$c$类文档中，单词$x_i$出现的概率。$p(x)$为文档出现的概率，通常对于一个问题来说，$p(x)$为固定值，所以朴素贝叶斯分类器表达式为：
$$
p(c|x)=p(c)*\prod_{i=1}^{d}p(x_i|c)
$$
FastText的模型和CBOW模型相类似，区别在于fastText是一种有监督的模型，而CBOW属于无监督模型。CBOW通过上下文预测中间词，而fastText则是通过上下文预测标签（这个标签就是文本的类别，是训练模型之前通过人工标注等方法事先确定下来的）。FastText其实就是一个具有单隐层的softmax分类模型，不过这里作者使用了优化的分层softmax来进行分类，详解戳这里。
TextCNN 是利用卷积神经网络对文本进行分类的算法，由 Yoon Kim 在 “Convolutional Neural Networks for Sentence Classification” 一文 (见参考[1]) 中提出. 是2014年的算法。
模型架构如下：
分别使用不同大小的卷积核对文本矩阵进行一维卷积运算，有利于充分提取语句的n-gram特征。具体细节见textcnn_model.py中的keras实现和注释。
语料数据需要处理成文本格式，每行一个样本，样本格式为：label+空格+doc，即标签和文本数据中间用空格隔开，doc为无空格的文本数据，例如酒店评论数据集需要预处理为如下格式：
1 房间干净舒适，是出差、旅游度假的理想之选。服务业很不错。
1 总的来说可以，总是再这里住，公司客人还算满意。就是离公司超近，上楼上班下楼回家
1 房间设施难以够得上五星级，服务还不错，有送水果。
0 标准间太差 房间还不如3星的 而且设施非常陈旧。建议酒店把老的标准间从新改善。
0 服务态度极其差，前台接待好象没有受过培训，连基本的礼貌都不懂。
0 地理位置还不错，到哪里都比较方便，但是服务不象是豪生集团管理的，比较差。。
配置文件采用configparser模块进行解析，包含如下字段：
-
[global]
global域主要定义通用参数
- model_type 指定当前配置文件的模型类型。FastTextModel | TextCNNModel | BayesModel
- test_split = 0.2 测试集切分比例。如果非0，则将语料数据随机抽取相应比例作为测试集。
-
[data]
-
data域主要定义相关数据文件路径及参数
-
user_dict_path 自定义词典路径
-
corpus_path 语料数据路径，即5.1中描述的经过预处理的语料数据
-
seg_corpus_path 分割后语料:用空格分割开的词组,第一个为标签
-
sample_corpus_path 语料预采样路径
-
sample 是否进行预采样
-
vocabs_path 词典保存路径
-
model_path 模型保存路径
-
embedding_model_path 词向量模型保存路径**（仅TextCNN使用）**
-
train_dataset_path 训练集保存路径
-
test_dataset_path 测试集保存路径
-
-
[model]
model域主要定义模型参数，根据具体模型而定，详见代码注释
-
[word_embedding]
word_embedding域仅TextCNN模型使用，定义词向量模型参数（此处使用FastText预训练词向量），参数详情见fasttext_model.py注释
classifier.py为入口脚本，需要提供config_path和mode两个额外的参数
config_path指定配置文件路径
mode指定运行模式，train | test | predict
例如，使用TextCNN模型训练，执行如下命令：
python classifier.py --config_path=./configs/textcnn.conf --mode=train执行训练过程。
测试:
python classifier.py --config_path=./configs/textcnn.conf --mode=test运行后输出测试集的准确率。
预测：
python classifier.py --config_path=./configs/textcnn.conf --mode=predict运行后以交互方式输入文本，输出属于各个类别的概率。