郑开雨，竹 翠

(北京工业大学信息学部，北京 100124)

0 引 言

随着互联网技术的快速发展，用户规模呈现爆发式增长，互联网已经步入大数据时代，随之而来的挑战也尤为突出，其中文本类数据增长异常迅猛，挖掘文本类信息的知识，实现文本的分类也一直是近年来数据挖掘领域内研究的热点。

现在常用的文本分类技术有很多，比如K近邻(KNN)、朴素贝叶斯(Naive Bayes,NB)、支持向量机(SVM)、神经网络(Neural Network)等，其中朴素贝叶斯基于古典数学贝叶斯理论，假设样本各属性相互条件独立，判定文本属于哪个类别，是根据文本属于哪个类别的条件概率越大，就判定为哪类，其中类别的条件概率是依据贝叶斯公式计算样本的关键词属于各类别的条件概率乘积[1]。根据文本分类的特点，一般文本中出现的关键词大多属于哪类，文本判定为哪类的可能性就比较大。所以，传统的朴素贝叶斯算法忽略词条相互依赖关系也能达到比较好的效果，在计算上也避免了维数灾难和过度拟合。然而传统的朴素贝叶斯分类首先在计算词的条件概率时忽略了同义词的影响，将有可能出现在关键词词典里的同义词也视为相互独立的词分别计算，这会造成在计算时大大降低这类词对分类的影响，并且也不符合常理上的认知。比如在教育类别下提取的关键词，分别出现了2个词“教师”和“老师”这2种不同的表达方式，传统的朴素贝叶斯在计算时往往分别计算2个词在各类别下的条件概率，而忽略了这2个词实质上是同一概念。……