张文钧 蒋良孝,2 张 欢 陈 龙

1(中国地质大学计算机学院 武汉 430074) 2(智能地学信息处理湖北省重点实验室(中国地质大学) 武汉 430074)

近年来，随着互联网信息的指数式增长，如何将海量的文本数据按照指定的类别自动归类，已成为自然语言处理的一项重要研究任务[1].为解决复杂的文本数据带来的独特挑战[2]，已有许多经典的机器学习方法被用来解决文本分类问题，比如朴素贝叶斯、支持向量机、K近邻、决策树等.

朴素贝叶斯模型因其简单、高效、易理解的特点被广泛应用于文本分类任务.在处理文本分类任务时，文档的特征通常用其中出现的单词来表示.按照单词在文档中是否出现，可将每个单词看作一个布尔变量，由此构建的朴素贝叶斯模型称为多变量伯努利朴素贝叶斯模型(Bernoulli naive Bayes,BNB)[3].BNB只考虑单词在文档中是否出现，而完全忽略了单词在文档中出现的频次信息.为了弥补BNB所面临的这一不足，McCallum和Nigam[4]提出了多项式朴素贝叶斯分类模型(multinomial naive Bayes,MNB)，在分类过程通过捕获单词在文档中的出现频次来获得更好的分类性能，因此MNB较之于BNB有更加广阔的应用前景.

不过MNB与BNB都存在一个共同的不足：其属性条件独立假设在面对复杂的文本数据时往往很难得到满足.因此，削弱朴素贝叶斯文本分类模型所要求的属性条件独立假设成为改进朴素贝叶斯文本分类模型的重要途径.为此，学者们提出了许多改进方法，概括起来主要包括结构扩展[5]、实例选择[6-7]、实例加权……