吴国文 庄千料

(东华大学计算机科学与技术学院 上海 201620)

一种改进的增量式贝叶斯文本分类算法

吴国文 庄千料

(东华大学计算机科学与技术学院 上海 201620)

针对难以获得大量有标签的训练集问题，将增量式贝叶斯学习用于小规模训练集上，并提出了一种新的序列学习算法以弥补其学习序列中存在的不足：无法充分利用先验知识导致噪声数据不断传播。在增量学习的样本选择上，算法引入了配对样本检验和类支持度的知识，分别从横向和纵向角度充分利用先验知识来选取最优增量子集优化分类器，使分类器参数在动态学习过程中得以强化。实验结果表明，该算法能有效弱化噪声数据的消极影响，提高分类精度，同时能大幅度减少增量学习时间。

增量学习 贝叶斯分类 配对样本检验 类支持度

0 引 言

文本分类的目标是在分析文本内容的基础上，根据预先定义的规则集将文本划分一个或多个类别，从而提高文本的检索和使用效率。但是面对现代爆炸式的信息增长，已很难把所有的训练数据全部一次性读取到内存中，尤其是当数据是分批获得时则更加凸显了传统分类方法的不足，同时也很难获得完备的训练实例来训练分类器，这都成为文本分类的一大研究热点。针对这个难题，宫秀军等提出将增量学习模型用于文本分类上[1-2]，根据0-1分类损失度大小，优先选择最小的测试实例加入到训练集中，这有效地解决了因训练集不足导致分类精度下降问题。……