文本自动分类新探究
2011-11-06陈可华
赤峰学院学报·自然科学版 2011年4期
陈可华
(宁德师范学院 计算机与信息工程系,福建 宁德 352100)
文本自动分类新探究
陈可华
(宁德师范学院 计算机与信息工程系,福建 宁德 352100)
文本自动分类是一种有效的组织信息和管理信息的工具.传统分类方法一般在分类效果和运行效率两者上不可兼得.通过综合 Rocchio 和 KNN 两种分类方法的优点,设计了一种基于多代表点的文本分类方法,该方法通过对各类挖掘出多个有效的代表点(真实或虚拟的),再使用基于这些代表点的 Rocchio 和 KNN 方法进行分类.实验表明,该方法以较少的训练时间达到令人满意的分类效果,并且能很好解决不平衡类问题,实验结果显示该方法能达到与 SVM 相当的分类效果.
文本分类;多代表点;Rocchio;KNN
1 介绍
随着因特网等信息技术的发展,各类信息资源的增长都呈现海量特征,而其中文本数据始终占据重要地位.如何有效地组织、管理和使用这些文本信息成为当前的迫切需求,这促进了文本自动分类技术的迅速发展和广泛应用[1,2,4].
近年来,随着如垃圾邮件过滤[3]等需求的激励,基于机器学习的文本自动分类技术的研究取得了很大的进展,提出 了 很 多 有 效 的 分 类 模 型[4], 如 基 于 类 中 心 的 方 法 ,N a ïv e B a y e s算法,支持向量机 S V M,K N N,神经网络,决策树,B o o s t i n g等.
在这些分类方法中,基于类中心的 R o c c h i o方法由于其简单快速而得到了广泛的应用,但是该方法的精度常常不能令人满意,其只适用于各个类之间差异比较明显的简单分类问题,而对于较复杂的情况,特别是遇到不平衡类问题时它的分类结果通常要相对差一些;……
登录APP查看全文