APP下载

一种基于aPlorl算法改进的knn文本分类方法

2016-06-17骆凡彭艳兵

电子设计工程 2016年7期

骆凡,彭艳兵

(1.武汉邮电科学研究院湖北武汉430074;2.烽火通信科技股份有限公司南京研发部,江苏南京210019)



一种基于aPlorl算法改进的knn文本分类方法

骆凡1,彭艳兵2

(1.武汉邮电科学研究院湖北武汉430074;2.烽火通信科技股份有限公司南京研发部,江苏南京210019)

摘要:针对现在机器学习的文本分类算法普遍使用的knn,支持向量机,神经网络等算法进行分类中存在的两个问题,没有考虑到语义关联对其文本的影响和受文章长短对其词频向量大小的影响,通过结合apjorj算法进行改进knn算法的方法对文本分类样本进行了分类实验,结果表明,该改进算法相对于为改进前平均查准率有10%左右的提升,平均召回率有5%左右的提升,得出该方法能有效提高文本分类准确率的结论。

关键词:文本分类;knn;关联规则;apjorj

一般的文本分类分为这几个步骤,首先是建立文档的表示模型,即通过若干特征去表示一个文本,因为一般情况下一篇文章都有着成百上千的特征向量,直接进行分类会有很大的时间和空间上的消耗,所以在分类之前,必须先进行特征降维,特征降维的方法主要有信息增益,X2统计,互信息,tf-jdf等方法,然后就要开始进行分类,常用的一些方法有贝叶斯,knn,支持向量机,关联规则等。其中应用较广的knn等方法中存在受文章长短影响和忽略了语义关联的影响等一些问题。本文针对这些问题结合了apjorj算法与knn算法,解决了上述的问题。

1 关联规则

关联规则是形如X→Y的蕴含表达式,其中X和Y是不相交的项集,即X∩Y≠空集。……

登录APP查看全文