APP下载

基于粗糙集与KNN的Web文本分类的研究

2008-04-26桂海霞孟祥瑞

桂海霞 孟祥瑞

(安徽理工大学经济与管理学院,安徽 淮南 232001)

摘 要:为了从海量的信息资源库中快速、准确地进行分类并提 取出有用的信息,提出了一种基于粗糙集和KNN混合的Web文本分类模型。利用粗糙集的属性 约简理论降低了文本分类过程中的向量维数,使用一种基于分明矩阵的属性约简算法,特征 选择过程采用互信息量计算方法,并对该混合算法进行了实验,同时结合传统的KNN方法对 该混合算法进行比较,验证该算法的可行性。

关键词:Web文本分类;粗糙集;KNN;属性约简

中图分类号:TP399

文献标识码:A

文章编号:1672-1098(2008)04-0089-04

收稿日期:2008-06-30

作者简介:桂海霞(1978-),女,安徽桐城人,讲师,硕士,研究方向 为系统工程。Research of Web Text Classification Based on Rough Set and KNN

GUI Hai-xia,MENG Xiang-rui

(School of Economics and Management, Anhui University of Scienc e and Technology, Huainan Anhui 232001,China)

Abstract: In order to quickly and precisely classify and search u seful information from huge information database, in the paper a kind of mixed m odel of web text classification based on rough set and KNN was introduced. By us ing the theory of attributes reduction of rough set, number of vector dimensions

in text classification process was reduced. A kind of simplified algorithm for

attributes reduction based on distinct matrix was used. In the process of featur e selection, method of mutual information was used. Experiments with the mixed m odel were conducted. The results compared with traditional KNN method show that

the mixed algorithm is feasible.

Key words:web text classification;rough set; K nearest ne ig hbor; attributes reduction

目前,随着Internet 的日益发展和网上各类信息的迅猛增长,用户对散布在网络各处的文档的检索工作变得愈加 困难,这就对Web文档分类系统的研究与实现提出了更高的要求。Web文本自动分类通常指将 一篇文章指定至一个或几个预定义的文本类别中。现有的文本分类方法主要有支持向量机(S VM )、K最近邻(KNN)、决策树、线性最小二乘法估计(LLSF)和贝叶斯分类算法(Bayes)等。 不难发现在这些分类方法中普遍存在一个共同的问题:这些分类方法在训练和分类过程中, 不能很好的处理高维数据,过多和烦杂的计算量大大限制了分类方法的分类效率的提高。而 目前,在信息处理和文本分类领域得到广泛应用的粗糙集理论可以很好的解决这个问题。粗 糙集的约简理论能够大大缩减文本分类过程中的向量维数,从而降低了计算复杂度,提高了 分类效率。……

登录APP查看全文