基于CFS-GA 特征选择算法的中文网页自动分类
2012-07-06喻春萍黄晓霞
上海海事大学学报 2012年1期
喻春萍,黄晓霞
(上海海事大学 信息工程学院,上海 201306)
0 引言
自进入信息化时代以来,因特网上的网页数量增长迅猛.为了提高信息的检索效率,很有必要对因特网上的一些网页进行分类.尽管目前有Google,Yahoo,搜狐等分类目录式的中文网站目录,但由于其均为人工编纂,效率低下,而且更新速度慢,无法满足当前因特网对信息实时性的要求.[1]因此,网页自动分类的研究对基于内容的信息检索、Web 数据挖掘具有深远的意义.
中文网页分类一般包括预处理、特征选择和构造分类器等3个阶段.[2]预处理包括文本标记(html标签和JavaScript 代码)的处理、分词处理和停用词处理.对中文网页中的海量信息进行预处理后所形成的特征向量的维数高达几万、甚至几十万,这无疑会造成维灾难.这些高维数据中含有大量的噪声以及与类别不相关的信息,用其直接进行分类既降低分类效率又影响分类的精确度,因此特征选择成为中文网页分类中的一项关键技术.[3]特征选择是一个NP 难题.[4]按照分类算法评价标准可以将特征选择算法分成两大类:过滤型(filter)和封装型(wrapper).过滤型不考虑具体的学习算法,而是直接从原始数据出发得到各个特征的贡献评价;封装型则考虑具体的学习算法,由分类器的结果评价特征好坏.过滤型算法可以很快从原始特征集合中选出较优的特征子集,但是该特征子集并不是最小的,且其中还可能含有与类别信息不相关的噪声,从而与后续……
登录APP查看全文
