领域Web文本采集与分类系统研究

2012-06-01洛阳理工学院卫莉莉

电子世界 2012年21期

洛阳理工学院卫莉莉王煜

领域Web文本采集与分类系统研究

洛阳理工学院卫莉莉王煜

本文以机械领域挖掘机为主题，介绍了一种面向领域的Web文本采集与分类系统实现方法，将专业词库与特征选择相结合，逐步筛选和更新主题特征词，扩充专业词库，通过由主题特征词构成的向量来明确表示主题；采用基于内容分析的方法抽取网页正文，去掉干扰主题相关度判断与文本分类的广告、导航等干扰文本；根据现有的机械主题类别信息，采用基于KNN的机械主题文本分类算法对文档集合进行多子类分类。

主题爬虫；特征提取；文本分类；向量空间模型

1.引言

随着互联网的大规模普及和各行业信息化程度的提高，与行业领域相关的Web文本信息快速积累，如何从这些海量信息中定向提取符合需要的知识，是当前信息处理研究领域的一个研究热点，该问题涉及到对领域Web文本信息的采集和对采集到的信息进行处理和数据挖掘两方面的内容。在采集领域相关网页的过程中，主题描述及网页内容的相关性判断，都需要用到文本预处理技术，信息采集成功后，又需要通过文本预处理和分类技术对领域文本进行分类。本文对系统设计中的一些关键问题进行了研究，并以机械领域挖掘机为主题，实现了一个机械领域Web文本采集与分类原型系统。