王景中 郭兆亮

北方工业大学信息工程学院 北京 100144

0 引言

随着互联网的日益普及，Web已成为最重要的新闻媒体之一。然而，由于互联网的开放性和无界性，大量的不良信息充斥于网络，如何针对文本进行过滤成为当务之急。

目前，基于文本的内容过滤算法主要有：关键词匹配法、支持向量机方法、潜在语义索引法、神经网络法等。Web文本内容过滤有两个突出特点：实时性和基于内容性。关键词匹配和支持向量机方法都具有速度快的优点，但是未考虑语义，故精度有待提高。潜在语义索引法过滤精度较高，但因采用潜在的语义结构，缺乏直观意义，不易理解，而且算法复杂，执行速度慢，所以不适合实际应用。神经网络法依照人们的长期实践经验，模仿人脑对信息进行过滤的原理，结合各种数学模型来实现它的功能。优点是具有很强的自学习和自适应能力，但仍具有算法复杂、执行速度慢的缺点。

针对上述情况，本文考虑支持向量机的实时性和基于语义的内容性，提出以向量空间为基础，并在句子范围内考虑主题词之间联系的方法。

由于本文处理的对象为HTML文件，传统意义上处理时忽略了文本内容的层次性，比如标题比正文更能体现主题，标题应该比正文具有更高的层次，计算权值时应具有更高的权值。文献[2]从文本挖掘的角度对HTML分层进行了研究，说明了其可行性。文献[3]中采用按照 HTML标签的权值分配，该文中的权值分配模型过于繁琐。……