王年丰+费潇潇

摘要：新闻正文信息提取对信息检索、存储和舆情监测等具有极其重要的意义。为实现新闻信息的正确提取，考虑到DOM等几种技术的优势，结合DOM技术、动态型网页信息抽取技术和行块分布算法等技术优点，重点研究了新闻信息的提取方法，尤其针对动态网页的信息提取，设计了一套有效的新闻正文信息提取方法。实验结果表明，该方法能有效实现新闻的正文信息抽取，准确率高，具有一定推广价值。

关键词：信息抽取；DOM技术；动态型网页；行块分布算法（DOIBP）WT9.5HZDOI：WTHT9.5SS10.11907/rjdk.162557中图分类号：TP301

文献标识码：A（文章编号BP）文章编号：16727800（2017）004000905

0引言 当前，互联网资源丰富，如何从海量信息中获取所需信息已经成为Web智能信息处理研究领域面临的重大问题之一。由于实际的新闻网页往往包含很多与主题无关的导航区、超链接、广告信息、版权信息等噪声信息，设计搜索引擎按主题搜索相关信息的工具时，应采用新闻信息抽取技术剔除网页中的噪声信息，从而获取整个新闻的正文信息。新闻信息抽取技术是将Web作为信息源的一类信息抽取，即从新闻页面所包含的无结构或半结构化的信息中识别用户所需的数据。为了提高Web新闻信息抽取的准确度和效率，许多学者提出了各自的方法而且不断加以完善，主要可以分为4类：基于统计理论的技术、基于文档对象模型的技术、基于模板的技术和基于视觉特征的技术。

（1）基于统计理论的方法利用统计方法和规律，将网页HTML文档作为一个整体或去除网页标签，获取网页正文信息。……