王海艳，曹攀

（1. 南京邮电大学计算机学院，江苏 南京 210023；2. 江苏省无线传感网高技术研究重点实验室，江苏 南京 210003）

基于节点属性与正文内容的海量Web信息抽取方法

王海艳1,2，曹攀1

（1. 南京邮电大学计算机学院，江苏 南京 210023；2. 江苏省无线传感网高技术研究重点实验室，江苏 南京 210003）

为解决大数据场景下从海量Web页面中抽取有价值的信息，提出了一种基于节点属性与正文内容的海量Web信息抽取方法。将Web页面转化为DOM树表示，并提出剪枝与融合算法，对DOM树进行简化；定义DOM树节点的密度和视觉属性，根据属性值对Web页面内容进行预处理；引入MapReduce计算框架，实现海量Web信息的并行化抽取。仿真实验结果表明，提出的海量Web信息抽取方法不仅具有更好的性能，还具备较好的系统可扩展性。

Web信息；抽取；MapReduce；DOM树

1 引言

Proteus工程创建者Grishman将信息抽取描述为“从文本中选择出的信息创建一个结构化的表现形式”[1]。作为数据挖掘的重要组成部分，信息抽取受到了众多学者的广泛关注并出现了一些相应的解决方法，如李蕾等[2]在全信息论的基础上提出的中文信息抽取系统，黄诗琳等[3]提出的从文本中抽取命名实体的方法，秦兵[4]、李天颍[5]等提出的关系信息抽取算法。近年来，随着互联网技术的普及，作为信息抽取的重要分支，Web信息抽取技术也得到了极大的发展，出现了诸多的抽取算法，主要有如下几类。

基于视觉分块抽取方法最早由微软亚洲研究院的Cai等[6]提出的，该方法主要通过页面分块的视觉特征量对页面内容进行分类来抽取正文信息，在此基础上，Neil[7]提出了Extractor算法；……