孙　璐　陈军华　廉德胜

(上海师范大学　上海　200234)

一种基于视觉特征的Deep Web信息抽取方法

孙璐陈军华廉德胜

(上海师范大学上海200234)

摘要随着Web数据库的不断增长,大量网络信息通过普通搜索引擎难以满足用户的需求,需要用户提交表单查询并从后台数据库中返回结果页面才能获取到想要的信息,称为Deep Web。因此如何有效地抽取这些实体信息成为一个值得研究的问题。论文通过分析Deep Web结果页面的特点,结合人的视觉特征,提出了一种基于视觉特征的Deep Web信息抽取方法。该方法充分利用了人的视觉特征,在解析器将Web文档解析成语法树之前,将Web页面一些与主题无关的信息(例如导航栏、广告)等去除,并对优化后的DOM树利用VIPS算法对其进行语义分块,分块后根据位置特征首先寻找到基准视觉块,以该基准视觉块作为中心位置逆序和顺序遍历DOM树寻找所有相似的视觉块并对其进行抽取。从实验效果来看,该方法从提取信息速度和提取信息的准确率和完整率方面与传统方法相比都有一定的提高。

关键词Deep Web; 视觉特征; DOM树; 语义分块; 信息抽取

Class NumberJ653

1引言

信息抽取可以理解为从一段待处理文本中抽取指定的一类信息,并将其以结构化的形式表示(如XML等)供用户查询和使用的过程。针对Web信息抽取工作目前国内外已展开了大量的研究,并且取得了一定的成果。其中按照抽取技术的不同可以分为基于自然语言处理方式的实体抽取;基于包装器归纳法的信息抽取;基于模板的信息抽取;基于视觉特征的信息抽取和基于DOM树的实体抽取技术。……