基于信息量衰减幅度的网页正文提取
2012-07-25陈兴蜀
计算机工程与设计 2012年7期
陈 阳,陈兴蜀,吴 麒
(1.四川大学计算机学院 网络与可信计算研究所,四川 成都610065;2.中国电子科技集团公司第二十九研究所 信息综合控制国家重点实验室,四川 成都610065)
0 引 言
随着互联网的快速发展,万维网 (world wide web,WWW)已成为人们获取信息或分享信息的重要平台。根据美国加州伯克利大学的统计,仅2002年世界上就产生了5EB的数据,年增长30%。这相当于37000个美国国会图书馆存储的信息,也相当于历史上存在过的每一个人说过的每一句话的数据量。这些数据中,92%的数据存储在磁性介质中上并能够通过互联网进行访问。面对如此丰富的网络信息资源,一些应用应运而生,例如,搜索引擎,Web数据内容挖掘。但是,它们在处理网页时都会面临一个问题,Web网页的主题信息一般都会被广告链接、导航条、版权信息等 “网页噪音”所包围,而这些噪音往往会对这些应用造成负面影响。因此,如何准确高效地从Web网页中提取出主题信息对基于互联网的信息检索、数据挖掘等应用具有很高的价值。
1 相关研究
在Web信息抽取领域,国内外研究者针对网页正文信息的抽取已经做了大量的研究工作。
文献 [1-3]通过构建网页模板规则,将符合规则的信息从网页中提取出来,虽然信息抽取结果准确性较高,但这些方法都存在一个缺点,即只能针对使用同一个模板生成的网页,而构建抽取模式也是一个费时的工作,在网页形式多样化的今天,这种方法不具有通用性。文献 [4-8]采用基于视觉特征的方法,这种方法是在微软亚洲研究院提出的VIPS(vision-based page segmentation)网页分块算法的基础上抽取信息。……
登录APP查看全文
