张小娣 宋余庆

(江苏大学科技信息研究所 镇江 212013)

·信息检索·

基于网页正文逻辑段落和长句提取的网页去重算法

张小娣 宋余庆

(江苏大学科技信息研究所 镇江 212013)

网页去重是提高网络检索效果的有效途径。针对现有网页去重算法的不足和网页正文的结构特征，提出一个基于网页正文逻辑段落和长句提取的网页去重算法。该方法通过用户检索关键词将网页正文物理段落结构表示成逻辑段落，在此基础上提取逻辑段落中的长句作为网页特征码实现相似网页判断。实验证明，该方法提高了篇幅短小的镜像网页和近似镜像网页的去重效果。

网页去重 逻辑段落 长句提取 句子相似度

1 引言

近年来，由于网络和信息技术的快速发展，网络资源日益丰富，互联网上的信息快速增长。根据中国互联网络信息中心2011年1月的统计报告[1]，自2003年开始，中国的网页规模基本保持翻番增长，2010年网页数量达到600亿个，年增长率78.6%。网页的规模说明了互联网内容的丰富程度，用户面对如此海量的信息，利用搜索引擎进行信息检索已经成为一个重要途径。报告显示“2010年，搜索引擎用户规模3.75亿，……搜索引擎在网民中的使用率增长了8.6个百分点，达81.9%，跃居网民各种网络应用使用率的第一位”[1]。搜索引擎已经成为网民上网的主要入口，国内各大搜索引擎运营厂商不断提高其服务能力和水平。但用户在搜索信息的时候常常会发现，返回结果中存在大量重复信息。