海量网络文本去重系统的设计与实现

2018-12-13汤建明寇小强

计算机应用与软件 2018年12期

汤建明寇小强

(华北计算机系统工程研究所北京 100083)

0 引言

随着互联网的普及，每天有数以亿计的新内容在网络上产生。这些内容或者以新闻报道的形式，或者以公众号和专栏文章的形式呈现在人们眼中。基于如此海量的文本数据，其中有着大量的冗余相似内容。有研究表明，在应用系统所保存的数据中，冗余数据约占60%左右[1]。因此，如何有效地来识别互联网上的重复信息，对学术界和工业界来说都是一个很有意义的课题。

举一个例子：对于基本所有的搜索引擎系统来说，它们底层的爬虫系统会去大量抓取网络上的文本等数据资源，显然，抓取到重复和高度相似的网页和文本进行存储和收录是没有意义的，这样不仅浪费存储资源，也会对后续的计算处理带来不好的影响；同时，展示重复和高度相似的检索结果对于用户来说也是不好的使用体验。对于像传统的新闻门户网站和推荐系统应用来说，保证文章质量是非常重要的。所以，有必要保证对于每天新产生的文本内容进行相似度判断和去重处理。对于相似度过高的文章只保证唯一一份内容入库，这样不仅节约了数据存储的成本，也会提高用户的检索体验。

本文基于simhash算法【2-3】设计和实现一个文本去重系统，采用Ansj开源分词工具对原始文本内容进行分词处理，数据存储采用Rdis+Mysql+Hbase。