丁桥 宋晓骏 余思莹

（中国电信股份有限公司上海分公司信息网络部 上海市 200085）

1 引言

用户规模持续增长，下沉市场用户加快拓展。随着网络提速降费的推进和智能手机终端的推广，互联网内容大幅增加。而与此同时，某些不法分子也开始利用网络来传播色情、诈骗、赌博等不良信息，由此造成的信息安全问题。根据“谁主管谁负责，谁审批谁负责，谁经营谁负责，谁接入谁负责”原则，电信运营商在大力发展业务的同时，也感受到前所未有的来自信息安全方面的压力。信息内容安全主要针对网站网页进行爬虫采集，通过关键字过滤，结合语义智能分析、人工识别等方式，鉴别出有害的内容，进而采取网页删除、IP封堵等方式下线有害内容，维护互联网健康的环境。本文主要关注在网站网页爬虫采集阶段，如何采用网页内容去重技术，快速比对出已经处理入库的安全网页和需要后续处理的“新”网页，去除大量爬取来的重复网页，降低后续处理量，提高不良信息的监测和处理效率。

2 技术原理

2.1 分布式爬虫

本文针对采集的网页数量庞大（亿级），单个的爬虫无法完成，因此爬虫必须基于分布式架构。通过建立分布式爬虫，提高爬虫覆盖面，提升网页获取速度，同时提高爬取质量，为不良信息监测提供覆盖面广泛，时效性高，具有一定深度的数据。

为提高爬虫效率，保证数据获取的时效性。爬虫模块的构建是分布式多爬虫共享队列的主题爬虫。……