李天怡 应文豪

摘要：随着信息技术的发展，每天都有大量的新闻文本在互联网上发布、转发，在这样的海量信息环境下，如何快速定位自己感兴趣的话题、追踪其发展趋势已成了近年来的研究热点。面向互联网上新闻文本，提出聚类阈值的估计方法对已有的Single-pass算法进行优化，进而基于时间片设计一个新闻文本演化算法。在新华网等四个网站上采集新闻数据并进行实验，实验表明所提算法可有效跟踪新闻话题的演化过程。

关键词：Single-pass算法; 网络爬虫; 聚类; 演化; 跟踪

中图分类号：TP311        文献标识码：A

文章编号：1009-3044（2021）10-0026-04

Abstract：With the development of information technology， a large number of news texts are published and forwarded on the Internet every day. In such a massive information environment， how to make people quickly locate and understand their topics of interest become a hot issue in recent years.For news texts on the Internet， a clustering threshold estimation method is proposed to optimize the existing Single-pass algorithm， and then a news text evolution algorithm is designed based on the time slice.News data on four websites including Xinhua net was collected and experimented. The experiments show that the proposed algorithm can effectively track the evolution of news topics.

Key words： single-pass algorithm; Web Crawler; clustering; evolution; track

1 引言

新闻报道是人们了解社会发展的趋向、生活演进的动态、事件变化过程的主要途径。近年来，由于万物互联的互联网高速发展，越来越多的媒体平台把社交网络作为新闻报道传播的主要载体。当重大事件发生时，各大媒体网站将发布大量的相关新闻报道。对于某些热点话题，人们相互发表不同的观点，并对该话题加工并转发，于是话题下的消息呈爆发式的扩散。例如2019年7月的香港《逃犯条例》风波发生后，人们纷纷评论转发该事件的相关报道，一时间，该话题占领了各大新闻网站的头条。对于这样的热点话题，从新闻媒体方来说，一般会建立新闻专题服务，实现分众传播模式，但专题的建立一般是通过人工方式实现，人工建立新闻专题这种模式效率低下，十分不适应新闻门户的产出需求[1]。从用户方来说，互联网信息量巨大，如何找到自己需要的信息，如何快速地了解热点话题的发展变化过程，如何持续跟进自己感兴趣的热点话题的后续，都是需要解决的问题。……