基于Jsoup的互联网突发事件舆情数据爬虫技术研究
2021-11-30冯宇星庞君如曹云龙
科技经济导刊 2021年5期
冯宇星,庞君如,崔 磊*,曹云龙,石 锋
(1.中国气象局公共气象服务中心,北京 100081;2.中国气象局减灾司公众处,北京 100081)
1.引言
中国是世界上自然灾害发生十分频繁的少数国家之一,近年来,其他事故灾难、公共卫生事件、社会安全事件也频频发生,对互联网中突发事件相关舆情数据的收集和分析成为气象防灾减灾的重要构成部分。实践表明,互联网舆情数据存在稀疏性、不确定性、模糊性等缺点,但是具有不可替代的多元性、丰富性、动态性和关联性等特征。鉴于此,亟待通过研究最新爬虫技术方法,快速、准确采集有效互联网突发事件舆情数据,充分发挥舆情数据的知识价值,实现舆情信息的动态感知、深度挖掘和智能分析。
2.互联网突发事件舆情数据
随着互联网的发展及新媒体传播平台的影响,关注突发事件服务的人群数量不断增加,能够及时获取突发事件信息,有力保证突发事件相关的气象预警、防灾减灾等信息及时传递给用户,是气象服务中极其重要的事。另外,通过互联网突发事件舆情信息,可以突破人力资源的限制,实现全天24h不间断监测互联网信息,并快速发现突发事件灾情信息,提高突发事件获取的时效性,及时获取第一手资料,以进一步提高突发事件风险预警与评估的实时性和准确性。突发事件舆情数据采集通过确定突发事件关键词和数据源范围来采集。
2.1 突发事件关键词
为了保证从互联网获取数据的准确与有效,互联网突发事件舆情数据将基于突发事件关键词去爬虫采集。……
登录APP查看全文
