基于Hadoop的网络舆情监控平台的研究

史玉珍,单冬红

（平顶山学院软件学院,河南平顶山,467002）

摘要：根据信息时代舆情管理的要求，利用云计算的高效的分布式运算能力，本文构建了基于云平台的网络舆情监控系统。首先介绍了舆情监控与Hadoop技术，结合舆情监控工作流程，重点阐述了舆情监控系统的架构及关键算法的MapReduce实现，最终验证了基于Hadoop的舆情分析处理的高效性。

关键词：云计算;Hadoop;舆情监控;热点话题;社会网络分析

0　引言

网络作为信息传播的载体，因为信息内容多样，具有实时快捷传播的特点，已成为当前四大传播媒体之一。互联网开放、虚拟的特性让言论达到了前所未有的活跃程度。网络传播中的各类信息，既有积极的、正面的，也有虚假的、反动的不良言论。人们可以随时运用数字设备将发送信息至网上，部分社会矛盾在网民的关注下，会急剧放大、集聚、引爆，严重时可演变成突发公共事件，一旦失去将进一步危害国家安全和社会稳定。因此针对网络舆论的管理及监控，政府部门需要进行有效的引导和治理，实现对网络舆情的实时监控，防止事态恶化。

利用当前流行的云计算技术，可开发高性能应用程序，完成海量数据的存储及高效的数据挖掘。传统的舆情监控系统需要昂贵工作站或服务器集群,处理海量数据时存在成本高、通信维护困难、系统的扩展性差等弊端,同时需要处理海量数据时存在传统数据库难以维护管理的困难,基于此提出采用分布式文件系统和并行云计算进行海量舆情信息处理，设计开发基于Hadoop的舆情监控系统。……