邱国婷

（西安航空职业技术学院，陕西西安 710089）

随着计算机技术与通信网络的持续发展与完善，电子化、信息化媒体社交已更加深入人们的日常生活，且各大社交平台也在不断产生海量的数据[1]。信息的高速通达有利有弊，尤其对于某些突发事件，快速的网络传播极易引发网络舆情。若不对其进行正确的预警及引导，可能会造成一系列不可控的局面[2-3]。因此在大数据环境背景下，通过对网络舆情数据加以采集、分析、检测与预警，以实现对突发事件舆情的有效管控，同时引导并控制突发事件的态势走向，对应急决策均具有关键性的作用[4]。

目前国内对于舆情分析已有一定的研究，基于大数据环境的有灰色系统理论(Grey System Theory)、支持向量机(Support Vector Machine,SVM)等算法可用于数据分析，同时还考虑了分布式系统来提高数据的处理效率[5-7]。但对于海量且动态变化的舆情数据，现有大部分方法均存在数据分析时间较长或分析结果不理想等问题。因此，该文基于分布式存储及并行计算技术设计了一种适用于海量网络舆情数据的分析方法。该方法结合了Hadoop 分布式文件系统(Hadoop Distributed File System,HDFS)与Spark并行化计算，以实现对舆情数据的可靠分析。

1 系统设计

海量数据分析系统包括数据采集层、数据存储层、数据分析层和数据显示层，其整体架构如图1所示。

图1 数据分析系统的整体架构

其中，数据采集层用于接收系统的各类日志数据，并将收集的数据存储在Hadoop 分布式文件系统，即数据存储层中[8]。……