于 茜

（大连科技学院 信息科学学院，辽宁 大连 116052）

突发事件网络舆情是指以突发事件为核心内容的网络舆情，包括已发生或未发生的自然灾害、事故灾难、公共卫生事件及社会安全事件等。经过不正当的过分渲染将变成有害舆论，并迅速传播扩大，危及社会公共安全，突发事件网络舆情已然成为影响社会持续、稳定、和谐发展的重要因素。近年来突发事件网络舆情受到政府密切关注。

然而随着大数据时代来临，数据量巨大，数据形式不统一，结构化、半结构化和非结构化数据充斥网络，给数据分析处理带来困难，也给网络舆情工作带来了挑战。以往的网络舆情监测和预警方法、手段在大数据环境下难以发挥其应有的效用[1-6]。本文研究的大数据环境下突发事件网络舆情动态监测与预警系统的体系架构能够解决上述问题。

1 系统体系架构

大数据环境下的突发事件网络舆情动态监控和预测系统架构分为4层，分别是数据采集层、数据处理层、网络舆情动态监测层、自动预警层。

1.1 第一层数据采集层

数据采集层完成大数据环境下网络舆情信息的收集。大数据环境下网络舆情信息主要来源有新闻评论、社区论坛、社交网络、博客、微博、微信、邮件、维基WIKI、聚合新闻（Really Simple Syndication，RSS）、聊天工具网站数据库等，针对不同数据来源采用不同的数据采集方式。采用网页爬虫方法收集综合性论坛信息，采用RSS摘要收集方式对新闻和博客类网站进行数据收集，应用社交网络服务平台SNS采集微博等社交网络数据，应用全文检索系统实现对网站数据库的直接检索[7]，Web挖掘方法适用于大数据环境下所有类型网络数据采集，包括结构化数据、半结构化数据和非结构化数据。……