杜晓黎，钱岭，张海文，杨希

（中移（苏州）软件技术有限公司/中国移动苏州研发中心，苏州 215163）

基于数据融合的互联网舆情分析系统＊

杜晓黎，钱岭，张海文，杨希

（中移（苏州）软件技术有限公司/中国移动苏州研发中心，苏州 215163）

本文提出了一种基于数据融合的互联网舆情分析系统。系统使用网络爬虫采集互联网新闻、微信公众号、博客、论坛、APP、微博、报纸、视频等信息，结合中国移动自有DPI数据，采用情感分析等多种自然语言处理算法实现数据融合分析处理，建立不同类型数据之间的关联关系，挖掘更多数据价值，且系统使用多租户模式实现底层数据共享和用户舆情信息隔离，大量节省硬件存储成本，也让用户体验个性化舆情。

互联网采集；数据融合；舆情；多租户；自然语言

1 引言

工业3.0是信息化的时代，信息的快速传播和发展推进了互联网的广泛应用，也让大数据成为这一时代的最热主题之一，互联网以及大数据给人们生活带来前所未有的体验，人们在享受互联网带来的便捷生活时，也面临着海量激增的信息，为了实施有效数据治理，实时监测舆论倾向，引导正确舆论走向，大量舆情系统涌现。

本文提出了一种基于数据融合的互联网舆情分析系统，系统实现了互联网新闻、微信公众号信息、博客、论坛、APP、微博以及中国移动脱敏DPI（Deep Packet Inspection）等数据的融合，利用自然语言处理算法，挖掘出融合数据更多价值，且提出了一种多租户架构实现数据共享和用户信息隔离，大量节省硬件存储成本，且让用户体验个性化舆情。……