范家杰+田熙清+郑博

【摘 要】如何对海量的DPI数据进行实时的采集以及处理是运营商研究的热点，传统基于MapReduce的批处理模式难以满足流式计算实时性要求，因此首先介绍了流式处理相关概念，然后分析了目前流行的流式计算技术，提出一种基于流式计算的DPI数据处理方案，并应用在实际项目中，满足电信运营商对数据处理实时性的要求，最后通过实践总结了流式处理的应用场景。

【关键词】DPI；流式计算；数据处理

Scheme and Practice on DPI Data Processing Based on Stream Computing

FAN Jiajie1， TIAN Xiqing1， ZHENG Bo2

（1. Guangdong Research Institute of China Telecom Co.， Ltd.， Guangzhou 510630， China；

2. China Telecom Co.， Ltd.， Guangdong Branch， Guangzhou 510080， China）

[Abstract] How to collect and process the massive DPI data in real time is the hotspot of telecom operators. The traditional batch mode MapReduce is difficult to meet the real-time requirements based on stream computing. Therefore， the related concepts of stream computing were introduced. Then， popular stream computing technologies were analyzed to propose a DPI data processing scheme based on stream computing which is applied to the practical projects to meet the real-time requirements of data processing for operators. Finally， the application scenario of stream processing was summarized by the practice.

[Key words]DPI； stream computing； data processing

1 引言

随着移动互联网的不断发展以及各类智能设备日益深入民众日常生活中，人类社会产生的数据量正在以指数级快速增长，人类已经正式迈入大数据时代[1]。如今，运营商能够获得的用户数据越来越丰富，通过DPI（Deep Packet Inspector，深度分组检测）分析技术，能够较好地识别网络上的流量类别、应用层上的应用种类等[2]。在这个“数据为王”的时代，如何充分利用这笔重要的战略资产已成为重中之重。

数据规模的快速增长给大数据分析处理带来了巨大的挑战，尤其是在通信行业，数据越发呈现出无限性、突发性和实时性等特征[3]，传统的基于MapReduce的批处理模式难以满足数据实时性的要求，而能否在第一时间获得数据所蕴含的信息决定了数据的价值。因此，流式处理技术成为大数据技术研究的新热点[4]。流式处理能够针对数据的变化进行实时处理，能够在秒级获得处理结果，特别适合一些对时效性要求很高的场景。

本文结合电信运营商的需……