尧 炜（中讯邮电咨询设计院有限公司，北京100048）

0 前言

随着大数据时代的来临，企业数据所蕴藏的潜在价值越来越被重视。对电信运营商来说，海量的网络数据有着广泛的应用场景。针对用户，可用于用户体验分析、用户行为分析、精细化营销、辅助处理客户投诉等；针对网络，可精准地指导网络规划、网络建设及网络优化。要挖掘网络数据的价值，必须采集分布在各个设备上的数据并进行汇集，因此各大运营商均在着手建设集中的网络数据采集系统。

电信运营商内部IT 系统对于技术稳定性要求非常高，往往会优先考虑使用成熟的商业软件外加二次开发，并且由于建设起步较早，经过多年的发展各个系统已经比较成熟和稳定。因此，电信运营商对于全部采用开源技术的态度比较保守。

然而以Hadoop、Spark 为核心已经形成了广泛的开源技术生态圈，覆盖了数据采集、数据处理、数据挖掘、数据共享等各个环节。Hadoop、Spark 技术已成为大数据领域的标配。

鉴于开源技术在大数据技术领域已经占据了主导地位，同时使用开源技术也是去IOE的必然要求，本文将分析电信运营商网络数据采集的特点，并以积极拥抱开源技术的态度，借鉴互联网行业类似系统的设计经验，探讨网络数据采集系统的架构设计。

1 系统架构设计

1.1 网络数据采集特点分析

网络数据采集具有以下4个特点。

第一个特点是数据源种类多。从数据来源看，可分为网元、网管、OMC、网优以及分光后DPI解析等；……