大数据技术及其在电信行业的应用研究

2017-03-30梁杨朱宏文赵大海

移动通信 2017年5期

梁杨+朱宏文+赵大海

【摘要】为了对大数据技术及其在电信行业的应用进行研究，首先梳理了电信运营商的大数据资产，其次通过对大数据主流技术的研究，归纳出电信运营商大数据服务能力，然后分析电信行业大数据的应用并给出案例，最后提出大数据的运营与发展建议。

【关键词】大数据资产大数据技术对外变现

[Abstract] In order to investigate big data technology and its applications in the telecommunication industry， big data assets of telecommunication operators were combed firstly. Then， based on investigations of the mainstream big data technology， the big data service capability of telecommunication operators was summarized. In addition， applications and practical cases on big data in the telecommunication industry were analyzed. Finally， suggestions on the operation and development of big data were put forward.

[Key words]big data assets big data technology external realization

1 引言

移动互联网的飞速发展催生了“大数据时代”的到来，各种新型智能移动设备的迅速普及带来了海量数据的爆炸式增长，运营商业务面临着前所未有的数据膨胀和数据多样化（手机信令、海量手机用户上网、B/O/M/DPI各域协同分析等），能否有效地利用和分析这些数据，成为市场竞争的关键，国内外电信运营商的发展战略也由“流量经营”逐渐向“数据经营”转变。

自2013年“大数据元年”以来，大数据相关技术日臻成熟，但是电信行业在大数据技术的应用方面目前还主要以企业内部应用为主，在大数据资产对外变现方面的应用相对较少，仍旧处于探索阶段。本文将研究电信运营商如何利用自身掌握的数据资源优势，结合大数据技术，尽快推出各类应用，对内强化自身优势，对外拓展盈利机会。

2 运营商大数据资产

用户从开户、充值到通话、短信、上网等使用通信服务的行为产生了大量的数据，这些数据和电信基础设施数据以及由其衍生的預算、财务等各类数据，积累在电信运营商的IT系统中，形成了巨大的数据资产。我国三大电信运营商均为全业务运营商，各自的数据资产大同小异，下面以我国最大的电信运营商——中国移动为例，阐述电信运营商所掌握的大数据资产情况，如表1所示。

从中国移动的大数据资产列表中可以看出，各个电信运营商的IT系统中存储着种类众多的数据，这些数据涵盖了通信业务类、网络信令类、互联网内容类、企业管理类等诸多方面。通信业务类数据可以帮助电信运营商提供更好的客户服务，实现更加精准和灵活的计费；网络信令类数据可以让运营商实时地获取用户当前所处的位置、通信行为产生的时间、地点等，DPI（Deep Packet Inspection，深度包检测）数据经过二次解析后，可以让运营商清楚地知道用户的网络行为，比如访问过哪些网站、购买过哪些商品，从而判断出用户的兴趣及关注点；互联网内容类数据来自Web和APP客户端，一般通过JS（JavaScript，一种脚本语言）插码或SDK（Software Development Kit，软件开发工具包）的方式收集包括用户支付记录、商铺信息、终端数据、内容订购以及消费记录等信息；企业管理类数据可以帮助电信运营商优化和提升自身的管理效率等。

针对大数据资产（劳动对象），电信运营商（劳动者）需要通过运用大数据技术（生产工具）才能输出有用的数据（价值），为企业创造价值。

3 大数据技术及服务能力

3.1 大数据主流技术

大数据的海量、多结构、高增速、低价值等特点对数据库、文件系统等数据处理和挖据技术提出了很高的要求。传统的RDBMS技术受限于容错性和扩展性，不能适应大数据的快速处理和深度分析需求，在大数据领域适合的场景逐渐萎缩至数据可视化，担任数据集市的角色。

近几年来，X86架构服务器以高性价比、功耗低、占用空间小等优势逐渐取代传统小型机，成为电信运营商使用最广泛的硬件资源，与X86服务器相适配的大数据技术也同步快速发展。以Hadoop等为首的大数据技术日益成熟，被业界广泛接受和应用，从开源版本到商业定制化版本均有成熟稳定产品，广泛应用于海量数据的批处理场景，Hadoop技术的发展促生了良好的生态环境。MPP（Massively Parallel Processing，大规模并行处理）数据库是基于关系型数据库的改进，在扩展性方面得到了增强，使之在深度分析领域占有一席之地；Spark技术属于新兴技术，通过基于内存的计算框架提高计算性能，适合准实时数据处理等场景；流处理技术则是针对实时性非常强的流式数据进行处理的利器；NoSQL技术是对关系数据库的功能进行简化或者去除，抛弃一些对具体应用场景不太关键的关系数据库的累赘，以在某些方面获得优于关系数据库的特性，绝大多数NoSQL数据库的本质都是Key-Value store（键值对存储），适合简单高效的海量数据快速存取场景。

大数据主流技术情况介绍以及对应的应用场景和代表产品如表2所示。

上述大数据技术在具体应用的时候，根据实际应用场景，可能采用一种技术，也可能采用几种技术的组合。

3.2 运营商大数据服务能力

电信运营商将自己掌握的大数据资产与大数据技术相结合，就可以产出大数据服务能力，包括位置信息服务能力、价值信用评估能力、体验感知评测能力、社交关系识别能力、兴趣偏好分析能力、行为关联预测能力等，这些服务能力是运营商大数据应用的基础。

3.3 电信行业大数据应用

按照电信运营商的角度，可以将大数据的应用分为企业内部应用和企业外部应用两类。企业内部的应用大多以报表和专题的形式展现，包括提升系统效率、提高用户满意度、提升营销效果等；企业外部的应用则以报告和应用等形式输出为主，包括旅游、公安、征信、气象、人口密度等领域的应用。这些应用无论是对内使用还是对外变现，都可以归纳为网络、运营、用户、市场营销等维度，如表3所示。

接下来，本文将基于上述内容，结合国内和国外有代表性的电信运营商的大数据应用案例分别进行阐述。

3.4 国内运营商应用案例

国内电信运营商（中国移动、中国电信、中国联通）的大数据应用目前还是以内部应用居多，外部变现类应用较少。

（1）中国移动近3年密切跟踪并研究大数据技术，积极探索和推广大数据应用，企业内部应用较多，具有代表性的应用有：某省公司A引入Hadoop平台解决Gn口海量数据的实时接入、海量存储、高效运算、数据分析挖掘、数据实时服务等问题；为了满足移动互联网时代带来的经分海量数据处理需求，某省公司B引入Spark技术搭建流量运营平台实现数据处理效率的提升，支持海量数据分析，从技术上助力流量运营平台更好地发展；为了解决传统经分主库压力大、扩展困难的问题，某省公司C将原经分系统中的Oracle A、B库的清单汇总以及各类应用逐步迁移到Vertica分析数据库集群中，减轻主库压力，满足应用增长的需求；某省公司D构建Storm流处理技术的实时经分体系，进行实时数据获取与处理、实时数据分析与展现，让使用者及时获取市场动态，凸显数据价值；某省公司E为了给用户提供实时详单查询服务，提高用户满意度，引入HBase技术，提供高吞吐、低延时、低成本的查询服务；某省公司F引入Flume+Kafka+Storm技术组合架构，搭建实时日志采集平台，实现从各数据源采集点的数据采集、数据接入、在线处理到最终数据输出的快速高效解决方案。广州移动通过网络优化大数据的共享平台结合移动办公，进一步提高网络优化的效率，拓展了网络优化的时间和空间，摸索了一条在移动互联技术背景下，如何对网络优化生产进行“转型”和“升级”的道路，也填补了移动互联优化这一领域的空白。

中国移动大数据对外应用也在积极探索中，目前大数据对外变现类应用在征信领域代表性的案例是东莞移动与东莞某银行的合作：东莞移动构建的基于电信大数据的个人征信评价体系由客观变量、评价指标及信用评分三部分组成。客观变量包含ARPU（Average Revenue Per User，每用户平均收入）、流量消费、在网时长等用户业务数据，以及用户的性别、年龄、身份证号码或者实名制信息等用户基础数据共24项变量。基于客观变量，将24项变量划分为身份特征、通信消费能力、信用历史、行为偏好以及人脉关系五类评价指标。最终评分参考了美国个人信用评级法FICO评分，通过評分模型逻辑计算输出用户评级，分数越高代表用户的信用越好。银行在发行信用卡或审核贷款时通常面临申请人资料是否属实和给予申请人信用卡或贷款额度多少的问题，为解决这两个问题，东莞某银行与东莞移动就大数据评分在信用卡授信方面通过上述联合建模，提出了应用方案，即：问题一可通过运营商实名制结果予以验证，问题二可通过综合信用评分予以解决。该合作从2015年9月份开始正式运营，共受理银行信用卡授信请求1709笔，通过银行验证1075笔，应用效果良好。

在旅游大数据应用领域，河北移动通过前期在秦皇岛等地市的试点推广获得普遍认可，系统通过对信令数据的采集与挖掘，输出游客游览景区的行为，帮助旅游和景点管理部门掌握景区流量、优化景区设施等，后期将大数据报告形式的服务转化为以系统支撑的常态化服务。

在公共服务领域，河北移动推出人群密度大数据，针对各类热点事件、重大节日，如庙会、跨年夜、演唱会、体育赛事等区域，进行人群密度的实时监控，包含对人群的年龄分析、来源分析、市场占有率分析等，并对人群聚集较多的区域及时预警，通知相关人员，做好防范工作，避免踩踏等事件的上演。

（2）中国电信是国内电信运营商中最早实施互联网行为分析用于自有业务推广的企业。在对外应用方面，中国电信在2013年启动大数据RTB（Real Time Bidding，实时竞价）广告业务；在对内应用方面，中国电信河南公司对运营商网络数据进行深度加工，对原本只用于计费的通话详单进行深度加工，挖掘其中的用户行为属性，构建用户行为分析模型，并成功应用于养卡用户监控等业务。

（3）中国联通建设的“移动通信用户上网记录集中查询与分析支撑系统”中引入大数据和Hadoop技术，构建了一个全国集中的一级架构海量数据存储和查询系统，用于支撑全网数亿用户的上网记录查询工作，通过集中统一的大数据平台对用户数据进行深度的挖掘分析，提升针对用户的个性化业务支持能力。

3.5 国外运营商应用案例

国外一些主流运营商的大数据应用案例如下所示，其中的对外变现应用案例尤其值得国内运营商参考借鉴。

（1）T-Mobile：利用大数据分析来推动其“去运营商化”策略来减少客户流失：通过跨部门数据整合和分析来全方位审视客户，鼓励客户共享其社交媒体页面，针对特定项目跨业务部门共享所有客户数据，用于从内部和外部（例如社交媒体）全方位检视客户对客服、技术支持和营销的看法；洞察产品和服务的性能、客户与公司接触的触点；洞察收入管理系统、采购-下单、出货和物流；洞察网络质量和覆盖范围。

（2）Orange：1）通过对客户进行细分，分析客户数百万电话的数据记录，重点关注客户的通话对象以及通话频率，有效提高了用户流失预测模型的精确性，另外还通过分析掉话率数据，寻找超负荷运行的网络并进行维护及扩充；2）“Orange Business Services”还将大数据应用到公共服务领域，如根据高速公路上车辆每天产生的数据记录进行分析，帮助车辆获得及时准确的信息，提高道路通行率。

（3）AT&T：1）AT&T选择与Facebook结成战略联盟，通过对Facebook的非结构化数据进行分析，挖掘用户对价格、移动功能、服务感知等产品指标的体验情况，从而推出更加准确的电信捆绑服务；2）通过客户在星巴克门店附近通话等通信行为收集客户的位置信息，挑选高忠诚度客户，签署AT&T与星巴克之间业务协议，并把隐私管理权交给客户自己，AT&T将这些信息服务卖给星巴克，星巴克通过对这些数据的挖掘做出个性化推荐。

（4）Verizon：成立精准营销部门，洞察用户需求以进行精准营销，为广告投放提供数据支撑，并推出面向ISIS（Verizon、AT&T和T-Mobile发起的移动支付系统）的移动商务。

（5）意大利电信：通过对客户数据的洞察，有效地预测收入状况与客户行为的关联性，推出诸多个性化产品满足客户需求。

（6）Telefonica：启动一个针对移动宽带网络的端到端用户体验管理项目，并建立一个包含60多个用户体验指标的系统，支持无线网络控制器（RNC）、域名系统（DNS）、在线计费系统（OCS）、SGSN等各种网络节点的信息采集，为用户体验优化提数据支撑。

（7）西班牙电信：通过采集网络侧的用户位置、行为、域名等数据，基于完全匿名和聚合的移动数据，对某个时段、某个地点人流量的关键影响因素进行分析，将洞察结果提供给零售商，供他们为新店设计和选址、设计促销方式、反馈客户等提供决策支撑。

电信运营商既是大数据的生产者，也是大数据的传输者和使用者。由于用户数据的隐私问题，各运营商在对外应用推广方面十分谨慎，进展缓慢，但受上述国外运营商的一些对外变现案例的启发，电信运营商在对外变现类应用推广过程中可以考虑采取如下策略来规避隐私问题：第一种策略，售卖的信息是人群分组信息（基于完全匿名和聚合的数据），采用群体性的、趋势性的分析，并非用户个人明细信息；第二种策略，对数据的某些敏感信息通过某些规则进行数据的变形，实现数据“脱敏”，引入第三方中立机构进行评估佐证，以规避用户隐私方面的法律风险；第三种策略，客户在充分了解业务的基础上与电信运营商（或电信运营商和合作商一起）签署协议，客户隐私的管理权交给客户自己。

4 结束语

目前，电信行业大数据技术的应用还处于初级阶段，以企业内部应用为主，侧重改善技术、管理、流程、服务等方面的问题，对外变现类应用极少，实现数据资产对外变现才是大数据的真正魅力和意义所在。

大数据的重要性已众所周知，互联网企业凭借其灵活机制和互联网基因等优势率先开拓了市场，电信运营商面临更加严重的管道化威胁，电信运营商应尽快利用掌握的优势资源和储备的大数据技术，开展对外变现类的增值应用，迅速建立对外服务的生态圈，提高自身竞争力。

通过本文的分析可知，要实现大數据的广泛关联，进而提高大数据的价值，电信运营商要有开放的思想、开阔的思路。通过建立企业大数据开放平台，借助外脑，与友商合作开发应用，实现共赢；通过与潜在的互联网企业合作（如百度公司，百度在掌握用户资料方面处于弱势，而运营商则处于明显优势），互补、共享双方的大数据资源，实现共赢。合作可以通过开放接口等技术方式实现，也可以通过直接投资对方企业进行控股等商业手段实现。更理想的情况，电信运营商在拥有大数据技术能力和运营能力的基础上还可以自己做电商，或者开展诸如RTB广告业务盈利。

总之，电信运营商要争取占领大数据生态圈的上下游，拓展征信、交通、旅游、气象、公安等各个领域的战略合作，尽快布局，决胜未来。

参考文献：

[1] Ovum. Using Big Data Analytics To Manage Customer Churn and Loyalty KPIs[Z]. 2015.

[2] 覃雄派，王会举，杜小勇，等. 大数据分析——RDBMS与MapReduce的竞争与共生[J]. 软件学报， 2012（1）： 32-41.

[3] 胡舜耕，魏进武. 大数据及其在电信运营中的应用研究[J]. 电信技术， 2015（1）： 14-17.

[4] 王波，陈标，魏宇航. 电信大数据在征信领域的应用研究[J]. 移动通信， 2016，40（8）： 80-83.

[5] 张云帆. 电信运营商大数据发展策略与价值挖掘[J]. 移动通信， 2016，40（5）： 20-23.

[6] 谷红勋，杨珂. 基于大数据的移动用户行为分析系统与应用案例[J]. 电信科学， 2016（3）： 139-146.

[7] 许汝鹏，崔晶也，关则洛，等. 网优大数据共享架构设计及应用实践[J]. 电信科学， 2016（4）： 152-157.

[8] 郑雪菲. 国外电信运营商大数据应用及启示[J]. 移动通信， 2015，39（13）： 29-33.

[9] 何小朝. 纵横大数据-云计算数据基础设施[M]. 北京：电子工业出版社， 2014.

[10] 中国移动通信企业标准. 中国移动省大数据平台技术规范分册[S]. 2015.