程烨 华信咨询设计研究院有限公司数据所所长

大数据背景下运营商IP城域网DPI系统部署方案探讨

程烨 华信咨询设计研究院有限公司数据所所长

随着国内运营商向综合信息服务商转型，中国电信、中国移动等开始着手基于自身拥有的海量网络运营及用户数据建设大数据应用平台。作为大数据平台关键数据来源，运营商IP城域网出口各类宽带用户及业务流量，由于其海量的网络用户覆盖、全量的互联网数据、典型的行为特征，日益受到运营商、互联网公司及第三方数据运营公司的关注，相应DPI（Deep Packet Inspection）系统部署建设也成为运营商构建大数据平台的基石。本文主要从DPI部署现状出发，对于DPI架构、40G/100GE大颗粒度链路分光、DPI网络承载等关键问题进行分析并提供相应的部署建议。

DPI 40G/100GE 链路分光 部署模式

1 引言

近年越来越多的政府机构、公司对于大数据有了更深刻的认识，将其视为各自单位的关键资产，数据资源化、价值化将成为大数据发展的焦点，在解决数据脱敏及安全的前提下各类数据将更加趋于开放共享，进一步与传统商业智能融合，透过运营商、互联网公司及第三方数据运营公司为各行各业提供定制化数据分析运营解决方案。

国内互联网公司如百度、阿里、腾讯、京东等对于大数据的收集整合应用已经先行一步，包括搜索、消费行为分析等。运营商也在向流量经营、数据运营的方向转型，纷纷开始基于建设部署DPI等各类数据流量采集处理系统，作为自身大数据平台的全量数据源，并在此基础上构建运营商整体视角和全业务、全用户维度的大数据运营平台，对内提供电信运营所需的统计分析数据，支持前后端的网络运维管理、市场策略制定等；对外提供大数据解决方案、数据源提供服务、数据分析与咨询服务，并与第三方合作实现数据资产变现。

2 运营商DPI系统部署现状及存在的问题

运营商DPI系统作为大数据分析应用系统重要数据来源之一，可对运营商网络管道内各类应用、用户行为、流量流向进行识别分析，并实现网络深度视图、及时发现网络异常流量、动态调控资源、进行流量精细化运营等。

2.1 DPI系统部署现状

从2005年开始国内运营商陆续在固网国际出入口、IP骨干网（CR）层面建设部署了DPI系统，相应部署链路类型多为GE/10G，采用分光并接或串接模式，DPI系统多为前端分流平台+后端服务器架构；此外，考虑投资因素大多采用了抽样轮询部署方案，通过该系统与运营商其他IP/IT支撑系统联动协同，试图建立流量—应用—用户之间的关联模型，实现低价值应用流量控制、基于流量的用户行为分析，为运维、建设等部门提供业务承载和网络运行相关分析数据。

2010年之后国内运营商纷纷启动战略转型，基于DPI构建智能管道感知体系成为这一阶段各大运营商智能管道建设的重点，特别是随着3G普及应用，移动互联网风生水起，运营商在相应移动核心网（PDSN/ GGSN）相关互联网出口链路全覆盖部署了DPI系统，相应系统采用前端专用设备+后端服务器架构，借此强化对于移动互联网的流量分析和管理，并结合PCC等技术手段实时根据相关分析数据调优移动网络基站负载和覆盖，保障移动用户感知，开展流量精确化管理和运营。

2014年随着大数据应用成为业界热点，国内运营商也将目光投向这一领域。中国电信计划基于全国各地市IP城域网出口（全球规模最大的IP城域网，覆盖将近1亿的家庭宽带用户）按照不同省份分批部署DPI系统，希望为其大数据平台提供最为丰富的用户流量数据，抢占大数据应用市场。

2.2 DPI系统架构及接口

现阶段运营商DPI系统建设大多采用前端+后端的模式，系统架构参见表1，前端涉及分光所需的分光器/光放、DPI设备（路由器架构设备、协议转换/分流设备、专用设备等），主要实现流量的实时I/O转发、分析和控制；后端主要包括数据处理服务器，完成离线数据分析。

不同运营商从构建完整智能管道感知体系的角度，要求DPI系统构建应实现采集识别执行单元与分析控制单元解耦合，不同DPI系统通过特定接口规范统一与DPI集中管控平台、大数据平台等对接。如中国电信制定了《固网宽带深度包检测系统技术要求-U/Tp/Td接口》，并结合大数据平台与DPI系统交互需求拟定了若干DPI输出接口及推送接口规范，并在具体的DPI系统部署中不断修订完善，从而逐步向全视图统一的智能管道感知体系演进，按需为大数据平台提供各类合规数据。

2.3 DPI系统性能及功能

现阶段DPI系统性能瓶颈一般在前端DPI设备，后端数据分析处理平台可通过服务器集群或资源池方式实现性能平滑扩展。为了提高性能，前端DPI设备硬件实时I/O转发、控制单元通常采用ASIC硬件，实时分析单元多采用FPGA和NP；后端服务器离线分析单元对可编程性要求高，多采用X86服务器自带的CPU。目前，DPI系统并没有规范统一的性能标准，主要关注大颗粒度链路无损采集、流量采集识别准确率、特征库更新周期频次、智能镜像处理时延等性能参数，在实际部署中常根据大数据平台对于DPI系统数据输出要求定制化相关性能指标，如HTTPGET报文的识别成功率、单链路推送有效HTTPGET请求并发条数等。

业界部署的DPI系统大多具备设备采集、策略管理同步、全应用识别管理、用户行为采集识别数据采集与管理、认证计费信息采集识别、流量流向、CP/SP资源采集识别、多链路/设备协同应用（实现同源同宿）等功能。不同运营商对于DPI系统功能定位有所差异，有的侧重运维功能实现，有的关注应用数据识别分析，为此会在DPI系统部署时选择不同的功能子项组合满足建设需求。

2.4 DPI部署存在的问题

尽管DPI技术及产品较为成熟，但由于部署场景、系统演进、数据需求等因素影响，运营商在DPI部署中仍存在一些问题，包括部署模式、大颗粒度链路分光、同源同宿、DPI系统网络承载等。

2.4.1 部署层面及方式多样化

DPI部署方式分为串接和并接两大类，可灵活部署在互联网国际出入口、运营商互联互通、IDC出口、IP骨干网、IP城域网等层面，甚至以DPI板卡内嵌在Bras等IP设备上进行部署。实际部署中运营商需结合自身DPI定位、建设需求、成本造价等因素，综合评估后选择合适的部署层面及方式。

表1 运营商DPI系统架构简析表

2.4.2大颗粒度链路分光难度较大

随着现网40GPOS、100GE等大颗粒度链路的规模引入，40G/100GE链路光端口参数如光功率、接收灵敏度等较10G更为严苛，运营商DPI链路分光部署时将面临分光比不合规、分光后光参数不达标等难题。

2.4.3 同源同宿制约规模部署

在多台路由设备间的多条链路进行DPI规模部署时，需考虑流量的同源同宿处理要求。

2.4.4 标准化和互通性有待提升

对于DPI识别的应用和识别率无统一要求，识别的准确性与厂家的协议识别技术、设备处理能力有密切关系，部分厂家设备的识别率低；系统的数据采集功能模块和分析模块采用私有接口，多厂家设备采集的信息无法实现共享分析，不同设备平台难以有效互通。

3 运营商IP城域网DPI部署方案

目前，运营商DPI部署的重点是IP城域网出口，以期获得海量固定宽带用户相应的应用流量。本文以某运营商为例说明IP城域网DPI部署中应关注及解决的关键问题，并给出相应的建议。

3.1 大颗粒度链路分光方案

IP城域网链路分光关键要素主要涉及原链路光模块发射及接收功率、不同分光比场景下分光器的光衰（分光及附加、回波、偏振等损耗）、光放大器的灵敏度和增益、光路自身损耗（光缆、跳纤、法兰插入等损耗）等，若干要素之间的协同才能保证不同链路特别是40G及以上大颗粒度链路的顺利分光引流。此外，现网链路中存在公安等机构已有分光的情形，需要分光部署时尽量减少对于实际运营及既有分光的影响。

城域网出口主流IP设备光接口参数如表2所示，基于表中数据可知40G链路的接收功率（最小）为-6dBm，较100GE链路还恶劣，其原因主要在于目前100G往往采用10×10G或者4×25G打散，相应光参数获得改善。

考虑到保证既有链路的正常承载，现阶段运营商主流分光比多为7：3、7：2：1、7：1：1：1，相应分光器的经验分光及附加损耗数值（不考虑偏振、回波损耗）参见表3。

表3 IP城域网DPI链路不同分光比对应光损耗参数表

综上，在链路分光过程中需要结合各光器件相应参数及经验值进行公式计算及测试（本端光接口实际接收功率=对端最大发射功率+光放增益-分光损耗-附加损耗-光路损耗，对照本端最小接收功率看光接口是否能够正常接收）。

由于10G分光有较多成熟案例，本文主要针对40GPOS、100GE链路分光给出相应建议。

3.1.1 40GPOS链路分光部署

40G POS链路分光部署如图1所示。对于40G POS链路，基于光路衰耗计算结果（30%以下光功率＜-6dBm）、现网实际部署案例，并预留一定的光富裕度，建议采用二级分光：一级分光7：3+光放+二级分光X：Y（MinofX，Y不小于3，一般也为7：3），一级分光的70%作为既有链路使用，二级分光的70%可作为DPI使用。

3.1.2 100GE链路分光部署

100 GE链路分光部署如图2所示。对于100GE链路，参考光路衰耗计算结果、光路测试、现网实际部署案例等，正常情况下同机房DPI分光部署可采用一级分光7：1.5：1.5。

表2 IP城域网出口主流IP设备光接口参数情况表

图1 IP城域网40G链路分光部署示意图

图2 IP城域100G链路分光部署示意图

对于DPI设备部署在与出口路由器不同机房的场景，结合光路损耗（楼间光缆损耗约-1～-2dB；光缆传输损耗约0.35dB/km）建议采用一级分光6：2：2或者直接采用二级分光。

3.2 IP城域网DPI部署模式选择

3.2.1 IP城域网DPI部署位置

目前，运营商结合自身流量管控或者监管要求已经在互联网国际/国内互联互通侧、IDC出口侧、移动互联网出口侧部署了相应的DPI系统，覆盖链路规模从几十G到几百G不等；但对于城域网，限于投资、技术成熟度等因素暂未有DPI规模部署。

IP城域网DPI部署主要有出口（旁挂DPI独立设备）及业务控制点设备（插DPI卡或旁挂DPI独立设备）两种方式，前者集中部署、获得城域网范围内海量固网宽带用户各类行为信息和流量数据；后者分散部署、可对业务控制点覆盖区域内的固网宽带用户及业务流量进行精细化分析和控制。

随着运营商数据运营需求逐步明晰以及规模DPI系统技术的成熟，基于数据获取有效性及投入产出等维度分析，IP城域网出口成为DPI规模部署的首选。

3.2.2 IP城域网DPI部署方式

DPI部署方式主要有串接和并接两大类，如表4所示。基于目前数据需求及DPI厂商设备成熟度，IP城域网DPI部署建议优选旁路并接方式。

3.2.3 IP城域网DPI部署规模

基于国内某运营商DPI部署现场试验相关经验，运营商可根据自身分析需求采用不同规模的链路覆盖方案，在部署时应注意在满足链路覆盖率前提下尽量均衡地市、出口设备链路局向的分布，同时结合现网大颗粒链路开通及流量实际适度调整链路覆盖方案，相关规模部署建议参见表5。

3.3 IP城域网DPI网络承载方案

DPI系统中DPI设备实现具体数据包分析（实时）和流量管控，DPI后台负责数据分析统计（离线）和管理策略下发，为此部署在各地市城域网出口的DPI设备与集中部署的DPI后台存在各类数据及控制流量，包括DPI设备上报DPI平台的数据流，用来传递DPI设备的分析结果等；DPI设备与后台之间的控制流用来传递管理策略，如DPI设备网管、用户账号/IP绑定信息同步、流量管理策略、广告推送策略等，各类流量对于网络承载质量特别是时延有一定的要求。

表4 IP城域网DPI部署方式比较表

表5 IP城域网DPI部署规模分析表

现阶段主要存在基于传输的专网承载及基于IP网的公网承载两类IP城域网DPI网络承载方案，相应比较参见表6。运营商可根据自身传输资源、DPI流量承载需求等综合评估选择合适的网络承载方案。

3.4 IP城域网DPI同源同宿解决方案

各地市IP城域网出口架构和链路组织有所差异，由于网络负载均衡和路由不对等等原因，同一个会话的多个报文可能被负载均衡到多条链路上，如上行和下行报文流经不同物理链路，需要把属于同一会话的所有报文归至同一台DPI设备处理，即实现同源同宿处理。

业界对于同源同宿主要有DPI前端处理和DPI后台处理两类方式，前者在分流器/路由器背板上将多条链路流量按照五元组进行分流汇聚（对于超大规模流量一般采用分流器分层方式实现分流汇聚），将同源同宿流量汇聚到一个DPI处理单元进行处理；后者由DPI后台对于各DPI单元汇聚过来的流量进行关联实现同源同宿处理。

表6 IP城域网DPI网络承载方案比较表

4 结束语

现阶段运营商尤其是固网优势运营商应首先基于大数据分析应用对于数据源的要求以及DPI技术成熟度做好IP城域网出口DPI比例覆盖及部署，关注不同场景下大颗粒度链路规模分光、DPI数据网络承载、同源同宿、与其他平台协同（如CRM、AAA、大数据平台等）等难点问题的解决，先行开展精准广告推送等大数据应用；后续应逐步实现IP城域网出口、互联互通等流量出口的全覆盖，充分利用网络基础设施优势，汇聚全网包括IP城域网、3G/4G移动网、IDC等海量流量数据，在合规的前提下实现数据商业运营及数据资产变现，并争取在政府顶层规划引导下基于运营商大数据平台建设面向全社会的大数据平台，接入互联网公司、政府等大数据平台，提供各类政务、民生、行业等数据服务。

1 章建聪,程烨.IP网流量管理及应对.电信科学.2007,3

2 武光达,蒋朝惠.基于DPI的流量识别系统的研究.信息网络安全.2014,10

3 张劼,呼斯楞.运营商DPI设备规范化技术研究.电信快报.2014,11

4 曾传璜,陈景忠.基于DPI的流媒体流量监控系统的分析与设计.电视技术.2014,9

5 基于分离架构的深度包检测系统技术要求接口送审稿.中国通信标准化协会.2014

6 基于分离架构的深度包检测系统技术要求独立式流量采集设备送审稿.中国通信标准化协会.2014

7 基于分离架构的深度包检测系统技术要求数据综合分析平台送审稿.中国通信标准化协会.2014

Discuss on DPI Solution of IP MAN for ISPs Under the Background of Big Data

With the transformation of domestic ISPs to comprehensive information service provider,China Telecom, China Mobile begin to construct the Big Data Platform based massive network and user data.As the key Data Source, the export of IP MAN nearly owns all kinds of broadband users and internet data for its massive network coverage,is concerned by ISPs,internet company and the 3nd party.The DPI System construction has become cornerstone of ISPs’Big Data Platform.It based the ISPs’DPI deployment at this stage,mainly analyzes the DPI architecture,40G/100GE large granularity link light splitting,the bearer network,etc,tries to provide the corresponding deployment proposal.

DPI,40G/100GE,light splitting,deployment models

2015-08-25）