电信运营商网络数据采集与共享方案探讨

2015-04-13中讯邮电咨询设计院有限公司北京00048中国联合网络通信集团有限公司北京00033

邮电设计技术 2015年12期

关键词：数据类型信令总部

李涛，王翔，张玎（.中讯邮电咨询设计院有限公司，北京00048；.中国联合网络通信集团有限公司，北京00033）

0 前言

电信运营商拥有丰富的网络数据，包括用户上网行为数据、用户位置数据、用户网络体验数据等，既可以支撑运营商内部的网络优化及用户体验提升，又可以支撑个人征信、人流监测等类型的对外数据应用。网络数据具有较高的价值。

网络数据涵盖移动网、传输网、固网交换、互联网等多个网络，且分散于全国各地，如何能够在对网络及业务影响较小的情况下，将所需数据采集汇总，并进行加工处理，共享给上层应用，是电信运营商普遍面临的问题。

1 网络数据采集范围

电信运营商的网络数据涉及移动网、固网交换（含IMS、软交换）、传输网、互联网、IP 承载网、宽带接入、业务平台、动力环境等专业，数据类型包括网元类（配置、资源、性能、告警）、链路类（信令、用户面）和用户感知类（投诉、拨测）。电信运营商可采集的网络数据如表1所示。

鉴于移动业务收入是运营商的主要收入来源，故移动网要采集的数据类型最多，包括资源数据、告警数据、性能数据、核心网XDR、核心网原始信令、无线网MR/TRACE/原始信令等（见表2）。

表1 电信运营商可采集的网络数据

表2 移动网数据采集需求表

2 网络数据采集与共享架构

2.1 总体架构

网络数据采集与共享分为数据采集平台、数据处理与共享平台两部分，其总体架构如图1所示。

网络数据采集平台分为总部和省分两级部署，负责从专业综合网管/OMC/DPI等系统采集网络告警、配置数据、性能数据、信令数据（移动网核心网信令、无线侧MR/详细信令记录）等，并将采集到的数据上传至数据处理与共享平台。

数据处理与共享平台采用总部一点部署，负责对采集平台上传的数据进行加工处理，包括数据清洗、格式标准化、数据抽取、指标计算等，并共享给上层应用。

2.2 数据流程

网络数据采集与共享的流程如图2所示。数据的采集与共享将分散在各个网元、链路、厂家网管系统中的网络数据，根据网络数据的类型、特性、用途，分别经过不同的处理和加工，再统一通过平台的标准化接口，实现数据的开放与共享。

2.3 数据采集功能架构

网络数据采集的功能架构如图3所示。网络数据采集平台可以通过软采（无线链路、系统）及硬采（链路）的方式从网络上获取数据，平台本身的主要功能模块包括数据采集、平台管理、数据处理、数据服务、接入鉴权、数据质量监测、数据服务管理、调度管理等。原则上，采集数据的格式标准化由被采集系统完成。

2.4 数据处理与共享功能架构

网络数据处理与共享的总体架构如图4所示。对数据处理与共享平台的主要功能模块说明如下。

a）数据存储。存储一定周期内的全量网元类数据（告警、性能、配置）、链路类数据（信令、用户面）、用户感知类数据（投诉数据、拨测数据）。针对不同的数据类型与查询性能要求提供不同的存储方案。

b）数据处理。支持数据清洗、移动网配置/性能数据格式标准化、数据统计/计算、数据抽取、信令解析和实时路由等。

c）数据共享。提供数据订阅门户，展示可以提供的数据范围，包括数据类型、区域、厂商等，供上层应用订阅，经过审批通过后才有权使用数据。当订阅的数据生成时，平台通知应用来取数据。支持数据查询和常用的数据挖掘模型算法。

d）数据管理。支持元数据管理、数据质量管理、数据安全和任务调度。

3 网络数据采集关键技术

3.1 采集文件统一命名和格式

鉴于网络数据采集涉及到的专业、网元多，持续时间长，为避免重复、便于回溯和数据处理，通常需要规定文件名称和文件格式。

图1 网络数据采集与共享总体架构

图2 网络数据采集与共享流程

3.1.1 采集文件统一命名

数据文件名称需要包含区域、专业、被采集系统、系统所属厂商、数据类型、采集网元设备类型、采集周期、数据生成时间等信息。文件命名可采用下述规则：［］.csv。

数据上报打包文件命名采用下述规则：数据文件名称.tar.gz。

数据文件名各字段的具体定义如表3所示。

3.1.2 采集文件统一格式

打包文件格式：采用tar.gz文件格式打包，tar.gz代表在UNIX/Linux 平台下的通过tar命令打包，通过gzip命令进行压缩，将数据文件打包成一个文件。

数据文件的格式：原则上采用CSV 文件格式，文件中数据项以“，”或“|”间隔。对于明确要求采用厂家私有文件格式的数据，可不采用CSV文件格式。

3.2 采集状态监测

采集状态的监测对于保障数据完整性、及时性、采集任务可维护性具有重要作用。要求可通过采集平台监控每个采集任务的数据质量情况。

a）数据完整性监控：针对性能、配置等数据，能够对采集适配器生成的数据，参考历史数据情况，如文件数目、大小等判断数据的完整性，并进行监控（若差异大于设定阈值则产生告警）；针对告警数据，能够根据解析完整性等判断是否存在数据解析失败。

图3 网络数据采集平台功能架构

图4 网络数据处理与共享总体架构

b）数据及时性监控：针对告警和性能等实时或准实时数据，能够根据OMC/EMS 生成数据时间、采集适配器采集数据时间、接收时间等多个时间点，判断数据从采集到处理和呈现的过程中，整体的及时性和各环节的延迟是否符合及时性要求。同时，可设定及时性阈值，判断数据的采集到呈现过程是否及时，并进行监控（若差异大于设定阈值则产生告警）。

3.2.1 采集接口状态监测

能够统计并展示指定时间段的接口调用成功率、流量、调用次数和频次。对于非实时数据的上传，能够显示采集文件的名称、省分、专业、数据类型、文件大小、文件生成时间、采集时间、省分上报时间、总部接收时间、成功失败状态、接口连接状态等。接口检查点包括但不限于以下几点。

表3 数据文件名各字段定义

a）接口文件名称。接口文件名称缺失，应主动告警（如界面告警、短信提示、邮件、彩信）。

b）接口文件延迟（总部接收文件时间与省分上报时间/总部采集时间差、总部接收文件时间与文件生成时间差）。接口文件延迟时间差值大于一定值，应主动告警（如界面告警、短信提示、邮件、彩信）。

c）接口数据波动（如与7天前或前1天相比）。接口数据波动，包括文件数量、大小等，差值大于一定值，应主动告警（如界面告警、短信提示、邮件、彩信）。

d）总部与一级架构网管/OMC 等系统的连接状态，若连接失败，应主动生成告警。告警方式支持界面告警、短信提示、邮件。

e）生成总部直采采集状态文件，包括采集文件名称、省分、专业、数据类型、大小、文件生成时间、采集时间、总部接收时间、成功失败状态、接口连接状态等。

f）接收省分采集平台上报的省分采集状态，结合总部接收时间，生成省分采集状态文件，包括采集文件的名称、省分、专业、数据类型、大小、文件生成时间、采集时间、省分上报时间、总部接收时间、成功失败状态、接口连接状态等。并与总部直采采集状态文件合并生成全网采集状态文件；总部可通过接口方式配置省分采集状态上报的时间间隔。

g）接收省分采集平台与省分网管/OMC/DPI 等系统的连接状态失败信息，并生成告警。告警方式支持界面告警、短信提示、邮件。

3.2.2 采集设备状态监测

能够监控采集机的运行状态，同时对采集机的自身资源（如CPU、内存、硬盘）使用情况进行监控。采集器适配器与OMC/EMS 通过一定频率的心跳通信保持连接，若采集适配器与OMC/EMS 之间出现中断，可通过心跳检测发现并自动重新连接，如通过多次尝试无法建立连接，并达到设置阈值，通过产生告警并前转到集中呈现界面来提示相关故障需要处理。能够实时监控采集机的CPU、内存、磁盘使用情况，以了解采集机的相关负荷，避免采集机负荷过大导致采集数据质量问题，如超过设定阈值，可通过生成告警并前转到集中呈现界面提示相关情况需要处理。

总部采集平台接收省分采集平台定时向总部上报的省端采集设备情况：省端采集机的CPU、内存、磁盘、心跳情况。