钮远，卢海杨，缪骅，胥健（中国移动通信集团江苏有限公司， 南京 210000）

手机上网业务质量端到端分析方法和系统

钮远，卢海杨，缪骅，胥健
（中国移动通信集团江苏有限公司， 南京 210000）

为保障客户的上网体验，需要建立一套贴近客户感知的业务质量评估体系；需要贯通手机上网“端管云”各个环节，分析定位质差问题、开展优化提升。本文介绍了一种手机上网业务质量端到端分析方法和系统，基于4G信令构建业务感知评估体系，通过业务端到端分析模型定界到业务质差环节。

手机上网质量分析；端到端；感知评估体系

1 引言

4G网络的普及推动了移动数据业务的快速发展，手机上网感知成为影响客户体验的主要因素。传统的网络质量评价体系只关注网络侧指标，不能涵盖手机上网的所有环节（特别是终端和内容源）；同时手机上网业务种类丰富，复杂性远非传统话音业务可比，所以传统的网络质量评价体系已经不能满足4G数据业务运营的需求。为此急需建立一套贴近客户感知的业务质量评估体系；急需贯通手机上网“端管云”各个环节，分析定位质差问题、开展优化提升，实现手机上网感知的可视、可控、可分析、可溯源。

2 技术方案

2.1 系统框架

采集4G信令，在海量数据基础上，建立业务感知评估体系，形成业务端到端分析方法并进行业务质量保障和提升。整体思路以客户4G热点业务感知为重点保障对象，开发端到端业务质量分析模块，通过“发现热门业务”、“监测热点业务质量”、“业务质差环节自动定界”、“质差问题整改”四大步骤做好4G业务质量保障工作。同时开展两项专题工作：挑选微信、AppStore等4G热点业务开展内容源精细化质量提升；筛选视频业务质差TOP小区，以周粒度开展无线专项整改。

系统按3层架构设计，图1为系统设计框图。底层数据基础层主要采集4G信令，采集接口包括S1-U、S1-MME、S6a、S11，其中S1-U信令为业务端到端分析的主要数据源，控制面接口信令用于用户信息、小区信息关联回填等处理。数据分析建模层包括两大部分，业务感知评估指标体系和业务端到端分析定界模型。业务感知评估指标体系共四大类业务12个业务感知指标。业务端到端分析定界模型基于业务3个阶段运用4类基础算法定位到5类手机上网问题环节。应用层设计三大功能模块，包括端到端业务质量分析模块、内容源专项优化模块和视频质差小区专项优化模块。

图1 系统设计框架

2.2 业务感知评估体系

分析手机上网关键信令交互流程确定指标算法，目标建立贴近客户上网业务感知的评估体系。通过研究发现一般手机上网业务流程分解为3个阶段：DNS （Domain Name System，域名系统）解析阶段、TCP （Transmission Control Protocol，传输控制协议）握手阶段和HTTP（HyperText Transfer Protocol，超文本传输协议）业务阶段。DNS解析阶段手机应用将用户访问的域名翻译成访问服务器的地址；TCP握手阶段手机应用通过三步握手和访问服务器建立TCP管道连接；HTTP阶段手机应用在已建立的TCP管道之上通过HTTP方法获取到待访问的资源。基于上述3个业务阶段的信令关键点定义指标算法。考虑不同业务类型客户的指标敏感度差异，区分网页浏览、视频、即时通信、应用下载四大类业务共设置16个感知评估指标。具体参见表1，其中指标阈值标准通过业务主观测试和满意度调查确立。

指标算法定义如下：

2.2.1 网页浏览页面响应成功率

网页浏览页面响应成功率=（∑成功响应次数）/（∑访问请求次数）

访问请求：以业务发起DNS请求开始计为一次请求，如未发起DNS请求则以TCP SYN开始计为为一次请求；

成功响应：以服务器回HTTP首分片且HTTP响应码小于400为响应成功（即包括3XX重定向和1XX临时响应等）；

信令监测点：S1-U。

2.2.2 网页浏览页面响应时延

网页浏览页面响应时延=（∑（成功响应报文时间戳-访问请求报文时间戳））/（∑访问请求次数）

访问请求：以业务发起DNS请求开始计为一次请求，如未发起DNS请求则以TCP SYN开始计为为一次请求；

成功响应：以服务器回HTTP首分片且HTTP响应码小于400为响应成功（即包括3XX重定向和1XX临时响应等）；

表1 业务感知评估体系

信令监测点：S1-U。

2.2.3 网页浏览页面显示成功率

网页浏览页面显示成功率=（∑成功显示次数）/（∑访问请求次数）

访问请求：以业务发起DNS请求开始计为一次请求，如未发起DNS请求则以TCP SYN开始计为一次请求；

显示成功：成功响应且最后一个HTTP内容分组下载成功；

信令监测点：S1-U。

2.2.4 网页浏览页面显示时延

网页浏览页面显示时延=（∑（成功显示报文时间戳-访问请求报文时间戳））/（∑访问请求次数）

访问请求：以业务发起DNS请求开始计为一次请求，如未发起DNS请求则以TCP SYN开始计为一次请求；

显示成功：成功响应且最后一个HTTP内容分组下载成功；

信令监测点：S1-U。

2.2.5 网页浏览页面下载速率

网页浏览页面下载速率=（∑（下行HTTP内容分组流量））/（∑（下行HTTP最后一个内容分组时间戳-下行HTTP首个内容分组时间戳））

HTTP下行内容分组：取分组大小大于50 kB以上的HTTP下行内容分组；

信令监测点：S1-U。

2.2.6 视频播放成功率

视频播放成功率=（∑播放成功次数）/（∑播放请求次数）

播放请求：发起一次视频业务请求记为一次播放请求；

播放成功：视频业务响应成功且内容下载完成记为成功；

信令监测点：S1-U。

2.2.7 视频下载速率

视频下载速率=（∑（下行视频业务内容分组流量））/（∑（下行视频业务最后一个内容分组时间戳-下行视频业务首个内容分组时间戳））

视频内容分组：取纯视频业务下行内容分组；

信令监测点：S1-U。

2.2.8 即时通信登录成功率

即时通信登录成功率=（∑即时通信登录成功次数）/（∑即时通信登录请求次数）

即时通信登录请求：发起一次登录记为一次登录请求；

即时通信登录成功：登录成功记为成功；

信令监测点：S1-U。

2.2.9 即时通信上行速率

即时通信速率=（∑（上行即时通信业务内容分组流量））/（∑（上行即时通信业务最后一个内容分组时间戳-上行即时通信业务首个内容分组时间戳））

信令监测点：S1-U。

2.2.10 即时通信下行速率

即时通信速率=（∑（下行即时通信业务内容分组流量））/（∑（下行即时通信业务最后一个内容分组时间戳-下行即时通信业务首个内容分组时间戳））

下行即时通信业务内容分组：取分组大小大于50 kB以上的即时通信下行内容分组；

信令监测点：S1-U。

2.2.11 应用下载成功率

应用下载成功率=（∑下载成功次数）/（∑下载请求次数）

下载请求：发起一次下载业务请求记为一次下载请求；

下载成功：下载业务响应成功且内容下载完成记为成功；

信令监测点：S1-U。

2.2.12 应用下载速率

应用下载速率=（∑（下行应用下载业务内容分组流量））/（∑（下行业务最后一个内容分组时间戳-下行业务首个内容分组时间戳））

下载内容分组：取纯下载业务下行内容分组；

信令监测点：S1-U。

2.3 分析定界方法

针对业务感知评估指标劣化问题，按手机上网业务3个阶段分步分析，应用4种方法准确定位端到端5类问题。

业务端到端分析定界方法围绕业务发生的3个阶段开展，如图2所示，即分解为DNS解析阶段分析、TCP握手阶段分析和HTTP业务阶段分析。每个阶段区分成功率类问题、时延类问题和速率类问题，运用一种或多种方法，最终定位问题。

图2 业务端到端分析定界方法

针对成功率类问题运用失败码定界法和横向对比定界法展开分析。针对具体的问题阶段，结合失败原因、聚焦到问题的一个或多个发生环节；然后针对可疑环节，运用横向对比法定位到具体的设备。以DNS失败原因码为2#为例，该原因码协议定义为服务器出错，则可以直接判定为DNS服务器问题；接下来则在DNS服务器IP维度横向对比、定位到具体的服务器IP。以DNS失败原因为无响应为例，发生此类问题可能是DNS服务器未响应也可能是DNS服务器回了响应但核心网分组丢失；接下来则需要在DNS服务器维度和核心网元维度开展分析，最终定位问题。

针对时延类问题运用分段定界法和横向对比定界法展开分析。以TCP握手阶段的时延问题为例，首先运用分段定界法判定是TCP一二次握手时延偏长还是TCP二三次握手时延偏长。如TCP一二次握手时延偏长说明问题发生在S1-U口以上路径，可能是核心网问题也可能是内容源侧问题；如TCP二三次握手时延偏长说明问题发生在S1-U口以下路径，可能是无线网络问题也可能是特定终端或用户行为。针对上述可疑环节，运用横向对比法定位到具体的设备。

对于速率类问题，则直接运用横向对比法进行核心网、小区、内容源、终端等维度的聚类对比，并关联各维度的TCP管道质量，最终定位具体的问题。TCP管道质量重点考虑TCP乱序率和TCP重传率指标。

以某网页浏览业务响应成功率低分析定界为例，说明分析步骤如图3所示。

步骤1：DNS解析阶段分析，发现DNS解析成功率达标，则进入TCP握手阶段分析。

步骤2：TCP握手阶段分析，发现TCP握手成功率达标，则进入HTTP业务阶段分析。

步骤3：HTTP业务阶段分析，发现HTTP响应成功率仅80.34%，则需要进一步分析HTTP响应成功率偏低的原因。

步骤4：HTTP失败原因码分析，发现HTTP无响应失败占比较高。该类失败可能是内容源服务器无响应，也可能是内容源服务器有响应但响应报文在核心网以上网络丢失，因此问题聚焦到内容源服务器侧和核心网侧。

步骤5：以核心网网元维度分析，发现各SGW无响应失败占比分布均匀，说明问题不在核心网，而是核心网以上。

步骤6：以服务器维度分析，发现特定内容源服务器访问量较高且无响应失败占比较高。问题最终定位为内容源服务器问题。

分析结束。

图3 网页浏览成功率低问题分析步骤举例

2.4 应用实例

2.4.1 业务端到端分析

业务端到端分析包含三大部分：热点业务挖掘、热点业务感知指标监测和业务质差端到端定界。

基于业务流量和用户渗透率综合排名挑选热点业务开展业务感知指标监测和端到端优化保障。共挑选出微信、淘宝、腾讯视频、优酷视频、爱奇艺、AppStore等50个热点业务，上述业务总流量达全网流量63%、用户渗透率达96%，符合优选标准。

对挑选出的热点业务开展业务感知指标的实时监测预警，同时固化业务端到端分析定界方法，以思维导图方式展现分析定界结果。图4为百度手机助手下载业务KQI指标监测，发现该业务下载成功率低于阈值，系统触发预警。系统基于固化的规则自动定界出F上海大众-2等30个质差小区和3个内容源服务器问题并输出详细分析报告。

图4 业务端到端系统功能截图

2.4.2 内容源专项优化

针对微信、AppStore等热点业务开展内容源专项优化。

（1）微信分析

4G数据统计，微信流量占现网总流量11%、用户渗透率达87%，属于高流量高用户渗透率业务。精细化识别和分析微信用户行为，发现微信朋友圈业务用户多、流量大，游戏类业务虽然流量小但是用户多、粘性高。将微信朋友圈质量、微信游戏质量作为微信精细化质量分析的重点分析对象。

以微信朋友圈质量分析为例，发现微信图片服务器mmsns.qpic.cn域名响应成功率不达标，统计该服务器域名失败原因分布，发现无响应失败占92%、5XX失败占5%、4XX失败占3%，主要问题集中在内容源侧，优化后指标恢复。

（2）AppStore分析

苹果终端现网终端占有率排名第一、AppStore用户渗透率为28%。从系统监测的业务感知指标以及客户反馈情况AppStore业务感知不佳，因此对AppStore的内容源质量开展专项的分析和改进工作。

分析发现AppStore部分域名被调度到网外且业务感知指标不达标，如a377.phobos.apple.com被调度到联通且HTTP成功率指标仅88.76%。针对问题服务器关联服务器链路带宽监测指标，发现负责AppStore内容分发的江苏蓝汛和网宿CDN链路忙时拥塞，协调CDN厂家进行扩容并优化调度策略、同时通过手机缓存加速同步缓解CDN服务压力。优化后AppStore整体业务感知指标达标、质差流量由原来的28%下降到1%以内。

2.4.3 视频下载速率质差小区专项优化

筛选视频业务质差TOP小区，以周粒度开展无线专项整改。为排除内容源影响因素优选优质视频业务进行小区视频下载速率指标汇聚，考察周期为一周，选取每天8：00～23：00时，即7×16 h为考察时段，筛选出一天中出现≥3 h、视频下载速率≤1 Mbit/s且该小时视频流量≥5 MB的小区判定为视频业务质差小区，按按一周质差问题天数、质差小时数选取TOP30质差小区开展优化整改。解决率76%，已解决的小区视频下载速率由571.62 kbit/s提升至2.66 Mbit/s。

3 结束语

基于4G信令分析的业务感知评估体系，从客户使用角度出发，不局限于网络质量，而是考虑了终端、内容源等业务访问的其他环节的交互流程。相较传统以网络设备为中心的监测机制，更贴近客户感知。文中的业务端到端分析定界模型，按业务发生的3个阶段、运用4种基础算法、定界到手机上网5大关键环节，为业务质差问题的分析改进提供了有效支撑。

［1］ 罗文红，王兵，钱少波. 基于1x EV-DO网络的移动互联网业务端到端分析优化方法研究［J］. 移动通信， 2013（20）.

A mobile internet end to end analysis method and system

NIU Yuan， LU Hai-yang， MIAO Hua， XU Jian
（China Mobile Communications Group Jiangsu Co.， Ltd.， Nanjing 210000， China）

A user awareness quality evaluation system need to be setup up， which analyse the mobile internet problem through all steps of surfing（end-pipe-cloud）. This paper introduce one end to end user experience analyse method and system， which can fi nd out the main link of low quality service， based on 4G signaling.

quality analysis of mobile internet； end to end； user awareness quality evaluation system

TN929.5

A

1008-5599（2016）07-0012-06

2016-05-20