杨波，刘菁，何晓岚，秦岩

中国信息通信研究院泰尔系统实验室 无线技术部，北京，100045

0 引言

在现有技术条件下，视频通话是最大程度模拟人和人面对面沟通的通信应用。随着宽带移动网络的普及，移动数据传输速率的提升、时延的降低，随时随地的视频实时通话已经从2G、3G时代人们对通信应用的愿景迅速发展成为移动互联网的主要业务之一。在非蜂窝网络下，如卫星通信、特殊环境的点对点通信（野外作业、现场救援等）等场景中，视频通话也是最为常见的应用。可以说，视频通话的应用体验极大程度决定了用户的网络应用体验。同时，随着网络技术日益复杂、优化维度不断增加，通过传统测试方式获得的低维度网络参数对网络实际应用体验代表性的不足逐步显现，利用实际应用体验开展测试验证逐步成为网络质量测试的主流方式之一。作为各类网络的核心应用，视频通话的业务质量直接影响用户对于网络质量的直观感受，是针对各类移动网络测试关注的重点。

由于网络测试多由运营商发起，目前针对视频通话的研究多基于VoLTE、VoNR等业务中底层交互信令和数据包的监控开展[1-2]，部分基于通用编码压缩算法的音视频传输测试也通过类似的方式进行。基于对信令和数据包传输情况的分析，能够较为准确地得到网络在数据传输层面的质量。但是一方面，这样的方法仅能适用于交互透明、编码和压缩使用通用方法的音视频交互模式，对于微信、Skype等使用私有协议的OTT通话软件并不适用。另一方面，用户的直接应用体验，例如声音质量、画质损失、音画同步情况等，并不能完全通过对数据包的解析获得。实际用户体验与网络数据传输质量间的关系受传输方式影响较大，需要通过额外的机器学习等手段模拟[3-4]。总体而言，基于信令/数据传输的无参考测试方式目前是音视频通话测试的主流研究方向；基于实际音频/图像的全参考或半参考测试方式，尽管能够更加直接反映用户的体验，但通常被认为实现困难、运算量大，难以在真实测试尤其现场测试中实现。然而，近年来，音视频传输和网络技术的进步，为视频通话各个环节都带来了更为灵活多变的实现方式，同时，行业定制应用的兴起使得体验优化的方向更为多元化，从数据传输情况以一定模型推测用户体验的无参考测试方式面临挑战。行业需要一种能够普遍适用、能够真实评价端侧用户视频通话体验的、可应用于现场测试的测试方法。

面对这个问题，本文提出了一种基于音视频内容重定向的全参考测试方法。该方法通过对安卓系统的定制开发实现在音视频通话中标准参考音视频内容的传输和记录，并通过对记录视频的全参考质量估计评估视频通话中可被用户直接感知的各方面体验质量。通过对参考视频的定制及对各类客观指标估计算法的简化，可将对视频通话体验各类参数指标进行计算的耗时压缩到现场测试可接受的时间内。这样的方法可以用于通过特定视频通话方式对网络质量的测试与评估，也可以在同等网络质量下用于不同通话方式的质量评估和对比。

1 原理

移动互联网中视频通话的本质是通过网络实时双向传输主叫与被叫方的音视频数据。以从主叫终端到被叫终端的音视频传输为例：主叫终端通过摄像头和麦克风分别捕捉主叫用户视频和音频信息，通过编码和压缩算法将数字化的音视频信息形成一系列IP数据包，通过移动互联网传输到被叫终端。被叫终端接收到这一系列数据包，使用对应的解压缩和解码算法还原其包含的音视频数据，并分别将视频信息和音频信息从屏幕和扬声器/耳机播放出来。从被叫终端到主叫终端方向，同时存在相同的音视频数据捕捉、编码压缩、传输、解压解码和播放过程。移动互联网视频通话中单向音视频传输过程如图1所示。

图1 视频通话业务原理示意图

对于图1所示的单向传输模型，通话中的用户体验主要在接收端，以音频、视频质量、时延及声音与画面的同步等指标来呈现。要实现针对通话内容体验的公平评价，最为客观一致的评价方式是针对视频通话中接收端获取的音视频内容开展全参考质量计算。即保证测试链路中音视频的输入内容严格一致，在输出端获取并记录实际接收到的音视频内容，并通过对记录得到音视频内容的计算分析获取用户业务体验相关的各项客观指标。为了实现这样的测试方法，需要旁路发送视频流终端的摄像头和麦克风，通过设备内部存储的参考视频文件“替代”来自摄像头和麦克风的输入，同时在接收端截取本应直接输出到屏幕和耳机/扬声器的音视频内容，并将其记录为本地文件。最后，通过对记录文件和原始参考文件的对比，计算得到用户音视频获取各维度上该视频通话方式在编解码和网络传输过程中带来的质量损失。测试过程的原理如图2所示。

图2 视频通话单向业务测试模型

2 方法

2.1 测试终端定制

利用对测试终端操作系统ROM的定制，针对指定OTT应用的音视频通话场景，在OTT应用摄像头、麦克风时，将输入重定向到终端本机存储的参考媒体文件；同时，ROM将接收端输出的音视频流记录到文件，以实现基于有参考的音视频质量评估。实际实现中，在指定OTT应用开启相关业务（如双方建立视频通话）后，通过ROM提供的接口启动重定向，实现参考视频播放和接收视频录制的功能。

2.2 指标设计

视频通话中有诸多因素影响用户的体验和感知。在带宽受限的情况下，对各方面指标的整体考虑和平衡是视频通话服务各相关方关注的重点。将视频通话的指标分为等待时间和通话质量两个主要类别。其中，等待时间包括从主叫发起呼叫到被叫接听的“振铃等待时间”以及从被叫接听操作到主被叫同时接通的“接通等待时间”；通话质量方面主要包括丢帧情况、卡顿情况、语音质量、图像质量、音画同步和初始端到端时延[5-7]等。设计指标中的各个维度相互独立，代表了视频通话不同方面的体验。

2.3 测试方法和过程

针对视频通话用户体验的测试通常在业务主要发生的移动场景开展，使用测试背包类的移动测试设备实现。测试背包中包含的测试控制器通过对背包内多部测试终端的统一操控实现实际业务流程，并在记录接收端呈现视频后，在测试终端中或测试背包中针对记录的视频计算各项关键指标。

2.4 参考视频

为贴近实际通话应用场景，参考视频中应当包含有大面积占比的全彩色影像内容，以及适用于语音质量测试的语音信号。为了真实复现实际业务实现，用于测试的参考视频需要与测试用APP摄像头和麦克风获取影像和声音的参数保持一致。

另外，移动场景中测试设备处理能力有限，难以使用VMAF等复杂算法，为了在较小算力消耗和较短时间内准时完成对记录视频实现前述各类音视频指标的计算，需要在参考视频设计中添加易于程序识别的声音同步标记和视觉标志，以简化对丢帧、卡顿、音画同步等的计算过程。

3 实验和测试结果

在实际测试中，使用该测试方法，针对国内主流视频通话APP的通话质量开展了测试。测试采用了两部通过定制实现底层音视频重定向的测试终端在实际移动网络环境下进行。

测试所用视频通话APP对摄像头输入以720p分辨率、15fps的固定帧率采样。测试中采样的参考视频为针对该参数组合进行适配的版本。由于通话APP中振铃、应答和接通等事件均通过私有协议传输，实际测试过程中对这些事件时间点的获取通过对安卓底层事件（振铃）和对屏幕内容的监控分析来实现。

图3（a）和（b）分别显示了实际测试过程中的照片和实际获得的录制视频情况。可以看到，主被叫测试终端能够按照既定的流程成功发起和完成完整视频通话业务。实际记录下的视频为接收屏幕分辨率下动态帧率的视频文件，APP对画面尺寸进行了一定的裁剪和适配。测试过程中，测试人员观察到的画面卡顿和图像帧丢失现象，均在记录视频文件中被完整保存并呈现。

图3 测试过程和记录结果截图

对记录视频的分析计算流程于Windows环境下使用C#编程实现。视频方面，对于记录视频中每一个图像帧，实际测试中通过测试视频中预设的视频标识获取当前图像帧对应帧序号以及该帧出现的时刻和长度。音频方面，通过对音频信号的包络提取和短时傅里叶变换（STFT）识别音频信号中同步标记。对于男女语音质量的估计使用了由中国信通院开发、符合ITU-T P.800的音频评估算法“泰尔九章”。画面质量计算方面，为降低计算量，在记录视频中以一秒间隔抽取图像，与参考视频的对应帧比对进行全参考图像质量估计，使用的算法为MS-SSIM。在使用单线程计算的情况下，针对参数的记录视频，一台普通处理器的平均处理时间约为8秒左右，能够满足现场实时数据计算和输出的需求。对该计算方法的重复测试中，在能够成功计算结果的情况下，计算时间均在10秒以下。

4 结语

综上所述，文中提出的测试方法能够在实际被测网络条件下利用对媒体输入输出的重定向实现各类视频通话实现手段下的通话体验质量全参考评价。利用文中所述的参考测试视频和计算算法，能够在10秒以内，使用实际测试控制器完成对视频通话语音、画面、音画同步、丢帧、卡顿、抖动、时延等多个用户体验维度的计算评估，测试结果能够真实反映实际用户在移动网络中的使用体验。

表1 测试结果报表示例

目前针对该方法的实验显示，在针对卫星通信、轨道交通等网络状况较差、网络引入时延和丢包率较高的场景时，由于音视频数据包丢失、错序比较严重，实际记录得到的音视频内容可能出现较多关键信息丢失的情况，引起算法失效。此外，当前方法的测试结果主要由音视频各方面的客观指标表征，维度较高且各维度上的测试结果受网络/APP的优化程度影响较大，不利于同等条件下用户体验的横向比较。因此，对计算方法鲁棒性的提升以及引入和研究视频通话主观评价的计算，可能是下一步的主要研究方向。