万水龙，罗国成，余 彪

（1.中国人民解放军91960部队,广东 汕头 515074;2.南京航空航天大学,江苏 南京 210016;

3.中国人民解放军92493部队，辽宁 葫芦岛 125000）

基于多参考帧的多方向边界匹配时域误码掩盖

万水龙1,2，罗国成1，余 彪3

（1.中国人民解放军91960部队,广东 汕头 515074;2.南京航空航天大学,江苏 南京 210016;

3.中国人民解放军92493部队，辽宁 葫芦岛 125000）

提出了基于多参考帧的多方向边界匹配时域误码掩盖算法。首先获取误码块相邻宏块的运动矢量，并求出相邻宏块运动矢量的均值，然后根据多方向匹配准则依次求出参考帧的运动矢量，最后选取最佳的运动矢量完成误码掩盖。将该方法与基于多参考帧的误码掩盖算法和多方向边界匹配的误码掩盖算法进行比较，结果表明，该方法效果优于上述两种算法。

误码掩盖；多参考帧；多方向边界匹配；运动矢量

目前,大部分误码掩盖技术应用空间域技术或者频域技术，通过相关性来恢复原图像，但在实际图像中，尤其是信息量多的图像，这两类技术因缺少相邻间信息的比对而出现结果模糊不清等情况[1-2]。在视频序列中，通常利用时域误码掩盖技术，因为其相邻帧间更易相关。在众多联系紧密的参考帧中选取合适的图片作为代替块，从而实现误码掩盖，该技术比空间域技术算法更简单，且其重构图像的主观效果更佳[3]。

本文提出一种基于多参考帧的多方向边界匹配时域误码掩盖方法，对损坏的运动矢量进行更为精确的估计。将本文方法与基于多参考帧的误码掩盖和多方向边界匹配的误码掩盖进行比较，结果表明，本文方法效果优于上述两种算法，但搜索时间有待改善。

1 时域误码掩盖技术分析

所谓时域误码掩盖技术，即通过当前解码帧和参考帧间的时域相关性,由经处理后的估计运动矢量得到相应图片来代替受损区域。依据在参考帧中所用方法的不同，该技术又可以分为时域取代错误误码掩盖、运动补偿时域误码掩盖和边界匹配时域误码掩盖等多种方法[4]。时域取代错误误码掩盖方法简单，但对于动作较快的图像，易出现“方块效应”；运动补偿时域误码掩盖方法精确度不足，易产生 “块效应”；多边界匹配算法运算量大，难以进行实时处理。

2 基于多参考帧的多方向边界匹配时域误码掩盖

H.264视频编码标准中，为了提高编码效率，引入更精确和灵活的帧间预测方法，其中包括7种不同宏块划分方法，精度为 1/4像素的运动估计，用 4×4的整数变换来代替传统视频编码中的离散余弦变换，以及用多参考帧运动估计来代替原来的单参考帧运动估计。在进行误码掩盖时，同样可以用到H.264的新特性，使搜索范围加大，预测精度提高,从而提高视频图像质量[5]。

2.1 多参考帧时域误码掩盖流程

假设 MVt，MVb，MV1，MVr分别代表受 损块 相邻的上、下、左、右4个方向宏块的运动矢量，当检测到有误码时，先获取相邻4个宏块的运动矢量及其对应的4个参考帧，计算运动矢量平均值，将此平均值作为受损宏块的运动矢量，然后与上述4个参考帧分别进行运动补偿，得到4个宏块中用于误码掩盖的宏块[6-7]。

2.2 多方向边界匹配误码掩盖

所谓多方向边界匹配搜索，即先检测错误宏块周围像素的边界信息，再按边界信息在参考帧中利用多方向匹配准则进行搜索，找到最优的恢复运动矢量，最后利用此运动矢量从参考帧中恢复错误宏块[8-9]。

设x（i,j）表示与受损块相邻的像素，它的边界幅度和方向分别为 f（i,j）和 H（i,j）。

其中，gx和 gy由Sobel梯度算子得到:

计算x的边界方向H（i,j），将计算出的边界方向按照 最 接 近 的 原 则 归 入 22.5°、45°、67.5°、90°、112.5°、135°及 180°8 个方向，将各方向分别记为 θ1，θ2，…，θ8，各方向的梯度幅值分别记为 f1，f2，…，f8。因为 Sobel梯度算子对噪声非常敏感，所以需要设定一个阈值TH，如果边界幅度 f（i,j）＞TH，则表明在 x（i,j）处存在一个边界方向 θk（i,j）（k=1,2,…,8）。 定义 4 个变量Ht,k、Hb,k、Hl,k、Hr,k分别表示错误宏块的上、下、左、右4个区域存在的边界方向θk，如式（3）所示。

2.3 基于多参考帧的多方向边界匹配误码掩盖

本文算法在多参考帧中使用多方向边界匹配准则进行搜索，首先获取误码块相邻宏块的运动矢量，并求出相邻宏块运动矢量的均值，然后根据多方向匹配准则依次求出参考帧的运动矢量，最后选取最佳的运动矢量完成误码掩盖。相邻宏块的均值运动矢量记为（MV,MV），搜索区域采用矩形窗口，设运动矢量为（MV+δx，MV+δy）, 搜索范围为Γ=（-Δx≤δx≤Δx,-Δy≤δy≤Δy）。具体算法流程如图1所示。本文算法中使用错误宏块的外边界像素和补偿宏块的内边界像素进行多方向边界匹配,多方向边界匹配的量度准则如式（4）～式（7）所示。

图1 算法流程

其中 ，N=16，错 宏 块 的 初 始 坐 标 为（x0,y0），YMV+δ（x,y）表 示在参考帧中经过运动矢量搜索后的补偿块亮度值，Y（x,y）表示错误图像的亮度值，搜索的目标是找到使得Cost最小的（δ,δ）,如式（8）所示,从而得到最佳运动矢量（MVxy+δx，MV+δy）:

3 实验结果及分析

仿真实验以H.264的参考软件JM11.0作为实验平台, 选 择 CIF 格 式 的 Foreman、football、mobile、flower和mother&daughter共5个代表性序列作为测试序列,长度为100帧。每30帧编码一个I帧，编码的参考帧数目为5，量化参数QP=28。将本章方法与多参考帧误码掩盖及多方向边界匹配误码掩盖进行比较，采用亮度峰值信噪比（PSNR）作为恢复图像质量的评价标准，如表1所示。

表1 PSNR比较（dB）

图4 football第40帧误码掩盖结果比较

从表1可以看出，本文提出的基于多参考帧的多方向误码掩盖整体效果优于基于参考帧的误码掩盖和多方向边界匹配误码掩盖。与上述两种算法相比，本文算法恢复的亮度PSNR提高了0.5 dB以上。

为了验证本文算法的主观效果，实验对Foreman第20帧、flower第30帧及 football第40帧出错时进行测试，图2～图 4为测试结果。

从图2～图4可以看出，基于多参考帧的误码掩盖方法有明显的块效应，多方向边界匹配误码掩盖的方法效果优于多参考帧的误码掩盖，而本文提出的基于多参考帧的多方向误码掩盖方法补偿结果明显优于上述两种方法。

图2 Foreman第20帧误码掩盖结果比较

图3 flower第30帧误码掩盖结果比较

本文提出了一种基于多参考帧的多方向边界匹配时域误码掩盖算法，该方法利用多参考帧搜索提高了运动矢量的精确度，利用多方向边界匹配算法解决了由于相邻宏块之间在水平和垂直边缘可能存在各种边缘方向使得传统边界匹配算法不能准确地恢复运动矢量的问题。但本文算法由于是在多参考帧下进行的补偿，结果虽然理想，但在保证补偿结果的同时如何加快补偿的速度仍是一个难点，也是下一步需要研究的内容。

[1]员晓毅,廖明.一种基于边缘检测的空域误码掩盖算法[J].微计算机信息,2010,26（1-1）:170-172.

[2]朱琳琳.基于细节优化的空域误码掩盖算法研究[D].长春：吉林大学,2011.

[3]Kuo Tienying,Li Shenghui.Hybrid temporal-spatial error concealment technique for video communications[C].IEEE International Conference on Multimedia and Expo,Taipei,2004:1743-1745.

[4]丁学文.视频通信错误检测及隐藏技术研究[D].天津:天津大学,2007.

[5]黄治华,易本顺.一种适用于H.264的时域差错掩盖算法[J].计算机应用，2009,29（5）:1355-1358.

[6]熊曼子,张国平,熊飞.一种基于多参考帧的时域误码掩盖算法[J].电子科技,2007（11）:15-17.

[7]赵仕俊,孙林港.基于纹理特征的图像自动配准方法研究[J].微型机与应用,2011，30（9）:36-38.

[8]陈天,赵建森.基于多方向边界匹配的视频误码掩盖算法[J].电子科技,2006（10）:41-45.

[9]吴毅良.一种基于SIFT和SUSAN特征的图像匹配方法[J].微型机与应用,2011,30（12）:33-35.

An error concealment algorithm basedon multi-frame and multi-directional boundary side matching

Wan Shuilong1,2,Luo Guocheng1,Yu Biao3

（1.NO.91960 Force of PLA,Shantou 515074,China;2.Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China；3.NO.92493 Force of PLA,Huludao 125000,China）

This paper proposes an error concealment algorithm based on multi-frame and multi-directional boundary side maching.Firstly,it gets error block adjacent the macroblock motion vector and gets the average of neighboring macroblock motion vector;Then,according to many matching criteria,it gets reference frame of the direction vector in turn.Finally,it selects the best motion vector complete error.The experimental results are compared with those of multiple reference frame error masking algorithm and direction error masking algorithm boundary matching.The result shows that the effects of the proposed algorithm are better than those.

error concealment;multi-frame;multi-directional boundary side matching;motion vector

TN911.73

A

1674-7720（2014）02-0035-03

2013-07-19）

万水龙，男，1986年生，硕士，主要研究方向：图像处理与模式识别。

罗国成，男，1985年生，硕士,主要研究方向：图像处理及应用。

余彪，男，1985年生，硕士研究生，主要研究方向：网络信息安全。