张啸云 王中元 黄震坤

(武汉大学计算机学院国家多媒体软件工程研究中心 湖北 武汉 430072)

基于交替背景模型的HEVC编码研究

张啸云 王中元 黄震坤

(武汉大学计算机学院国家多媒体软件工程研究中心 湖北 武汉 430072)

在电影、电视剧中，由于拍摄手法的模式化导致了视频中存在大量的背景交替现象。这种背景交替过程中存在着类似监控视频的背景冗余。然而，目前并没有一个方法可以针对性的提高这一类视频的编码效率。针对该现象，提出了以交替背景模型为基础的HEVC编码方式。在编码过程中，自适应交替更新双重背景，并利用交替背景对CU进行分类后减少不必要的模式选择。实验结果表明，基于交替背景模型的HEVC编码方法成功提高了含有背景交替现象的影视作品的编码效率，并不影响不含背景交替现象的视频编码效率。

HEVC 视频编码 背景提取 模式选择 背景交替

0 引 言

对话场景在电影、电视剧中占据着非常大的比例。而表现对话的方式往往是搭建两到多个分镜分别拍摄，或者单独拍摄后进行裁剪，很少会对镜头本身进行移动。这样的拍摄方式使得视频中的背景发生了交替，如图1所示。

图1 背景交替

图1由左中右三幅小图组成，左图是视频到达15分22秒时候的图像，到达15分26秒时图像切换到了中图，整个背景发生了变化，直到15分33秒的时候，视频的画面又切到了右图，并且很显然的，图像中的背景回到了左图中的背景，背景完成了一次交替。

在这样的环境下，视频中存在着背景，只是由于交替变换使得无法被直接探测到。那么由于背景存在，视频中自然也存在背景冗余带来的数据冗余。

为了确定这种背景交替在全视频中所占比例，本文选择了三部影视作品来研究，分别是《爱情公寓》《芈月传》和《琅琊榜》。背景交替在各个影视作品中所占比例如表1所示。

表1 各影视作品中背景交替所占比例

由表1可见，这类影视作品中，由于表现对话的分镜的存在而产生的背景交替过程在视频总长度中所占平均比例达到了57.9%。倘若可以在不影响正常编码的情况下，着重利用这一部分的背景冗余来提升这一部分的编码效率，则对全片的编码效率也会有很大的提升。

以往用来减少背景冗余的相关研究都是面向监控视频的，因为监控视频的特点就是背景不变且清晰可见。在现有的研究中，提升压缩效率的方法主要分为以下几类。首先是基于模型的编码方法[1]，这类方法对感兴趣的部位进行建模后编码模型参数和其余部分。在复杂的场景中很难对模型进行精确的参数化，于是有了对象定位方法[2]，可以从背景环境中分离出前景并分别编码[3]。再就是基于背景模型的方法，通过建造高质量背景来提升监控视频的预测效率[4,5]。Paul等在文献[6]中选择建造高质量关键帧，放入参考列表中进行长期参考以此提升预测效率从而提高编码效率。而基于编码的快速算法也有很多，文献[7]中提出了多帧快速选择的方式，利用相邻块的信息来减少不必要的参考帧搜索。文献[8]通过前CU和子CU的SAD(绝对误差和)来对当前CU进行运动估计，以此加速帧间预测。另外还有通过提前终止机制来加速模式选择的方式[9]。文献[10]通过自适应调整率失真代价的阈值将可以确定为skip模式的CU终止其余的模式选择过程。Ma等人在文献[11]中将CU分为FCU(前景CU)、BCU(背景CU)、MCU(混合CU)，通过省略FCU及BCU的CU划分，缩小FCU、BCU的模式选择范围来大量减少编码时间。文献[12]通过显著度对图像进行划分，并按照分类仅对部分区域进行运动估计，以此来减少编码时间。也有将HEVC针对GPU(图形处理器)进行优化，以从硬件层面对编码进行加速[13]。

上述基于监控视频的研究都建立在固定的背景下，着重关注编码过程中快速预测及选择的研究并未考虑视频中背景存在所带来的特殊性，然而本文所讨论的视频背景存在但是在切换。为解决背景交替切换的问题，本文建立了交替背景模型，通过设立交替背景并随着编码过程实时交替更新。之后通过建立出的交替背景对CU进行分类并缩减不必要的模式选择。

1 交替背景模型

在监控视频中，由于背景清晰易提取，设立背景帧并在之后的编码过程中用于参考以提高预测效率从而提高编码效率是一个高效的方法。在背景交替的视频中，同监控视频一样存在背景，然而却不只一个且交替更换。因此需要设立多个背景帧，并且同时只有一个背景帧处于激活状态。对背景帧信息的更改只会作用于激活状态的背景帧，不会影响非激活状态的背景帧。令处于激活状态的背景帧为BGcur，对应的处于非激活状态的背景帧则为BGbuf。

交替背景模型是以帧为单位与编码过程同步进行的，模型大致的流程如图2所示。

图2 基于交替背景模型的HEVC编码流程图

在开始编码前先初始化背景帧。在开始编码一帧图像之后，首先判断当前帧的背景信息，之后根据判断的结果进行CU的分类与快速选择。在结束了这一帧的编码之后，根据之前判断的当前帧的背景信息对背景帧进行更新。之后开始新一帧的图像编码，以此循环直到结束。

上述过程中，“判断当前帧的背景信息”过程与“更新背景帧信息”过程为本文的核心，结合也较为紧密，在这里单独说明。

图3中，上方的虚线框代表“判断当前帧的背景信息”过程中需要判断的内容；下方的虚线框代表“更新背景帧信息”过程中于上方的判断相对应的更新过程。具体内容将在下面小节中详细说明。

图3 “判断当前帧的背景信息”过程与“更新背景帧信息”过程的联系

1.1 初始化背景帧

由于交替背景环境下，事实存在的背景数量是大于一的，而在例如电视剧拍摄对话场景设置分镜的时候是以两人对话居多，有两个镜头交替展现。因此这里设立背景帧数量为两个。分别为BG1和BG2。

本文设立了三个标志位f0：背景存在标志位，置为1则表示当前帧存在背景，置为0则表示当前帧无背景；f1：背景帧BG1活动标志位，置为1则表示BG1处于激活状态，置为0则表示BG1处于非激活状态；f2：背景帧BG2活动标志位，置为1则表示BG2处于激活状态，置为0则表示BG2处于非激活状态。其中f1与f2两个标志位中永远有且只有一个为1，另一个为0。

由于解码过程是接触不到原始图像的，背景帧只能通过重建图像获取数据，背景帧初始化时还没有进行编码，因此这里将背景帧初始化为0。f0默认为1，f1置为0，f2置为1。之后就可以进入到一帧的编码过程中了。

1.2 判断当前帧的背景信息

那么在背景交替过程中，至少对于其中一个背景帧，当前帧像素值与背景帧像素值相比变动较大的点数量应该较少；而在非背景交替过程中，像素值变动较大的点应该很多。于是按照如下方法判断。

遍历当前帧的每个像素值:

(1)

其中N是不属于当前背景的像素个数，It(x,y)是坐标(x,y)的像素值，Bt(x,y)是坐标(x,y)的当前背景值。γlim是判断像素不属于背景的阈值。

同时计算不属于活动背景的像素个数Ncur和不属于非活动背景的像素个数Nbuf。之后按照下列过程更新背景信息。

IfNcur>λlim×xmax×ymaxthen

BGcur的标志位置为0

小农水项目工程类型、数量多，分布面广，工程建设涉及占地、配套资金落实等一系列问题，组织协调工作任务重、难度大，耗时耗力，而建设工期多为3个月左右，由于赶工期，有些工序难以按常规操作。如混凝土工程养护时间低于标准龄期，强度达不到设计要求；浆砌石结构勾缝不规范，砌筑质量粗糙；排水沟断面不规则，土体夯实度不够，有些沟段路坝、树木尚未彻底清除。

BGbuf的标志位置为1

IfNbuf>λlim×xmax×ymaxthen

f0置为0

结束遍历

End if

End if

其中λlim为判断当前帧已经变换背景的阈值。在确定Ncur>λlim×xmax×ymax之后，可以认为当前帧已经不属于当前激活的背景BGcur了。可以认为发生了背景交替现象，则将两个背景帧的激活状态互换。而在确定Nbuf>λlim×xmax×ymax之后，可以认为当前帧也不属于非激活的背景BGbuf，则当前帧无法侦测到背景存在，因而置f0为0。

为了确定γlim和λlim的值本文选择了三类背景变换点，分别选取不同的γlim，以此对比所对应的变动较大的像素点占全像素中的比例。并依次计算了每一类背景变换点下不同γlim下变动的像素占全像素比例的均值，如表2所示。

表2 各γlim下变动较大的像素占全像素的平均比例

其中，背景交替判断的准确率直接影响结果，必须优先重视，因而λlim应该低于背景交替点下的变动像素所占比；镜头的抖动属于背景不变的范畴，误判将打乱背景交替的格局，λlim应该高于镜头抖动点下的变动像素所占比；镜头移动属于非背景交替环境，λlim应该尽量低于镜头移动点下的变动像素所占比，而由于场景在变动，变动造成的影响会累加，此处一两个误判不会有很大的影响，λlim在镜头移动点下的变动像素所占比值附近也是可以接受的值。

这里考虑到这种判断方法的通用性，应该选择三种背景变换点所对应数值相差最大的，可以适用于更多的视频。因此γlim选为5，对应的λlim应该在43.6%与5.2%之前，折中选择25%方便计算。

在判断了当前帧是否存在背景，存在哪个背景之后，就可以根据这个信息对CU进行分类了。

1.3CU的分类与快速选择

本文将CU定义为4种状态，FCU(前景编码单元)、B1CU(第一背景编码单元)、B2CU(第二背景编码单元)、OCU(正常编码单元)。

对每一个CU进行遍历，并计算Ncu为当前CU中不属于激活背景BGcur的像素值。Ncu与2.1节中N的计算方式一样，区别在于N的取值范围是0到对应色度块或灰度块的大小，而Ncu的取值范围是0到当前CU大小，其中CU的大小是从64×64到8×8以四叉树结构依次变小[9]。

(2)

其中M是CU的尺寸大小，ω为判断前景像素在CU中所占比例的阈值。这里Ncu对应的判断像素不属于背景的阈值γlim取5，ω的值取1/16[11]。

只有当背景存在的时候，才能正确判断FCU、 B1CU与B2CU，否则当背景无法被侦测到时将出现大量的伪FCU，而这些FCU并不是真正的前景信息。

确定了CU种类之后，去掉不必要的预测和参考就可以达到快速选择的效果了。OCU作为普通的预测单元都是不可省去的。B1CU和B2CU属于优质背景CU，帧内预测和AMP都是不必要的，选择参考帧的时候也只用选择对应的背景帧就可以了。FCU不像监控视频中的FCU可以被当做是稳定的前景来处理，刚刚发生背景交替现象后的FCU是没有合适的帧间预测对象的，因而这里把FCU也当做OCU处理。

在对每个CU进行分类、预测、编码过后，就结束了这一帧的编码过程。可以对背景帧进行更新了。

1.4 更新背景帧信息

由于每一帧图像可能处在不同的背景中，也可能处于动态环境中，因此，此处背景帧的更新必须借助判断当前帧的背景信息时得出的结果。

If f 0 == 1 then

用当前帧更新BGcur

Else

用当前帧替换BGcur

End if

当f 0为1时，当前帧存在背景BGcur，因而直接使用当前帧的数据对BGcur进行更新即可。而当f0为0时，由于不存在背景，需要假设当前帧是背景交替后的第一帧，因而需要用当前帧替换掉处于未激活状态的背景帧。而在判断背景时已经进行过BGcur与BGbuf的对换，这里直接用当前帧替换BGcur即可。

(3)

其中tlim是判断背景基本成型的阈值，由于tlim本身是设置好的参数常量，引入这个概念可以有效减少除法的计算量，并且在背景概念相对较弱的非监控视频中减少历史背景信息所占权重。这里tlim我们设置为短时背景交替常出现的时间2s，也就是50帧。

在更新完背景帧数据之后，即可开始新一帧的编码。以此循环完成基于交替背景模型的HEVC编码。

2 实验结果及分析

本实验采用HEVC的参考编码器HM16.7进行编码。并且，由于一般用于编码研究的HEVC标准测试序列与具有背景交替现象的影视作品相差较大，本文在此选取了几段来自较有代表性的古装剧《芈月传》的视频序列作为实验对象，并进行实验结果分析。

本文从《芈月传》中选取了三段视频miyue1.yuv、miyue2.yuv、miyue3.yuv，然后从HEVC标准测试序列中选取了三段视频BasketballDrill.yuv、ChinaSpeed.yuv、BQSquare.yuv，选择encoder_lowdelay_P_main.cfg作为配置文件，选择QP为32进行编码。并将结果与同环境下原版HEVC编码结果对比，对比结果如表3所示。

表3 各视频编码对比

其中miyue1序列含有较为频繁的背景交替过程，并且前景的变化也较少，无论是码率的缩减，编码时间的缩减，以及PSNR的提升，都有着出色的表现效果；miyue2序列有着正常频率的背景交替，前景变化较多，也做到了缩减码率，缩减编码时间，提升PSNR的效果，有着不错的表现；miyue3序列中镜头出现了频繁的抖动，且幅度较大，大于了2.2节中提到的镜头抖动的幅度，因而造成了一定程度的背景的“误判”，除了编码时间有比较明显的缩减，其他数据几乎没有变化；BasketballDrill虽然是标准序列，但是这个序列的背景变化不大，成功捕获到高质量的背景帧，对缩减编码时间有一定的提升；BQSquare也是标准序列，背景和前景的变化都比较明显，可以看到编码的效果和HEVC原始编码的效果相差不大，使用交替背景模型编码成功规避了非交替背景的动态视频；ChinaSpeed作为非交替背景的动态视频也存在其特殊性，视频中前景相对固定，背景在高速变换，因此也造成了一定程度的背景的“误判”，可以看到编码时间的缩减比BQSquare要高，整体编码效果与HEVC原始编码效果相差也不大，也成功做到了规避非交替背景的动态视频。

由于上述编码过程都是在单一QP下进行的，为了验证交替背景模型对不同QP的适应性，本文选取miyue2与BQSquare两个分别属于交替背景环境与非交替背景环境的视频分别在QP为22、27、32、37下进行编码，并与HEVC原始编码效果进行对比，对比结果如表4所示。

表4 各QP下视频编码对比

从表4可见，基于交替背景模型的HEVC编码在各QP编码含有交替背景过程的视频时整体都有提升，并且随着QP的提升，效果变明显。在编码不含背景交替过程的视频时PSNR都有少量下降，但是数值很低且随着QP增加而逐步缩小；码率提升水平在1%左右，数值也很小且变动不大；编码时间随着QP的增加逐渐失去缩短的效果；但是总体上除了编码时间，编码的质量和效率与原版HEVC几乎没有变化，编码时间却有不同程度的缩短，总体上实验是成功的。

综上，本文提出的基于交替背景模型的HEVC编码可以有效提升含有交替背景视频的编码效率，提升程度与背景交替过程的表现有关，并随着QP的提高而提高；同时基于交替背景模型的HEVC编码在编码不含交替背景过程的视频时，编码效率没有变化很大，PSNR的下降在容忍范围内，使得本模型适用范围更广。

3 结 语

在影视作品中存在着大量的背景交替现象，这意味着影视作品中存在着与监控视频类似的背景冗余。针对这样的现象，本文提出了基于交替背景模型的HEVC编码方法。本文建立了双背景并自适应交替更新，CU利用交替背景帧的信息进行分类和快速选择，以求达到提高编码效率的效果。经过对不同视频不同QP下的编码实验与HEVC原始编码方法进行对比，得出结论：基于交替背景模型的HEVC编码方式可以有效提升包含背景交替过程的视频，与此同时并不会影响不含背景交替过程的视频的编码效果。然而本文的建立和更新背景帧的方式比较简单，得到的背景帧相对普通。之后的研究将尝试更优质的背景帧建立方法以追求更好的效果。

[1] Welsh W J. Model-based coding of videophone images[J]. Electronics & Communication Engineering Journal, 1991, 3(1):29-36.

[2] Martins I, Corte-Real L. A video coder using 3-D model based background for video surveillance applications[C]//Image Processing, 1998 International Conference on. IEEE, 1998:919-923.

[3] Venkatraman D, Makur A. A compressive sensing approach to object-based surveillance video coding[C]//2009 IEEE International Conference on Acoustics, Speech and Signal Processing, 2009:3513-3516.

[4] Jin X, Goto S. Encoder adaptable difference detection for low power video compression in surveillance system[J]. Signal Processing: Image Communication, 2011, 26(3):130-142.

[5] Zhang X, Huang T, Tian Y, et al. Background-Modeling-Based Adaptive Prediction for Surveillance Video Coding[J]. IEEE Transactions on Image Processing, 2014, 23(2):769-784.

[6] Paul M, Lin W, Lau C T, et al. Video coding using the most common frame in scene[C]//Acoustics Speech and Signal Processing, 2010 IEEE International Conference on, 2010:734-737.

[7]ShenL,LiuZ,AnP,etal.Low-ComplexityModeDecisionforMVC[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2011, 21(6):837-843.

[8]XiongJ,LiH,MengF,etal.FastHEVCInterCUDecisionBasedonLatentSADEstimation[J].IEEETransactionsonMultimedia, 2015, 17(12):2147-2159.

[9]YuQ,ZhangX,WangS,etal.EarlyterminationofcodingunitsplittingforHEVC[C]//2012Asia-PacificSignal&InformationProcessingAssociationAnnualSummitandConference(APSIPAASC).IEEE, 2012:1-4.

[10]LeeH,ShimHJ,ParkY,etal.EarlySkipModeDecisionforHEVCEncoderwithEmphasisonCodingQuality[J].IEEETransactionsonBroadcasting, 2015, 61(3):388-397.

[11]MaL,QiH,ZhuS,etal.AfastbackgroundmodelbasedsurveillancevideocodinginHEVC[C]//2014IEEEVisualCommunicationsandImageProcessingConference.IEEE, 2014:237-240.

[12]PodderPK,PaulM,MurshedM.FastModeDecisionintheHEVCVideoCodingStandardbyExploitingRegionwithDominatedMotionandSaliencyFeatures[J].PlosOne, 2016, 11(3):e0150673.

[13]LeeD,SimD,ChoK,etal.FastmotionestimationforHEVCongraphicsprocessingunit(GPU)[J].JournalofReal-TimeImageProcessing, 2015:1-14.

[14]WallendaelGV,LeuvenSV,CockJD,etal.ImprovedintramodesignalingforHEVC[C]//2011IEEEInternationalConferenceonMultimediaandExpo.IEEE, 2011:1-6.

[15]SullivanGJ,OhmJ,HanWJ,etal.OverviewoftheHighEfficiencyVideoCoding(HEVC)Standard[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2012, 22(12):1649-1668.

[16] 张贤国. 基于背景模型的监控视频编码研究[D]. 北京：北京大学, 2013.

[17] 徐辉. 电影镜头的内蕴——吉尔·德勒兹电影分镜思想研究[J]. 郑州大学学报(哲学社会科学版), 2011(1):85-90.

[18] 张俊，项欣光．基于局部边界特性的HEVC帧内快速预测算法[J]．计算机应用与软件, 2015, 32(12):101-104.

[19] 张和仙. 下一代视频编码标准HEVC帧间预测优化算法研究[D]. 西安：西安电子科技大学, 2013.

RESEARCH ON HEVC CODING BASED ON ALTERNATING BACKGROUND MODEL

Zhang Xiaoyun Wang Zhongyuan Huang Zhenkun

(NationalEngineeringResearchCenterforMultimediaSoftware,ComputerSchool,WuhanUniversity,Wuhan430072,Hubei,China)

In the film, TV series, due to the pattern of shooting techniques led to the existence of a large number of video background alternating phenomenon. This kind of background alternation process has the similar background redundancy of monitoring video, and, at present there is not a method to be able to improve the coding efficiency of this kind of video. Aiming at this phenomenon, the paper puts forward the HEVC coding method based on alternating background model. In the encoding process, adaptive alternately update the double background, and use alternate background to categorize the CU to reduce the unnecessary mode selection. The experimental results show that the HEVC coding method based on the alternating background model can improve the coding efficiency of the film and television works, which contains the background alternation, and does not affect the efficiency of the video coding without background alternation.

HEVC Video coding Background extraction Mode decision Background alternation

2016-02-24。国家自然科学

61172173);湖北省自然科学

基金项目(2015CFB406)。张啸云，硕士生，主研领域：视频编码技术。王中元，教授。黄震坤，博士生。

TP37

A

10.3969/j.issn.1000-386x.2017.03.024