胡春筠,胡斌杰

(1.华南理工大学电子与信息学院,广东广州 510640;2.华南农业大学电子工程学院,广东广州 510642)



基于伪随机码置乱的分布式视频残差编码端码率控制算法

胡春筠1,2,胡斌杰1

(1.华南理工大学电子与信息学院,广东广州 510640;2.华南农业大学电子工程学院,广东广州 510642)

提出一种基于伪随机码置乱的分布式视频残差编码端码率控制算法,利用伪随机码对残差视频帧的像素进行置乱处理,将信源图像与其边信息图像之间的差别均匀化,实现帧级别上的码率估计,即每一帧用同一码率发送.如果收端译码失败,利用提出的一种量化序号估计算法能显著提高译码成功率,解决码率低估问题.同时发端视频残差帧的特性能近似表示收发两端信号之间的相关性,因此,发端无需产生一个预测的边信息.仿真结果表明,该算法发端复杂度低、译码成功率高、系统延迟小、率失真性能良好.

分布式视频残差编码;编码端码率控制;伪随机码置乱

1　引言

分布式视频编码(Distributed Video Coding,DVC)是一种基于Slepian-Wolf和Wyner-Ziv理论的全新视频编码框架,每个视频帧在发端独立编码,在收端联合译码.它不仅降低了发端的复杂度,还有较强的容错能力.DVC主要分为像素域编码[1]和变换域编码[2]两种,由于变换域编码中的DCT变换利用了空域相关性进行压缩,因此它的率失真性能(Rate Distortion,RD)要优于像素域方案,同时也比像素域方案复杂.随后又出现了像素域视频残差(Residual Video)编码方案[3],它能达到变换域的率失真性能,同时又降低了复杂度.以上三种方案是由斯坦福大学提出的.除此之外,PRISM[4]系统和DISCOVER[5]也是两种典型的DVC框架.

DVC的研究热点很多,其中码率控制就是热点之一.分布式编码根据信源(也称为WZ帧,记为X)和边信息(Side Information,记为Y)间的统计相关性来确定为X分配多大的码率.现有的码率控制方式有两种:一种是编码端码率控制(Encoder Rate Control,ERC),即在编码端估计X和Y间的统计相关性,确定发送X所需的码率[6～10]；另一种是译码端码率控制(Decoder Rate Control,DRC),通过反馈信道多次执行“请求并解码”过程从而决定所需的码率，也可以译码端先估计一个发送码率,然后编码端按照这个码率发送数据,以减少请求的次数[11].这两种方法各有优缺点.ERC的优点是不依赖于反馈信道,收端只需一次解码,系统延迟小,实用性强;缺点是估计的码率比较粗糙(存在低估和过估的情况),编码端复杂度增加.DRC的优点是能以最优(最小)码率解码;缺点是必须依赖于反馈信道,收端需要多次解码,系统延迟大.从理论上讲,ERC的率失真性能只能尽量接近而无法超过DRC.但是由于ERC不依赖于反馈信道,能降低系统延时,实时性和实用性强,因此研究它是非常有意义的.

要实现ERC需要解决二方面的问题:一是编码端边信息的预测,二是发送码率方案的制定.文献[6]比较了两种发端边信息产生方案:平均内插(Average Interpolation,AI)和快速运动补偿(Fast Motion Compensation Interpolation,FMCI),证明了FMCI的效果要比AI好;文献[7]对AI和FMCI混合生成边信息方案(AI+FMCI)、AI和快速块运动估计(Fast Block Motion Estimation,FBME)混合生成边信息方案(AI+FBME)进行了详细的比较,证明了后者的效果要好于前者;文献[8]直接将WZ帧的前一Key帧作为边信息,这种效果不太理想但最简单.上述是利用时域相关性产生边信息,还有利用空域相关性来产生边信息的：如文献[9]对视频中每一帧都分成一个WZ子帧和一个KEY子帧,通过KEY子帧得到WZ子帧的边信息;文献[10]提出了一种混合利用时域和空域相关性得到边信息的方法.无论哪种方法,都会增加编码端运算、存储的复杂度.码率方案通常有两种.一种是给出计算公式,但由于发端估计的边信息较粗糙,因此得出的码率不是最优.另一种是通过大量实验得到一个编码本(Codebook)或者查阅本(Look Up Table),由于实验视频的局限性,估计的码率对其它视频也不是最优.码率估计通常存在过估和低估的情况,其中低估会导致译码不成功，而过估会浪费多余的码率,两者都影响系统的RD性能.另外,现有ERC方案都是在位平面级别上进行码率估计,而一帧数据通常对应有多个位平面且每个位平面需要发送的码率很不同,这样导致发送任何一帧都需要进行多次码率估计,增加了编码端的复杂性和系统延时.

本文在研究分布式视频残差编码方案的基础上,提出一种基于伪随机码置乱的分布式视频残差编码端码率控制算法(Residual ERC based on Pseudo-Random Code Scrambling,RERC-PRCS).它与已有ERC方案的区别有以下三点:

一是实现了在帧级别而不是在位平面级别上的码率估计.通过利用伪随机码对残差帧的像素进行置乱,将信源图像与其边信息图像之间的差别均匀化,这样发端能在帧级别上进行码率估计,无需在位平面上进行多次码率估计.

二是发端无需产生一个预测的边信息,发端视频残差帧的特性能近似表示收发两端信号之间的相关性.

以上两点极大地减少了编码端的复杂度和系统延时.

三是码率低估时,利用伪随机码反置乱和量化序号估计算法(Quantization Index Estimation Algorithm,QIEA)能显著提高解码成功率,解决码率低估的问题.

2　分布式视频残差编码端码率控制算法

(1)

最后得到

(2)

2.1伪随机码置乱模块

通常将边信息Y看成是X通过一个虚拟信道的输出结果.两者的关系为N=Y-X,N是虚拟信道中的噪声,表示X与Y之间的差错.在DVC中,常用Laplace模型来模拟X和Y之间的相关性.但这种模型存在较大偏差,后来出现了基于多种概率混合分布的建模方法,如文献[14]根据信号信息熵与拉普拉斯、柯西和高斯三种概率分布下信息熵的相似度,来选择准确的概率分布.当X、Y二进制化后,两者之间的相关性可直接用虚拟信道中的错误转移概率ρ来描述.从错误控制码的角度来看,解码X所需的校验码个数取决于ρ.差错越少,越小,需要传送的码率越小;反之差错越多,越大,所需码率就越大.仔细分析一帧信源图像及其对应的边信息图像,会发现两图像之间静止的背景相同,运动的前景不同,对应ρ有大有小.如果用伪随机码对像素进行置乱,置乱后图像的背景和前景打乱后排一起,这时两图之间的ρ会趋于均匀,那么码率也会趋于一致,按照这个码率发送整帧数据,就实现了帧级别上的码率估计.当出现码率低估时,通过对译码结果进行反置乱,未译码成功的量化序号分散在解码成功的量化序号之中,利用2.3节提出的QIEA能提高解码成功率.

2.2码率估计模块

本方案借鉴文献[15]中的码率估计公式,其中ρ是收发两端信号经格雷码编码后的错误转移概率.

H(ρ)=-ρlog2(ρ)-(1-ρ)log2(1-ρ)

(3)

因此,发端可用Rq的概率分布代替Nq的概率分布,无需产生额外的边信息.

(4)

最终错误转移概率ρ的计算公式为:

(5)

将ρ代入式(3)得发送码率v,整帧数据的所有编码分组都按这个估计的码率发送.

2.3量化序号估计模块

3　实验结果及分析

实验采用QCIF格式且帧率为15帧/秒的Hall Monitor,Coastguard,Foreman,Soccer四个运动性逐渐增强的测试视频,其中Hall Monitor有165帧,Foreman有149帧,Coastguard有149帧,Soccer有149帧.GOP为2,其中奇数帧是KEY帧,采用H.264/AVC Intra编码,主要参数是QP;偶数帧是WZ帧,主要参数是量化级数2n.根据恢复的KEY帧和WZ帧质量近似相等的原则设计了(QP,n)的6种组合,分别是(20,3)、(24,3)、(27,2)、(34,2)、(37,2)、(41,2),四个视频都在这6种参数组合下进行测试.LDPCA编码分组长度为6336.发端按照式(3)估计码率v,收端按照式(1)重建残差帧,式(2)重建WZ帧.整个系统采用rand函数产生伪随机置乱码.

3.1伪随机码置乱效果

如2.1节所述,伪随机码置乱的目的是将信源图像与边信息图像之间的错误均匀化.图3给出了当量化级分别为2n(n=2,3)时,源图像和边信息图像之间差错率ρ在置乱前后的对比图.

可以看出:置乱前ρ有大有小,置乱后ρ近似均匀分布;并且n越小,置乱后的ρ越均匀,效果越明显.ρ近似均匀分布,表示整帧数据可以近似用单一码率发送,为后面的码率估计奠定基础.已有的ERC方案中,一帧视频数据常常被分成多个位平面,每个位平面都要进行码率估计,本方案在帧级别上对一帧数据只进行一次码率估计,减少了估计的次数和系统延迟.

3.2发端码率估计效果

图4给出了视频序列Hall和Soccer中WZ帧的估计码率v与最优码率v′的比较结果.最优码率是DRC方案中的码率,由于在DRC方案中不同位平面有不同的解码码率,取所有解码码率的平均值作为该帧的最优码率.v和v′相比通常有过估、低估和相等三种情况.如果估计效果好,则图上的点大部分应落在v=v′直线上;如果估计的效果不好,则落在直线之外的点多.从图4可以看出:视频运动变化越小,n越小,估计就越准确,反之估计就越不准确.另外从图中可以看出,当点落在直线v=v′上方,代表着码率低估的情况,要用2.3提出的QIEA来解决这个问题.

3.3量化序号估计模块的效果

图5给出了Soccer按照码率v首次解码的成功率与采用QIEA模块后的解码成功率.解码成功率是指测试视频中所有解码成功的分组数占总解码分组数的比例,其中横坐标表示6种组合情况.

3.4RERC-PRCS方案的RD性能分析

图6给出四个视频序列只取灰度分量按照RERC-PRCS、变换域ERC方案(Transform-Domain ERC,TDERC)[6]、DISCOVER[5]方案、H.264/AVC Intra方案得到的RD特性曲线.DISCOVER方案是目前最好的DRC方案;H.264/AVC Intra是常用的帧内编码方案.

(1)RERC-PRCS和TDERC方案比:从图中可以看出,在运动变化不大的视频序列如Hall、Coastguard中RERC-PRCS效果要优于TDERC方案.特别是在Hall视频中,高码率时比TDERC方案高1dB左右.在运动变化较大的视频序列Foreman中,两者的性能相当,在运动剧烈的视频序列Soccer中,性能比TDERC方案略低.但TDERC方案在编码端要进行DCT变化和边信息预测,并在位平面上进行码率估计,通常一帧对应有十几个位平面,发送一帧数据要估计十几个码率;而RERC-PRCS方案在发端不需要进行DTC变换,也不需要估计边信息,并且在帧级别上进行码率估计,一帧只要估计一个码率.RERC-PRCS在发端只增加了一个伪随机序列产生和排序的模块,这对于发端的复杂度而言可以忽略不计.因此,两者相比RERC-PRCS能获得和TDERC相当甚至是更好的RD性能,但编码端结构更简单,系统延时更小.

(2)RERC-PRCS和DISCOVER比:从图6中可以看出,在Hall序列中RERC-PRCS与DISCOVER性能相当;在Coastguard序列中,低码率时RERC-PRCS的特性曲线与DISCOVER相当,高码率时大约有0.3dB的差距;其它两个视频序列中,RERC-PRCS的特性曲线不如DISCOVER,并且随着码率的增加,两者之间的差距也逐渐增大.原因是DISCOVER是目前最好的DRC方案,它以最优(最小)码率解码.而RERC-PRCS是在发端估计这个码率,根据3.2节码率估计的结果可知:视频运动变化越小,n越小,估计越准确,RD性能就越好;反之估计越不准,RD性能就越差.要提高估计的效果,发端必须要有准确的边信息和相关性模型,但是这往往也是最难的部分.与DISCOVER方案相比,本方案不需要反馈信道,在收发两端的结构要比DISCOVER简单很多,系统延迟小,具有实用性.

(3)RERC-PRCS和H.264/AVC Intra比:H.264/AVC Intra是目前常用的帧内编码方案,它在编码端要进行帧内预测,其编码复杂度和编码时间不适合用在编码端资源受限的场合.RERC-PRCS在Hall视频中平均高出H.264/AVC Intra 2.5dB左右、Coastguard视频中平均高出H.264/AVC Intra 0.8dB左右.在Foreman视频中,低码率和H.264/AVC Intra相当,高码率时效果比H.264/AVC Intra差.Soccer视频中所有方案的效果都比H.264/AVC Intra差.

4　总结

通过深入研究分布式视频残差编码原理,给出编码端码率控制方案(RERC-PRCS).在发端利用伪随机码对视频残差帧的像素进行置乱处理,作用有两个:一是将信源与其边信息之间的差别均匀化,实现在帧级别而不是在位平面级别上的码率估计,减少了发端码率估计的次数和系统延迟;二是当出现码率低估时,通过对译码结果进行反置乱,未译码成功的量化序号将会分散在解码成功的量化序号之中,利用提出的QIEA能显著提高解码成功率.本方案中,发端不用额外产生一个边信息的预测值,发端视频残差帧的特性能近似表示收发两端信号之间的相关性,因此发端的复杂度并没有提高.发端只增加了一个伪随机序列产生和排序的模块,它对于发端的复杂度而言可以忽略不计.通过将RERC-PRCS与其它方案的RD性能相比较可知:在运动变化小的视频序列中,RERC-PRCS能很好的工作,性能高于TDERC方案,甚至和DISCOVER方案相当;在运动变化大的视频序列中,性能和TDERC方案相当.无论和什么方案比,RERC-PRCS方案在发端结构最简单,系统延迟最小,不需要反馈信道,具有很好的实用性.

[1]Aaron A,Zhang R,Girod B.Wyner-Ziv coding of motion video[A].Proceedings of Asilomar Conference on Signals,Systems and Computers[C].Pacific Grove,CA,USA:IEEE,2002.240-244.

[2]Aaron A,Rane S D,Setton E,et al.Transform-domain Wyner-Ziv codec for video[A].Proceedings of Panchanathan S SPIE Visual Communications and Image Processing[C].San Jose,CA,USA:SPIE,2004.520-528.

[3]Aaron A,Varodayan D,Girod B.Wyner-Ziv residual coding of video[A].PCS Proceedings of Picture Coding Symposium[C].Beijing,China:PCS,2006.1-5.

[4]Puri R,Ramchandran K.PRISM:A new robust video coding architecture based on distributed compression principles[A].Dellurud G.Proceedings of the Annual Allerton Conference on Communication Control and Computing[C].Allerton,IL,USA:IEEE,2002.586-595.

[5]Artigas X,Ascenso J,Dalai M,et al.The DISCOVER codec:Architecture,techniques and evaluation[A].Soares L D.Picture Coding Symposium[C].Lisbon,Portugal:EURASIP,2007.513-516.

[6]Brites C,Pereira F.Encoder rate control for transform domain Wyner-Ziv video coding[A].Proceedings of the IEEE International Conference on Image Processing (ICIP)[C].San Antonio,TX,USA:IEEE,2007.5-8.

[7]夏北吨,杨春玲.无反馈分布式视频编码中码率分配算法研究[J].电子学报,2014,42(10):1938-1943.

Xia Bei-dun,Yang Chun-ling.Rate distribution algorithm for feedback-free distributed video coding[J].Acta Electronica Sinica,2014,42(10):1938-1943.(in Chinese)

[8]Halloush R,Radha H.Practical distributed video coding based on source rate estimation[A].Proceedings of the 44th Annual Conference on Information Sciences and Systems (CISS)[C].Princeton,NJ,USA:IEEE,2010.1-6.

[9]Haqqani M,et al.Encoder rate control for transform domain Wyner-Ziv video coding[A].Proceedings of International Conference on Electronics,Computer and Computation[C].Ankara:IEEE,2013.386-390.

[10]Chen Fu,Joohee Kim.Encoder rate control for block-based distributed video coding[A].Proceedings of IEEE International Workshop on Multimedia Signal Processing[C].Saint Malo:IEEE,2010.333-338.

[11]封颖,李云松,等.分布式视频解码器端的码率估计算法[J].电子学报,2009,37(6):1232-1236.

Feng Ying,Li Yun-song,et al.Rate estimation algorithm for distributed video coding on decoder[J].Acta Electronica Sinica,2009,37(6):1232-1236.(in Chinese)

[12]Ascenso J,Brites C,Pereira F.Improving frame interpolation with spatial motion smoothing for pixel domain distributed video coding[A].Proceedings of EURASIP Conference on Speech and Image Processing,Multimedia Communications and Services[C].Smolenice,Slovak Republic:EURASIP,2005.1-6.

[13]Kubasov D,Nayak J,Guillemot C.Optimal reconstruction in Wyner-Ziv video coding with multiple side information[A].Petrakis E.Proceedings of IEEE International Workshop on Multimedia Signal Processing[C].Chania,Crete,Greece:IEEE,2007.183-186.

[14]唐振华,梁祥严,等.分布式视频编码中基于多概率混合分布的相关噪声建模方法[J].电子学报,2015,43(2):365-370.

Tang Zhen-hua,Liang Xiang-yan,et al.Correlation noise modeling algorithm based on multiple probability distributions for distributed video coding[J].Acta Electronica Sinica,2015,43(2):365-370.(in Chinese)

[15]Brites C,Pereira F.Probability updating for decoder and encoder rate control turbo based Wyner-Ziv video coding[A].Proceedings of 17th IEEE International Conference on Image Processing (ICIP)[C].Hong Kong:IEEE,2010.3737-3740.

胡春筠女,1977年2月生于江西奉新,博士研究生.主要研究方向为:分布式信源编码及其应用,无线传感器路由算法.

E-mail:hcy2182@scau.edu.cn

胡斌杰男,1960年生,陕西汉中市人,教授、博士生导师.研究方向为:无线传感网络与认知无线电技术、射频识别(RFID)与物联网技术.

E-mail:eebjiehu@scut.edu.cn

Encoder Rate Control Algorithm Based on Scrambling with Pseudo-random Code for Distributed Residual Coding of Video

HU Chun-yun1,2,HU Bin-jie1

(1.SchoolofElectronicandInformationEngineering,SouthChinaUniversityofTechnology,Guangzhou,Guangdong510640,China;2.CollegeofElectronicandEngineering,SouthChinaAgriculturalUniversity,Guangzhou,Guangdong510642,China)

An encoder rate control algorithm is proposed for the distributed residual video coding,which is based on scrambling the pixels of a residual frame with pseudo-random code in order to realize rate estimation at the fame level,i.e.,estimating one rate for each residual frame.A quantization index estimation algorithm is also proposed to increase the ratio of successful decoding and solve the problem of rate underestimation.In the mean time,the statistical characteristics of the residual signal at the encoder can approximately represent the correlation between the signals at both the encoder and the decoder.No predicted side information needs to be generated at the encoder.The simulation results show that the proposed algorithm has low encoder complexity,high successful decoding ratio,less latency,and good RD performance.

distributed residual coding of video;encoder rate control;scrambling with pseudo-random code

2015-09-01;修回日期:2015-12-16;责任编辑:孙瑶

工信部国家物联网专项(工信部科函[2014]351号);国家自然科学基金与广东省联合基金重点项目(No.U1035002);国家自然科学基金(No.61302055);高等学校博士学科点专项科研基金(No.20120172120027)

TN911.23

A

0372-2112 (2016)06-1490-06