罗 瑜

(陕西中医药大学基础医学院 西安 712046)

2019 年，中国电信发布的《中国电信8k 智能机顶盒白皮书20191121》明确提出对8K 视频的要求。在市场需求逐渐明确的同时，视频编解码组织也推出了对8K 分辨率的视频编解码标准[1]，如AV1、VVC 和AVS3 等。同年，5G 技术得到了大规模发展，为大量数据的实时无线传输提供了技术保障。随着“市场+技术”的驱动，视频图像的主流分辨率从4K 发展到8K。

图像分辨率的增大直接增加了DDR 的读写需求，为了不降低图像主观性能质量的同时有效降低视频带宽，基于帧存技术[2-4]的轻量级视频压缩技术被提出，包括无损压缩[5-7]和有损压缩[8-9]。相对无损压缩技术，有损压缩增加了视频残差的量化环节，即在尽量降低图像峰值信噪(Peak signal to noise ratio, PSNR)的同时，尽可能地提升压缩效率[10-11]。在该研究中，内容感知自适应量化的帧存压缩技术[12](parallel content aware adaptive equantization oriented lossy frame memory recompression for HEVC, CAQO)被提出，其对有损压缩的研究最为优秀。CAQO 首先在7 个纹理方向中自适应的找到最优预测方向，并计算得到最优预测残差(prediction residual, PR)，然后根据率失真模型计算量化参数(quantize parameter, QP)，接着利用QP对PR 进行编码前的量化操作，计算得到量化残差(quantize residual, QR)，最后根据一元指数哥伦布编码算法完成QR 的熵编码。

1 CAQO 算法分析

CAQO 算法[13-14]包含方向性预测、离散平稳高斯率失真模型和哥伦布一元编码3 个子算法模块，编码单元(coding unit, CU)为block 16×16，子模块算法细节分析如下。

1.1 方向性预测

如图1 所示，根据以下步骤，通过当前预测像素附近已重建像素计算得到PR，其中Px,y为当前像素。

图1 方向性预测坐标示意图

首先，计算区域A 内的水平垂直梯度值DIRAH和DIRAV，区域B 内的水平垂直梯度值DIRBH和DIRBV，计算如式(1)所示。

接着，将DIRAV、DIRAH、DIRBV、DIRBH代入式(2)得到DVMAX、DHMAX，并根据DVMAX和DHMAX之比得到预测方向θ。

最后，根据θ 是否为预测方向的主方向，选取或计算得到参考像素，即若θ 为主方向，则直接选取对应方向的临近像素作为参考像素；若θ 为辅方向，则计算该方向临近像素值之和的均值作为参考像素。

1.2 离散平稳高斯率失真模型

CAQO 采用离散平稳高斯[15]率失真函数[16]，通过式(3)，以QP 为媒介，在图像质量Distortion和压缩率rate 之间进行动态的平衡，如式(3)所示。

式中，离散变换块Ψ和量化噪声的功率谱密度 Δ由Mvx 和Mvy 计算得到，并由式(4)计算得到QP，此时像素的QR 为PR 右移QP 个bit。

1.3 哥伦布一元编码

表1 QUO 码表

哥伦布编码通过式(5)拆分QR 为k值、商QUO和余数REM。如表1 所示，对QUO 进行查表编码，对REM 直接传输，根据纹理相关性原则，k值为已编码的临近像素所采用的k值。

1.4 算法分析

通过分析发现CAQO 有如下待改进之处：

1)方向性预测仅采用最大梯度作为最优预测方向，会导致预测的稳定性较差，并且预测方向的数量限制不能使PR 进一步减少。

2)离散平稳高斯率失真模型中，不仅没有考虑到纹理方向对功率谱密度的影响，而且也没有考虑传递效应对QS 的影响，以至于计算得到的QP 不是最优解。

3)在QUO 码表中，QR 没有考虑符号位的相关性，只是简单地进行单独编码；不对商进行限幅处理，一定概率会产生最终编码bit 数远超过原始数据bit 数的膨胀现象；对于图像纹理较复杂的区域，利用图像方向相关性的原则去计算k值，该方法的适应性较差；对于图像纹理较平坦区域，压缩率提升空间较小。

为解决上述问题，本文提出了一种纹理感知多模式编码的帧存有损压缩算法(a texture perception multimode coding for frame memory lossy compression,TPMC)。实验结果显示，相对于CAQO 算法，本算法不但有着更高的压缩率，同时在峰值信噪比和平均编码时间两方面和CAQO 算法保持性能持平。

2 TPMC 算法

由于CAQO 算法存在一定的缺陷，因此为了在不影响图像性能质量的前提下进一步提高压缩效率，本文提出TPMC 算法。它基于 block 16×16(长和宽各有16 个像素)作为预测和量化的基本单元，以block 16×1(长有16 个像素，宽只有一个像素)作为熵编码的基本单元，首先对当前像素进行纹理感知，并采用权重插值的方法计算PR，然后根据优化的离散平稳高斯率失真公式得到新的QP 和QR，最后对QR 进行多模式自适应编码。

2.1 纹理感知预测

为了充分利用当前像素Pij周围的4 个重建像素，获得更小的PR，采用如下步骤：

1)根据不同位置的权重，采用式(6)获取4 个纹理梯度值，并计算其中梯度最小值Dminst和次小值Dminer，分别对应纹理主方向和辅方向，4 个纹理方向如图2 所示。

2)如式(7)所示，若纹理主方向和辅方向差异为90°，说明该区域纹理复杂，则采用均值策略计算参考像素值；否则采用权重插值策略计算参考像素值。式(7)中Pminst和Pminer分别为与当前紧相邻的4 个像素中，纹理主方向和辅方向对应的像素值。

图2 预测示意图

2.2 改进的率失真模型改进

首先，为了更大限度地满足自然图像的纹理特征，通过式(8)，针对梯度值和运动矢量，从仅有的水平和垂直方向的拟合扩展到4 个方向的拟合，并选取最小梯度值方向为最终梯度方向：

其次，在根据当前压缩单元计算当前帧重建图像的同时，由于传递效应的存在，重建图像作为参考帧也会影响后续其他帧的编码，即误差在帧间的传递和扩散，因此在计算高斯平稳率失真模型中的QS 时，需要考虑到运动方向(motion vector, MV)的相关性和多帧时帧间相同位置QS 的相关性，如式(9)所示。

式中，CUcur_mvn 表示当前位置对应的编码单元经过MV 的n次迭代运算后所指向的编码单元；refnum 表示解码过程中参考帧的个数。

最终，将更新的QS 和Ψ取代式(4)中的QS和Ψ，重新计算得到当前压缩单元的QP，并采用式(10)以消除符号位，从而得到QR：

2.3 多模式编码

对于纹理复杂区域，QR 差异较大导致k值相关性较差，且由于没有对k值限幅，因此哥伦布一元编码会导致压缩率较差甚至过膨胀现象；对于纹理平坦区域，QR 较小且大多为0，因此哥伦布一元编码不能进一步减少编码比特数。为了克服以上问题，多模式编码被提出。多模式编码针对不同纹理区域，采用不同的编码模式，流程图如图3 所示。

图3 多模式编码图

对于每个block 16×1 的熵编码单元，若当前的量化残差全为0，则采用游程模式进行编码，以最大程度的降低编码bit 数，否则采用自适应k的哥伦布编码和直传编码两种模式同时进行预编码，然后根据预编码bit 数的多少选择bit 数较少的编码模式作为最终的编码模式。同时消耗2 bit 把最终选择的编码模式写入到码流。对于3 种编码模式，具体说明如下：

1)游程编码采用1 个符号位表示16×1 个QR全部为0 的情况：解码端若解析到编码模式为游程编码，则恢复该编码单元的所有QR 全部为0。

2)直传编码，首先计算该编码单元所有QR 的最大比特位宽，然后把最大位宽写入码流，最后按该位宽把每个QR 写入码流。解码端首先解析最大比特位宽，然后按照该位宽解析每个QR。

3)自适应k的哥伦布编码，根据式(11)，k值由上一个QR 计算得到：

由于k值范围扩大，降低了最大商出现的可能性，因此多维码表可以变为1 维码表，且为了限制膨胀，码表中应规定商的逃逸值，1 维的商码表如表2 所示。

表2 哥伦布商码表

2.4 分析对比

相对CAQO 算法，本文算法分别从压缩率和运算量两方面进行分析。

在压缩率方面，本算法首先在预测步骤中采用了纹理感知的特性，并利用周围重建像素和权重插值，提高了预测精度和稳定性；同时在量化步骤中优化了率失真模型，得到了更优的QP 并消除了符号位；最后在编码步骤中区分纹区域理特性以采用不同的编码模式，最终提高了压缩率。

在计算量方面，CAQO 在预测过程中有23次加减等基本运算和2 次乘除运算，TPMC 有34 次加减基本运算和3 次乘除法运算；CAQO 和TPMC 在量化过程中的运算量差不多；相对CAQO采用的哥伦布编码，TPMC 采用的游程编码和直传编码在编码过程中省去了更多计算步骤，计算量有明显下降。

3 实验结果与分析

为了比较本文算法与CAQO 的算法性能，将算法嵌入HEVC 后，分别从压缩率(compression ratio, CR)、PSNR 和相对编码时间(relative encoding time, RET)3 个维度进行测试。整个实验可分为两类，第一类实验将两种算法单独步骤的性能对比，第二类实验将两种算法的整体性能对比。测试平台为HM16.8，运行环境为Inter I5-6 400 CPU@2.7GHz、8G 内存、Win7 64 位系统。CR 和RET 计算公式如式(12)所示。

式中，Sizeori和Sizebs分别为压缩前后数据量大小；TimeTPMC和TimeCAQO分别为本算法和CAQO算法的编码时间；PSNRalg和PSNRori分别为算法嵌入HEVC 和不嵌入HEVC 后的峰值信噪比。CR 越大，说明本文算法压缩率越好；RET 越小，说明本文算法的编码时间相对越少；△PSNR越小，说明对应算法嵌入HEVC 后，HEVC 编码的图像质量下降越少。

在测试序列的选择上，本实验根据图像纹理的复杂度情况，选择了3 类共9 个序列进行对比分析，以确保涵盖不同的特征图像，即3 个图像纹理较复杂序列、3 个图像纹理中等序列和3 个图像纹理较简单序列。

第一类实验结果如表3 所示。从横向对比可以看出，本文的预测模块由于采用了方向拟合预测，较CAQO 的7 种方向预测有更多的预测方向，所以在CR 方面，对于racehorses 序列有3.33%的收益，但是RET 增长较为明显；本文的率失真模块在CR 方面，较CAQO 更有平均6.47%的增长，在RET 方面和CAAQ 算法持平；本文的编码模块，由于采用了游程编码，RET 有大幅度的下降。纵向对比可以看出，预测模块和编码模块对CR 的提高帮助最大。

第二类实验结果如表4 所示。在CR 方面，相对CAQO，本文算法的鲁棒性更强，插值预测的精度更高，因此得到的预测残差较小；其次，由于本文算法优化了高斯平稳噪声率失真模型，得到更准确的量化残差；最后针对不同的图像纹理区域特量化残差的特性，在不同的编码模式之间自适应选择，从而提高压缩率。由表4 可以看出，本算法对于简单纹理序列Tennis，由于游程编码的使用，压缩率提高最大，为18.24%；对于复杂纹理序列，由于直传编码的采用，压缩率也有很大的提高；因此本文算法较CAQO，平均CR 有14.8%的提高。

表3 本文算法与CAQO 算法各模块的压缩性能对比

表4 本文算法与CAQO 算法压缩的性能对比

在算法复杂度方面，对于量化步骤，本文算法与CAQO 的计算复杂度基本一致；对于预测步骤，本文算法是CAQO 的计算复量的1.5 倍；对于编码步骤，本文算法较CAQO，游程编码和直传编码节约了大量的编码时间。由表4 可以看出，简单纹理序列本文算法RET 较小，反之较大。综上分析，两种算法的平均计算复杂度基本相同。

4 结 束 语

为了解决日益突出的图像带宽问题，本文对基于帧存技术的CAQO 算法原理和缺点做了深入分析，提出了TPMC 算法。TPMC 首先感知当前像素的纹理方向，为每个像素进行方向性插值得到的参考像素，并计算获得PR；然后从功率谱密度和QS维度优化了率失真模型，得到QP；最后针对不同类型的纹理区域和QR 分布，分别采用游程、直传或自适应k的哥伦布进行编码，最终在不提升算法复杂度的前提下，进一步提高了压缩率。实验结果显示，与CAQO算法相比，在编码时间相同的情况下，本文算法提升平均14.8%的CR。