金 辉

摘要:智能手机在可视通话的过程中,由于摄像头和液晶显示器等硬件性能上的一些局限性,使其在某些条件或环境下采集的视频图像光线昏暗,或者视频图像表现的颜色不够鲜艳、靓丽甚至发生偏色。文章提出一种在硬件具体的特性和性能参数下,对视频图像的明亮可视度以及颜色进行增强的实时方法。在智能手机上的应用和验证显示,该方法不需要额外的芯片就能够改善移动可视电话中视频图像的主观视觉效果,提高亮度、清晰度,并使颜色的表现更丰富、艳丽。

关键词:移动可视终端;色彩增强;明亮可视度增强

Abstract: In certain environments and under some conditions, the video images taken by the intelligent mobile video phones seem dark, and the colors are not bright or saturate enough. This paper presents an adaptive method to enhance the video image brightness visualization and the color performance depending on the certain hardware property and function parameters. Through verification, the preferred color reproduction enhancement algorithm makes the worse expressed and some of the particular colors more desirable and brighter. The experimental results prove that this method can enhance the colors and the contrast of the video images, based on the estimated quality feature values of each frame, without using the extra Digital Signal Processor (DSP).

Key words: mobile video phone; color enhancement; brightness enhancement

目前,对于移动智能手机来讲,传统的话音业务已经无法满足广大消费者个性化、差异化需求,所以各项增值业务被视为新的黄金增长点。移动可视电话作为3G的标志性核心业务,逐渐受到各方的广泛关注。视频通话过程中视频图像的质量直接影响到业务的普及与扩展,将来也会在市场上掀起一场完美的视频应用风暴。

在对TD-SCDMA的3G终端性能测试中,视频通话是测试的关键环节之一。大部分3G手机终端视频通话质量都有不尽如人意的地方,如延迟、拖影、马赛克等现象。这些主要是由于网络原因造成的视频质量问题。除此之外还有视频图像本身的质量问题,如在暗的环境下,采集的图像昏暗不清,打可视电话时色彩不够丰富亮丽等。这些问题已受到各通信设备供应商和技术研究者的关注。

在视频处理领域中,主观视觉质量的改善是视频增强的一个主要内容。在消费电子领域中,视频增强技术令产品对于消费者更具有吸引力和魅力。

如今许多厂商都需要拥有自主的色彩增强技术,“颜色再现增强技术”已成为一个重要的话题。

设备制造商通常采用色彩增强芯片,使用函数曲线或用矩阵转换方法来做图像的增强。文献[1-2]设备中的增强参数是固定的,并且是各种视频场景序列估计的平均。这样不能自适应地在各种情况下都起到更好的增强作用。根据人眼对亮度和颜色不同的敏感特性,按照视觉心理特性选择适当的色度空间,人们在此空间中提出基于小波变换的彩色图像增强算法。文献[3-6]中对图像的颜色校正通常只是对静止图像,文献[7]针对视频序列并且在帧间采用参数转换控制技术。

传统的增强方法存在两个问题。

(1)参数不是针对所有场景都最优。例如,能提高一个风景场景的图像对比度的曲线参数,对人脸图像序列的视觉效果就有损伤。

(2)很难获得更好的颜色再现。因为传统的颜色再现对整个图像的颜色都有影响,不只是所选择的特殊物体的某些颜色。

对于移动终端来讲,人们希望通过最小的成本、最低的功耗达到最佳的主观质量增强的目的。本文提出的方法经过了在TD-SCDMA智能终端上的应用和验证。它基于移动终端本身的平台,在无需增加额外的硬件资源和开销的条件下,能够实时地解决视频通话图像质量的色彩问题,自适应地提高低照度下亮度和可视度问题,使用户得到最佳的视频通话感受和体验。

1 自适应的明暗亮度可视度增强方法

手机终端在视频采集的过程中,因为其携带的方便和便捷性,拍摄的场景也比较自由、随意,常常会在咖啡厅、卡拉OK等光照条件较弱或背光的地方,所以拍摄的图像视频光线较弱,很难分辨清楚。另外,在手机终端的液晶显示器上显示和观看采集的图像视频序列时,因液晶特殊的光电特性,输入与输出成非线性关系,使得屏幕不能完全重现原始序列的灰度等级。因此,可视度可能会再一次衰减。针对这些问题,本文通过自适应的明暗亮度可视度增强方法(ADLE)来解决。

1.1 亮度可视度增强方法

由于硬件的Gamma特性,可以用Gamma校正来增强图像的表现能力。对应偏暗的场景,采用的Gamma值小于1,可以提高场景的亮度和可视度;对应普通场景,由于器件本身的Gamma特性具有一定的暗化特性,采用的Gamma值接近1并略小于1,可以在一定程度上恢复图像的亮度;对应过亮甚至发白的场景,图像的视觉效果因缺乏对比度和层次感而降低,这时可以采用大于1的Gamma值来拉伸图像的动态范围,增强图像的层次感和细节可视度。

Gamma校正算法本身是基于对RGB三基色分别进行处理。实验证明直接对Y分量进行校正与RGB空间校正的显示效果非常接近,计算速度则更快。在移动终端的应用中,视频序列在编解码前后采用的是YUV色度空间,所以为了提高暗场景下的可视度,可以直接对Y分量进行处理。

图1是Gamma曲线的示意图,其中x轴表示原始序列的亮度等级,y轴表示经过Gamma校正后的亮度等级,图中给出了Gamma小于1、Gamma等于1、Gamma大于1这3种情况,分别对应亮度等级提高、不变和降低。

1.2 场景检测策略

对于Gamma校正方法,如果仅采用固定的Gamma值来校正过暗、过亮图像,将会导致两个问题:

很难准确校正明暗程度不同的场景。例如过暗的场景和稍微有点儿昏暗的场景,全部采用同一个Gamma参数值来校正很难做得较好。

采用固定的Gamma值校正,容易导致处在判决阈值附近的场景产生阶变而出现闪烁现象。例如处在暗场景和普通场景的阈值附近时,可能因为微小的变化,在阈值的两侧,从极暗场景处理到普通场景处理的相互跳变式切换过程中而产生变化不定。(该现象在由暗到普通场景过渡时尤为明显。)

针对以上问题,本文采用适当的场景检测策略,设计11组连续变化的Gamma值,能够根据场景的明暗程度设定相应大小的Gamma值,并在场景明暗程度发生变化时形成一个平缓的过渡带,不产生闪烁。同时根据相应的场景检测策略,对Gamma设定相应值。

(1)场景检测判断是否为正常亮度场景

亮度值小于100的像素数如果小于等于整幅图像像素总数的7/8,则判断为正常亮度场景,这时可以设定Gamma等于0.9。否则场景偏暗。

(2)判断场景暗的程度

依据的准则为小于等于某亮度等级(该亮度级从50以步长5开始递增)的像素数比例是否大于总数的7/8,若符合,则设定相应的Gamma值(该Gamma值从0.7开始以步长0.02递增)。

(3)构建11组Gamma值对应的LUT。

对从0到255每个亮度等级,针对11个不同的Gamma值(从0.7开始以步长0.02增加到0.9),计算校正后的亮度等级。图2是Gamma值从0.7至0.9的11条映射曲线(从上至下Gamma值递增),横坐标表示输入亮度等级,纵坐标表示校正后的亮度等级。(过亮的场景在实际应用中很少,所以暂不考虑。)

从图2可以看出,随着Gamma值的渐进式变化,对亮度的校正也是渐进的;对于连续变化的场景的校正也具有渐进性,有效避免了校正后亮度的突变。

2 色彩增强

2.1 图像的偏色

智能手机在可视通话过程中,视频采集系统可能会造成一定的偏色,使视频图像质量的主观感受下降。图3所示是在同一个环境下拍摄的人脸图像,左边为单反相机拍摄的效果,颜色比较逼真,色彩还原能力强;右边为中兴通讯TD U980(调试版)智能手机的视频采集系统拍摄的效果,整体色温偏低,图像偏红。偏色的原因很复杂。

(1)与复杂的拍摄环境有关,可能是感光材料本身的影响、拍摄曝光的影响、光源色温的影响等。

(2)不同软件间的传输、转换、编辑、各色彩空间的差异等,也是造成偏色的重要原因。因为机器和人眼不同,机器记录的颜色比较忠实于现场的色温,能够记录到高色温的青色,比如阴影处发青发蓝的偏色等。而人眼可以适应现场色温,大脑可以调节偏色,例如荧光灯下人眼看到的白色仍然是白色而不会感到有青绿色存在;人眼对紫外线不敏感,阴天和雪景中的高色温现象也察觉不到,这是视觉惰性。“校正偏色”就是让机器记录的色彩信息与人眼看到的状态相一致,校正这些平时眼睛看不到而机器却能记录到的颜色。

(3)偏色另一个非常重要的原因是显示器的白平衡差异,使本不应偏色的图像在这些非标显示器上偏了色。自动白平衡的原理就是基于假定场景色彩的平均值落在一个特定的范围内,如果测量得到结果偏离该范围,则通过调整采集系统的对应参数,校正采集系统的测量值直到其均值落入指定范围。这个处理过程可以基于YUV空间,也可以基于RGB空间来进行。

2.2 视频采集动态范围的衰变

为了分析移动终端的摄像头在室内、荧光灯、正常光照下视频采集的动态范围,采用对色卡进行采集、分析的方法。首先选择一个参照系,该参照系中,视频图像采集的主观质量效果优于手机摄像头的采集系统。在实验中,K800手机的视频采集主观效果好,所以这里暂以K800手机作为研究U980(调试版)视频采集动态范围衰变规律的参考对象。

用U980和K800同时对色卡在同样的条件下进行采集,在YUV空间上对两幅图像各个色块的颜色偏差进行统计,如图4、图5所示。颜色的偏差用UV分量的差值来表示,其中U分量的差值是同一色块对应的两幅图像的U分量值之差,同样V分量的差值是同一色块对应的两幅图像的V分量值之差。

图4是UV分量色差在U分量坐标上的统计情况:三角是V分量的颜色偏差,星星是U分量的颜色偏差,横坐标是U分量的值。可以看出,在U分量的坐标上,V分量的偏差基本上是无规律的,但是U分量的偏差却是递减的。同时,在U分量的值较高和较低的情况下,U分量偏差的绝对值较大;在U分量中间的区域,偏差的绝对值较小。

同样,图5是UV分量色差在V分量坐标上的统计情况,我们可以得到类似结果。三角表示V分量的偏差,星星代表U分量的偏差。在V分量的值较高和较低的情况下,V分量偏差的绝对值较大;在V分量值的中间部分,偏差的绝对值较小。

如果增加采样点可以得到更加详细的色彩偏差图,从而更细致地对色彩进行校正和增强。当然色彩的增强程度不能太大,参数的调节要具有连续性。

2.3 色彩空间的转换

人类具有一种对特殊的某些自然物体的记忆色,通常这些记忆色会比物体本身真实的颜色更令人感到赏心悦目。“颜色再现方法”就是对一些自然景物如绿叶、蓝天、皮肤、红苹果等,产生令消费者和客户满意的颜色,而不是维持物体本身具有的颜色信息。

色彩空间转换查找表的生成大致分为3个过程:

调整色彩分量,改善视频采集序列的图像偏色问题;

调节对比度,增加色彩的艳丽、饱和度;

通过对特殊景物色彩的渲染,提高主观视觉效果。

色彩空间转换算法的参数,与特定的硬件参数和外界光照环境有关。在具体实验中本文算法参数的实验条件是:

硬件环境——U980的前置摄像头和液晶显示器;

外界环境——室内环境、荧光灯、正常光照。

(1)色彩的调整

色彩包括色调和色饱和度,所以每一种彩色都是由YUV的3个分量来决定的。对色彩的调整包括分别对Y、U、V的3个分量的调整。

根据对U980前置摄像头的采集图像的数据分析,发现采集传感器对红分量的感应偏高,同时兰分量偏低。因此,在YUV空间中,适当调整YUV的3个分量,从而达到相应减小红分量,提高兰分量的效果。这里可以利用Gamma非线性校正,对V分量采用系数为:Gamma等于1.03,U分量采用的系数为Gamma等于0.95。Y分量通过分段的线性调整。

(2)对比度调整

调整亮度分量可以调节对比度,这里采用分段调整的方法,从全局和局部都能改善对比度,从而提高主观质量。

低值对比度拉伸:Gamma为1.03(在亮度值小于80的情况下);高值对比度拉伸:Gamma为0.97(在亮度值大于170的情况下);其他:Gamma为0.99(在亮度值处于80和170之间)。

U980(调试版)摄像头室内肤色场景亮度色度校正主要是对U980摄像头在室内视频通话或拍照常见下的肤色、偏色、亮度不符合人眼的情况进行校正。校正在YUV色域下进行,分别对Y、U、V的3个分量进行映射。

(3)特定色彩的渲染

由于人眼分辨颜色变化的能力是有限的,故对色度差很小的两种颜色,人眼分辨不出他们的差异,只有当色度差增大到一定数值时,人眼才能觉察出他们的差异,人眼刚刚能觉察出颜色差别所对应的色度差称为刚辨差(JND)。在CIE色度图上,不同位置或者同一位置的不同方向,人眼的刚辨差是不相同的。1942年麦克亚当(Macadam)对25种色光进行实验,在每个色光点大约沿5到9个方向上测量刚变差,结果得到的是一些面积大小各异、长短轴不等的椭圆,称为麦克亚当椭圆。如图6所示,人眼对在每一个麦克亚当椭圆内的颜色视为同一种色彩。

根据色彩的刚变差和麦克亚当椭圆的原理,本文找出着重感兴趣的几种颜色及颜色区域,然后作加强处理。在室内正常荧光灯光照下,联合考虑色度U、V分量,根据实验测定几种特定感兴趣色彩区域,例如人脸皮肤的颜色、红色、兰色、绿色、黑色、黄色的麦克亚当中心点的值,并且近似地估算麦克亚当椭圆为圆,对感兴趣色彩区域进行加强增强处理。

在本文算法实验限定的环境参数下,根据经验值测出的颜色中心点及调整方法如下:

在人脸肤色中心点(105,150),半径20之内,则u =u +3,v =v -6;

在黄色中心点(60,155),半径15之内,则u =u -15,v =v +10;

在红色中心点(120,165),半径15之内,则u =u,v =v +3;

在头发中心点(115,120),半径10之内,则u =u -2,v =v -2;

在绿色中心点(99,92),半径15之内,则u =u -8,v =v -15;

在兰色中心点(150,112),半径15之内,则u =u -2,v =v -2;

在白色墙中心点(132,125),半径10之内,则u =u +2,v =v -2。

如图7是重点颜色区域的校正效果,左边为原始U980采集的图像序列,中间为渲染前的色彩增强结果,右边为渲染后的算法在兰色、绿色、黄色区域加强处理的效果。

本文的色彩空间转换的算法由于采用了查表法,在效率上符合智能手机U980的处理能力要求,增强后的效果比原始图像效果要好,也有较好的稳定性和鲁棒性。

3 试验结果

在PC机上运行本文提出的自适应场景亮度明暗可视度增强算法,在采用3.2 GHz CPU、1G DDR内存和VC6.0 Release模式的软件环境下,处理尺寸为(176×144)的qcif图像的视频图像序列时,一帧的平均处理时间为0.18 s。

如图8所示,在(a)、(b)、(c)场景下,从非常暗到稍微暗的场景变化中,可视度增强后的效果也是渐进式的,不会发生跳跃和闪烁。在(d)正常光照下的场景,经过增强后,也不会显得过白。这说明本算法具有场景自适应性检测和自适应增强的功能。

在色彩增强实验中,尺寸大小为(176×144)的qcif图像,处理一帧的平均时间为0.065 s。色彩增强的实验结果如图9所示。左边为原序列截图,右边为处理后的序列截图。可以看出原图色调偏红,层次感差,亮度分布不均,主观视觉感受昏暗、压抑;而右图色彩鲜艳亮丽,层次感较强,亮度分布均匀,其中人脸肤色和背景墙壁部分改善效果尤为明显。处理后的序列无闪烁,无算法导致的色斑出现,效果更加符合人眼视觉。

4 参考文献

[1] INOUE A, TAIJIMA J. Selective Color Correction for Arbitrary Hues [J]. ICIP, Vol 3, 1997: 38-41.

[2] SMITH A.R. Color Gamut Transformation Pairs [J]. Computer Graphics, Vol.12, 1978: 12-19.

[3] HUNT: R W G. Objectives in Colour Reproduction [J]. Photographic Science, Vol.18, 1970: 205-215.

[4] YENDRIKHOVSKIJ S N. Optimizing Color Reproduction of Natural Images [R]. 6th Color Imaging Conference, 1998.

[5] INOUE A, TAJIMA J. Adaptive Quality Improvement Method for Color Images [J]. SPIE, Vol.2179, 1994: 429-439.

[6] TSUKADA M, FUNAYAMA C, TAJIMA J. Automatic Color Preference Correction for Color Reproduction [J]. SPIE, Vol.4300, 2001: 216-223.

[7] SUZUKI T, INOUE A, TSUKADA M, TAJIMA J. Adaptive Image Quality Improvement Method for Moving Pictures using Smoothing Parameter Transition and Scene Cut Detection [R]. the European Conference on CGIV, 2002.

收稿日期:2009-06-28

作者简介

金辉,博士,哈尔滨工业大学毕业,现工作于中兴通讯股份有限公司方案营销部,主要研究方向为人工智能、模式识别、视频处理、数据压缩,已发表论文10余篇。