李 响，马荣贵，何逸煦

(长安大学 信息学院，陕西 西安 710064)

0 引 言

在逆光条件下[1]，人眼所看到的事物与照相机所呈现的图像差别巨大。随着照相机控制快门优先将光圈由小逐渐调大时，照相机的进光量也逐渐增大，图像从前景灰暗模糊逐渐转化为背景过亮过曝，但转化过程中很难出现前景与背景亮度同时适中的情况。而逆光图像因获取的部分图像亮度、对比度、可视质量降低，影响了对细节信息的读取而造成图像难以使用，为工程的后续研究带来难度。因此，需要一种逆光图像的重建技术改善逆光图像难以使用的情况。

常见的逆光图像重建技术[2-3]可以分为基于灰度值变换算法[4]和基于Retinex图像增强算法[5]。基于灰度变换的直方图均衡化[6-7]方法将灰度值高度集中在过亮或过暗区域的逆光图像的灰度级分布调整为近似于均匀分布，以抵消一部分图像逆光效果，但该方法易使图像大面积失真。而图像的直方图匹配方法[8-9]通过将逆光图像直方图控制成为某个特定需要的形状以减少失真所带来的负面影响，但该方法需要不停调整图像灰度直方图，操作复杂费时且图像还原度不高。Retinex算法将逆光图像S分解为入射图像L和反射图像R，通过去除逆光图像中入射光照L保留反射光照R以消除逆光对于图像带来的影响。SSR算法[10]假设入射光L具有缓变平滑性，但是逆光图像的入射光通常难以达到缓慢平滑变化，因此SSR算法会在改善的暗部轮廓处出现光晕现象而影响图像观感。MSR算法[11]通过联合多尺度的滤波结果来补偿光晕现象。但处理后存在阴影边界突兀、部分颜色失真等缺陷。MSRCR算法[12-13]通过加入色彩恢复因子消除了图像色彩失真的缺陷。但MSRCR方法在图像RGB三个通道上分别引入不同色彩因子值而使图像计算量大大增加。为提高逆光图像还原方法的运行速度，田文启等人提出一种基于阈值分割的自适应的逆光恢复算法[14]。该算法先对逆光图像进行分割处理，将分割后的图像分为逆光区与非逆光区。对逆光区进行Retinex算法进行亮度变换，对非逆光区进行亮度提升，将两类区域进行融合输出图像。

在上述提到的多种方法中，都只能对前景阴暗模糊背景正常的逆光图像进行增强处理而无法对前景正常背景过曝的逆光图像进行较好的还原，且处理效果与失真程度都有不同程度的不可控性。基于此提出一种基于光圈序列的逆光图像还原方法。

1 改进的逆光图像重建方法

改进的逆光图像重建方法主要采用以多张图片交叉融合的方式，实现更易于控制的效果。具体操作流程如图1所示。

1.1 实验图像分类

当拍摄主体位于照相机与照相机之间时，照相机所呈现的图像前景反射光较弱，背景反射光较强，导致图像背景亮度远高于前景形成逆光图像。逆光图像由于背景光强造成灰度直方图为双峰图像。前景可用图像由于背景过度曝光，其灰度直方图的右峰居于220到255之间。当峰2居于该峰1右侧且远高于峰1时为前景可用图片，代表背景过曝；当峰2居于该峰1左侧且略低于峰1时为背景可用图片，代表前景阴暗。基于此规则将图像分为前景图像与背景图像。

该文选择Canon EOS R照相机在同一位置同一角度对逆光下物件进行拍摄。将光圈从小到大连续调节成像并标号，其具体信息如表1所示，成像如图2所示，其中图2下半部分展示了编号4与编号9实验图像的灰度直方图。

图1 逆光图像方法流程

表1 实验图像基础信息

由逆光图像灰度直方图特性可知，本组实验图像均属于灰度直方图。通过光圈由小向大调节，实验图像从前景正常背景曝光逐步转化到背景正常前景阴暗。

1.2 用于处理光照不均图像的改进分割算法

文献[14]论证了使用Otsu阈值分割算法处理逆光图像的可行性。Otsu算法的假设TH是存在阈值，将图像所有像素分为两类，类(C1TH)的概率为p2，均值为m2。图像全局均值为mG，则有：

(1)

图像的类间方差表达式有：

图2 前景图像、背景图像以及编号4(左)与编号9(右)的灰度直方图

σ2=p1(m1-mG)2+p2(m2-mG)2

(2)

将两式整理有：

σ2=p1p2(m1-m2)2

(3)

(4)

计算整幅图像的前景均值与背景均值：

(5)

将平均值相加avg=avg1+avg2。TH从灰度级st遍历到nd，当avg最大时，TH即为分割阈值。图3为用Otsu算法和改进阈值算法分割后的结果。

图3 Otsu算法与改进阈值算法对比

通过图3可以看出，改进阈值算法相较于Otsu算法而言，减小了前景中某部分灰度值过高而被当作背景误分的情况，使前景分割的更完整。

1.3 基于轮廓的图像拼接方法

受照相机抖动、参照物位移、光源不稳定等诸多因素，照相机难以保证呈现的每张照片前景与背景的相对位置的统一，可能会出现前景参照物体与背景相对位置的偏移，因此需要图像拼接技术减少前景与背景位置偏移所带来的干扰[16]。本实验中照相机在确定光圈后的拍照过程中仅改变了光圈的大小，而对于前景参照物体，相机位置，背景位置等一概不做更改。因此，对于任意一组前景背景图像所分割出的轮廓边界形状是完全一样或者高度相似的，可以使用基于轮廓的图像配准方法将分割后的前景与背景进行图像拼接。以编号1前景图像和编号7背景图像进行拼接为例：首先将前景图像与背景图像的二值化模板进行边界提取。结果如图4上半部分所示，在前景边界图像中提取长宽比为3∶2的特征区域。文中特征区域选定为150*100像素的前景帽子部分。将特征区域内所有轮廓点坐标进行提取并使用多项式逼近法进行曲线拟合得到拟合曲线a拟合结果如图4中部所示。

图4 图像边界提取及特征区域曲线拟合

在图4中拟合出的曲线结果为：

(2.551·10-8x5-9.255·10-6x4+1.194·10-3x3+7.836·10-2x2+3.357x-33.11)

用相同大小的特征框遍历背景边界图像，可以得到多条拟合曲线bn。将多条曲线bn与曲线a进行相似度对比。其中，相似度对比公式为：

(6)

由公式可知，值最小的区域即为待拼接区域。该文截取匹配过程中三处有代表性背景框图b1、b2、b3，如图4下半部分所示，并给出各拟合曲线与特征区域拟合曲线a的相似度，其中b1的拟合曲线为：

(5.19·10-9x5-2.453·10-62 1 5x4+3.683·10-4x3-3.408·10-2x3+2.426x-14.83)

曲线拟合度为152.718；b2的拟合曲线为：

(-1.152·10-2x2+2.555x-26.47)

曲线拟合度为354.17；b3的拟合曲线为：

(1.214·10-7x5-4.673·10-5x4+7.291·10-3x3-5.788·10-1x2+23.78x-329.5)

曲线拟合度为400.598。通过此方法，将图像中的边界转化成一条直观的可用函数表示的曲线，使前景与背景匹配更加准确。相较于传统的边界点重合的轮廓匹配方法，曲线匹配不受前后背景图像像素值差异的限制。但是，当原图像存在缩放问题时，该方法无法很好地解决。前景与背景拼接后的图像集合如图5所示。

图5 前景图像与背景图像拼接集合

图5中各图像中的编号表示该子图像是由哪两张原始图像拼接而成，例如图1-6表示由编号1前景图像与编号6背景图像拼接而成。集合中共计25张子图像，其中多张图像差别不大，需要进一步筛选。

1.4 基于图像逆光度分析与信息熵结合的图像筛选方法

多张前景可用图像与背景可用图像进行拼接后的合成图像会出现拼接边缘处不自然、图像区分度低人眼无法直观辨别等问题。为解决上述问题，采用图像逆光度分析与信息熵结合的图像筛选方法以得出视觉效果最好的合成图像。

1.4.1 图像逆光度分析

逆光场景和非逆光场景的灰度直方图分布是完全不同的。逆光场景的灰度直方图分布是极亮和极暗灰度级上的像素分布高，其灰度级分布的方差σ很大；非逆光场景的像素主要集中在中间的灰度级上，其灰度级分布的方差σ较小。逆光环境的灰度直方图有良好的统计特性，可以在很大程度上反映图像的逆光情况。因此，通过方差σ描述两类直方图的差异，其计算公式为：

X=(x1,x2,…,x256)T

(7)

(8)

(9)

其中，X为灰度直方图归一化后的256维向量；xi表示第i个灰度级在图像中出现的概率；μ表示总体均值；σ2表示方差。在逆光图像处理中，令图像n的逆光度为：DBLn=σn，当(DBLx-y

1.4.2 图像信息熵

当逆光度作为单一判别逆光图像还原效果时，会出现几张合成后的非逆光图像在人眼识别上都可用，且逆光度的数值上下差别变化不大的情况。同时，逆光度不能给出合成图像在分割后的结果是否自然，分割结果是否清晰等确定性结果。而图像信息熵代表图像混乱程度，其值越大，代表信息含量越大，包含的内容越多在一定程度上也能反映图像的清晰程度与平滑度越高。因此，可以使用信息熵作为逆光度分析后的补充。其具体公式为：

H(x)=-∑p(x)logp(x)

(10)

并规定0log(0)=0。从上式中可以得出，信息熵具有单调性，发生概率越高的事件，其携带的信息量越低；同时具有非负性和累加性，即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度和[17]。表2为实验图像与拼接图像的逆光度与信息熵值汇总。

图像甄选规则为，合成图像首先与合成它的两张父图像进行逆光度与信息熵的对比，合成图像要同时低于两张父图像，信息熵要同时高于两张父图像。所有满足条件的图像取信息熵最大的图像为本方法的结果图像。文中结果图像为5-7，其最终结果如图6文中方法所示，该结果相较于其他图像，具有最高的信息熵，即该图像表达的内容最为丰富。

表2 实验图像与拼接图像逆光度与信息熵

2 仿真结果分析与比较

文中所给出的运行结果和运行时间均在同一台电脑下得到，其内存为8 GB，显卡为Inter HD Graphics 530，CPU为Inter Core i3-6100 3.70 GHz，操作系统为Windows 10，使用软件为Python 3.6.5和Matlab R2014b。结果如图6与表3所示。

图6 各方法对比结果图像

表3 多种方法图像处理结果对比

续表3

文中方法与其他6种方法在图像信息熵、平均梯度、色调失真度、亮度均值四类评价标准中进行对比。其中，色调失真度是图像与原图在HSV颜色模型空间中色调(H)的偏差程度，该值越大代表颜色失真程度越高，原图的色调失真度为0。平均梯度表示图像中细节处反差与纹理变化特征，该值越大代表图像层次越丰富，图像清晰度越高。图像信息熵值代表图像包含内容含量，该值越大代表图像中的内容越丰富。从多种方法对比中可以看出，虽然直方图均衡化方法的信息熵与平均梯度最大，但直方图均衡化方法颜色失真程度严重远高于其他方法且暗部改善很小。直方图匹配化相较于直方图均衡化在暗部改善上虽有提升，但信息熵值远不如直方图均衡化。Retinex算法的三种逆光图像还原方法虽然可以大幅度改善暗部，但相应地也损失掉了一些原有背景的内容，处理后的图像相较于原图较为模糊。文献[10]方法大幅度提升了图像的质量，但是前景与背景像素色温差别较大，显得图像整体不够自然。除直方图均衡化外，文中方法熵值与平均梯度都最大，色调失真度最小且亮度均值适中，表明文中方法对比其他方法，可以更多地保留图像信息，取得的效果最自然，是最好的逆光图像还原方法。

3 结束语

针对当前诸多逆光图像重建方法都仅针对单一图像进行还原，且重建效果不易控制等问题，该文创新性地提出了将多张逆光图像结合并筛选的图像重建方法并取得了较好的图像重建效果。并且，该方法改进的阈值分割算法相较于传统Otsu分割算法，对逆光图像的前景分割更为完整。

同时，采用了基于曲线拟合的图像拼接方法，不但可以更好地对前景背景图像边界进行拼接配准，还可以减少因不同逆光图像间像素不一致带来的影响。最后，引入了图像逆光度分析与图像信息熵交叉的筛选图像方法，使筛选出的重建图像在亮度适中时保留最多的图像细节。对比其他现有的逆光图像重建方法，该方法相较于传统逆光图像重建方法，重建效果易于控制、图像色彩失真度较低并且保留了较高的图像细节。在不考虑图像时间复杂度的情况下是最好的逆光图像重建方法。