陈清江， 屈 梅

(西安建筑科技大学 理学院，陕西 西安710055)

1 引 言

在低照度环境下拍摄的图像常存在曝光不足以及对比度低的问题，给后续图像处理带来严峻的挑战，因此低照度图像增强已经成为计算机视觉领域的一个研究热点。近年来，基于直方图的方法以及由LAND[1]提出的Retinex理论模型在低照度图像增强领域取得了重大突破，如Pizer等人[2]和Reza等人[3]先后提出AHE算法和CLAHE算法增强低照度图像，但增强后的图像往往会出现颜色失真现象。Jobson等人[4]利用高斯平滑函数估计原图像的亮度分量，提出单尺度Retinex(SSR)方法。LIN等人[5]将多个不同尺度的SSR线性加权求和，提出多尺度Retinex(MSRCR)方法。Fu等人[6]提出了一种基于融合的单背光低照度图像增强算法。Ying等人[7]提出了一种双曝光融合算法，以提高精确的对比度和亮度增强，从而实现低照度图像增强。Ren等人[8]提出基于Retinex模型的弱光图像联合去噪与增强算法。虽然以上方法在低照度图像增强领域取得了很大的进展，但增强后的图像，亮度恢复不够，容易造成图像的细节丢失，仍有一定的局限性。

最近，随着深度学习的快速发展，深度学习在目标识别[9-12]、超分辨率重建[13-14]以及图像去雨[15-16]等方面取得优于传统算法的效果。一些学者也将深度学习应用于图像增强领域，如Li等人[17]通过将浅层的Lightennet网络和Retinex模型结合，实现低照度图像增强；Ma等人[18]提出深度卷积神经网络(DCNN)实现低照度图像增强，从而获得增强后的图像。

本文提出一种与以往通过估计低照度图像中照度分量，或将RGB图像转换到其他颜色空间不同的预处理的分解方法。将RGB图像分解在R、G和B三个分量上，通过不同尺度卷积分别提取各分量的特征信息，分别使用双残差模块进行训练，重建后获得增强的R、G和B三个分量的图像，进而得到增强后的RGB图像。最终，采用双边滤波对其进一步优化。

2 Retinex 理论模型

Retinex 理论模型是LAND[1]提出的色感一致性模型，该模型认为人眼观察到的图像是光照图像和反射率图像的乘积。该模型可表示为：

S(x,y)=L(x,y)R(x,y)，

(1)

式中：(x,y)表示像素的空间二维坐标，S(x,y)表示观察到的图像，L(x,y)表示照度分量，R(x,y)表示本身的反射分量。

Retinex模型图如图1所示。

图1 Retinex模型图

3 增强算法

本文所提算法，没有直接估计照度分量或将RGB图像转换到其他颜色空间输入到网络中训练。经大量实验统计发现，在低照度图像的RGB色彩空间中，照度对R(红)、G(绿)、B(蓝)三个分量都有显著的影响，因此本文将低照度的RGB图像以及正常照度的RGB图像分别分解在R、G、B三个分量上，并构建残差网络进行训练，获得增强后的三个分量图像，合成后可得到增强的RGB图像。本文提出的残差网络由1个特征提取模块、3个双残差模块以及1个重建模块三部分组成。所提的网络结构如图2所示，双残差模块结构如图3所示。

3.1 特征提取模块

采用多尺度的滤波器分别对R、G、B三个分量卷积，获得大量低照度图像的分量特征信息，进而捕获特征信息的设计属性和结构属性。在这一模块设置的卷积核的尺寸分别为1×1，3×3，5×5，7×7，每层卷积核的个数均为16。通过不同尺度的卷积提取特征图，使网络训练速度提高。该模块的计算公式为：

图2 本文的网络结构

图3 双残差模块结构

Fi(Y)=Wi*Fi-1(Y)，

(2)

式中：Fi(Y)为输出的第i层的特征图，Wi为第i层的卷积核，Fi-1(Y)为第i-1层的特征图，*表示卷积操作。本文除最后一层，其余每层的末端都使用参数修正线性单元(Prelu)作为激活函数。该激活函数的计算公式为：

PRelu(xi)=max(xi,0)+aimax(0,xi)，

(3)

式中：xi为第i层的正区间输入信号，ai为第i层的负区间的权系数。除最后一层外，其余各层最终输出为：

Fsi(Y)=PRelu(Wsi*Y+Bs)，

(4)

式中：Bs为第s层的偏置。

3.2 双残差模块

随着网络层数的加深，容易出现梯度弥散、特征信息丢失等问题，本文利用双残差模块来解决此问题。采用3个相同的双残差模块，每个双残差模块由内、外两个残差单元和一个3×3×64的卷积层构成。其中，内部残差单元是由一个3×3×32的卷积层和一个扩张率为2的扩张卷积层组成，外部残差单元由两个大小分别为3×3×32和3×3×64的卷积层和内部残差单元组合而成。通过使用大小为3×3的卷积层以及扩张率为2的扩张卷积。不仅保证了特征图的输出表达能力，而且在不改变输出特征图的同时，有效提高了网络的感受野。从而实现网络的收敛速度加快和梯度的保持。

3.3 重建模块

通过重建模块，将图像的特征信息从特征空间映射到图像空间，该模块设计1个卷积层进行图像重建，使用大小为3×3×1的卷积层，加快网络的收敛速度，提高网络的训练精度。该卷积层用函数表示为：

Fni(Y)=Wni*F(n-1)i(Y)+Bn，

(5)

式中：Fni表示第n层第i组的特征图，Wni表示第n层第i组的卷积核，Y表示输入图像，Bn表示第n层的偏置。

利用均方误差损失函数(Mean Square Error,MSE)来计算输入的正常照度图像与增强后的RGB图像二者差值的平方和。其计算公式为：

(6)

式中：yi表示第i组正常照度图像值，xi表示网络的第i组输出值，N为样本的训练数目。利用自适应矩阵估计法(Adam)和网络反向传播算法来最小化MSE的值，从而优化网络参数。

3.4 利用双边滤波优化图像

为了提高增强后的图像质量，本文采用双边滤波算法进行优化。双边滤波算法考虑到像素间的距离因素和灰度值因素，对二者进行非线性组合，自适应地滤波，因此，它对图像具有较好边缘保护能力，能够保留图像大量的细节特征。双边滤波的计算公式为：

(7)

式中：Js表示中心像素s经过双边滤波处理的结果，Ip和Is分别表示像素p，s的亮度值，Ω为中心像素的领域，f，g分别为空间域和亮度域的高斯平滑函数。k(s)为归一化函数，其表达式为：

(8)

4 实验与结果分析

本节描述了实验数据、实验设置及步骤。为了验证本文算法的效果，对合成和真实的低照度图像数据集，在主观和客观上与经典算法结果对比分析。选取的经典对比算法主要有：Fu算法[6]、Ying算法[7]、Ren算法[8]、Dong算法[14]和Li算法[17]。

4.1 实验数据及实验设置

基于Retinex理论模型，本文从数据集Berkeley Segmentation Dataset[19]中选取正常照度图像，通过光照分量I在(0,1)随机取值，获取低照度图像。将合成的140幅低照度图像作为训练数据集，52幅作为测试数据集。图4展现了正常照度图像、低照度图像以及它们分别对应的R、G、B三个分量的图像。

本文在软件Matlab R2016a内基于caffe框架进行网络训练并测试。在训练过程中，采用的学习率数值为0.000 1、动量数值为0.9、迭代次数为2.7×105次、卷积核的初始状态为高斯分布。该网络训练采用少量多次的方法，批处理大小为6，使用Adam算法对网络进行优化。本次实验的计算机GPU配置为Nvidia GTX 1060。

图4 正常照度图像、低照度图像以及它们分别对应的R、G、B三个分量的图像。

实验步骤：

(1)获取低照度图像数据集：利用Retinex模型在所用的数据集上获得低照度图像；

(2)分解不同类型图像：将低照度和正常照度RGB图像同时分解在R、G、B三个分量上；

(3)训练不同类型图像的分量：利用残差网络模型训练并测试低照度和正常照度RGB图像的3个分量；

(4)训练后合成：将获得的3个分量图像合成为RGB图像，即增强的RGB图像；

(5)优化图像：利用双边滤波对增强的RGB图像进行优化，获得清晰的增强后的图像；

(6)第一组参照对比：对比网络训练后的正常照度的RGB图像，观察增强后的RGB图像效果。

(7)第二组参照对比：对比真实的低照度图像，观察增强后的RGB图像效果；

所提算法流程图如图5所示。

图5 所提算法流程图

4.2 对合成的低照度图像实验结果分析

为验证本文算法在处理合成的低照度图像上的优越性，与同等条件下的其他算法对比。从中选取3幅低照度图像，利用不同算法处理后的效果如图6～图8所示。

从主观上可以看出，Fu算法[6]与Ren算法[8]二者对低照度图像有一定的增强，但在亮度恢复上远远不够，图像照度较暗；Ying算法[7]使得增强后的图像颜色偏白，不符合真实场景；而Dong算法[14]和Li算法[17]在图像的细节纹理恢复上有明显的提高，但在亮度上还有一些欠缺。而本文算法的增强效果在亮度上相比于其他算法有很大的提高，而且更完整地表达了局部细节信息。

图6 不同算法处理低照度图像Starfish的结果

图7 不同算法处理低照度图像Bridge的结果

图8 不同算法处理低照度图像Building的结果

从客观上，使用峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似度(Structural Similarity Index,SSIM)、均方根误差(Root Mean Square Error,RMSE)和信息熵(Information entropy)重要的图像评价指标来衡量增强获得最终正常照度图像的质量。

各个评价指标的计算公式为：

(9)

式中：x为正常照度的图像，y为增强后的图像。峰值信噪比可以用来评价图像质量，其值越高，表明处理后图像增强效果越好，反之效果越差。

(10)

式中：x，y分别为增强的图像和参考的正常照度的清晰图像，μx为x的平均值，μy为y的平均值，δ2x为x的方差，δ2y为y的方差，δxy为x和y的协方差。a1和a2是比较小的常数，以避免分母为0而出现的系统不稳定现象，SSIM的取值在[0,1]。SSIM的值越大，意味着图像失真越小，增强效果越好。

(11)

式中：Y为正常照度图像，X为增强后的图像，n为图像像素总数。均方根误差表示增强后的图像与参考的正常照度图像之间的差异，RMSE的值越小，表示增强的效果越好。

H(X)=E[log2P(X)-1]，

(12)

式中：X表示随机变量，P(X)表示输出概率函数。信息熵是指图像包含信息量多少程度的物理量。其值越大，包含的信就越多，表明增强效果越好。如表1～表3所示。

表1 图像Starfish采用不同算法增强后评价指标结果

表2 图像Bridge采用不同算法增强后评价指标结果

表3 图像Building采用不同算法增强后评价指标结果

图9 峰值信噪比(a)和结构相似度(b)的对比结果

从客观方面可以看出，根据表1～表3，以及图9，本文所提算法在峰值信噪比(PSNR)、结构相似度(SSIM)、均方根误差(RMSE)和信息熵(Information entropy)这些评价指标都要优于其他对比算法，说明本文的算法对于增强低照度图像有很大的提升。

为证明本文所提的双残差模块在增强低照度图像上的效果，运用控制变量法，在网络深度不变的前提下，将网络中的双残差模块分别替换为仅含有卷积层模块和常规的残差模块，对模型进行分析。采用常用的峰值信噪比(PSNR)和结构相似度(SSIM)对3种模型进行定量测评。表4为实验结果对比值。

由表4可知，本文所提的双残差网络模型，其峰值信噪比(PSNR)和结构相似度(SSIM)最高可达25.931 1 dB和0.945 2，都优于其他两种网络模型。

表4 不同模块的PSNR(单位：分贝)和SSIM的对比结果

4.3 对真实的低照度图像实验结果分析

本文算法在处理合成的低照度图像上具有明显的增强效果。为了进一步证明本文算法的优越性，基于真实的低照度图像，本文算法与其他5种算法进行对比如图10～图11所示。 图10和图11分别是Fu算法[6]和MEF[20]数据集中的真实的低照度图像。

为验证本文算法处理真实低照度图像的效果，采用盲图像质量评估方法(NBIQA)、图像均值(Image average)、平均梯度(Average Gradient)和标准差(Standard Deviation)4个重要的无参考图像的评价指标以及算法运行时间，对增强后的图像进行定性对比。盲图像质量评估的值通常在0和100之间，其值越小，表示图像质量越好。图像均值表示图像亮度大小的物理量，其值越小，其亮度越低。平均梯度表示图像纹理细节的变化特征，其值越大，图像越清晰。标准差表示灰度均值的离散程度，其值越大，图像质量越好。4个评价指标值对比结果如表5～表6所示，运行时间对比结果如表7所示。

图10 不同算法处理真实的低照度图像Pocky的结果

图11 不同算法处理真实低照度图像Palace的结果

一些评价指标的计算公式为：

图像均值：

(13)

式中：N为像素总个数。

平均梯度：

(14)

标准差：

(15)

表5 图像Pocky采用不同算法增强后评价指标结果

表6 图像Palace采用不同算法增强后评价指标结果

表7 不同算法的运行时间对比结果(单位：s)

对于图10～图11，从主观方面，Fu算法[6]、Ying算法[7]以及Ren算法[8]对于增强后的图像在亮度恢复上还不够，增强后的图像在色彩上不够自然；而Dong 算法[14]虽然对于亮度有明显效果，但对于Pocky图像的部分纹理细节增强过度；Li算法[17]增强后的图像出现了伪影，视觉上不清晰。本文算法增强后的图像在亮度和色彩恢复上更加自然，视觉效果更佳。从客观方面，在表5～表6中，对不同的评价指标，总体上本文算法要优于其他对比算法，增强低照度图像效果显著。根据表7可知，本文算法的运行时间最短，效率最高，应用更方便。

5 结 论

本文提出的基于双残差卷积网络的低照度图像增强算法，改进了传统算法直接处理照度分量或直接分解到其他颜色空间。所提算法构造双残差网络，分别对R、G、B三个分量进行训练，有效地提高了网络模型的预测精度。其次，本文采用的残差模块改进了常用的残差单元，通过使用卷积层和扩张卷积层构成的内外双残差网络模块，增大图像的感受野，加速网络的收敛。最终，再对增强后的RGB图像使用双边滤波进行优化，保留了图像更多的边缘信息。实验结果表明，与其他对比算法相比，所提算法不仅有较好的增强效果，也加快了运行速度，能更好地应用于实际。