胡振宇，陈琦，2*，朱大奇，2

（1.上海海事大学 智能海事搜救与水下机器人上海工程技术研究中心，上海 201306；2.上海理工大学 机械工程学院，上海 200093）

1 引言

随着人类对资源开发量日益增大，陆地资源已经不能满足需求，世界各国将资源开发的重点转向了海洋［1］。海洋资源的开发依赖于海洋勘探技术，因此海洋勘探成为了研究热点。在海洋勘探过程中，水下图像增强是关键环节，在海洋环境监测、水下设施检测、海底生物研究等方面都发挥着重要作用。然而，水体对光具有散射和吸收作用［2］，水分子对光的吸收作用会减弱光的能量，光的衰减程度因光的颜色不同而产生差异，使水下图像出现色偏和亮度低的现象，并且散射作用还会导致图像细节模糊，对比度低。因此，水下图像的退化极为严重，水下图像增强十分重要，对海洋勘探技术的发展起着关键作用。

水下环境具有复杂性，传统的图像处理算法受到了极大的限制，图像清晰度无法达到理想效果。为了提高水下图像的清晰度，国内外研究者做了大量工作［3］。He等［4］提出了暗通道先验算法（Dark Channel Prior，DCP），根据光在水中传播与雾中特点相似的原理来对水下图像进行处理，但是水对不同颜色的光有选择性吸收，该算法对图像的恢复效果极微。Drews等［5］在DCP的基础上提出了一种水下暗通道先验算法（Underwater Dark Channel Prior，UDCP），根据红光比蓝光和绿光在水中衰减更严重的原理，仅在蓝通道和绿通道中计算了暗通道的值，但是UDCP的鲁棒性没有被考虑到。Iqbal等［6］提出了利用直方图结合无监督颜色校正的方法，但颜色失真问题难以解决。Zhang等［7］提出了多尺度Retinex扩展的水下图像增强算法，将带有色彩恢复的视网膜增强算法（MSRCR）扩展到Lab空间，克服增强过程中出现的光晕现象，但是算法中需要调整的参数太多，实现难度大。Garg等［8］提出了一种限制对比度的自适应直方图均衡化的水下图像增强方法，能够有效增强对比度，但是难以有效去除图像的色偏。Ma等［9］提出了一种将暗通道先验法和灰度世界法结合的水下图像增强方法，但是水下环境的特殊性导致图像的增强效果不佳。范新南等［10］提出了一种基于MSRCR和多尺度融合的算法，用MSRCR对图像进行色彩恢复后，再对图像在Lab空间的亮度L通道进行限制对比度直方图均衡化处理，并对处理后的图像进行多尺度融合，然而图像对比度提高不明显。

为了使水下图像得到有效增强，本文提出了一种多尺度图像融合的图像增强技术。针对水下光衰减程度差异造成的颜色失真问题，采用了一种颜色平衡方法来恢复颜色，再将处理后的图像从RGB空间转换到Lab空间，对L通道进行限制对比度的自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）处理来增强图像对比度及边缘细节，再将图像转换回RGB空间。然后，对颜色平衡和CLAHE处理后的图像分别求出权重图。最后，用金字塔算法分解权重图和输入图像，并对分解后的图像进行多尺度融合。实验结果表明，图像颜色得到恢复，对比度和细节得到增强，并且图像光照均匀，达到了理想的视觉效果。

2 算法原理

水体对光有吸收和散射作用，水下图像退化的过程具有复杂性。本文首先采用颜色平衡法对退化的水下图像去除色偏，再用CLAHE法对图像在Lab空间处理亮度通道L来增强对比度。对颜色平衡法和CLAHE法处理后的图像分别求出饱和度权重图、色彩权重图和显著性权重图，并将这3个权重图进行归一化处理得到归一化权重图。然后，用拉普拉斯金字塔算法分解颜色平衡法和CLAHE法处理后的图像，用高斯金字塔算法分解归一化权重图。最后，根据归一化权重图对颜色平衡法和CLAHE法处理后的图像进行多尺度融合。本文的算法流程如图1所示。

图1 基于颜色平衡和多尺度融合的图像增强算法流程Fig.1 Flow chart of underwater image enhancement algorithm based on color balance and multiscale fusion

2.1 颜色平衡

水对不同颜色光的吸收程度不同，不同颜色光在水中的衰减程度存在差异。红光波长最长，相较于蓝光和绿光等在水中更容易被吸收，衰减最严重。水对光的吸收作用会减弱光的强度，从而阻碍光能图像的颜色形成，造成水下图像与真实场景之间的颜色偏差，使得水下图像颜色偏蓝绿色。水对光的吸收情况如图2所示［11］。

图2 水对光的吸收情况示意图Fig.2 Schematic diagram of light absorption by water

为了解决颜色失真问题，本文采用了一种颜色平衡法［12］，将基于积累直方图分布的仿射变换用于R，G，B 3个颜色通道。假设图像中R，G，B 3个通道的最高值均对应于白色，最低值对应于黑色。对R，G，B 3个通道进行仿射变换后，每个通道的值可以拉伸到的最大范围为［0，255］。设在每个颜色通道直方图上剪辑的像素有N个，在通道中对像素进行颜色平衡时，令直方图左侧像素个数的饱和极值为b，占总像素百分比为l1，右侧像素个数的饱和极值为t，占总像素百分比为l2。b和t都可以在累积像素值的直方图中找到，b是值小于或等于N×l1的最高直方图标签，t是值大于或等于N×(1-l2)的最低直方图标签。然后，用仿射变换法将像素区间[b，t]映射到［0，255］，公式如下：

其中：x是输入像素，f（x）是输出像素。百分比l1和l2的表达式如下：

其中：比率r(λ)是λϵ{R，G，B}通道的调整因子，r(λ)的表达式为：

其中Iλ是图像I在RGB空间的颜色通道值。

颜色平衡处理前后的图像及图像的颜色通道如图3所示。从图中可知，颜色平衡处理后图像红、绿、蓝3个通道的灰度分布更均匀。

图3 原始图像及颜色平衡处理后的图像Fig.3 Original and color balanced images

2.2 限制对比度自适应直方图均衡化

图4 CLAHE算法原理Fig.4 Principle of CLAHE algorithm

颜色平衡能校正颜色，解决了水下图像的颜色失真问题，然而，水中的悬浮粒子对光的散射造成图像对比度低和边缘细节损失的问题仍然存在，且图像的光照也不均匀［13-14］。因此，本文采用限制对比度自适应直方图均衡化方法增强图像对比度，首先将图像转换到Lab空间，“L”分量对应的是亮度，“a”和“b”分量对应的是色度，本文对“L”分量采用CLAHE法处理，而对“a”和“b”分量不做处理，CLAHE算法原理如图4所示。限制对比度就是限制灰度分布，能够去除扩大对比度时产生的噪声，其原理如图4（a）所示。图中设定阈值将灰度直方图分成上下两区域，上区域是超过阈值的部分，将此区域像素点裁剪到直方图下区域并进行均匀分布。自适应直方图均衡化是插值运算［15］，插值运算原理如图4（b）所示（彩图见期刊电子版）。图中对每个方块求出直方图、直方图积累函数（CDF）及相应的变换函数，方块中心点（图4（b）左侧的黑方块）的变换函数符合原定义，其他像素点中，蓝色区域像素是以其4个邻域的变换函数做双线性插值得到的，绿色区域像素是以其2个邻域的变换函数做线性插值得到的，红色区域像素是采用自身的变换函数得到的。本文将图像分成尺寸相同的8×8个小方块，裁剪系数为0.02。

原始图像及其3个颜色通道直方图如图5所示，CLAHE处理后的图像及其3个颜色通道的直方图如图6所示。从图6中可知，CLAHE处理后的图像R，G，B通道中，直方图分布更均匀，图像对比度更高，且细节清晰，光照变均匀。

图5 原始图像及其颜色通道直方图Fig.5 Original image and histograms of its color channels

图6 CLAHE处理后图像及其颜色通道直方图Fig.6 CLAHE processed image and histograms of its color channels

2.3 权重图方法

权重图包含图像的信息特征，图像的融合需要根据特征来进行［16-17］。本文选择饱和度权重图、色彩权重图及显著性权重图。这些权重图都采用像素方式进行设计来描述退化区域的空间关系，从而能够对每个输入进行平衡。这些权重图反映的图像特征具有复杂性，不能用简单的方法进行叠加融合，因此，本文将权重图进行归一化处理。

2.3.1饱和度权重图

为了求解饱和度权重图，首先对图像的每个像素进行处理，再按照饱和度的高低分配权重，高饱和度区域分配高权重，其余区域分配低权重［18］。然后，按照RGB颜色通道数据计算权重值，图像融合算法利用饱和度高的区域来适应彩色信息。最后，在每个像素位置处，计算输入亮度与R，G，B颜色通道之间的偏差，权重计算公式如下：

其 中：RLk(x)=(Rk(x)-Lk(x))2，GLk(x)=(Gk(x)-Lk(x))2，BLk(x)=(Bk(x)-Lk(x))2；Lk(x)为 图像亮度 通道值，Rk(x)，Gk(x)，Bk(x)为颜色通道值，k表示输入像素索引。

2.3.2色彩权重图

色彩权重图反映饱和度经过增益后的输入图像［19］。色彩权重的计算公式如下：

其中：Sk(x)是图像在某一像素点的颜色饱和度值；是颜色空间的最大饱和度值，设为1；σ是标准偏差，设为0.25。

2.3.3显著性权重图

图像主要的数据信息集中在重要区域。显著性权重图能够将重要区域与其他区域分开，突出水下不易观察到的物体。这种方法的灵感来自于中心-环绕对比这一生物学概念［20］。显著性权重的计算公式如下：

2.3.4权重图归一化处理

图像加权融合前，要对每个权重图进行归一化处理。归一化公式如下：

其中：i表示权重图的索引，k表示输入图像索引，分别对应颜色平衡后的图像I1和CLAHE处理后的图像I2，两种图像的权重如图7所示。

2.4 图像多尺度融合

单一的图像融合方法用于水下图像会出现严重的光晕［21-22］，本文选用高斯金字塔算法和拉普拉斯金字塔算法对图像进行分解，分解后将得到的图像进行多尺度融合。

图7 两种图像的权重图Fig.7 Weight maps of two images

2.4.1高斯金字塔

高斯金字塔通过图像向下采样获得一组图像的集合，采样前需要对图像进行高斯滤波。高斯金字塔的每层图像GL的表达式如下：

其中：L表示金字塔的层数索引，本文中金字塔共有5层，Down（）表示对图像向下采样，采样后的图像在方向上的尺寸缩小为原来1/2；w（m，n）表示高斯内核卷积，大小为5×5。

2.4.2拉普拉斯金字塔

拉普拉斯金字塔每层图像PL的表达式如下：

其中：L表示金字塔层数的索引，N=5表示金字塔的总层数，G'L+1的表达式为：

其中：Up（）表示对图像进行上采样，采样后的图像在方向上的尺寸扩大为原来2倍；w（m，n）表示高斯内核卷积，大小为5×5。

2.4.3融合技术

图8 图像融合过程Fig.8 Image fusion process

其中：ML(x)是融合图像，L=5表示融合图像的层数，K=2表示输入图像的总数。

3 实验结果与分析

在多个权威图像数据库选取图像［23］，采用本文算法与经典的水下暗通道先验（UDCP）法［5］、暗通道先验与灰度世界结合法（IDCPAGW）［9］、多尺度Retinex扩展法［7］及对比度直方图均衡化（CLAHE）法［8］对水下图像进行处理，并在视觉效果和图像质量两个方面评价处理效果。

3.1 视觉效果评价

水下图像的颜色存在严重失真，为了验证不同算法对颜色复原效果，选用水下色卡图像进行实验，结果如图9所示（彩图见期刊电子版）。

图9 颜色复原效果Fig.9 Color restoration effects

图9（b）中的色卡颜色失真严重，且浅绿色色块和黄色色块区分度低，色卡图像的颜色总体偏深；图9（c）中色卡图像的颜色偏红偏暗，有红色伪阴影，且相邻色系色块的对比度低；图9（d）中相邻色系色块之间的对比度有所提高，但色卡图像的颜色偏蓝，且紫色色块、棕色色块的颜色失真；图9（e）中的色卡图像亮度有所提高，但相邻色系色块之间的区分度较低；图9（f）中色卡的颜色鲜明，不同色块的颜色区分度高，相邻色系色块对比度高，色卡的颜色得到了有效的恢复。

然后，将本文算法与其他几种算法分别应用于退化程度不同的水下图像，结果如图10所示。

图10（b）中的图像颜色失真严重，清晰度较低；图10（c）中的图像亮度过低，整体视觉效果受到了极大的影响；图10（d）的图像颜色得到了有效的恢复，但是图像对比度低，且细节模糊；图10（e）中的图像对比度有所提高，细节较为突出，但是存在色偏；从图10（f）可知，本文算法对去除不同退化程度的水下图像色偏均有良好的效果，且能够提高图像对比度，图像细节更清晰，具有更完美的视觉效果。

3.2 图像质量评价

为了对不同算法的增强效果进行客观评价，首先比较不同算法处理图10中原始水下图像的运行时间，如表1所示。在处理速度方面，CLAHE最快，本文算法排第四，这是因为本文算法的结构复杂，具有复原颜色和提高对比度两个功能。

然后，采用信息熵，UIQM，UCIQE3个指标来评价图像质量。

信息熵衡量图像所含的信息量，定义如下：

其中：pi为计算每个灰度值出现的概率，灰度值总数是256个。pi的表达式如下：

其中：N为图像的像素总数，ni为每个灰度值对应的像素个数。

UIQM是从色彩度量指标（UICM）、清晰度度量指标（UISM）和对比度度量指（UIConM）3个方面对图像质量进行评价。UIQM值越大，图像的综合质量越好。UIQM的定义如下：

图10 原始图像和不同算法处理后的图像Fig.10 Original images and images processed by different algorithms

表1 不同算法的运行时间Tab.1 Running time of different algorithms

其 中：c1，c2，c3为 加 权 系 数，c1=0.028 2，c2=0.295 3，c3=3.575 3［24］。

UICM的定义如下：

其中：μα（α∈{RG，YB}）表示平均值，表示方差。μα，σα2，RG和YB的表达式分别为：

其中：K为图像的像素总数；TR和TL为选取的像素数量，分别由0.1K向下取整和向上取整求得；R，G，B为3个颜色通道的值。

UISM的定义如下：

其中：图像区域为k1×k2，Iλimaxlk和Iλiminlk分别为每个区域亮度的最大值和最小值；i取1，2，3，分别表示在R，G，B颜色通道中的定义；λ1=0.299，λ2=0.587，λ3=0.114。

UIConM的定义如下：

其中：k1，k2，Iλimaxlk，Iλiminlk和i同式（20）；⊗是克罗内克运算符，用于计算张量；⊖和⊕分别为同或和异或运算符；λ1，λ2，λ3的值均取1。

UCIQE从色调标准差Cv、饱和度平均值Sv及对比度Qv3个方面对水下彩色图像质量进行综合测评。该值越大，图像的综合质量越好。UCIQE定义如下：

其中：c1，c2，c3为加权系数，取值为c1=0.468 0，c2=0.257 6，c3=0.274 5［25］。Cv，Sv和Qv的 定 义如下：

其中：IL，Ia，Ib分别是Lab空间图像L，a，b通道的灰度值；IL取值为[ILmin，ILmax]，tol2是出现概率不小于ILmax且值最接近ILmax的IL值，tol1是出现概率大于ILmin且值最接近ILmin的IL值。

用Entropy，UIQM及UCIQE3个 指 标 评 价图10中图像质量的结果分别如表2、表3及表4所示。

表2 图像的信息熵值Tab.2 Entropy values of images

从表2可知，本文算法对原始图像进行处理后，图像的信息熵值均高于其他算法，相比原始图像，信息熵值提高了5.2%以上。从表3可知，经本文算法处理后，除了image8的UIQM值仅低于UDCP，其他图像的UIQM值均为最高，图像在色彩度量指标、清晰度度量指标和对比度度量指标方面的综合评价更好，相比原始图像，图像的UIQM值提高了1.25倍以上。从表4可知，经本文算法处理后，除了image3的UCIQE值仅低于UDCP，其他图像的UCIQE值均为最高，在平衡色调、饱和度、对比度方面的效果更好，相比原始图像，图像的UCIQE值提高了30.8%以上。综上可知，本文算法对水下图像的增强效果更佳。

表3 图像的UIQM值Tab.3 UIQM values of images

表4 图像的UCIQE值Tab.4 UCIQE values of images

3.3 消融实验

本文的水下图像增强算法包含颜色平衡和CLAHE两个关键步骤。在多个权威数据库中选取水下图像，分别只用颜色平衡法或CLAHE法处理原始图像，并与本文算法的处理结果进行比较。消融实验结果如图11所示。

由图11可知，与原始图像相比，CLAHE法处理后，图像的对比度和细节有所增强，但是图像仍然有色偏；颜色平衡法处理后，图像颜色得到了校正，但是图像对比度低，且细节不清晰；而本文算法分别采用颜色平衡和CLAHE法对原始图像进行处理，并将处理后的图像进行多尺度融合，不仅能够校正图像颜色，也能提高图像对比度，使图像细节变清晰。

选取信息熵、UIQM和UCIQE作为消融实验的客观评价指标，如表5所示。只用颜色平衡法或CLAHE法处理原始图像，图像的信息熵、UIQM和UCIQE的平均值均小于本文算法的结果，证明了本文算法相比于单独使用颜色平衡或CLAHE法的图像增强效果更好。

图11 消融实验结果Fig.11 Results of ablation experiment

表5 消融实验的客观评价指标Tab.5 Objective evaluation indexes of ablation experiment

4 结论

本文提出了一种基于多尺度融合的水下图像增强算法。用一种颜色平衡法对图像进行颜色校正，对颜色复原后的图像在Lab空间用CLAHE法处理L通道来增强图像的对比度，最后，根据权重图对图像进行多尺度融合。在视觉上，本文算法能够有效校正水下图像颜色，增强图像细节，提高图像的对比度和清晰度，增强后的图像光照均匀。在图像的质量评价指标上，本文算法在信息熵、UIQM和UCIQE方面均优于其他算法，相比于原图像，图像的信息熵提高5.2%以上，UIQM提高1.25倍以上，UCIQE提高30.8%以上。本文算法对水下图像有良好的增强效果。