吴玲风， 李 娜， 胡骏保

(1． 广东科技学院 机电工程学院，广东 东莞 523083；2. 西安邮电大学 通信与信息工程学院，陕西 西安 710121；3． 深圳大学 微纳光电子学研究院，广东 深圳 518060)

1 引 言

近年来，光学成像技术在生物医学、遥感、天文观测、计量学等领域发挥重要的作用[1]，而光学成像技术的发展离不开图像传感器件CCD/CMOS制造工艺上的进步。随着图像传感器件不断优化，图像的成像质量在分辨率、位深度上都得到了极大提高[2]。但是，由于普通图像传感器件的动态范围是有限的，远小于真实的自然场景，因此只能采集到低动态范围图像(Low Dynamic Range, LDR)。如果增加曝光时间以使曝光不足区域显示信息，则原本曝光良好的区域会出现曝光过度甚至饱和的情况；如果减少曝光时间以使曝光过度区域显示，则原本曝光良好的区域又会出现曝光不足。为了解决该问题，高动态范围(High Dynamic Range, HDR)成像技术应运而生[3]，且已经有了许多算法。这些算法主要分为两大类：色调映射(Tone Mapping, TM)和多尺度曝光融合(Multiscale Exposure Fusion, MEF)。TM[4]需要能反演相机响应函数(Camera Response Function, CRF)并在辐射域中进行HDR重建。因此，这类算法需要对多曝光图像序列进行辐照度恢复(求解相机响应函数与曝光参数)，并压缩HDR图像的动态范围以方便在标准显示器上显示HDR图像。虽然这类技术重建的图像可以实现符合人眼的视觉效果，但因程序过于繁琐，已经无法满足当下HDR成像的需求。另一类技术MEF[5-6]可在强度域中通过一定的融合规则直接生成一幅HDR图像，因此提供了一种更简单，更直接有效的方法，且该方法已在移动设备中广泛用于HDR成像。

MEF算法通常都需要采集同一场景的多幅不同曝光量的图像以期包含实际场景的所有细节信息，为此需在图像探测器上设定一系列曝光值(Exposure Value, EV)间隔很小的曝光量，例如1 EV或2 EV。这通常适用于传统算法，即通过设定不同曝光时间采集一系列图像。一方面，这类方法虽然有效，但是在多幅图像采集的过程中，由于相机抖动造成的图像视场失匹配在所难免，因此应该在保持足够的图像信息同时尽可能减少图像采集。另一方面，对于新兴的HDR图像采集系统而言，多幅图像的采集将不再适用。一个典型的例子是带有几个传感器的基于分束的采集系统[7]。为了节省成本，可以将传感器的数量最小化为两个。另一个例子是基于行控制的CMOS采集系统[8]。为了简化这种CMOS采图装置，一个图像视场被分成两个分别对应不同曝光时间的视场区域。由于曝光次数有限，通常设定一个短曝光、一个长曝光，且两次曝光时间之间的比率较大，以便尽可能多地捕捉信息。但是，现有的MEF算法在只有两幅曝光量较大的输入图像时，不能保持输出的融合图像具有较高的质量。因此，有必要开发一种新的MEF算法，该算法可用于一组短、长两个曝光率较大图像的高质量HDR图像融合。

本文针对一组短、长曝光图像的HDR图像获取，提出了一种基于人工重映射和多尺度曝光融合的高质量HDR图像生成方法。该方法可直接从短、长曝光图像中通过人工重映射分别生成一系列涵盖亮暗场景信息的多曝光图像序列。然后采用曝光融合对所有的多曝光图像序列进行多尺度运算，最终可得到一幅细节保持良好的HDR图像。所提方法为基于CCD/CMOS的便携式成像设备的高质量HDR成像提供了参考，可助力于光学成像及其应用领域。

2 原理和方法

所提的基于重映射和多尺度曝光融合的HDR成像方法主要包括两大块：人工重映射和多尺度曝光融合，其总体框架如图1所示。首先，引入人工重映射函数，并根据人工重映射函数从输入的一组短、长曝光图像对中分别生成一系列多曝光图像序列，这些序列可自适应地涵盖真实场景的亮暗细节；然后，计算每幅生成序列图像的对比度、饱和度以及曝光度指标用于图像评价，并根据这3个质量评价因子求取多曝光序列权重图；接着对权重图进行高斯金字塔分解，并对多曝光图像序列进行拉普拉斯金字塔分解；最后，基于多尺度金字塔融合规则重建图像金字塔，并合成一幅细节保持良好的HDR图像输出。

图1 所提方法的流程框图Fig.1 Flow chart of the proposed method

2.1 人工重映射函数

针对输入的一组短曝光和长曝光图像对，为了尽可能多地提取出有限动态范围内的图像信息，首先引入一种人工重映射方法来扩张图像序列。文献[9]提出了一种图像超范围伪影校正的方法——将每幅输入图像分离成一系列动态范围缩小的图像。如此，可将每幅输入图像的动态范围分布在由该图像创建的几个新图像序列中。受此启发，可对输入的短曝光图像、长曝光图像分别进行人工重映射来扩张输入的图像序列，尽可能多地获取到每个通道的动态范围。定义的重映射函数g(i,j)如公式(1)所示：

(1)

(2)

该人工重映射函数中仅有一个参数β是未知的，但它可由用户自行设置，根据设定的β，再根据公式(3)可得到输入的每幅图像扩张到的图像序列。ceil()表示向上取整。

(3)

这样，便可通过设置的β求出M。根据人工重映射函数自适应地生成M个多曝光图像序列。对于本文输入的一组短曝光和长曝光图像对，经过扩张之后，可得到2M个具有不同动态范围的图像序列。

2.2 曝光融合

根据上述人工重映射函数获得多曝光序列后，就可以通过传统曝光融合的方式获取HDR图像。Mertens等人[5]提出了基于金字塔的多曝光融合方法，获得的图像在大多数情况下都取得了很好的效果，本节的HDR图像恢复是在Mertens金字塔的曝光融合基础上进行的改进版本。

2.2.1 权重图

曝光融合过程需要求解权重图，因此选择合适的质量评价指标计算权重是至关重要的。Mertens等人的方法使用了曝光度、对比度、饱和度3种度量指标，取得了不错的效果。为此，本文采用Mertens的权重图评价体系，并优化了用于曝光度的度量指标。定义μj为第j个图像序列，j是序列中图像的位置；c是彩色图像的颜色通道。

至于曝光度度量，Mertens等使用高斯曲线来衡量每个像素值与中值0.5的接近程度，但这有时会产生不必要的光晕。为了克服此影响，本文设计了一种新的权重函数用于计算曝光度，如公式(4)所示：

(4)

至于对比度度量，它由图像灰度版本的离散拉普拉斯滤波器的绝对值表示，如公式(5)所示，其中hLaplacian是3×3的拉普拉斯滤波核。

(5)

至于饱和度度量，用3个通道的像素大小的标准平方差来计算饱和度，如公式(6)所示:

通过对生成的每幅多曝光图像进行曝光度、对比度、饱和度的测量，并将这3个计算量线性相乘(并作归一化)，可得到这些多曝光图像序列权重图，如公式(7)所示。

(7)

2.2.2 多尺度融合

得到所有图像序列的权重图后，对权重图wj进行高斯金字塔分解，记作G{w}j。高斯金字塔由低层下采样获得高层图像，其第0层为原始图像，之后对每一层进行高斯模糊后再降2采样获得，高斯金字塔分解算法如公式(8)所示：

(8)

式中:Gl为高斯金字塔的第l层图像; (x,y)是像素的位置坐标;Rl、Cl为第l层图像的总行数与总列数;ω(m,n)为高斯滤波器;(m,n)表示第m行n列数值;L表示高斯金字塔层数，在本算法中取最大的可分解层数，计算方式为log2[min(R0,C0)]。

对生成的多曝光序列μj进行拉普拉斯金字塔分解，记作L{u}j。拉普拉斯金字塔首先在构造出大小减半的高斯金字塔图形后，对高斯金字塔进行插值和扩展。扩展插值算法与分解过程类似，在对高斯金字塔的每一层进行插值后，可以得到扩展结果，如公式(9)所示:

(9)

之后将第l层图像G与G*相减，得到包含细节信息的第l层图像Ll，如公式(10)所示:

(10)

将高斯金字塔分解的结果G{w}j和拉普拉斯金字塔分解的结果L{u}j按照像素对应的空间位置进行乘积运算并求和可得到融合的金字塔F{v}，如公式(11)所示，其中v是想要的重建图像。

(11)

最后，根据拉普拉斯金字塔逆变换重建出图像v，这样就得到了最终要输出的亮暗细节保持良好的HDR图像。

3 实验结果与主观评价

为了验证本文方法的可行性，实验分别选取了静态场景中“Chinese_garden”、“Venice”、“Office”、“Landscape”，这些是公开的、使用频率较高的多曝光测试序列。为了证明本文方法的性能，选取了经典的以及主流的方法与之对比，包括基于梯度场融合(Gradient Field Multi-Exposure Fusion, GF-MEF)[10]、基于滤波融合(Multi-Exposure Fusion with Median Filter and Recursive Filter, MFRF)[11]、基于金字塔融合(Details-Preserving Multi-Exposure Fusion, DP-MEF)[12]以及基于深度学习融合(Multi-Exposure Fusion with CNN Features, CNN-MEF)[13]。在下文的对比实验中，所提方法使用的输入图像选取了原场景序列中一幅短曝光和一幅长曝光图像(其中“Chinese_garden”、“Venice”、“Landscape”均含3幅曝光图像，本文方法使用的输入图像为各序列中第一幅和最后一幅；“Office” 含6幅曝光图像，本文方法使用的输入图像为该序列中第2幅和第5幅)，其余4种方法使用的输入图像则为原场景序列中所有的多曝光图像。关于算法中的参数，本文推荐β参数取0.5；其他算法中所涉及到的参数均采用默认的设定值。本文所有实验结果是基于Windows 10, 使用PC平台(Intel i5处理器，16 G内存)上的MATLAB R2017b完成。

图2 场景“Chinese_garden”的融合结果对比Fig.2 Comparison results of the scene “Chinese_garden”

图2展示了使用“Chinese_garden”场景序列的融合结果。进行曝光融合的场景中需要采集一组多次曝光图像，考虑到本文针对的是包含一幅短曝光和一幅长曝光图像的融合，因此输入的图像选取了原场景中两幅较极端的曝光图像，如图2(a)所示。后文的比较中，所提方法也采用相同的方式输入图像，但与之对比的方法则输入所有的曝光图像。图2(b)～(f)展示了使用不同方法进行融合恢复的效果。从视觉上看，图2(b)中基于GF-MEF的方法图像整体渲染过渡，使得天空的场景和园林景观蒙上了一层灰色基调。图2(c)中基于MFRF的方法图像对比分明，无论是天空的白云还是园林内的行人、草木，整体上呈现出了符合人眼视觉效果。图2(d)中基于DP-MEF的方法在图像曝光度和饱和度上展示出了较好的视觉效果，但是对比度上似乎计算过度，塔顶旁边的屋檐、园林内的行人以及行人观赏的植物不够突出，然而天空中的云彩却清晰可见。图2(e)中基于CNN-MEF的方法和MFRF的方法恢复的图像效果给人的视觉感观相似。图2(f)中基于本文的方法图像整体色调分明，在对比度和饱和度上呈现出较好的效果，甚至在清晰度上较图2(c)、图2(e)略微更胜一筹。

图3 场景“Venice”的融合结果对比Fig.3 Comparison results of the scene “Venice”

图3展示了使用场景“Venice”的融合结果。GF-MEF使得远处的城堡和水面上的船都渲染成灰白基调；MFRF使得城堡左右融合的效果不一致，左方偏暗而右方偏亮；DP-MEF使得城堡里的细节不够突出；CNN-MEF城堡整体效果符合人类视觉感知，但是明显有一些模糊感；本文方法恢复的效果色彩分明，清晰度较高，视觉效果更好。

图4和图5则分别展示了使用“Office”序列和“Landscape”序列的融合结果。主观上，与前4 种方法相比，本文的方法融合的效果图像色彩明亮丰富、纹理细节清晰可见、整体与全局衔接自然，总体效果更加接近真实自然场景。

图4 场景“Office”的融合结果对比Fig.4 Comparison results of the scene “Office”

图5 场景“Landscape”的融合结果对比Fig.5 Comparison results of the scene “Landscape”

4 客观评价

上文已从主观上定性地分析了所提方法的融合图像效果，为了客观地定量评价融合的效果，需要选取一个合适的评价方法。然而，由于MEF体系中缺乏一个可以作为基准的参考图像，因此实际上还没有可以完美评价图像质量的方法。但是，可以参考大多数权威论文中使用的评价方法。其中，一种称为MEF-SSIM的评价[14]被认为多曝光融合领域中评判准绳，因此本文选用它作为客观评价。MEF-SSIM是一种基于结构相似性原理和一种新的块结构一致性度量方法的MEF客观图像质量评价算法，其分数值在0～1之间，0表示效果最差，1表示效果最好。表1展示了上述所有曝光测试序列中不同方法之间的MEF-SSIM定量评估值，可以看出，相比于其他方法，本文方法在大多数情况下MEF-SSIM计算值较高且均值最高，因此融合的效果最好。

表1 使用MEF-SSIM对各种序列结果进行定量客观评价Tab.1 Quantitative evaluation of the results using MEF-SSIM

续 表

为了比较计算效率，分别计算了这5种曝光融合算法在相应曝光序列下的运行时间，如表2所示。所对比的5种算法都是基于MATLAB编程，在Intel i5处理器、CPU主频1.2 GHz、内存16 G的PC上实现的。从对比结果可知，本文算法的计算效率优于GF-MEF、DP-MEF和CNN-MEF算法，与提出的MFRF算法相当。

表2 五种曝光融合算法的运行时间Tab.2 Execution time of five exposure fusion methods (s)

5 结 论

提出了一种基于重映射和多尺度曝光融合的HDR成像方法。该方法只需要采集一组短、长曝光图像，通过人工重映射分别生成一系列多曝光序列；然后通过曝光融合对所有多曝光序列进行金字塔多尺度重建以生成一幅细节保持良好的HDR图像。实验选取了4种代表不同类型的融合方法，针对不同的曝光测试序列，分别从主观和客观上对该算法进行了比较与分析，结果表明：本文算法相比于GF-MEF在MEF-SSIM评分上提高了13.33%；相比于MFRF提高了1.57%；相比于DP-MEF提高了4.89%；相比于CNN-MEF提高了2.62%。本文算法具有较好细节保留的特点，呈现出了更加自然的高动态范围场景。所提方法为HDR成像领域提供了新的参考，有望为基于便携式移动采集设备，比如智能手机、摄像头的HDR成像提供了一条有价值的途径，未来可助力于光学成像、生物医学成像、遥感成像等领域进行高质量HDR图像探测。