钱金卓，马骏，李峰，辛蕾

(1.河南大学 软件学院，河南 开封 475001；2.中国空间技术研究院 钱学森空间技术实验室，北京 100094)

0 引言

遥感技术是指通过从外太空或者高空接收来自地球表面各类陆地物体的电磁波信息来进行相关处理的[1-2]技术。自20世纪80年代以来，我国空间事业取得巨大进展，高分、资源、环境等系列陆地遥感卫星的成功发射及组网，使我国成功跻身于世界遥感科学技术的前列[3]。此外，民用卫星产品也得了长足的发展，在各个领域中发挥了巨大的作用[4]。因此，研究能够生产高质量遥感图像的图像处理技术具有重要的意义。

由于普通的基于互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)的遥感相机所能捕获的动态范围远小于自然场景的动态范围，加之曝光时间有限，导致场景内细节内容的大量丢失，表现为拍摄的图像或者曝光过度，或者暗淡[5]。为了最大限度地呈现自然场景的所有细节内容，出现了两种算法解决思路：一种是通过使用经典的高动态范围(high dynamic range，HDR)算法[6]解决相机动态范围局限性问题；另一种是使用多曝光图像融合[7-8]的方法解决此类问题。

在遥感领域相关研究中，对于解决相机动态范围局限性问题已经做出了许多努力。1997年，Debevec等[9]提出了一种通过多幅不同曝光量的图像来进行HDR图像合成的方法。2017年，Lan等[10]基于数字时间延迟积分提出了一种熵最大化的自适应直方图均衡算法，以提高图像表达暗或低对比度目标细节的能力。此方法改善了CMOS相机合成HDR图像的能力，但是具有理想性，未考虑星载相机的姿态稳定性能并不好，即使极短时间内快速连续拍摄的图像之间也会发生轻微的位移偏差，影响最终合成图像的质量。2019年，Bai等[11]设计了一种基于增强型电荷耦合器件的遥感相机，可以直接生成HDR图像。此方法可以有效提高遥感相机的动态范围，但是由于成本巨大，应用价值比较低。因此，目前在航天遥感领域中，尚未提出切实有效的应对遥感相机高动态场景成像的解决方案。

本文提出一种面向CMOS遥感相机的多曝光图像融合方法来解决当前面阵CMOS相机存在的动态范围局限性问题。该方法无需对当前的面阵CMOS相机进行器件改造，且极大减少对星载平台姿态稳定度的要求，只需快速获取同一场景下连续拍摄的多帧原始低照度遥感图像，即可利用这些连续图像生成一幅可显示的HDR图像，可直接应用于各类面阵CMOS遥感相机。

1 研究方法

面向CMOS遥感相机的多曝光图像融合方法处理过程如图1所示，其中主要包含两部分内容。第一部分是进行多曝光遥感数据的采集生成，图像配准结合数字时间延迟积分(time delay integration，TDI)技术获取多曝光图像序列，选择其中的低曝光、正常曝光以及过度曝光的3张图像作为下一部分的数据来源；第二部分是具有多尺度细节增强的多曝光图像融合算法部分，对第一部分得到的3张图像首先使用多尺度图像细节提升算法进行优化处理，然后经过多曝光图像融合算法进行处理，即可重建出一张自适应曝光的遥感图像。

1.1 遥感图像配准

空间推扫式面阵CMOS遥感相机在对同一场景进行快速连续拍摄时，由于卫星平台的稳定性能并不好，所以在进行图像处理之前一个不可缺少的步骤就是图像配准操作。如图2为星载CMOS相机对同一场景进行连续拍摄时，可看出整体图像向左偏移。考虑实际应用，选用SURF特征算法[12]作为本文图像配准算法，并结合随机一致性算法(random sample consensus，RANSAC)剔除误匹配的点，提高遥感图像的配准精度。

图2 CMOS相机获取图像示意图

1.2 虚拟数字TDI多曝光序列

TDI技术可对同一目标进行多次曝光，增加系统集成时间，可有效提高航天遥感成像系统的信噪比与灵敏度[13]。在相机推扫速度严格匹配时，使用TDI技术对遥感数据进行处理，可解决推扫期间曝光时间不足的问题。由于受限于面阵CMOS结构，其在电荷域中无法实现TDI技术，本文选择在数字域中实现TDI技术，它被称之为虚拟数字TDI技术。虚拟数字TDI技术是指通过模仿数字TDI的快速曝光功能，对面阵CMOS相机快速连续拍摄得到的多帧原始低照度图像进行配准，叠加不同配准图像以产生具有不同曝光程度的图像，以此摆脱器件的限制。首先选择多帧图像中的一帧图像作为参考图像，通过上文配准方法将其余帧配准到参考帧上，使得待配准图像的像素点可以映射到参考图像相同位置的空间坐标上，然后选择配准结果图像的公共区域作为ROI，如图3所示。

图3 公共ROI生成过程

在得到多帧ROI数据后，通过使用式(1)对多帧ROI图像进行加权融合以生成不同曝光度图像。由于对图像进行了配准处理，加之选择了公共区域，因此满足了图像融合的输入要求，避免了图像融合带来的鬼影效果。

(1)

式中：φ表示两幅图像的融合比例；Ii(x)、Ii+1(x)分别为两帧ROI图像的像素；sum为融合ROI图像的数量，i+1小于等于sum；F(x)为融合之后的图像像素，即不同曝光度图像。上述方法的核心是基于图像配准技术选取ROI实现多帧图像的累加，这样做可有效减少对平台姿态稳定性的要求。

为了进一步处理，通过以下策略来指导融合ROI图像的数量，以便生成本文算法需要的3张低曝光、正常曝光、过度曝光图像。通过式(2)配合高斯曲线，根据归一化像素强度与0.5的接近程度，求取整幅ROI图像的平均曝光度。由于面阵CMOS相机在快速连续拍摄过程中积分时间十分短暂，所产生的图像曝光水平接近，所以只需求取多帧ROI图像中的一帧图像平均曝光度即可。

(2)

式中：选择标准差σ为0.28；p(i，j)为归一化后的像素值；pmax为整幅图像中最大的像素亮度；avgE为多帧ROI的平均曝光灰度。

接下来对所求得的avgE进行判断。定义grayL代表当前拍摄图像所能表示的最大曝光灰度级(例如8位深图像，grayL为256)，由于得到的数据是在极短时间内拍摄的连续多帧原始低照度图像，积分时间十分有限，图像平均曝光灰度是小于等于四分之一grayL。这里特别说明一下，应提前设定合适的相机曝光时间，使得相机在秒级内拍摄的图像平均曝光度小于等于四分之一最大曝光能量级，即本文要求的原始低照度图像，图像平均曝光度可通过式(2)进行验证。如果没有提前设定合适的相机曝光时间，可能出现avgE大于四分之一grayL的情况，这时就需要对所有ROI图像进行预处理，将其像素灰度值归一化缩放到[0，grayL/4]范围内，即可达到本文方法所要求的原始低照度图像，然后再对处理之后的ROI图像进行求取avgE。最后通过式(3)确定合成低曝光、正常曝光、过度曝光图像所需要的融合ROI的数量。

(3)

式中：round表示对结果进行四舍五入，当grayLLNH分别为四分之一grayL、二分之一grayL、grayL时，可得到合成低曝光、正常曝光、过度曝光图像所需融合ROI图像数量的sum值。

1.3 多尺度图像细节提升

通过上文的多曝光遥感数据生成过程，即可得到不同级别的曝光图像，然而使用虚拟数字TDI技术对同一目标进行多次曝光时，过长的曝光时间会带来图像模糊的问题，因而会造成图像细节信息的丢失。对此本文使用Kim等[14]提出的多尺度图像细节提升方法来解决这个问题，其核心思想是使用不同大小的高斯核生成3个模糊程度不一样的图像，然后使用原图减去模糊图像生成细节图像，最后融合3幅细节图像即可增强图像细节。

1.4 多曝光图像融合

根据1.2节中的策略选择曝光序列中的3张定义图像经过上文算法处理之后，可作为接下来的多曝光图像融合算法的数据来源，其处理过程如下。

1)权重图求解。通过定义两个评价指标，得到遥感图像的权重图。

(1)对比度评价指标。对每个不同曝光度的灰度遥感图像应用拉普拉斯滤波器[15]，取其滤波结果的绝对值为相应像素的权重值，由此产生一个对比度评价指标。它倾向于为图像中细节以及纹理等重要部分分配较大的权重。

(2)曝光评价指标。通常不希望图像过度曝光，或者曝光不足，即图像中的像素强度不要太靠近0或者1，使用高斯曲线实现，计算如式(4)所示。

(4)

式中：选择标准差σ为0.08；x为每个像素归一化后的强度，根据像素强度与0.6的接近程度为曝光合适的区域分配更多的权重，由此产生一个曝光评价指标。由于遥感图像大部分为单波段灰度图，所以只进行单波段处理即可。

接下来将两个评价指标与归一化相结合，计算出每幅图像的最终权重图。

2)图像融合重建阶段。使用多分辨率金字塔融合技术[16]来指导图像融合，分别对归一化权重图进行高斯金字塔构建，同时对曝光图像进行拉普拉斯金字塔构建。将这两个金字塔相应层进行加权平均，并将得到的3个金字塔对应层级进行叠加，以此得到最终融合的金字塔。通过对融合的金字塔顶层图像进行上采样与下层图像进行相加，得到一幅与下层图像大小一致的图像，依次向下操作直到金字塔最底层，即本文方法得到的自适应曝光的HDR图像。数学表达如式(5)所示。

(5)

式中：金字塔的总层数为l，第1层表示原始图像大小，第l层为当前金字塔中图像大小最小的层级；up表示对图像进行上采样。

2 实验与分析

为了验证本文方法的可行性，本文实验采用一组实验室仿真数据和一组真实卫星遥感数据开展实验验证。第一组实验数据采用钱学森空间技术实验室光学仿真平台采集的仿真实验数据。通过面阵CMOS相机模拟卫星对地运动快速获取移动靶标的连续多帧数据，一组为8帧图像。第二组实验数据采用欧比特公司发射的珠海一号(OVS-1A)卫星，其上搭载了面阵CMOS相机，可快速连拍获取低照度图像。本文选取的研究区域位于阿克苏地区，时间为2018年9月19日，通过快速连续拍摄获取多帧图像。

本文关于图像质量的客观评价采用清晰度、二维熵、方差和空间频率指标。图像清晰度采用Crete等[17]提出的评价方法，这个评价结果越低，代表图像越清晰；图像二维熵[18]大小可表示图像所携带的信息量的多少，如果图像二维熵值越大，则表示图像融合的信息量越大，所能传递信息越多；方差代表图像中的高频信息，图像方差大，则图像的对比度大，并且图像会更加醒目[19]；图像空间频率表征了图像在空间域中的总体活跃程度，反映了图像灰度的变化率[20]，图像空间频率越大，则融合图像中的细节信息越多。

2.1 实验一

为了获取本文方法所需的原始低照度图像，通过将面阵CMOS相机曝光时间设定为10 ms，数据位深为8 bit，计算出拍摄的图像平均曝光度低于四分之一最大灰度级，即符合低照度图像要求。本次实验数据是在同一环境下、同一曝光时间，短时间内快速连续拍摄的8帧图像。如图4为8帧原始仿真数据，图像大小为1 800像素×1 800像素。可看出这些图像整体显得暗淡，且发生了轻微的位移偏差。

图4 8帧原始低照度图像

对这些图像使用本文方法进行配准，将第4帧作为参考帧，其余帧配准到第4帧上，之后选取公共ROI使用虚拟数字TDI技术生成多曝光序列。ROI多曝光序列如图5所示，其中图5(a)为原始ROI图像，图5(b)、图5(c)、图5(d)、图5(e)、图5(f)分别为3、5、7、10、13张ROI融合的结果。

图5 仿真数据ROI多曝光序列

根据上文提到的策略，计算出仿真数据平均曝光灰度为19左右，合成算法所需的低曝光、正常曝光、过度曝光图像分别需融合3、7、13张ROI，因此选择图5(b)、图5(d)、图5(f)输入本文算法，即可得到自适应曝光图像图6(d)。图6(a)为原始图像，图6(b)、图6(c)分别为文献[7]、文献[8]中方法生成的结果，从主观角度进行对比观察可以看出，本文方法生成的HDR图像更加醒目，且细节得到了增强。

图6 实验室仿真数据原始图像与不同方法生成结果对比图

使用清晰度、二维熵、方差和空间频率对实验室仿真数据经不同方法生成的结果图像与原始图像进行客观评价，评价结果如表1所示。可以看出，本文方法在二维熵、方差、空间频率指标上均高于原始图像与其他方法，在清晰度指标上高于其他方法，略低于原始图像，这是由于配准误差带来的影响。综合主观与客观结果，可以证明本文方法生成的HDR图像在仿真数据上表现优异。

表1 仿真数据原始图像与不同方法生成的HDR图像在清晰度、二维熵、方差和空间频率方面的对比

2.2 实验二

珠海一号OVS-1A快速拍摄的连续多帧低照度阿克苏地区的8位图像作为本文的第二组实验数据来源。图7所示为阿克苏地区原始推扫数据，由于曝光时间短暂，造成图像暗淡。

图7 来自珠海一号OVS-1A的原始推扫数据

为了进行遥感图像的配准处理，本文选取OVS-1A原始推扫数据中的连续8帧图像，图像大小为4 096像素×3 072像素，其中第4帧作为参考帧，将其余帧使用本文配准算法进行配准处理。配准处理结果如图8所示，可以看出前3帧图像相对于第4帧图像向上偏移，后4帧图像相对于第4帧图像向下偏移。

图8 使用SURF对OVS-1A推扫数据进行配准的结果

在得到配准结果图之后，选取这7帧配准结果图像相同位置的公共ROI，之后使用虚拟数字TDI技术进行多级曝光数据的生成，其多曝光序列生成结果如图9所示，其中图9(a)为原始公共ROI图像，图9(b)、图9(c)、图9(d)、图9(e)、图9(f)分别为3、6、8、10、12张ROI融合的结果。

图9 OVS-1A阿克苏地区 ROI多曝光序列

在经过上述方法处理之后，即可得到面阵CMOS遥感相机的多曝光图像序列。由于OVS-1A 拍摄的阿克苏地区实验数据符合本文方法要求的原始低照度图像，其曝光灰度级在23左右，小于四分之一最大能量级，因此不需要预先进行动态范围调整。根据上文提到的策略，要达到低曝光、正常曝光、过度曝光水平所需要融合ROI图像的数量分别为3、6、10，所以选择图9(b)、图9(c)、图9(e)输入本文算法中进行处理，生成的自适应曝光HDR图像如图10(d)所示。图10(a)为原始图像，图10(b)、图10(c)分别为文献[7-8]中方法生成的结果图像。从主观的角度观察比较图10(a)～图10(d)放大的区域，可以看出本文方法生成的HDR遥感图像在图像的暗区变得清晰，且具备更加丰富的细节纹理特征。

图10 OVS-1A原始图像与不同方法生成结果对比图

为了进一步说明本文提出方法的有效性，根据清晰度、二维熵、方差和空间频率对OVS-1A卫星阿克苏地区经不同方法生成的结果图像与原始图像进行客观评价，评价结果如表2所示。

表2 OVS-1A阿克苏地区原始图像与不同方法生成HDR遥感图像在清晰度、二维熵、方差和空间频率方面的对比

从表2可以看出，本文方法生成的自适应曝光HDR遥感图像在二维熵、方差以及空间频率上均高于其原始图像与其他方法；在清晰度指标上优于其他方法，略低于原始图像，这是由于图像配准误差导致的图像清晰度的下降。综合主观以及客观角度的对比结果，可以证明本文提出的面向CMOS遥感相机的多曝光图像融合方法生成的自适应曝光HDR遥感图像具有较高的质量。

3 讨论

由于本文方法要求面阵CMOS相机在短时间内快速采集连续多帧原始低照度图像，即应设定合适的相机曝光时间，才能使得原始图像的平均曝光灰度级小于等于四分之一最大能量级，根据1.2中式(2)可直接验证曝光时间是否设置合理。在数字域中形成类似TDI成像的效果，基于图像配准技术实现多帧的累加，减少了对平台稳定性的要求。通过本文的曝光合成策略，可指导合成3张本文算法所要求的输入图像。后面开展的实验，无论是从主观还是客观角度，都可以看出本文方法生成的图像质量优于其他图像融合方法，且有效解决了面阵CMOS相机应对高动态场景成像的问题。这里特别指出，由于珠海一号所拍摄的图像曝光水平符合本文所要求的实验参数，即平均曝光度小于四分之一最大能量级，所以无需对原始图像进行预处理以调整动态范围，达到低照度图像要求。

4 结束语

为了解决面阵CMOS遥感相机存在的动态范围局限性以及曝光时间短暂的问题，本文通过图像配准组合数字TDI技术的方法使得面阵CMOS相机可以进行多曝光图像的采集生成；利用具有多尺度细节增强的多曝光图像融合算法生成了一幅自适应曝光的高质量遥感图像，摆脱了传统HDR算法的色调映射以及相机响应函数的繁琐求解过程，且不依赖于器件改造，使得面阵CMOS相机具备了生成高动态范围图像的能力。实验表明，本文方法优于传统的多曝光图像融合方法，且为遥感卫星平台获取高质量图像提供了一种新的解决方法。这种新型成像方法已被中国后续某地球同步轨道光学成像卫星所采用。