杨家俊， 陈 昕， 丁祝顺

（1.超精密航天控制仪器技术实验室,北京100039;2.北京航天控制仪器研究所,北京100039）

0 引言

图像融合是指从多源信道获得多幅关于同一对象或区域的图像数据,并从中最佳地提取各个信道中重要的互补信息,最终得到一幅融合了各个信道重要信息的高质量图像[1]。其目标是输出全面综合了各个输入图像信息的单一图像,以便于人的感知或后续的机器分析、理解及决策。依据数据来源的不同,可将图像融合系统分为两类,一类的源图像来源于光学参数可变的同一传感器,例如多聚焦图像融合系统；另一类的源图像来源于不同类型的图像传感器,典型场景包括可见光-红外图像及多模医学图像融合系统。图像融合技术已经逐步成为大多数图像信息处理系统实现数据预处理的关键模块,被广泛应用于各种实际场景中,如机器视觉、安防监控、医学图像分析、遥感图像解译、军事目标识别与跟踪等[2-5]。

早期的图像融合算法以加权平均法、逻辑滤波法及数学形态法为代表,还包括了IHS变换[6-7]、PCA 变换[8]、 多尺度变换[9]等。 近年来, 许多新的图像融合方法已被提出。2017年,Zhu等[10]提出的多模图像融合方法将源图像进行了分解,并基于稀疏表示方法融合了高频成分,使用形态学方法融合了低频成分。2018年,Tang等[11]提出了一种像素级卷积神经网络（p-CNN）,通过邻域信息识别聚焦和散焦像素,以进行多聚焦图像融合。2019年,Farid等[12]提出了一种多聚焦图像融合方法,使用内容自适应模糊算法（CAB）检测聚焦区域。2019年,Ma等[13]提出了一种基于生成对抗网络的图像融合方法FusionGAN,用于可见光及红外图像的融合。Yang等[14]首次将稀疏表示理论引入了图像融合领域,他们的实验结果表明,基于稀疏表示（Sparse Representation,SR）理论的图像融合方法相较于传统的基于多尺度变换（MST）理论的方法具有非常明显的优势。通过对原始的图像信号执行对应于某个空间基的稀疏分解,稀疏表示（SR）理论提供了使用较少数据表达图像核心信息的能力。这符合信号的自然稀疏特性,也符合人类视觉系统的生理特点,为视觉信息的底层感知与复原、高层理解和识别提供了有效的支撑。

采用加权平均法、逻辑滤波法及数学形态法等技术直接对图像像素进行处理,难以利用图像中较高层次的视觉特征信息,融合图像质量较差。传统的IHS变换、PCA变换、多尺度变换分析等变换域方法只着眼于特定的视觉特征信息或只适用于特定的图像融合场景,融合图像质量不及稀疏域变换方法。神经网络方法依赖训练数据和硬件算力,模型解释性较差,应对新样本的能力较差。现有的基于稀疏表示的图像融合算法只考虑对稀疏域的稀疏系数向量所包含的信息进一步发掘和利用,而不考虑使用来自字典的信息进一步提升融合图像的质量。本文使用原子向量的l1范数构造信息量权向量,通过将字典原子的信息引入稀疏系数向量的融合过程,提升了融合图像的质量。

1 原子加权稀疏表示图像融合算法

1.1 基于稀疏表示的图像融合

根据稀疏表示（SR）理论,假设原始信号可以表达为一个向量x∈Rn,存在一个超完备字典矩阵D∈Rn×m（n＜m）,则原始信号x可以通过字典D的少量列的线性组合近似表达为x≈Dα,α∈Rm是未知的稀疏系数向量。如图1所示,图中红框的线宽对应于稀疏系数向量α中元素的大小。由于字典D是超完备的,该欠定线性系统有无穷多的可行解。稀疏表示的目标是寻找具有最小零阶范数的α,该稀疏编码过程通常由正交匹配追踪（Orthogonal Matching Pursuit,OMP）[15]算法实现。

图1 稀疏表示理论的示意图Fig.1 Diagram of sparse representation theory

假设源图像为IA、IB, 则基于稀疏表示的图像融合算法[14,16]的执行流程如下:

1.2 原子加权稀疏表示(AWSR)图像融合算法

传统的基于稀疏表示理论的图像融合算法将超完备字典的每一列称为一个原子,字典原子被用作完成图像信号稀疏分解及重构的基本信号元。通过稀疏编码过程将源图像信号分解为字典原子的稀疏线性组合,将相应的图像融合算法视为原子线性组合的系数,即稀疏系数向量的一阶范数为输入图像信号包含信息量大小的度量标准,据此选择作为图像融合结果的稀疏系数向量。

通过分析稀疏编码过程使用的超完备字典的构建原理,字典的每一个原子列所包含的信息量必然存在差异。现有的相关研究文献通常侧重于考虑对稀疏域的系数向量所包含的信息量进一步发掘和利用,而较少考虑字典原子的信息量差异。本文以图像融合系统为应用场景,探究对稀疏字典原子信息特性的进一步发掘和利用。通过对稀疏域信号引入来自超完备字典的约束,将稀疏系数元素及其对应的字典原子综合考虑,并将其作为稀疏系数向量的融合依据。该操作可以降低融合图像块的选择错误率,提升融合图像的质量。

假设用于稀疏编码的超完备字典为D,字典尺寸为“H×W”,源图像块对应的稀疏系数向量分别为ωA和ωB,稀疏系数向量的融合结果为ωF。以SR算法为基础,AWSR算法原子加权部分的执行流程如下:

（1）字典规范化

为了消除原子能量对其信息量计算的干扰,使用相应的均值对原子进行规范化。将字典D的每一个原子的元素除以该原子的l2范数,得到规范化字典Dn

本文实验使用K-SVD算法在规范化图像数据库上学习到的字典已经具有规范化原子。

（2）信息量度量

以规范化字典中每一个原子的l1范数作为其对于融合图像信息量大小的贡献程度度量,计算规范化字典Dn中每一个原子的一阶范数,得到度量原子信息量的行向量VI

（3）构造权向量

调整不同原子稀疏系数比重的权重值,将整个字典所有原子的总信息量规范化为1。计算信息量行向量VI的每一个元素与元素和的比值,并将其作为对应原子的稀疏系数加权值,得到稀疏系数权向量Vw

（4）计算原子加权融合系数

分别计算两个源图像块对应的稀疏系数向量ωA、ωB的绝对值与系数权向量Vw的内积,得到原子加权融合系数wA和wB

（5）加权稀疏系数向量融合

融合稀疏系数向量,选择原子加权融合系数较大值对应的稀疏系数向量作为融合稀疏系数向量

将以上原子加权算法引入传统的基于稀疏表示的图像融合框架,即得到了基于原子加权稀疏表示（Atom-weighted Sparse Representation,AWSR）的图像融合算法。图2为完整的AWSR图像融合算法的流程框图。此外,该图像融合框架也可以很容易地扩展到融合两幅及以上源图像的情况。

图2 基于原子加权稀疏表示(AWSR)的图像融合算法流程框图Fig.2 Block diagram of image fusion algorithm based on AWSR

2 实验分析

2.1 融合图像质量的客观评价指标

由于通常并不存在可以用来和融合图像进行对比从而评价其融合质量的标准图像,很难简单地对融合图像的质量进行准确评价。通常设置一组具有不同评价取向偏好的客观指标进行实验,通过其综合表现评价融合算法的性能[17]。本文选取了六种常用的融合图像质量客观评价指标对原子加权稀疏表示（AWSR）图像融合算法进行评价。假设系统输入的源图像为A、B,输出的融合图像为F,图像尺寸为H×W。

（1）标准偏差（Standard Deviation,SD）

图像标准偏差SD的定义为

式（6）中,μ为图像F的均值。标准偏差主要用来度量融合图像的对比度。

（2）基于梯度的融合度量 （QG）

基于图像特征的评价指标QG由 Xydeas和Petrovic[18]提出,QG的计算公式为

式（7）中,QAF和QBF为边缘强度和方向的保留值,ωA、ωB为其显著性。评价指标QG主要用来度量梯度信息由输入图像到输出图像的保存情况。

（3）基于相位一致性的融合度量（QP）

评价指标QP由 Zhao等[19]提出,QP的计算公式为

式（8）中,p、M、m依次为相位的一致性、最大矩和最小矩,实验取α＝β＝γ＝1。评价指标QP主要用来度量输入图像的边缘、角点等核心特征保存到输出图像的情况。

（4）基于通用图像质量评价指标（UIQI）的融合度量 （QW）

基于图像结构相似性的评价指标QW由Piella和 Heijmans[20]提出,QW的计算公式为

式（9）中,w为滑动窗口,和Q0（B,F|w）来自 UIQI评价指标[21],λ（w）为由方差计算的显著性加权系数,c（w）为归一化特征值。评价指标QW主要用来度量从输入图像到输出图像的类似人眼视觉的失真情况,包括相关系数、亮度以及对比度。

（5）归一化互信息（Mutual Information,MI）融合度量 （QMI）

基于信息论的评价指标QMI由 Hossny等[22]提出, 该指标增强了互信息（MI）评价指标[23]的稳定性。QMI的计算公式为

式（10）中,H（·）为图像的熵,MI（A,F）和MI（B,F）为互信息（MI）。 评价指标QMI主要用来度量输出图像保留输入图像信息的情况。

（6）基于空间频率（Spatial Frequency）的融合度量 （QSF）

评价指标QSF由 Zheng等[24]提出,QSF的计算公式为

式（11）中,SFF为融合图像由行方向、列方向、主对角线方向和副对角线方向一阶梯度计算的空间频率。参考空间频率,SFR由源图像的四个参考梯度计算

式（12）中,D代表四个方向。评价指标QSF主要用来度量输出图像保持输入图像空间频率的情况。

2.2 实验设置

为了构建具有广泛适应能力、可以在任何特定场景及系统参数设定下使用的通用图像融合系统,字典训练使用的图像数据库由不同场景下的高品质自然图像集随机采样获得。为了消除图像能量对稀疏字典信息编码能力的影响,所有图像向量的均值在字典训练前均被设置为0。使用基于学习的K-SVD[25]算法获得的字典中每个原子的均值也为0,即字典原子中只包含图像的结构信息。输入图像块的均值在稀疏编码前也被设置为0。为了提升算法的稳定性及执行效率,稀疏编码过程只作用于局部的图像块。为了提高算法对噪声及误匹配的鲁棒性,使用滑动窗口技术对图像进行层叠分块。

图3为在图像融合实验中使用的数据集[26]。为了充分评价原子加权稀疏表示（AWSR）理论在不同类型使用场景中的综合性能表现,实验选取了三种常见的图像融合系统应用场景下的典型图像作为测试数据集,包括多聚焦图像（图3（a））、可见光-红外图像（图 3（b））及多模医学图像（图 3（c）, 由计算机断层扫描CT图像和磁共振MR图像组成）。实验使用的图像块分解尺寸为8×8,将滑动窗移动步长设置为2,稀疏字典尺寸为64×256。分别使用传统的基于稀疏表示（SR）的图像融合算法和基于原子加权稀疏表示（AWSR）的图像融合算法对测试集源图像进行融合,并评价其融合图像质量。

图3 算法测试数据集Fig.3 Diagram of algorithm test data set

2.3 实验结果

（1）融合图像质量主观评价

图4为原子加权稀疏表示（AWSR）图像融合算法融合实验的部分输出图像。

图4 原子加权稀疏表示(AWSR)图像融合算法的融合结果示例图Fig.4 Fusion results of AWSR image fusion algorithm

其中,图4（a）为两次多聚焦图像融合,左侧为前景对焦图像,中间为远景对焦图像,右侧为融合图像。由于图像采集设备景深的硬件限制,只能通过调节设备的光学参数使得视场范围内的有限区域成像清晰。通过对多幅不同焦距的图像进行融合,可以获得整幅画面清晰的理想图像。由图4可以看到,图4（a）右侧的融合图像（不论是远处书架上的书籍、墙壁和绿植,还是画面近处的闹钟及花朵）纹理清晰、细节丰富。融合图像几乎完美保留了两幅源图像中所有的有效信息。

图4（b）为两次可见光-红外图像融合,左侧为可见光图像,中间为红外图像,右侧为融合图像。由于图像传感器所敏感的电磁波谱的波段不同,可见光和红外传感器采集的图像数据具有极强的互补性。可见光图像包含场景的色彩、细节信息,而红外图像可感知场景的温度分布信息。图4（b）上方的融合图像恰当地融合了可见光图像中的广告牌、路面灯柱及红外图像中的车辆、行人信息。图4（b）下方的融合图像既保留了可见光图像中大面积的植被纹理信息,又保留了在红外图像中显著但在可见光图像中几乎无法被辨识的行人信息。融合图像大幅增强了单一图像的信息量及画面表现力,可以有效提升后续图像分析与任务理解的可靠性。

图4（c）为两次多模医学图像融合,左侧为计算机断层扫描CT图像,中间为核磁共振MR图像,右侧为融合图像。单一模态的医学图像只能有效描述特定人体组织的横断面信息,CT图像主要可反映骨骼组织的解剖结构,而MR图像能清晰地反映人体软组织和器官的解剖结构。图4（c）右侧的融合图像既保留了CT图像脑部四周高亮的骨骼结构信息,也保留了MR图像中大脑内部的软组织及器官信息。通过恰当地融合具有互补特性的多模态医学数据,信息更加完备的融合图像可以有效提升临床疾病诊断的效率和准确性。

（2）算法执行效率

对图像融合程序处理所有26组源图像的平均运行时间进行统计,基于稀疏表示（SR）的图像融合算法的耗时为13.0648s,基于原子加权稀疏表示（AWSR）的图像融合算法的耗时为13.2964s,增加比率为1.7732%。相比传统的基于稀疏表示（SR）的图像融合算法,原子加权稀疏表示（AWSR）算法需要在进行稀疏编码之后为稀疏系数向量引入来自字典原子的权重信息,这导致了算法的复杂度有所增加。由实验结果可知,图像融合程序的执行耗时只增加了约1.77%,增幅很小。因此,使用AWSR框架相较于传统的稀疏表示方法并不会造成计算资源需求的明显增加。

（3）融合图像质量客观评价

在实验中,对26组源图像分别使用传统的稀疏表示（SR）算法及原子加权稀疏表示（AWSR）算法进行融合,使用六种常用的融合图像质量客观评价指标对融合结果进行评价。表1为基于SR和AWSR算法融合图像的客观质量评价得分。评价指标SD、QG、QP、QW、QMI的数值越大,图像质量越高。经绝对值处理后,评价指标QSF数值越小,图像质量越高。

表1 基于SR及AWSR算法的图像融合质量客观评价Table 1 Objective evaluation of image fusion quality based on SR and AWSR algorithms

由表1可知,所提出的原子加权稀疏表示（AWSR）图像融合算法在所有六种常用的具有不同评价取向偏好的融合图像质量客观评价指标下的得分均优于基于传统稀疏表示（SR）的图像融合算法。实验结果验证了挖掘超完备字典原子的信息表达特性、使用原子信息量对稀疏系数向量进行加权的基于稀疏表示的图像融合算法的有效性,使用AWSR融合策略使得基于稀疏表示理论的图像融合质量得到了全面、可靠的提升。在所有六种客观评价指标中,基于空间频率的融合度量QSF的评价得分提升幅度最大,这表明AWSR算法获得的融合图像更好地保持了源图像的空间频率,相对源图像的失真更小。基于相位一致性的融合度量QP的提升幅度次之,表明AWSR算法获得的融合图像保留了更多的边缘、角点等源图像核心特征,提升了融合图像的信息量和表现力。

（4）算法鲁棒性评价

融合性能评价实验使用的来自标准数据集的测试图像通常都具有较高的成像质量,但在实际工作环境下采集到的图像普遍会在图像采集及数据传输过程中受到噪声的干扰。为了进一步评价原子加权稀疏表示（AWSR）图像融合算法的鲁棒性,对测试图像集添加不同标准差的零均值加性Gauss白噪声,以测试AWSR算法在不同噪声水平下的融合图像质量。以基于传统稀疏表示（SR）的图像融合算法为基准,图5展示了原子加权稀疏表示（AWSR）图像融合算法在不同噪声水平下的融合图像质量。曲线横坐标为零均值Gauss白噪声的标准差σ,纵坐标为基于AWSR及SR算法的融合图像质量得分,评价指标QSF经绝对值处理后越小,图像质量越高。

图5 基于AWSR的图像融合算法在不同噪声水平下的融合图像质量评价Fig.5 Fusion image quality evaluation of AWSR image fusion algorithm under different noise levels

由图5可知,六种客观评价指标在不同的噪声水平下绝大部分都保持了对传统稀疏表示（SR）图像融合算法的性能提升,这表明原子加权稀疏表示（AWSR）图像融合算法对噪声具有较好的鲁棒性。

（5）原子加权最优参数分析

图6展示了原子加权稀疏表示（AWSR）图像融合算法在不同加权水平下的融合图像质量的变化趋势,评价指标QSF的数值越小,融合图像的质量越好。曲线横坐标为加权比重p,将原始AWSR框架的稀疏系数权向量Vw做进一步修正

式（13）中,W为字典的宽度。当p＝1时,代表原子加权稀疏表示（AWSR）图像融合算法。当p＝0时,代表传统的基于稀疏表示（SR）图像融合算法。曲线纵坐标为基于AWSR及SR图像融合算法的评价得分,评价指标QSF越小,表示图像的质量越高。

由图6可知,几乎所有的评价指标曲线随着加权比重的增加均呈现先增后减的趋势。其中,标准偏差SD指标曲线的波动较大,这主要是由于标准偏差只度量融合图像的对比度,计算简单,但可靠性较差。六种融合图像质量客观指标的最优值范围集中在加权比重值p处于0.55到0.85之间,AWSR图像融合算法的最优加权比重参数值在0.7左右。此外,在图6中,AWSR算法的六种评价指标曲线基本都处于SR算法曲线的上方,这进一步验证了将原子加权策略应用于稀疏表示理论的有效性。

图6 基于AWSR的图像融合算法在不同加权水平下的融合图像质量评价Fig.6 Fusion image quality evaluation of AWSR image fusion algorithm under different weighting levels

（6）光电吊舱图像融合实验

为了进一步验证算法的可行性及有效性,采用真实场景图像数据进行融合实验。图7为将基于原子加权稀疏表示（AWSR）图像融合算法应用于由光电吊舱采集的真实场景的可见光及红外图像数据。其中,图7（a）为可见光图像, 图7（b）为红外图像,图7（c）为使用 AWSR算法进行融合的图像。

图7 基于AWSR的图像融合算法应用于真实光电吊舱的多源图像融合Fig.7 Fusion of multi-source images from real optoelectronic pod based-on AWSR image fusion algorithm

由图7可知,融合图像既保留了可见光图像丰富的纹理、细节信息,又保留了如近处可见光图像过曝的墙面细节等红外图像提供的信息,综合了可见光和红外图像的表达优势,增强了图像的信息表现力,提高了光电吊舱的输出图像质量。

3 结论

本文提出了一种使用超完备字典的原子对稀疏编码后的稀疏系数向量进行加权改进的基于稀疏表示（AWSR）的图像融合算法。通过挖掘超完备字典中原子所包含的信息量差异构造权向量,提高了稀疏系数向量的融合质量。使用六种融合图像质量客观度量指标进行评价,针对多聚焦图像、可见光-红外图像及多模医学图像的实验结果表明,新的图像融合算法对源图像的空间频率及核心特征的保护更好、失真更小,提升了融合图像的质量。相较于传统的基于稀疏表示（SR）图像融合算法,实现了全面、可靠的性能提升。

在实验结果中,各项客观质量评价指标的提升幅度较小,但面对多种图像融合场景,所有具有不同评价偏好的客观指标均得到了全面的提升,这表明了该研究方向及结果是有效且可靠的,后续研究可以探索对字典原子信息特性更加合理、有效的挖掘和利用方式。同时,本文提出的稀疏表示（SR）算法的提升策略是普适性的,不仅可被应用于图像融合系统,还可以很容易地被拓展到图像去噪、压缩、增强及目标识别等研究框架或非图像信号处理系统中。