魏辉琪，刘增力

（昆明理工大学 信息工程与自动化学院，云南 昆明 650500）

0 引 言

在平时的聚焦镜头中，由于聚焦受到了限制，因此拍摄的图像呈现一部分聚焦一部分非聚焦，不利于肉眼观察和机器计算识别。将两幅聚焦图像信息融合起来，可以解决此类问题。对两张或者多张聚焦图像进行融合后的图像称为多聚焦融合图像。融合后的图像无论是在主观观察还是客观指标方面都有很大的改进。多聚焦图像融合在民用、军用以及医学领域有广泛的应用。

图像融合主要分为基于像素层面、特征层面及决策层面的融合3类。图像融合算法主要有基于空间域和基于变换域两类融合算法。空间域算法包括加权平均法和主成分分析法。变换域的算法也多种多样，近几年多尺度变换被越来越多地运用了起来，主 要 有 Curvelet[1]、Contourlet[2-3]、NSCT、Shearlet及NSST等算法。其中，NSST避免了下采样，在处理图像时可以更多地保留图像信息。丁斋生等人运用脉冲发放皮层模型，在医学图像的融合中得到了质量较高的图像。然而，传统的脉冲发放皮层模型在计算时存在边缘信息保留不完整的缺点。本文提出的自适应方法可以很好地和脉冲发放皮层模型相结合，提高运算速率，保障融合质量。

1 相关概念

1.1 图像预处理

在处理图像之前，需要对图片信息进行预处理，读取相关数据。先采用cvtColor函数对图像进行一系列灰度处理[4]，再进行形态学去噪。进行形态学处理的目的是对图像进行噪声滤除，对图像进行数据简化，在不改变输入图像基本信息的情况下，去除与目标图形没有关系的地方，达到去噪的效果。具体处理操作包括腐蚀、膨胀、开运算及闭运算等。图像预处理是图像融合的第一步也是至关重要的一步。去噪后的图像能为后续融合步骤提供更为清晰的图像数据，提高最终融合的图像质量。预处理后的源图像分别定义为源图像A和源图像B。

1.2 共享相似性和自适应区域

首先图像被分割成多个重叠的方形板块，搜索相似的板块。给定一个以像素r为中心的参考板块Pr∈Rm×m和区域W(r)∈Rm×m，任何与Pr相似的候选板块Pq∈Rm×m定义为：

式中：ηq表示降序排列区域的所有板块，这个板块的集合表示为LW(r)=(Pq1,Pq2,…,Pqk)。LWA(r)和LWB(r)共享的相似模块为：

式中：是融合中自适应区域之一；WA(r)和WB(r)分别表示源图像A和源图像B的相同区域。

1.3 改进脉冲发放皮层模型

白鑫[6]等人利用IHS变换和自适应区域特征来对图像进行融合。SCM的一个神经元由接收区、调制区、脉冲发放器3部分组成，它的表达式为：

式（3）～式（7）中：n表示迭代次数；(i,j)下标表示神经元的标号；Fij是(i,j)神经元在第n次迭代时的反馈输入信号；Sij表示外部输入刺激信号；Lij(n)是连接输入；VL是震级标度项；Uij(n)表示神经元内部活动；Wijkl表示神经元连接权重矩阵；Ykl表示神经元的输出信号；Eij(n)表示动态阈值；h表示阈值放大系数；Yij(n)表示神经元在第n次迭代时的输出信号；f和g是内部活动和动态阈值的信号衰减系数。

最终融合图像的效果和迭代次数n有着紧密联系。利用与源图像大小相同的时间矩阵模型记录神经元的点火信息。时间矩阵表达式如式（8）所示。

式中，T是时间矩阵。在通过第1次迭代后，SCM中的神经元未被激活时，神经元能量是0，即Uij和Yij都是0，不发放脉冲。进行第1次迭代后，内部活动项的值为Sij。往后，每增加1次迭代次数，就会增大内部活动项能量。当内部活动能量大于动态阈值时，即Uij(n)＞Eij(n)，发放脉冲，输出点火状态。

1.4 自适应区域和改进脉冲发放皮层模型图像融合

A和B表示的是两张已匹配好的图像，融合后的图像则用F表示。

把源图像A和B做非下采样剪切波变换分解，分为3个步骤：

（1）采用非下采样金字塔分解将图像分解为低通图像和带通图像；

（2）对带通图像进行方向局部化，获得不同方向的子带；

（3）对每一个子带进行傅里叶逆变换，获得非下采样剪切波系数。

一般情况下，非下采样剪切波分解后会得到表示尺度和方向的系数Ckl(r)。经过以上分解，得到两个系数，分别为CAkl(r)和CBkl(r)。在这个系数中，l和k分别表示分解的尺度和方向。当l为0时表示低频系数，当l大于0时表示高频系数。

之后，计算像素r处的边缘能量：

式中：Ckl(r)表示NSST分解后的系数；l和k分别表示分解的尺度和方向；r表示像素，r=(i,j)；

1.4.1 低频系数融合

低频图像由非下采样剪切波对两幅源图像A和B分解得到，分别用表示。本文用边缘能量衡量每个自适应区域。在一个自适应区域内，如果的边缘能量比大，那么在的自适应区域内，γ∈中的所有像素都将获得一票，即：

式中：νA(γ)为计数器，用作位置在(γ)处的表示。最后使用加权法构成像素：

1.4.2 高频系数融合

和表示源图像A和B经过非下采样剪切波分解后的高频系数。所用的融合方法为边缘能量与脉冲发放皮层模型相结合的方法。融合图像的高频系数用来表示。选择边缘能量作为脉冲发放皮层模型的外部刺激：

式中：ω(r)是加权因子；D是以像素r为中心的领域窗口。

利用脉冲同步选择融合图像的高频系数。计算各个高频系数的总点火时间在N次迭代后，便可确定高频系数，见式（13）。

最后，根据所得的低频系数和高频系数，通过非下采样剪切波逆变换便可获得重建融合图像F。整个过程的流程图如图1所示。

图1 图像融合流程图

2 实验结果分析

从主观和客观两个方面，将本文算法与其它3种方法进行比较。3种方法分别为基于非下采样轮廓波与脉冲耦合神经网络结合的融合算法（NSCTPCNN）[9]、基于脉冲发放皮层模型与清晰度相结合的融合算法（SCM-SF）[10]以及基于非下采样轮廓波与改进的脉冲耦合神经网络结合的融合算法（NSCT-IPCNN）[11]。实验结果评价中的客观指标选用边缘信息保留量QAB/F和互信息（MI）[12]。

边缘信息保留量是评价融合后图像边缘信息量的重要指标，该值越大，融合效果越好。具体定义为：

式中：M和N是图像尺寸；QAF(n,m)，QBF(n,m)分别是融合图像相对于原始图像A和B的边缘保持值；ωA(n,m)，ωB(n,m)是边缘强度的函数；QAB/F∈[0,1]表示融合图像相对于原始图像A，B的总体数据保留。

互信息是衡量融合后图像保留源图像信息量的重要指标，该值越大，融合效果越好。具体定义为：

式中，IAF、IBF表示源图像A、B与融合后图像F之间保留下的信息值大小。

图2是本文用来做图像融合的测试图像对。采用本文算法所得到的融合图像和差分图像如图3所示，其中，图3（a）、图3（d）、图3（g）、图3（j）为本文算法得到的融合图像。

采用不同融合算法对图2的图像对做图像融合，客观评价结果如表1所示。从表1可以看出，本文提出的基于非下采样剪切波域的自适应区域和脉冲发放皮层模型相结合的图像融合算法无论是在信息量还是运行时间方面，相较于其他3种算法，都有较大的改善。

图2 测试图像对

图3 本文算法的融合图像和差分图

表1 不同融合算法的客观评价结果

3 结 语

本文算法把边缘能量和自适应区域相结合，融合非下采样剪切波分解后的低频系数，用于频域中的低频系数；高频系数融合采用了边缘能量点火的脉冲发放皮层模型。可以看出，无论是主观视觉上还是客观指标上，融合后的图像质量都得到了提高。

作为多源图像融合的重要领域，多聚焦图像融合具有重要研究意义以及无可替代的价值。目前多聚焦图像融合及相关技术已经取得了一定的发现。此外，在动态环境和强噪声环境中的融合算法研究也亟待加强。