刘一男，张荣国，李建伟，王 晓，胡 静

(太原科技大学计算机科学与技术学院，太原 030024)

图像获取方式的多样性可以允许不同模态的医学图像存储和反映不同的图像和视觉信息类别。没有哪一种单一模态的图像足以传达组织或器官的完整信息。医学图像融合的最终目标就是将不同类别的医学图像中的有利信息相互结合，以此来帮助医生进行下一步的诊断。

近年来，医学图像融合算法有了较快的发展，其中大多数提出的融合方法是基于多尺度变换进行的[1]。而近几年出现的非下采样轮廓波变换(NSCT)和非下采样剪切波变换(NSST)两种分解方法，由于其平移不变性，可以避免图像产生伪吉布斯现象。经过不断的研究发展，如今已经发展了许多新颖的在多尺度变换下的融合方法。

Singh和Khare[2]提出改进小波变换的方法。然而，这种方法具有较差的边缘细节、清晰度和有限的方向性。Zhu[3]在多尺度域提出了轮廓波结合拉普拉斯能量的融合方法，改善了融合图像的细节特征，然而，NSCT算法时间复杂度高，分解和重构时间长，大大降低了融合效率。Wu[4]提出了一种具有加权最小二乘滤波器与引导滤波相结合的方法，尽管该方法在一定程度上保护了边缘信息，但是其基础层主要包含了图像结构信息，直接对其融合可能在之后的进一步融合中模糊掉边缘保护滤波所保留的显著边缘信息。

针对传统医学图像融合方式所欠缺的方面，本文提出了一种新的融合算法。它可以解决传统脉冲耦合网络(PCNN)方法中自由参数的设置问题[5]。同时，该算法所需要进行迭代的次数更少，收敛速度有了较大的提升。而基于视觉显著映射(VSM)的低频子带融合规则，可以在最大程度上提升图像的对比度，并使融合后的图像具有更好的整体外观。为了提高融合图像对重要组织细节信息保留，对图像的高频子带进行了特征细节的提取，并以此作为脉冲耦合神经网络的外部激励。

1 相关工作

1.1 非下采样剪切波

作为一种多尺度和多方向的分解方法，NSST能够获得不同方向和角度的源图像的最佳表示。与传统的剪切波变换不同，NSST可以有效地保留源图像的空间细节和结构信息，因此在图像融合中得到广泛应用。

NSST作为一个非正交变换工具，它主要包括一个非二次抽样金字塔(NSP)和一个剪切滤波器(SF).能够对伪Gibbs现象的产生起到预防作用。具体来说，使用NSPF来获得输入图像从细致到粗糙的多尺度分解。当设定分解级别为F时，则经过分解后，可以得到共F+1个子带。包括F个高频子带和1个低频子带。而对于每个不同的分解级别，应用SFB模块来获得图像的多方向表示。

1.2 脉冲耦合神经网络

脉冲耦合神经网络(PCNN)是基于小型哺乳动物视觉皮层模型的生物启发神经网络模型[6]。图像的像素与PCNN神经元是对应的，所以两者的数量是相等的。传统的 PCNN 模型结构相对较为复杂，在将模型应用于图像处理领域时常常需要调整众多的参数，所以在应用时常常采用简化后的PCNN模型，其表达式如下所示：

(1)

其中，Fij[n]和Lij[n]表示的是PCNN神经元中的反馈输入和链接输入[6]。Fij[n]固定为整个迭代过程中输入图像Sij的强度。内部活动Uij[n]由两个参数所组成，第一项e-αlUij[n-1]是其先前值的衰减，第二项Fij[n](1+βLij[n])是Lij[n]和Fij[n]的非线性调制。而当Uij[n]的值大于动态阈值Eij[n]时，PCNN模型的输出部分Yij[n]被触发，此时Yij[n]=1，而此时将PCNN模型初始化为Yij[n]=0;Uij[n]=0;Eij[n]=0.

从上述表述中可以看出PCNN中共有如下参数：动态阈值E的衰减系数αf，连接强度β，连接输入的幅度VL，动态阈值的幅度VE，以及内部活动的衰减系数αe.为了简化参数的设置，采用如下所示公式进行参数的计算选择。参数可以计算为：

(2)

其中，σ(S)表示输入图像在[0，1]范围内的标准偏差，S和Smax分别表示归一化后的阈值和进行输入图像的最大亮度值。

2 所提算法

2.1 图像的多尺度分解

利用 NSST可以将源图像分解为一个近似图和若干细节图。源图像在经过NSST分解之后，可以采用下述公式表示：

(3)

图1 本文所提算法流程图

2.2 近似图的融合规则

近似图包含的是图像的大部分能量与图像整体的边缘轮廓信息。本文提出的基于视觉显著映射(VSM)加权平均方法去融合得到的近似图，使用VSM来融合近似层，以此来避免医学图像中对比度的下降，通过构建视觉显著图进行近似图融合，最后计算权重得到近似图融合的结果。

设定Ip来表示图像I中所存在像素p的亮度值。则其定义的显著性值Vp为：

V(p)=|Ip-I1|+|Ip-I2|+…+|Ip-IN|

(4)

其中，N为图像I中的像素总量。可以推断出，两个像素如果具有的强度值是一致的，那么就可以得到它们显著性值也是相等的。由此，可以重写定义为：

(5)

上式中，j表示图像像素的强度，Mj表示强度等于j的像素的数量，L是灰度级的数量。然后，将Vp0归一化为[0，1].让V1和V2来分别代表解剖图像和功能图像的VSM结果。通过加权平均方法来去获得融合近似层BF：

BF=WbB1+(1-Wb)B2

(6)

其中，权重Wb定义为:

(7)

如果V1在某些位置等于V2，权重Wb将取平均值。

2.3 细节图的融合规则

细节图反映了图像在小尺度上的细节。而在以往的PCNN模型中，所选取的通常是输入图像像素的绝对值来作为外部刺激输入到模型中，这就使得模型的信息采集过于单一，而且对于医学图像中特定细节的呈现及捕捉能力不足，不能更好的呈现多模态医学图像的融合效果[7]。本文通过分别对解剖图像和功能图像的高频子带进行显著特征提取，构建显著特征权重图来作为PCNN的外部刺激输入，本文提出的显著特征提取方法及权重图的构建过程如下，灰度图像ξ的显著图φ被给出为：

ξ(x,y)=|φμ(x,y)-φn(x,y)|

(8)

其中，‖代表绝对值，φμ是窗口大小为wμ的平均滤波器的输出。φη是窗口大小为wη的中值滤波器的输出。而想要对相关彩色图像的视觉显著性进行获得的方式如下:

ξ(x,y)=φμ(x,y)-φn(x,y)

(9)

通过更进一步的细节图构建来作为外部激励条件与PCNN模型进行结合。通过分配适当的权重进行。权重图是通过归一化显著图来计算，归一化使得权重图的范围达到[0，1]权重分配公式：

(10)

基于特征提取及权重图的构建的方法，采用解剖图像和功能图像高频子带显著特征权重的绝对值作为网络的激励条件，即参数自适应PCNN模型中，Fij[n]=ψn(i,j)n∈{A,B}高频子带的活跃程度由整个迭代过程的总点火次数来衡量。在所提PCNN模型中，采用在每次模型迭代次数完成时增加统计点火时间的方法，定义如下：

Tij[n]=Tij[n-1]+Yij[n]

(11)

选择具有较大点火时间的系数作为最终细节图的融合系数。

(12)

3 实验分析

本文采用LP[9]、DTCWT[10]、NSCT[8]、 NSCT-SF-PCNN[3]、NSST-PCNN[6]5种方法与本文方法对比，进行实验分析所需要用到的硬件配置为Intel Core i7-10750H，CPU的主频为 2.60 GHz，内存16GB，软件环境为 MATLAB R2018b.

3.1 实验数据及参数设置

本文从数据库中选取医学图像用于实验比对，选取医学图像类型包括CT-MRI医学图像MRI-PET 医学图像以及MRI-SPECT医学图像。本实验所采用到的实验医学图像统统都是在哈佛大学医学院人脑图谱中获得的 (http:∥www.med.harvard.edu/aanlib/home.html).CT-MRI实验医学图像、MRI-PET医学图像以及MRI-SPECT医学图像如图2所示，图3-图5是本文算法与不同算法进行对比所得到的效果图。在设定的实验中，实验的实验参数进行如下的设置:非下采样剪切波中，采用 maxflat作为分解用到的滤波器，同时，采用4层的分解层数，而进行多方向性分解的方向数则分别设定为 {16，16， 8，8}；PCNN网络中，迭代次数n=150，加权核的半径r=1,滤波器窗口大小wμ=35，Wη=3.

图2 脑部肿瘤疾病的多模态医学图像

3.2 主观分析

实验结果如图3-图5所示，包括CT-MRI、MRI-PET、MRI-SPECT图像之间的融合。本文所提算法的结果都排在在每幅图的最后。通过对每幅图像进行观察，可以看出采用本文所提出算法能够将功能图像的颜色信息和解剖图像的结构信息都较充分地呈现在最终的融合图像中去，并且能够明显的提高了融合图像的对比度，并且在一些细微组织的细节处，本文方法也能够起到一定的保留作用。

图3 脑部CT/MRI图像融合结果

图4 脑部MRI/PET图像融合结果

3.3 客观分析

为了客观地评价本文所提算法的有效性， 本文选取以下指标作为客观评价指标：显著性特征图的失真度VSI， 空间域的梯度分布SF，边缘锐化程度EI,融合图像的信息比 MI，细节对比平均梯度AVG，图像的信息熵SHA.

表1-表3分别是是CT-MRI、MRI-PET、MRI-SPECT三种医学图像与5种采用相关方法获得的融合结果进行比对的结果。从表中不难发现，在 SF、EI、AVG和SHA等 4 个评价指标中，本文所提出的算法取得了一定的优势。原因是所提出的方法通过对视觉显著图的构造以及细节信息提取后对最终得到的融合图像起到了一定的效果增强的作用，同时也保留了更多的细节信息。而在某些指标本文指标虽未能进入前列。但是通过结合主观视觉方面，同时结合对每幅结果图像的呈现质量可以看出，运用本文算法所获得的最终融合图像是最好的。

表1 CT/MRI图像融合结果的客观评价指标

表2 MRI/PET图像融合结果的客观评价指标

表3 MRI/SPECT图像融合结果的客观评价指标

图6-图8中柱状图是不同模态的医学图像通过采用不同方法得到的融合图像的相关评价指标。从柱状图中也可以明显的观察到，采用本文所提方法得到的融合图像在细节对比平均梯度、图像的信息熵等指标上处于优势地位，这也从另一方面说明了本文所提的算法可以使最终的结果图像产生更加清楚明亮的的外部边缘细节，同时也可以对颜色信息保留的更为充分。

图6 CT/MRI图像融合评价指标对比图

图7 MRI/PET图像融合评价指标对比图

图8 MRI/SPECT图像融合评价指标对比图

4 总结

本文针对于多模态医学图像成像方式的不同所导致的不同类型图像之间的融合问题，提出了一种结合显著特征激励参数自适应脉冲耦合神经网络和NSST域改进的医学图像融合算法。对解决医学图像融合产生的图像细节信息保留不充分、整体图像对比度偏低等问题具有一定的效果。通过一定的实验方案来表明本文所提医学图像融合方法的可操作性。 与早期经典的医学图像融合算法以及近几年新兴的医学图像融合算法进行对比，本文所提关于医学图像融合算法取得了一定的效果，与近几年提出的其他算法相比也具有一定的优势。