刘帅奇，李会雅，张 涛，胡绍海，孙 伟

(1.河北大学 电子信息工程学院，河北 保定071002;2.河北省数字医疗工程重点实验室，河北 保定071002;3.石家庄市中医院，河北 石家庄050600;4.北京交通大学 信息所，北京100044)

图像融合技术可以克服单一传感器图像的局限性和差异性，获取更为全面和准确的场景描述，提高图像的清晰度和可理解性［1］。医学临床上需要将不同成像设备所获得的图像信息综合地呈现在一幅图像上，即利用图像融合技术将不同成像设备所获得的图像进行融合，为医生的诊断提供更加可靠准确的病情信息，以便医生制定更为科学和完善的治疗方案［2］。

像素级的医学图像融合算法是目前的研究热点，学者们提出了很多医学图像融合算法。像素级图像融合算法可以分为两大类:一类是基于空域的融合算法，例如，文献［3］和文献［4］提出的基于主成分分析的融合算法和基于向导滤波的融合算法;另一类是基于变换域的融合算法，例如，文献［5］提出的基于小波变换的医学图像融合算法，文献［6］提出的基于轮廓波变换的图像融合算法，文献［7］提出的基于非下采样轮廓波变换的融合算法，文献［8］提出的基于Ripplet 的图像融合算法和文献［9］提出的基于Shearlet 与PCNN 的图像融合算法等。

虽然变换域融合算法取得了很好的效果，但是在医学图像融合的过程中这些算法容易引起图像扭曲和人造纹理。并且，上述的算法很少应用到MRI 与PET 或者SPECT 图像的融合等彩色医学图像融合中。因此本文针对医学彩色图像像素级融合进行研究，提出一种基于NSST 和高斯混合模型的医学彩色图像融合算法。

1 基础理论

1.1 非下采样剪切波变换

NSST 的离散化包括尺度分解和方向分解两部分［10－11］。一般通过非下采样拉普拉斯滤波器进行尺度分解，通过剪切滤波器进行方向分解。NSST 在进行图像分解和重构的过程中不需要下采样和上采样环节，因此分解得到子带图像与源图像大小相同，这也保证了变换不会产生频率混叠现象且具有平移不变性。因此，利用NSST 进行图像分解易于分析各子带之间的对应关系，有效减少配准误差的不利影响，提升融合效果。

1.2 HSI 模型

HSI 模型反映了人的视觉系统感知彩色的方式，以色调H(Hue)、饱和度S(Saturation)和强度I(Intensity)3 种基本特征量来表征颜色。HSI 颜色模型与RGB 颜色模型是彩色图像的两种描述方法，它们之间可以通过如式(1)相互转换。

HSI 模型具备强度分量与图像彩色信息无关，色调、饱和度分量与人感受颜色的方式紧密相联的两大特点。与RGB颜色模型相比，HSI 颜色模型更为恰当地反映了人类视觉系统对于亮度的敏感度强的特性。因而本文采用HSI 模型进行医学彩色图像融合算法的研究。

1.3 高斯混合模型

医学图像融合技术同样面临的核心问题之一为如何选取有效的图像信息作为融合图像的信息。为了定量地评价图像的有效性，关键在于如何描述图像NSST 域系数的统计特征。高斯混合模型具有更好的统计性质，因此本文采用双成分高斯混合模型进行系数估计，其模型可表示为

其中:w 为分布变量(这里指NSST 系数);α 为混合系数，每个成分产生一个均值为0，标准差分别为σ1(i，j)和σ2(i，j)的高斯分布，一般假定σ1(i，j)小于σ2(i，j)，模型的这些参数可通过最大似然估计法获得。

2 基于NSST 和高斯混合模型的医学图像融合

2.1 融合步骤

设经过配准的待融合PET(或SPECT)彩色图像和MRI图像分别为P 和M，则本文图像融合框架如图2 所示。

图2 本文算法融合框架

融合步骤为:

1)将PET(或SPECT)彩色图像P 转换到HSI 颜色空间，分别提取色调分量图像PH、饱和度分量图像PS和强度分量图像PI。

2)分别对强度I 分量图像PI和MRI 图像M 进行NSST分解，得到多尺度分解系数和，其中分别表示强度分量图像l 尺度k 方向上(i，j)像素处的低频子带系数和高频子带系数和(i，j)分别表示MRI 图像l 尺度k 方向上(i，j)像素处的低频子带系数和高频子带系数。

3)利用不同的融合规则融合低频或高频子带系数，从而获得融合后的系数，其中和分别表示融合后的强度分量图像PIF在l 尺度k方向上的低频和高频子带系数。

4)利用NSST 逆变换重构得到融合后的强度分量图像PIF。

5)将色调H 分量图像PH、饱和度S 分量图像PS和融合后的强度分量图像PIF混合得到融合后的HSI 图像，再将其转换到RGB 颜色空间，即可得到融合后的MRI－PET(或MRISPECT)彩色图像。

2.2 融合规则

图像的融合规则非常重要，尤其在变换域中高低频的融合规则就更为重要。本文对NSST 的高低频系数分别采用不同的融合规则进行融合。

1)对于低频系数，为避免降低融合图像的对比度，采用基于区域系数SML 加权的融合规则。

(1)计算NSST 域低频系数在3×3 邻域的SML 清晰度。

(2)计算系数权重。

其中，矩阵I 在点(i，j)处的SML 表示为

其中，ML 表示为

(3)计算融合图像的低频系数。

2)对于高频系数的融合主要存在两个问题:高斯混合模型中的参数估计和高频系数的选择。首先通过EM 算法［12－13］来估计高斯混合模型中的参数，然后再利用估计出的参数选择高频子带系数。EM 算法是个迭代算法，主要通过期望步和极大化步两步完成，然后一直迭代直到收敛为止。参数估计如式(7)～(9)所示。

其中，上标n 和n+1 表示迭代指标，Ω(i，j)表示以w(i，j)为中心的5×5 的正方形窗口，|Ω(i，j)|表示该窗口中元素的数量，且

上述迭代过程应满足的收敛条件如式(12)所示。

其中，τ 为用户自定义的收敛阈值，在本文中τ=10－4。

由于清晰图像的边缘信息丰富，故清晰图像高频系数的边缘分布较宽，因此选择边缘分布较宽的NSST 域高频系数作为融合图像的高频系数。通过高斯混合模型估计出各个像素点的标准差，对高频系数进行融合如式(13)所示。

3 实验结果对比与分析

为了验证该算法在医学彩色图像融合中的有效性与可靠性，本文选取2 组医学彩色图像进行融合仿真实验，并与基于平移不变的小波和PCNN(SIDWT－PCNN)［14］、基于CT 和PCNN(CT－PCNN)［15］、基于尖锐频率局部化Contourlet 变换和改进拉普拉斯能量和(SFLCT－SML)［16］、基于NSCT 和SF 激励的PCNN(NSCT－SFPCNN)［17］以及基于Shearlet 和改进PCNN(ST－PCNN)［18］的方法进行对比试验。其中，2 组图像均来自哈佛大学的脑图像集(http://www.med.harvard.edu/AANLIB/home.html);第一组图像为彩色PET 图像与其对应的MRI 图像，第二组图像为彩色SPECT 图像与其对应的MRI图像;本文的NSST 分解参数均为2，3，3，4，算法参数与参考文献中的相同。

由于对比实验都是基于灰度图像融合的方法，故对比实验均与HSI 模型结合以进行彩色图像融合。2 组待融合的医学彩色图像以及彩色图像所对应的强度分量图像如图3 所示(彩图，见121 页)。

PET 医学图像与MRI 图像采用不同的融合方法得到的融合后的彩色图像如图4 所示(彩图，见121 页)。

仔细观察图4 可以发现:融合结果(图4a、4b)清晰度低;图4c、4d 过多地引入了MRI 图像的细节纹理，缺乏PET 图像的颜色信息;图4e、4f 的视觉效果比较接近，它们都将MRI 图像的细节纹理信息和PET 图像的颜色信息很好地融合到一起，但图4f 中比图4e 更好地保存了颜色信息显著部分，清晰度高，纹理比较光滑，因此图4f 优于其他5 种方法的融合图像。

图5 为SPECT 医学图像与MRI 图像采用不同的融合方法得到的融合后的彩色图像(彩图，见121 页)。仔细观察图5 可以发现:融合结果图5a、5b、5c 和d 视觉效果相似，都过多地引入了MRI 图像的细节纹理，缺乏SPECT 图像的颜色信息;而图5e、5f 的视觉效果比较接近，它们都很好地保存了颜色信息显著部分，并将其与MRI 图像的细节纹理信息融合在一起，但图5f 中比图5e 清晰度高，因此图5f 优于其他5 种方法的融合图像。

从主观视觉效果来看，本文算法所得的彩色融合图像更清晰、颜色信息显著部分保留更丰富，细节纹理信息与颜色信息融合得更好。对融合效果的评价，除了定性分析外，还需要进行定量分析。目前常用的客观评价指标有:熵(Entropy，EN)［19］、标准差(Standard deviation，STD)［19］、平均梯度(Average Gradient，AVG)［20］、互 信 息 (Mutual Information，MI)［20］、QAB/F度量［20］、空间频率(Spatial Frequency，SF)［20］。表1 与表2 给出了上述6 种融合方法客观评价指标的对比结果。由表1 可见，对于MRI 图像与PET 图像而言，本文算法的融合结果在6 种客观评价指标上都是最优的。由表2 可见，对于MRI 图像与SPECT 图像而言，本文算法的融合结果在6 种客观评价指标上都是最优的。

表1 PET 与MRI 图像不同融合方法客观评价指标对比

表2 SPECT 与MRI 图像不同融合方法客观评价指标对比

上述主客观评价结果都表明，本文提出的医学彩色图像融合方法能够很好地将MRI 的细节纹理信息与PET(或SPECT)图像中的颜色信息融合到一起，用颜色差别来描述纹理，更加清晰直观，便于医生对病情做出正确诊断。因此综合来看，本文所提的医学彩色融合算法是一种效果良好的彩色图像融合算法。

4 结论

本文根据医学图像的成像特点结合HSI 颜色模型和高斯混合模型，提出了基于NSST 和高斯混合模型的医学彩色图像融合算法，该算法采用基于区域系数SML 加权的低频融合规则和高斯混合模型估计参数值取大的高频融合规则。通过与基于SIDWT、基于CT、基于SFLCT、基于NSCT 和基于ST的图像融合算法的对比实验，验证了算法的有效性与可靠性。本文算法的图像融合效果较好，但其运算时间不是最优的。因此加快程序运行速度，使融合算法满足实时性的要求，是接下来的研究方向之一。

［1］TAMILSELVAN K S，MURUGESAN G.Survey and analysis of various image fusion techniques for clinical CT and MRI images［J］.International Journal of Imaging Systems and Technology，2014，24(2):193－202.

［2］WANG L，LI B，TIAN L F. Multi－modal medical image fusion using the inter－scale and intra－scale dependencies between image shift－invariant shearlet coefficients［J］. Information Fusion，2014，19:20－28.

［3］PATIL U，MUDENGUDI U. Image fusion using hierarchical PCA［C］//Proc. 2011 International Conference on image Information Processing(ICIIP). Shimla，India:IEEE Press，2011:1－6.

［4］LI S T，KANG X D，HU J W. Image fusion with guided filtering［J］.IEEE Trans. Image Processing，2013，22(7):2864－2875.

［5］ZHANG X，ZHENG Y，PENG Y，et al. Research on multi－mode medical image fusion algorithm based on wavelet transform and the edge characteristics of images［C］//Proc. 2nd International Congress on Image and Signal Processing.Tianjin，China:IEEE Press，2009:1－4.

［6］LIU S Q，ZHAO J，GENG P，et al.Medical image fusion based on nonsubsampled direction complex wavelet transform［J］. International Journal of Applied Mathematics and Machine Learning，2014，1(1):21－34.

［7］DAS S，KUNDU M K. NSCT－based multimodal medical image fusion using pulse－coupled neural network and modified spatial frequency［J］. Medical and Biological Engineering and Computing，2012，50(10):1105－1114.

［8］DAS S，KUNDU M K. Ripplet based multimodality medical image fusion using pulse－coupled neural network and modified spatial frequency［C］// Proc. 2011 International Conference on Recent Trends in Information Systems (ReTIS). Kolkata:IEEE Press，2011:229－234.

［9］GENG P，WANG Z，ZHANG Z，et al. Image fusion by pulse couple neural network with shearlet［J］.Optical Engineering，2012，51(6):1－7.

［10］LIU S Q，HU S H，XIAO Y，et al.Bayesian shearlet shrinkage for SAR image de－noising via sparse representation［J］. Multidimensional Systems and Signal Processing，2014，25(4):683－701.

［11］LIM W Q. The discrete shearlets transform:A new directional transform and compactly supported shearlets frames［J］. IEEE Trans.Image Proc.，2010，19(5):1166－1180.

［12］岳佳，王士同.高斯混合模型聚类中EM 算法及初始化的研究［J］.微计算机信息，2006，22(11):244－247.

［13］史鹏飞.基于改进EM 算法的混合模型参数估计及聚类分析［D］.西安:西北大学，2009:23－38.

［14］LI W，ZHU X F.A new algorithm of multi－modality medical image fusion based on pulse－coupled neural networks［C］//Proc. International Conference on Advances in Natural Computation. Changsha，China:Springer，2005:995－1001.

［15］刘盛鹏，方勇.基于Contourlet 变换和IPCNN 的融合算法及其在可见光与红外线图像融合中的应用［J］. 红外与毫米波学报，2007，26(3):217－221.

［16］屈小波，闫敬文，杨贵德.改进拉普拉斯能量和的尖锐频率局部化Contourlet 域多聚焦图像融合方法［J］. 光学精密工程，2009，17(5):1203－1212.

［17］DAS S，KUNDU M K.NSCT－based multimodal medical image fusion using pulse－coupled neural network and modified spatial frequency［J］.Medical and Biological Engineering and Computing，2012，50(10):1105－111.

［18］王朝晖，王佳琪，赵德功，等.基于Shearlet 与改进PCNN 的图像融合［J］.激光与红外，2012，42(2):213－216.

［19］MIAO Q G，SHI C，XU P F，et al.Multi－focus image fusion algorithm based on Shearlets［J］.Chinese Optics Letters，2011，9(4):1－5.

［20］刘帅奇.基于多尺度几何变换的遥感图像处理算法研究［D］.北京:北京交通大学，2014.