王文文，王惠群，陆惠玲,周　涛,

(宁夏医科大学　a.管理学院; b.理学院,银川　750004)



基于压缩感知和NSCT-PCNN的PET/CT医学图像融合算法

王文文a，王惠群a，陆惠玲b,周涛a,b

(宁夏医科大学a.管理学院; b.理学院,银川750004)

摘要：针对非下采样Contourlet变换(NSCT)后计算复杂度高以及医学融合图像质量差等问题,提出一种基于压缩感知和脉冲耦合神经网(PCNN)的图像融合方法。首先将源图像进行NSCT单层分解；其次，对计算量较大的高频子带采用高斯随机测量矩阵进行压缩测量，融合规则选用绝对值取大的方法，对融合后的高频图像采用正交匹配追踪算法(OMP)进行重构；然后对低频子带采用基于PCNN 的融合规则，将低频子带系数作为信号激励 PCNN 网络，根据低频图像的特性选择较大点火次数的系数作为低频子带融合系数；最后对高频融合图像和低频融合图像通过NSCT逆变换，得到最终的融合图像。实验结果表明：该算法无论从人眼视觉效果还是客观评价指标上均优于其他算法，且具有较强的鲁棒性。

关键词：压缩感知;非下采样Contourlet变换;PCNN;PET/CT;医学图像融合

医学图像融合是将人体同一部位的不同模态的医学图像，经过配准、叠加、变换等预处理，进而得到一幅能充分表达疾病解剖和功能信息的新图像[1]。不同模态的成像可以反映病灶的不同信息，如CT图像具有很高的空间分辨率，骨骼成像清晰，但对软组织的对比度较低；PET图像反映了丰富的人体代谢信息，但解剖结构不清晰。PET/CT融合图像结合两种成像方法的优势，综合显示病灶部位的解剖和功能信息，提高了病灶定位的精确度和可识别度，为医生正确地诊断和治疗疾病提供了更加有效的影像学参考。

为避免小波变换在高维信息处理时由于方向信息有限，导致不能有效地反映高维信息的奇异性等缺点，Do等[1]提出了轮廓波变换(contourlet transform)理论，Contourlet变换是一种多分辨率、局域性和多方向的稀疏表示方法，很好地弥补了小波变换的缺陷。但Contourlet 变换过程中需要进行上下采样，不具有平移不变性。NSCT去除了下采样的环节，在继承了Contourlet变换优点的同时，又具备良好的方向性及平移不变性，避免了Gibbs现象的发生[3-5]，能有效表达出图像的细节特征，提高了视觉效果。但是NSCT在图像融合中的计算复杂度高，高频图像在多方向上的分解会产生大量的冗余数据。本文将NSCT与压缩感知(CS)理论相结合用于计算量较大的高频信息融合，CS理论不需要对信息进行完全采样，大大降低了数据量，有效提高了图像融合的效率和质量，同时减少了图像存储空间和传输成本[6]。

脉冲耦合神经网络(pulse coupled neural network,PCNN) 是模拟猫的视觉特性发放同步脉冲而形成的一种新型神经网络，同时在图像处理时引入了耦合调制机制，因此被广泛应用于图像融合[7]和分割[8-9]等领域。PCNN在做图像融合处理时，利用仿生机制将图像特点与脉冲耦合神经网的视觉特性相结合，得到了较好的图像融合效果。因此，本文在结合了压缩感知和非下采样Contourlet变换的基础上，将源图像分解到不同尺度和方向子带内后，根据医学图像的特性对低频子带采用PCNN融合方法，选择较大点火次数的系数作为低频子带融合系数。而对于高频子带采用基于压缩感知理论的图像融合方法，实验结果表明:本文算法在减少了计算复杂度的同时，更多地保留了图像的有用信息和细节特征，无论从主观还是客观评价指标中相对于其他融合算法都有了显著的提高。

1非下采样Contourlet变换

图1　NSCT变换的实现过程

2压缩感知理论

假设任一图像f(f∈RM×N)，基向量为ψi(i=1,2,…,N)，对f进行变换，则f可表示为

(1)

其中:f是图像在时域的表示;α是图像在ψ域的表示。若上式中α的非零值K远小于N，或者α经排序后呈指数级衰减并趋近于零，则认为图像f已经完成压缩。

以上过程采用了压缩策略，即构造一个与非下采样Contourlet 变换不相关的压缩感知测量矩阵，对原始图像经过变换后的表示进行线性投影得到压缩测量值y，实现信号从N维降为M维，用以精确的重构信号或者图像[13]，采样过程可表示为

(2)

其中:φ为观测矩阵;Θ(M×N)为感知矩阵。只有稀疏表示的变换基ψ和测量矩阵φ具有非相关性，即投影矩阵Θ满足等距约束性(restricted isometry property，RIP)，信号f通过求解这种最优化问题式(3)对压缩测量值进行精确恢复，得到重构后的图像。

(3)

图2是基于NSCT变换后的压缩感知图像重构框架，由于图像经过NSCT变换后已经具有稀疏性，因此不用通过稀疏表示来得到稀疏矩阵。本文采用的是高斯随机矩阵进行压缩采样，它几乎和任意的稀疏矩阵不相关。重构算法中常用的正交匹配追踪算法(OMP)是通过贪婪追踪进行重构的方法，其特点在于重构过程中每一步迭代运算会从观测矩阵中选取一个与残差信号最相似的测量值，这些测量值会组成重构矩阵的集合，集合中的测量值经过正交化处理后将信号投影到测量值构成的正交空间上，最后得到信号在这一正交空间上的投影分量与残差。

图2　基于压缩感知的图像重构框架

3脉冲耦合神经网络(PCNN)

PCNN自20世纪90年代由Eckhom提出以来，受到了人们广泛的研究和应用。它是由多个神经元互联而成的反馈性神经网络，具有全局的耦合性和同步脉冲性。标准的PCNN神经元一般由接收部分、调制部分和脉冲发射器3部分组成[14]。PCNN神经元是一个复杂的非线性动态系统，参数设置较为复杂，因此在实际应用中通常使用简化的PCNN模型。如图3所示是PCNN简化模型的结构。

图3　PCNN简化模型结构

PCNN在用于二维图像处理时，可以看成是一个单层的横向连接的神经网络，网络中的神经元数和处理图像的像素个数相等，且存在一一对应的关系。PCNN神经元在图像处理时的数学表达式为：

(4)

(5)

(6)

(7)

(8)

4基于CS和NSCT-PCNN的医学图像融合算法

4.1算法思想

本文提出一种基于CS和NSCT-PCNN的PET/CT医学图像融合算法，算法流程如图4所示。

图4　本文融合算法流程

首先对已经配准的PET和CT图像分别进行单层NSCT变换，吴巧玲等[15]已证明仅用单层NSCT变换就可重建出高质量图像。通过NSCT分解后得到1个低频子带和8个方向的高频子带。根据不同子带的特点，分别采用不同的融合规则。其中低频子带采用PCNN融合算法，由于分解后的高频具有稀疏性，因此采用在压缩感知理论下对高频系数绝对值取大的融合规则，利用正交匹配追踪算法重构融合后的高频图像。然后将融合后的高频子带重构并且与融合后的低频子带经过NSCT逆变换得到最终的融合图像。最后，通过对比实验充分验证本文算法的可行性和有效性。

4.2关键技术

4.2.1低频融合规则

由于医学图像成像机制的不同，PET图像提供的代谢信息对比度低，CT图像空间分辨率高但含噪声干扰大，影响了图像的视觉效果[16]，这要求图像融合规则的设计充分考虑医学图像的特点。源图像经过NSCT变换后的低频子带包含了源图像的大部分能量[17]。简单的基于像素的融合规则如平均法应用于低频子带，会降低融合中的计算复杂度，但同时图像的对比度也会减弱，导致融合图像的边缘变得模糊。因此本文在低频子带中采用PCNN的融合规则，将经过NSCT变换后的低频子带系数作为PCNN的外部输入来激励神经元，进而产生神经元脉冲，一次脉冲输出即为一次点火。最后根据计算得到的点火次数来确定图像融合的系数。设CA,S(i,j)和CB,S(i,j)为源图像经过NSCT变换后在S层上的低频子带系数，Tk,S(i,j,n) 表示神经元(i,j)在第S层分解后的低频子带系数经过n次迭代后产生的总的点火次数。

其实现过程如下：

① 将CA,S(i,j)和CB,S(i,j)作为F通道的输入来激励PCNN；

② 网络初始化，LS(i,j,0)=0,US(i,j,0)=0,TS(i,j,0)=0；

③ 利用式(4)～(8)计算出各个中间结果；

④ 利用TS(i,j,n)=TS(i,j,n-1)+YS(i,j,n)来计算点火次数；

⑤ 设定一个迭代次数Nmax,当n

(9)

则低频子带的融合系数为

CF,S(i,j)=ωACA,S(i,j)+ωBCB,S(i,j)

(10)

4.2.2基于压缩感知的高频融合规则

(11)

5仿真实验及分析

5.1实验环境及参数设置

硬件环境：仿真硬件平台为Pentium(R)Dual-CoreCPUE6700，3.2GHz，2.0GB内存，操作系统为Windows7。

软件环境：软件MatlabR2012b。

实验数据：实验采用一组肺癌经配准后的PET及CT图像，图像大小为256×256像素。验证实验则采用3组其他肺癌配准后的PET及CT图像，图像大小为356×356像素。

NSCT变换参数设置：滤波层级为1，方向级数为3，其中NSP结构采用“9-7”双正交

小波分解，NSDFB采用“pkva”梯形滤波器。压缩测量选取50%的采样率。

5.2实验结果及分析

实验1与多尺度图像融合算法的比较

为了检验压缩感知理论在图像融合中的优势，将分别与NSCT变换图像融合和Contourlet变换图像融合进行比较，本文算法的采样率定为50%。图5(c)采用Contourlet变换的融合方法，图5(d)采用NSCT变换的融合方法，图5(c)和(d)的低频融合规则均为加权平均法，高频融合规则均为局部区域能量最大法。图5(e)为NSCT变换，低频采用PCNN的融合规则，高频采用取极大值的方法，图5(f)为本文算法的融合图像。

对融合图像的评价主要从主观视觉效果和客观指标的角度出发，由图5不难看出：本文融合算法得到的融合图像的清晰度、边缘轮廓、纹理信息比其他融合算法的融合效果更好，质量更高，并且融合图像清楚地反映了病灶的轮廓以及与组织和器官的毗邻关系。为了定量评价不同客观指标下融合图像的质量，本文选取标准差(SD)、平均梯度(MG)、空间频率(SF)、清晰度(MC)、互信息(MI)、信息熵(IE)以及边缘信息(QAB/F)来客观地分析融合图像的效果，如表1所示。

图5　不同算法的融合结果

通过客观评价指标可以看出：本文方法所得到的融合图像在SD,MG,SF,MC,QAB/F均优于其他3种方法，MI,IE略低于NSCT-PCNN方法。由此可以看出，本文算法不仅提高了融合图像的质量，同时有效降低了存储空间及计算复杂度。主观视觉和客观评价指标上一致表明本文算法的图像融合效果较好，进一步验证了该算法的优越性。

实验2与基于压缩感知的多尺度变换图像融合方法的对比

为验证本文采取的低、高频子带融合规则的有效性，将本文融合算法分别与基于压缩感知的NSCT变换和Contourlet变换的其他融合规则的融合效果进行比较，图6(a)为NSCT变换，图6(b)为Contourlet变换，图6(a)、(b)的融合规则均为低频融合规则均为加权平均法，高频融合规则均为局部区域能量最大法。表7为3种融合方法在客观指标上的比较。

通过对以上3种方法从主观视觉方面的评价可知：图6(a)有明显的频谱叠加现象，细节信息丢失；图6(b)的清晰度较差；而图6(c)无论从对比度、清晰度以及亮度方面都明显优于其他两种方法。其次在客观评价中，由表2不难看出，本文算法中所有的指标值都明显高于其他两种融合方法。本算法的标准差比其他两种方法中最大的提高了2.4倍，空间频率提高了24.15%，信息熵提高了19.34%，平均梯度提高了35.95%，图像清晰度提高了10.84%，互信息提高了88.05%，边缘信息提高了87.27%。由此可以看出，本文算法得到的融合图像在细节信息和融合效果上都有明显的提高，充分说明了该算法的有效性。

图6　压缩感知理论下不同算法的融合结果

实验3其他肺癌PET/CT图像融合图像

为了说明本文算法具有较好的鲁棒性，通过对其他几种肺癌的PET/CT图像进行融合检验，如图7是3种肺癌患者的PET/CT图像，结果显示本文算法能较好地应用于其他图像的融合中。融合图像既包含了CT图像中病灶的轮廓信息，又包含了PET图像中病灶的代谢情况，融合效果较好，同时客观指标值也验证了本文算法的优势。

图7　3种肺癌患者的PET/CT图像融合结果

组别SDMGSFMCMIIEQAB/FContourlet6.45210.10821.30571.02741.30576.65210.4956NSCT6.88470.18462.01171.12281.61175.88470.3825NSCT-PCNN52.24477.372518.14617.3154.987.71640.5718本文算法52.5327.448618.29517.39054.97257.24640.5783

表2　3种方法客观评价指标数据

表3　3种融合图像的客观评价指标数据

通过以上实验证明，本文算法无论在主观评价还是客观指标上都有明显的优势，同时验证实验也说明了该算法的鲁棒性，适用于其他疾病的PET/CT图像的融合，为精确的病灶定位及手术治疗提供了有利的影像依据。本文算法结合了非下采样Contourlet变换和压缩感知理论的优势，即避免了Contourlet变换产生的频谱叠加现象，又去除了高频子带的冗余信息，减少了计算复杂度。低频采用PCNN的融合规则，充分考虑了点火次数与低频的灰度值的关系，有效保留了图像的边缘及过渡区域的信息，使图像更清晰。

6结束语

针对PET/CT医学图像融合的特殊性，融合图像要充分保留CT图像的背景及边缘信息以及PET图像中病灶的代谢情况，因此需要选择相应的融合规则。本文提出一种结合非下采样Contourlet变换和压缩感知的医学图像融合方法，并针对该变换能实现图像最优稀疏表示的特点，对分解后的高频子带进行压缩测量，有效重构了图像的细节和纹理等信息。而低频采用PCNN的融合规则，充分考虑了医学图像的特性，实验结果也证实了该方法保留了更多原图像中的的边缘信息和代谢特征，更适合人眼视觉特性。本文算法用于医学图像融合，在改善图像质量的同时，降低了图像的采样率，且融合效果明显优于其他方法，有利于进一步提高医学诊断的准确率和效率，同时也为以后的远程医疗提供了技术支持。

参考文献：

[1]胡朝芬,黄之杰,罗来华.医学图像融合技术研究进展[J].医疗卫生设备,2010,31(4):157-160.

[2]DO M N,VETTERLI M.Contourlets[C]//Beyond Wavelets.[S.l.]:[s.n.],2002:1-27.

[3]ARTHUR L C,ZHOU J P,DO M N.The nonsubsampled contourlet transform:Theory,design,and applications[J].IEEE Trans Image Processing,2006,15(10):3089- 3101.

[4]CHAI YI,LI HUAFENG,LI ZHAOFEI.Multifocus image fusion scheme using focused region detection and multiresolution[J].Optics Communications,2011,284(19):14-16.

[5]STILLER C,León PUENTE F,KRUSE M.Information fusion for automotive applications — Anoverview[J].Information Fusion,2011,12(4):244-252.

[6]沈瑜,党建武,王阳萍,等.基于NSCT域压缩感知模型的路面病害图像滤波算法[J].光电子.激光,2014,25(8):1620-1626.

[7]鲍程辉,贺新光,蒋卫国.非下采样Contourlet变换和脉冲耦合神经网络相结合的遥感图像融合方法[J].遥感信息,2015,30(2):50-56.

[8]王博,万磊,李晔,等.基于自适应脉冲耦合神经网络的水下激光图像分割方法[J].光学学报,2015,35(4):1-10.

[9]王延年，刘婷，牛飞婷，等。改进的虹膜图像定位分割算法[J].激光杂志，2015(5)：11-13.

[10]ZHANG QIANG,GUO BAO-LONG.Multifocus image fusion using the nonsubsampled Contourlet transform[J].Signal Processing(S0165-1684),2009,89(7):1334-1346.

[11]CUNHA A L,ZHOU J P,DO M N.The non-subsampled contourlet transform:theory,design and applications[J].IEEE Trans on Image Processing,2006,15(10):3089-3101.

[12]LI X,QIN S Y.Efficient fusion for infrared and visibleimagesbased oncompressive sensing principle[J].IETImage Processing,2011,5(2):141-14.

[13]马庆涛,唐加山.基于压缩感知的测量矩阵研究[J].微型机与应用,2013,32(8):64-67.

[14]WANG Z B,MA Y D,CHENG F Y,et al.Review of Pulse-coupled Neural Networks[J].Image and Vision Computing,2010,28:5-13.

[15]吴巧玲,倪林,何德龙.基于非下采样contourlet变换的压缩感知图像重建[J].中国科学技术大学学报，2012,42(2)87-91.

[16]杨艳春,王晓明,党建武，等.基于 NSCT 与区域点火 PCNN 的医学图像融合方法[J].系统仿真学报,2014,26(2):274-278.

[17]魏兴瑜,周涛,陆惠玲,等.基于双树复小波变换的PET/CT自适应融合算法[J].计算机科学与探索,2015,9(3):360-367.

[18]柳翠寅,罗洪礼,李晓峰.基于压缩感知的红外与可见光图像融合[J].四川大学学报(工程科学版),2014,46(5):88-95.

[19]张建勋，汪波，侯之旭，等． 图像多特征融合的障碍物检测[J].重庆理工大学学报(自然科学版)，2015(3):65-70．

[20]郑伟，孙雪青，郝冬梅，等.结合Shearlet变换和果蝇优化算法的甲状腺图像融合[J].激光杂志，2014(9)：70-73，78.

(责任编辑何杰玲)

PET/CT Medical Image Fusion Algorithm Based on Compressive Sensing and NSCT-PCNN

WANG Wen-wena, WANG Hui-quna, LU Hui-lingb, ZHOU Taoa, b

( a.School of Management; b.School of Science,Ningxia Medical University, Yingchuan 750004, China)

Abstract:For the high computation complexity and poor medical fusion images under non-subs ampled contourlet transform(NSCT), a method of image fusion based on compressed sensing and PCNN was proposed. Firstly, the source images were decomposed in monolayer with NSCT. Secondly, the Gauss random matrix in high frequency which has large calculation was used for compression measurement, and a method based on maximum value was utilized to fuse the high-frequency components respectively. High frequency measurement was reconstructed using the orthogonal matching pursuit(OMP) method after fusion. Third, a fusion rule based on PCNN was adopt in low frequency sub-band coefficient, and it was input into PCNN network as the signal, and we chose the bigger ignition frequency coefficient as the fusion low-frequency subband coefficients according to the characteristics of low frequency images. Finally, the final fusion image was acquired through the NSCT inverse transformation. The experiment results show that the proposed algorithm is superior to other algorithms in both the visual effect and the objective evaluation index, and it has strong robustness.

Key words:compressed sensing; non-subsampled contourlet transform; PCNN; PET/CT; medical image fusion

文章编号：1674-8425(2016)02-0101-08

中图分类号：TP391.41

文献标识码：A

doi:10.3969/j.issn.1674-8425(z).2016.02.018

作者简介：王文文(1990—)，女，宁夏银川人，硕士研究生，主要从事图像处理、模式识别、数据挖掘等研究；通讯作者 陆惠玲(1976—)，女，河北定兴人，副教授，主要从事人工智能、图像融合、数据挖掘等研究。

基金项目：国家自然科学基金资助项目(81160183,61561040);宁夏自然科学基金资助项目(NZ12179, NZ14085);宁夏高等学校科研项目(NGY2013062)

收稿日期：2015-11-21

引用格式：王文文,王惠群，陆惠玲,等.基于压缩感知和NSCT-PCNN的PET/CT医学图像融合算法[J].重庆理工大学学报(自然科学版)，2016(2):101-108.

Citation format：WANG Wen-wen, WANG Hui-qun, LU Hui-ling, et al.PET/CT Medical Image Fusion Algorithm Based on Compressive Sensing and NSCT-PCNN[J].Journal of Chongqing University of Technology(Natural Science)，2016(2):101-108.