刘海涛 龙黄枭 刘珊 姜瀚 周涛

摘要：医学图像融合是图像处理科研领域的热门课题。针对传统的PET-CT图像融合方法有效地融合了CT图像和PET图像的互补信息，但是在图像整体细节信息保留能力仍然不足，现提出一种基于潜在低秩表示的双模态医学图像融合方法，首先，将医学原图像通过潜在低秩表示方法分解为低秩部分、显著部分以及噪声部分。在低秩部分中，采用加权平均融合规则进行融合，以此来保留更多的图像整体信息，在显著部分中，使用求和策略进行融合，保留图像的细节信息。然后，将这两部分的融合图像再进行重构，得到最终融合图像。实验结果表明，融合图像无论是从客观上还是主观上，都具有良好的医学观察效果。

关键词：医学图像;图像融合;潜在的低秩表示;加权平均策略;低秩分解

中图分类号：TP318      文献标识码：A

文章编号：1009-3044（2021）35-0005-04

Bimodal Medical Image Fusion Based on Latent Low Rank Representation

LIU Hai-tao1， LONG Huan-xiao1， LIU Shan1， JIANG Han1， ZHOU Tao1，2

（1.School of Computer Science and Engineering， North Minzu University， Yinchuan 750021， China;2. Key Laboratory of the State Ethnic Affairs Commission for Intelligent Processing of Image and Graphics，North Minzu University， Yinchuan 750021， China）

Abstract： Bimodal medical image fusion is a hot topic in the field of image processing. The traditional pet CT image fusion method effectively integrates the complementary information of CT image and PET image， but the overall detail information retention ability of the image is still insufficient. Now， a new Bimodal medical image fusion method based on the latent low rank representation is proposed. Firstly， the medical source images are decomposed into low rank part， significant part and noise part by latent low rank representation. In the low rank part， the weighted average strategy is adopted to preserve more overall information of the image. In the the significant part，the summation strategy is used to preserve detailed information of the image. Then the fusion images of these two parts are reconstructed to obtain the final fusion image. The experimental results show that the fusion image has good medical observation effect both objectively and subjectively.

Key words： medical image; image fusion; latent low-rank representation;weighted average strategy; low rank decomposition

圖像融合是从两幅或多幅图像的同一区域提取互补信息，通过融合方法融合到一幅图像中，有效地克服单一传感器的局限性和差异性[1]。在医学影像技术中，由于CT成像是通过扫描横断面，得到断面图像，可以有效地消除器官和组织平面图像投影重叠的缺点。CT图像根据正常器官和病变器官的密度不同来进行识别病灶，其器官组织图像分辨率极高但对病灶本身的显示效果不佳。PET图像是利用放射性核素标记原理，通过该物质在生物体中的移动聚集情况，反映生命体功能活动。但是PET图像在成像过程中由于受到康普顿效应、散射等衰减因素的影响，采集得到的图像数据和病状体的实际情况不符，图像质量失真，分辨率低。所以将PET图像和CT图像进行融合，充分利用多模态医学图像的互补信息，得到既能提供详细的解剖结构，又能提供丰富的生理信息的融合图像，帮助医生快速查找确定病灶位置。

在医学图像融合领域中，多尺度变换是应用最广泛的融合方法。例如拉普拉斯金字塔、离散小波变换（Discreate Wavelet Transformation，DWT）[2]、平移不变剪切波变换[3]等。针对DWT算法中的小波分解方法并不能较好地表示图像中的高维信息，以及基于拉普拉斯金字塔方法融合的结果存在边缘轮廓的失真。为更好表示这些高维信息，Ridgelet、Cuevelet、Contourlet等多尺度几何分析工具被提出，这些方法准确地保留原图像边缘特征，但是基于Contourlet变换融合方法由于Contourlet具有平移不变性，导致出现伪吉布斯现象，所以融合图像存在褶皱现象。周婷[4]等人提出基于Surfacelet变换的PET和CT图像融合方法，该方法充分利用ST（Surfacelet Transformation）的特点，得到的融合图像边缘平滑，轮廓信息清晰。ST方法虽然较好地结合CT图像和PET图像的优点，但是对于全局信息的抓取能力以及细节信息的表示不足。针对这些问题，张生伟等人[5]提出一种基于稀疏表示的融合算法，该方法有效地保留原图像的细节信息，但未能消除噪声影响。Liu等人[6]提出低秩表示方法，有更好的图像去噪效果。为了提取原图像的全局和局部结构信息，Liu等人[7]又提出基于改进的LATLRR（Latent low-rank representation ，LATLRR）算法。

针对低秩表示的方法不能很好地提取原图像中全局结构信息和局部结构信息，以及基于稀疏矩阵的融合算法在噪声部分处理效果不佳的问题。LATLRR技术运用到PET/CT融合图像中，LATLRR对系数矩阵具有整体约束性，在约束条件下噪声部分被去除，并且对局部部分和全局部分的信息捕获能力都较强。首先将原图像分解为低秩部分和显著部分、噪声部分。然后，采用加权平均策略以及求和策略来分别融合低秩部分图像和显著部分图像，最后得到融合图像。实验结果表明，该方法用于PET/CT图像融合能较好地保留细节信息。

1 潜在低秩表示理论

2010年，Liu等人[6]最初提出低秩表示。为了能够表示底层子空间以及实现鲁棒的分割，2011年，Liu等人[7]改进低秩表示理论，提出潜在的低秩表示理论。潜在的低秩分解操作是将输入的原图像分解为低秩部分与显著部分、噪声部分，而噪声部分在低秩的约束条件下被去除，其表达式为公式（1）：

[X=ZX+LX+EX=ZX+LX+E]           （1）

公式（1）中，[X]为原图像矩阵;[ZX]、[LX]分别为低秩部分、显著部分;[E]为稀疏噪声。随后进行最优化求解，其表达式为公式（2）

[minZ，L，E||Z||*+||L||*+λ||E||1]                 （2）

[s.t.X=ZX+LX+EminZ，L，E||Z||*+||L||*+λ||E||1]

[s.t.X=ZX+LX+E]

公式（2）中，[||Z||*]表示核范数;[||E||1]为l1范数;[λ]为平衡系数，且[λ>0];[E]表示所有元素值都等于[E]，且与[X]为同维矩阵;[s.t.]为噪声的约束条件，用不精确增广拉格朗日乘数[8]求解。

2  基于潜在低秩表示的融合方法

2.1 融合框架

基于LatLRR的双模态医学图像融合框图如图1所示。

2.2 低秩部分融合

为保留更多的全局结构信息，低秩部分使用加权平均融合规则，如公式（3）：

[Flrr（i，j）=a*l1*lrr（i，j）+b*l2*lrr（i，j）]               （3）

其中[a]，[b]为权重，为了保证图像的清晰度，将[a]，[b]设置为0.5，保证图像的清晰度的同时使图像呈现出来的病灶明显，利于医学诊断。[Flrr（i，j）]为低秩部分融合后的图像，[（i，j）]表示各个公式系数在图像中对应的位置。

2.3 显著部分融合

在实验过程中尝试采用加权平均策略，实验结果对于显著部分局部信息的保留能力不足。而显著部分是低秩部分的互补结构信息，为保留更多的局部結构信息采用求和的策略，如公式（4）所示：

[Fs（i，j）=s1*l1*s（i，j）+s2*l2*s（i，j）]                （4）

为了在求和策略在保留最多的显著特征，设置[s1=10]，[s2=10]为系数，[ Fsi，j]为显著部分的融合图像。

2.4 图像重建

为得到既包含全局信息又包含局部信息的目标图像，将前面分别融合得到的低秩图像和显著图像进行重建。计算公式如公式（5）所示：

[F（i，j）=Flrr（i，j）+Fs（i，j）]                       （5）

3 评价指标

评价标准包括主客观评价，客观评价指标为：标准差[9]（Standard Deviation，SD），反映图像像素值与均值的离散程度，标准差越大，图像融合质量越好。计算公式如公式（6）所示：

[SD=1N-1i-1N（xi-x）2]                （6）

平均梯度（Average Gradient，AG）[10]，反映图像灰度变化率。计算公式如公式（7）所示：

[G=1M*Ni=1Mj=1N（?f?x）2+（?f?y）22]                   （7）

其中，[?f?x]，[?f?y]分别表示图像水平方向和垂直方向的梯度。[M*N]为图像像素点总个数。

空间频率（Spatial Frequency，SF），空间频率越大，图像越清晰。计算公式如下所示：

[SF=sqrt（RF2+CF2）]                    （8）

[RF=1MNi=1Mj=2NIi，j-Ii，j-12]               （9）

[CF=1MNi=2Mj=1NIi，j-Ii-1，j2]            （10）

其中，[I（i，j）]为图像在[i，j]位置的像素值。

峰值信噪比（PeakSignaltoNoiseRatio， Psnr）即峰值的信号与噪声的功率谱之比，一般来说，信噪比越大，说明混在信号里的噪声越小，声音回放的音质量越高。计算公式如公式（10）所示：

[MSE=1M*Ni=0M-1j=0N-1||I（i，j）-F（i，j）||2]          （11）

[PSNR（I，F）=10log10（2n-1）2MSE（I，F）]                 （12）

图像综合清晰度指标G与图像相似度mi的参数信息都能较好地反映融合图像质量。

4 实验结果

为验证融合方法的有效性，使用14组PET和CT影像进行融合。实验由3部分组成：第1部分为实验结果整理;第2部分为实验融合策略的选择与验证;第3部分为对比实验结果与分析。实验除了对于实验最优参数的验证，还选取四种经典的融合方法作为对比实验。实验参数：LATLRR的参数为0.8，低秩部分融合策略的加权值为0.5。

实验环境：处理器为Intel（R） Core（TM） i7-10510U CPU @ 1.80GHz 8.00GB，MATLAB R2020a.实验图像为宁夏三甲医院提供。

4.1 实验结果整理

实验结果的整理是以表格的方式呈现的，其中包含融合图像共14组。表分为3部分，第一部分是14幅原始CT图像，第二部分是15幅原始PET图像，第三部分是融合图像。实验结果如表1所示。

4.2 实验融合策略的方法选择与验证

本节实验对低秩部分的加权平均策略的权重进行更改，寻找最优权重值。权重初始值均为0.5，并且通过主观观察和图像清晰度G指标作为评价标准。每次权重的增幅（减幅）均为0.05，权重之和始终为1。实验结果如表3所示。

由实验结果分析可知，CT的权重比值越大，图像的清晰度越高，但是无法非常清晰地看到pet图像的病灶。PET的权重比值越大，图像病灶越清楚，但轮廓图像清晰度会下降。所以通过主客观评价，得出权重是CT0.5和PET0.5时，图像清晰度保持较高水平，并且凸显融合图像的病灶和轮廓。

4.3 对比实验结果与分析

本节将LatLRR方法與基于区域能量，像素级图像像素取大取小，小波变换融合方法进行对比。通过视觉观察和评价参数分析实验结果如表4和表5所示。

由评价参数可知，与其他对比实验相比，LatLRR方法的融合图像整体轮廓更加清晰，保留更多局部信息。从表5实验评价参数可知，LatLRR方法融合图像psnr较小，图像噪声高于其他对比实验。在空间频率和图像清晰度方面，LatLRR方法较好。所以，LatLRR方法无论是融合图像整体轮廓信息，还是局部细节的保留，均达到较好的效果。

5 结论

论文提出基于LatLRR分解的PET/CT图像融合，首先利用LATLRR方法将原图像分解为含有全局结构信息的低秩部分和含局部结构信息的显著部分;采用加权平均策略对低秩部分融合，采用求和策略对显著部分融合;并在低秩部分融合过程中选择不同的权重值进行实验，寻找最优权重值;最后对低秩部分融合图像和显著部分融合图像进行重建，得到最终融合图像。实验结果表明，LATLRR方法保留PET/CT图像整体细节信息效果较好。

参考文献：

[1] Ma J Y，Ma Y，Li C.Infrared and visible image fusion methods and applications：a survey[J].Information Fusion，2019，45：153-178.

[2] Ben Hamza A，He Y，Krim H，et al.A multiscale approach to pixel-level image fusion[J].Integrated Computer-Aided Engineering，2005，12（2）：135-146.

[3] Wang L，Li B，Tian L F.EGGDD：an explicit dependency model for multi-modal medical image fusion in shift-invariant shearlet transform domain[J].Information Fusion，2014，19：29-37.

[4] 周婷，李文节. 基于Surfacelet变换的PET与CT图像融合[EB/OL]. 北京：中国科技论文在线 [2010-12-23].

[5] 张生伟，李伟，赵雪景.一种基于稀疏表示的可见光与红外图像融合方法[J].电光与控制，2017，24（6）：47-52.

[6] Liu G， Lin Z， Yu Y. Robust subspace segmentation by low-rank representation[C]. International Conference on International Conference on Machine Learning， 2010：663–70.

[7] Liu G C，Yan S C.Latent Low-Rank Representation for subspace segmentation and feature extraction[C]//2011 International Conference on Computer Vision.November 6-13，2011，Barcelona，Spain.IEEE，2011：1615-1622.

[8] 陈潮起，孟祥超，邵枫，等.一种基于多尺度低秩分解的红外与可见光图像融合方法[J].光学学报，2020，40（11）：72-80.

[9] 江泽涛，蒋琦，黄永松，等.基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法[J].光子学报，2020，49（4）：0410001.

[10] Liu Y，Chen X，Cheng J，et al.Infrared and visible image fusion with convolutional neural networks[J].International Journal of Wavelets，Multiresolution and Information Processing，2018，16（3）：1850018.

【通联编辑：唐一东】