程 航, 蔡 昕, 姜小平, 杨 光, 贾守强,聂生东

(1.上海理工大学健康科学与工程学院, 上海 200093;2.上海康达卡勒幅医疗科技有限公司, 上海 200444;3.华东师范大学物理与电子科学学院, 上海 200062;4.山东第一医科大学附属济南人民医院影像科, 山东 济南 271100)

1 引言(Introduction)

磁共振成像(Magnetic Resonance Imaging, MRI)能够提供对比度丰富、分辨率高的图像,并且具有无创、无电离辐射等特点,被广泛应用于临床诊断中。受物理因素的限制,MRI扫描时间较长,因此需对该过程进行加速。常用的加速策略有两种:①并行成像(Parallel Image, PI)[1],使用多组线圈同时采集信号;②压缩感知(Compressed Sensing, CS)[2],只采集部分数据点,从而减少采样时间。通常,PI在不严重损失图像质量的情况下,加速因子为2或3,而CS能以更大的加速因子降采k空间(傅里叶空间)的信号。因此,基于CS降采样的MRI(CS-MRI)重建技术成为近年来磁共振(Magnetic Resonance,MR)图像重建方法领域的热点研究内容之一。

随着深度学习技术在图像处理领域大放异彩,为MR重建提供了新的工具,主流重建方法大致分为两类:模型驱动(Model-Driven)与数据驱动(Data-Driven)。模型驱动是以特定的优化方程为基础,通过数学推导,使优化方程变形为适合组成深度网络的形式,并结合人工神经网络(Artificial Neural Network, ANN)形成的一类重建方法。数据驱动则是完全使用ANN,如卷积神经网络(Convolutional Neural Network, CNN[3])、对抗生成网络(Generative Adversarial Network, GAN[4])等进行重建的一类方法。本文主要介绍基于模型驱动与数据驱动的欠采样磁共振成像重建算法,阐述它们各自的特点、发展情况及应用场景,并对MR图像重建技术未来的发展方向进行展望。

2 数据驱动的重建方法(Data-driven reconstru-ction method)

随着深度学习将各类ANN引入人们的视野,基于数据驱动,也称端到端(End-to-End, E2E)[5]的重建方法应运而生。数据驱动方法主要流程如图1所示:首先,对MR图像进行预处理,如灰度标准化等;其次,构建适用特定任务的神经网络,使用训练集进行网络训练,使用验证集与测试集评估网络的性能;最后,对网络的输出进行后处理,提升结果图像的质量。

图1 基于数据驱动的MR图像重建流程图Fig.1 Flowchart of data-driven-based MR image reconstruction

2.1 基于CNN的重建方法

CNN通过多层卷积操作提取图像中的信息,将信息整合得到最后的输出。WANG等[3]使用一个3层的CNN重建降采样的MR图像,该网络采用k空间填零重建后的图像作为预训练的CNN输入,最终生成全采样图像。然而,这样的训练方法存在数据不稳定的问题,即输出的数据可能因为输入数据的微小变动而发生大幅度改变,这不符合实际情况。为此,深度级联神经网络(Deep Cascade CNN)[6-7]提出一种新的操作:数据一致性(Data Consistency, DC),该操作能有效防止网络由于过拟合等因素导致重建结果对应的k空间与真实k空间在数值上的不连续问题。针对Cartesian采样的DC操作较为成熟,而针对non-Cartesian采样的DC操作还存在诸多挑战。为此,CHEN等[8]提出4种不同的用于non-Cartesian采样的DC操作,并以U形网络[9](U-Net)为重建网络进行了测试。结果显示,相比不使用DC的重建图像(NRMSE=0.169),使用conjugate gradient DC能获得误差最小的重建图像(NRMSE=0.117)。GAN等[10]在使用CNN重建的基础上,在网络中加入另一个独立的CNN用于图像配准,以降低扫描过程中患者的运动对图像质量的损害。

U-Net[9]的编码-解码连接方式能提升深层卷积核的视野,为深层网络提供更多上下文信息用于推断。此外,U-Net中的跳跃连接使编码特征与解码特征融合,充分利用数据的全局特征,提高了重建图像的质量。王一达等[11]使用基础U-Net作为网络,并利用数据扩增技术获得包含100万张2D MR图像的训练集,最终重建图像的SSIM达到0.93。EO等[12]提出KIKI-net用于图像域与k空间的双域卷积,弥补了以往单域重建工作中,对另一域数据利用不充分的缺陷。张登强等[13]提出的双域并行编解码网络(DPC-Net),使用2个U-Net进行双域重建。相较于KIKI-net,DPC-Net中用于重建k空间的U-Net会将每一层特征图经过逆傅里叶变换后与用于重建图像域U-Net的对应层特征图相加,实现了双域间的特征融合。

残差(Residual)结构由卷积层与残差连接组合而成,残差连接将卷积层的输入与输出相加,能有效提高网络的抗干扰能力。DUAN等[14]将残差结构与密集连接思想结合的网络模块(Residual Dense Block, RDB)进行级联,设计出用于重建肺形态学测量的扩散加权磁共振成像(DW-MRI)的新网络,并从统计学的角度证明,金标准图像与重建图像之间没有显著性差异。WU等[15]提出的T-Net,将残差结构与层级化的网络结构结合。层级结构提高了特征图的稀疏性并扩大了感受野,而残差结构补偿了层级结构运算中的细节损失。

2.2 基于GAN的重建方法

YANG等[4]使用U-Net代替CNN作为GAN的生成器,以获得更丰富的重建细节。同时,使用VGG作为特征提取器,以生成器生成的图像与真实图像之间为输入,将输出作为判别器损失函数值的一部分。BELOV等[16]利用GAN与CNN结合进行了一系列实验。他们将输入图像的长和宽各缩小一倍,对缩小图像的k空间进行降采样,并使用超分辨率GAN(SRGAN[17])与U-Net的不同组合形式,对图像进行重建与提升分辨率。结果发现,先使用SRGAN提升分辨率,再使用U-Net去伪影,对图像质量的提升效果最好。LIU等[18]将注意力机制引入以U-Net作为GAN的生成器,使网络依据数据自适应地选取更有价值的信息。LV等[19]在生成器中融合了正则化操作,并在图像域与k空间都运用增加了pixel-wise的混合损失函数。LI等[20]在以U-Net为生成器的GAN中加入了基于空间与通道的注意力机制。空间注意力机制先获取该层所有特征图的均值特征图,在均值特征图中学习应关注的特征,便于准确定位有效信息。基于通道的注意力机制获取通道维的全局平均池化,便于重建图像的细节部分。

综上,基于数据驱动的重建方法,利用不同类型的ANN对MR图像进行重建。这些方法的性能主要取决于网络自身结构与训练数据量。网络自身结构旨在整合网络各层次特征,提升重建效果,如上述的跳跃连接及残差连接。数据量越大,意味着可学习的样本越多,网络的性能就越稳定,泛化能力也越强。此外,基于GAN的重建方法,设置判别器损失函数也十分重要。不同的损失函数具有不同的特性,例如l2损失能够保存图像的主要结构;l1损失能丢弃一些低强度噪声,提升分辨率[21]。因此,选择适用于特定任务的一个或多个损失函数组合能够提升网络的性能表现。然而,数据驱动方法也存在如下不足:①训练数据都是有偏差的,导致模型也存在偏差,难以泛化;②数据驱动加重了ANN的“黑箱”特性,网络具体获取了哪些特征更难判断。

3 模型驱动的重建方法(Model-driven recons-truction method)

模型驱动的重建方法,也称优化展开(Unrolled Optimiza-tion, UO),是传统重建算法与ANN和深度学习思想结合的方法。传统重建算法存在耗时长、精度低等缺陷且难以在高降采率图像上获得较好的重建结果。模型驱动方法可避免复杂的人为操作,如正则函数、稀疏函数的选择等,并且对于输入与输出之间强大的非线性映射能力,更适用于处理复杂的医学图像。模型驱动方法有3个关键因素:数学模型、优化方法和深度网络。数学模型是UO的基石,从理论上建立输入数据到输出数据之间的映射关系。优化方法是网络内参数更新的具体过程,如梯度下降法(Gradient Descent, GD)、交替乘子法(Alternating Direction Method of Multiplier, ADMM)等。深度网络是优化方法展开的结果。UO使用带有自由参数的网络模块代替传统优化方法中的方程,再将这些网络模块组合成一个完整的重建步骤。通过重建步骤间的级联操作形成深度网络。这样的网络具有清晰的数学结构,因此可以根据先验知识,对网络中的特定部分进行修改。模型驱动方法的主要流程如图2所示。

图2 基于模型驱动的MR图像重建流程图Fig.2 Flowchart of model-driven-based MR image reconstruction

3.1 单输入单输出型重建模型

单输入单输出(Single In Single Out, SISO)的重建模型所需的输入数据为单线圈的MR图像。获取这类图像通常需要将多线圈的k空间数据做傅里叶逆变换得到每个通道对应的图像域数据,再进行通道合并获得。这样处理的优势在于输入输出数据简单、直观,劣势在于丢失了线圈之间的信息。

受ADMM的启发,YANG等[22]以ADMM为优化方法,设计出Generic-ADMM-CSNet(简称ADMM-CSNet)。ADMM-CSNet让稀疏变换和输入数据解耦,使网络能够对MR图像外的自然图像进行处理。此外,ADMM-CSNet能够处理复数格式的输入数据。本文使用磁场强度为3 T的MRI扫描仪获取的脑部数据与胸部数据作为测试集证明ADMM-CSNet的重建图像质量更高。但是,ADMM-CSNet存在只处理单线圈数据,而不能处理多线圈数据的缺陷。

迭代阈值收缩网络(ISTA-Net[23])是以迭代阈值收缩算法(Iterative Shrinkage Thresholding Algorithm, ISTA)为优化方法,创新地使用了一个能在训练过程中显式地学习稀疏变换的CNN模块。ISTA-Net+[23]将残差结构与ISTA-Net融合,增强了原网络的稳定性。此外,ISTA-Net+在不同层之间进行参数共享,在完全共享参数的条件下,网络参数比完全不共享参数低一个数量级,而PSNR仅降低0.83。ISTA-Net++[24]提出动态展开策略(Dynamic Unfolding Strategy, DUS),将采样率也作为输入数据的一部分,通过网络内的卷积层获取输入的降采样图像与降采样率之间的关系,实现了同一网络重建不同降采样率的图像。

3.2 多输入多输出型重建模型

在实际采样过程中,往往采用多线圈进行采样,而线圈之间的信号存在一定冗余,有效利用这些冗余信号能够让我们以更大的加速因子进行降采。多输入多输出(Multi In Multi Out, MIMO)的重建模型以不同线圈信号作为输入,弥补了SISO中损失的线圈间特征。

HAMMERNIK等[25]以梯度下降法(Gradient Descent,GD)作为优化方法,设计出能用于重建多通道数据的变分网络(Variational Net, VN)。VN中通过传统方法计算得到的敏感度图,需要使用k空间的ACS(Auto Calibration Signal),即全采的低频信号。这导致k空间中心区域采集的信号增多,采样时间加长。为此,SRIRAM等[26]提出了一种改进的VN:端到端的变分网络(End-to-End VarNet)。他们使用一个独立的U-Net从训练过程中学习敏感度图,使网络只需获取少量ACS数据,也能准确计算出敏感度图,从而提高了降采率。AGGARWAL等[27]提供了结合了深度学习先验信息的模型驱动方法的系统性设计过程。此外,重建步骤间的权重共享能使收敛性与网络复杂度解耦,避免在网络中增加重建步骤时,同步增加网络参数量导致过拟合。AGGARWAL等[28]提出的基于模型的联合深度学习方法(J-MoDL)将采样矩阵作为可学习的参数,与重建过程一起训练,并指出网络可能会由于优化问题的高度非凸性而陷入局部最小值,而SGD能有效地找到较优解。

综上,基于优化展开的方法将传统优化方法与CNN结合,使网络依据训练数据学习传统方法中需要人为设定的函数,减轻人为交互的负担与不确定性。对部分优化展开方法的总结如表1所示。基于优化展开方法存在如下问题:①大部分工作针对实数图像开展。直接从MR仪器上获取的数据通常为多通道的复数数据,实数数据只保留了原始复数数据的幅值信息,损失了相位信息。②这类算法都依托于特定的优化方法,导致对重建方法的改进会受到原有方程形式的限制,改进空间有限。③基于二维与三维网络的工作较多,而基于四维网络的工作较少。KÜSTNER等[29]在三维重建网络的基础上,增加时间维度,实现对高维数据的重建。由于增加了一个维度的信息,数据的冗余度增大,因此可以使用更高的降采率,进一步缩短了采样的时间,更容易满足实时重建对速度的要求。

表 1 5种优化展开方法总结Tab.1 Summary of five unrolled optimization methods

4 挑战与未来工作(Challenges and prospects for future work)

随着MR数据集的扩充与高性能网络架构的提出,基于深度学习的重建算法显现出比传统方法更大的潜力,但仍存在值得深入研究的问题。

(1)网络设计。UO的优势在于具有清晰的数学结构,能使网络迅速收敛,并达到较高的重建效果;缺点在于网络体积较大,学习能力较弱。E2E则与此相反,它的网络体积小,训练速度快,学习能力的强弱与所使用的网络紧密相关;但这类网络必须要经过长时间的迭代才能达到一定的精度,未来如果能在此基础上加入一些先验知识,就能在保持网络学习能力的同时,减少网络的训练时间。如今,越来越多的实验将二者的特性更为紧密地结合在一起,因此混合式重建模型将更具潜力。

(2)并行成像的压缩感知混合(PI-CS)。随着网络与硬件技术的不断发展,研究人员可以使用性能更强的网络在更大的数据集上更快地训练所需的模型。对于单一的CS或PI任务而言,已有很多工作能够实现在4倍、8倍乃至更高的加速因子下完成MRI重建任务。为了实现更高速的采样,就需要在单次扫描中创造更多的信息冗余,而PI正好能满足要求。已有文献对PI+CS这样的混合加速模式进行探索[25-26,30],因此PI-CS的降采样模式势必会成为未来的研究热点。

(3)多模态。在MRI重建领域另一个值得关注的点是多模态或多对比度重建。使用特定序列进行成像,能在一次扫描中获得多种对比度的输出,使图像中信息的集中度不同,为重建带来更丰富的信息[31]。目前的重建工作大多在单一对比度的数据上表现良好,但缺少在其他对比度数据集上的泛化能力。解决该问题的通常做法是迁移学习,将已训练好的模型在新数据集上再次训练,但会增加时间成本。对模型使用多模态数据进行训练能增强模型泛化能力,使模型预先适应不同模态的图像,节省使用迁移学习所带来的额外开销。此外,ISAT-Net++提出的DUS,将不同的CS采样率作为网络的一项输入,使最终训练完成的网络可以适应不同CS采样率的MR图像,相似的方法也可以用来训练能适应不同模态图像的模型。

5 结论(Conclusion)

本文主要介绍了深度学习技术在磁共振图像重建领域中的两种具体应用,即模型驱动与数据驱动。无论是模型驱动还是数据驱动,都越来越紧密地同深度学习结合起来,以实现更高的采样倍率以及更优的重建效果,但仍有问题亟待解决。未来,应继续深入挖掘深度学习的优势,并将这些优势同MR图像重建任务结合起来,进一步提升重建图像质量,为MR图像降采样技术实现更好的临床应用而不断努力。