吴清江+戴修斌

摘要：限制电子计算机断层扫描的扫描视图的角度是降低X射线剂量并因此削弱X射线对人体损伤的有效方法之一。然而，它会降低重建的CT图像质量。提出通过训练卷积神经网络来预测缺失的扫描视图并重建CT图像的方法。训练CNN网络时，使用联合损失函数，其包括重建损失和对抗性损失。重建损失可以捕捉到缺失预测的总体结构，对抗性损失可以从分布中选出一种特定的模式，使结果更加准确。在补全缺失的投影数据之后，使用传统的滤波反投影方法从完整的投影重建CT图像。实验结果表明，方法可以显著改善在有限视角下的CT重建图像的质量。

关键词：有限视角CT重建；卷积神经网络；联合损失函数；对抗生成性网络；图像修补

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2017）35-0204-04

Limited-view CT Reconstruction Based on Convolutional Neural Networks with Joint Loss

WU Qing-jiang， DAI Xiu-bin

（College of Telecommunications and Information Engineering， Nanjing University of Posts and Telecommunications， 210003 Nanjing， China）

Abstract： Limiting the scan views of X-ray computed tomography （CT） is one of the efficient ways to reduce the dose of X-rays and consequently weaken the damage by the X-rays. However， it will degrade the reconstructed CT images. This paper proposed to predict the missing projections and improve the CT images reconstructed from limited-view projections by training an unsupervised convolutional neural networks （CNN）. When training the CNN， Joint loss function which includes not only reconstruction loss， but adversarial loss was used. While reconstruction loss can capture the overall structure of the missing projections， the latter can pick a particular mode from the distribution and make the results much sharper. After the missing projections have been estimated， Reconstruct the CT images from the complete projections by utilizing conventional filtered back-projection （FBP） method. The experimental results show that our method can achieve considerable improvement in limited-view CT reconstruction.

Keywords： limited-view CT reconstruction， convolutional neural networks， joint loss function， adversarial networks， prediction of missing projections.

1 概述

CT是臨床诊断不可缺少的工具[1]。不幸的是，当进行X线CT检查时，患者将比其他医疗成像设备（如磁共振成像和超声波成像）接收更多的辐射剂量。因此，必须尽量减少X射线的剂量。在所有减少剂量的方法中，限制CT扫描的角度相当常见。然而，它会导致重建的图像的退化。这种退化会妨碍医学诊断，在临床上是不能接受的。

目前，如何改善在缺少某些投影时重建CT图像方面已经有许多相关的研究。研究方法大概可以分为两组：直接对CT图像进行修复的和直接对CT投影数据进行修复。

全变差方法属于前一组，其整合了稀疏变换的系数以形成最终变差，并通过最小化全变差来重构图像[2-3]。主要缺点是全变差方法在重构图像中引入过度平滑的整体结构和块状伪影。除了全变差方法外，基于字典的方法[4-5]也可以归类为前者。它训练了一个冗长的字典作为一个完整的数据集，并使用像素级的线性组合来表示对象图像。

与上述两种方法不同，一些方法侧重于估计缺失的CT投影数据。在这一类中，最直接的方法是通过角插值来补全缺失的投影[6]。最近，另一种方法，即所谓的基于矩的方法，已经引起了更多的关注[7-8]。基于矩的方法背后的原理是通过建立投影矩和图像矩之间的关系来预先描述缺失的投影。

2016年，Pathak等人[9]提出了一种新颖的图像修补方法，命名为上下文编码器，通过使用无监督的卷积神经网络来生成任意图像区域的内容。该方法对于预测图像的缺失部分获得了显著的效果。因此提出了一种基于GAN的有限角度CT重建方法。使用无监督CNN网络训练自动编码器模型来预测丢失的投影数据。模型的编码器部分给出了具有缺失投影数据与输入投影数据之间的潜在特征表示。在获取该特征表示之后，解码器部分生成缺失部分投影。为了获得令人满意的预测结果，在训练过程中同时使用重建损失和对抗性损失[9]。通过这种方式，可以有效地学习图像特征，其不仅捕获外观，而且捕获图像视觉结构的语义。在补全了丢失的投影数据后，可以通过FBP方法重建CT图像。endprint

2 自动编码器模型

在本文中，我们提出了一种基于无监督卷积神经网络的上下文编码器来预测生成有限角度CT图像投影数据的缺失部分。 图1显示了我们的概述模型的整体架构。在以下小节为模型的具体介绍。

2.1 编码器

本文所提出的模型使用自动编码器类型的CNN网络作为生成器部分，以从不完全CT投影数据中生成缺失的投影数据。本文的CNN网络利用AlexNet[10]架构。具体来说，在获取不完全投影数据之后，我们使用前五个卷积层来计算有限角度CT投影图像的抽象特征表示。如果给定投影的大小为128 * 180，则编码器部分可以生成尺寸为4 * 4 * 512的派生特征表示。值得注意的是，尽管我们的模型的编码器部分是从AlexNet架构派生而来的，但是它被训练用于预测缺失的投影，而不是像AlexNet一样用于图像分类。

2.2 全通道

通常，信息以完全连接的方式直接从编码器输出端传递到解码器生成端，其中所有的激活函数都直接连接。然而，完全连接将导致参数数量的爆炸。因此，本文使用通道方式的将编码器生成信息传递到解码器。而且由于通道式全连接层没有连接不同特征图的参数，仅在特征图中传递信息，因此与完全连接的层不同。

2.3 解码器

借助于通道式全连接层，编码器部分计算出的特征表示可以连接到解码器部分。然后，解码器部分可以生成图像的像素。为了做到这一点，解码器部分由的五个上卷积层组成[11]，每个卷积器使用线性单元（ReLU）作为激活函数。

2.4 联合损失函数

在训练中，我们使用联合損失函数，包括重建损失和对抗性损失。

使用标记的L2距离，我们可以将重建损耗定义为：

（1）

其中M是输入投影数据x的缺失区域的二进制掩码；F（x）是编码器部分的输出，是元素乘积运算。

从（1）可以看出，重构损失倾向于预测分布的平均值，这可能使平均像素误差最小。然而，这将导致模糊的图像。换句话说，尽管有能力预测目标的大致轮廓，但（1）中的重建损失不能捕获高频细节。

为了应对重建损失带来的问题，我们应用生成对抗网（GAN）[12]的对抗损失[9]作为补充。 GAN背后的主要思想是共同学习一个生成模型和对抗性模型，后者可以为前者提供损失梯度。由于GAN不容易训练上下文预测任务，所以在文献[9]中已经提出了GAN的替代变体，其给出如下：

（2）

其中D是对抗模型。

联合损失函数J（x）为（1）中的重建损失和（2）中的对抗损失的联合函数

（3）

2.5 CT图像重建

在通过上述训练模型估计缺失的投影之后，投影数据变得完整。然后，我们可以使用FBP方法从完整的投影重建CT图像。

3 实验

在本节中，通过一些实验来验证本文模型的有效性，用上下文编码器来补全一些扫描视图中缺失的投影数据。

从西门子Somatom CT扫描仪扫描实验数据，包括60张CT图像和相应的投影数据。为了产生不完全的投影，我们假设在某些扫描视图（0°到α）处的投影丢失，缺失投影的值设置为0。在所有实验数据中，30个CT图像及其相应的投影是用于训练任务；其余用于测试。参数λr和λa分别设定为0.8和0.2。

为了评估我们的方法在预测缺失图像方面的表现，我们首先考虑缺失投影图像与预测投影图像之间的差距。图2示出了当α=45°我们的方法在1°，9°，17°，25°，33°和41°预测出的CT投影数据与缺失投影数据之间的比较。从图2可以看出，实际投影数据与预测结果之间具有良好契合。此外，图3中给出当α=75°的情况下，在1°，13°，25°，37°，49°和61°处本文模型预测结果与缺失投影数据之间的比较。图3显示即使几乎投影数据缺失40%的，本文的方法仍然可以取得良好的预测结果。因此，我们可以得出结论，本文所提出的方法在修补CT投影数据方面具有良好的性能。

接下来，验证本文模型生成的投影数据是否能够在CT重建中表现良好。使用均方误差（MSE）[8]定性测量原始图像f和重建图像f'之间的差异。

图4显示了通过本文模型补全缺失投影之后通过FBP方法重建的CT图像与缺失投影数据重建的CT图像间的比较。在图4中，可用投影的范围为45°至179°；第一列中的图像是原始图像；第二列中的图像是用0填充缺失投影数据时通过FBP方法重建的结果；最后一列中的图像是通过本文提出的模型重建的结果。显然，在使用本文模型的最后一列的图像中没有观察到FBP方法的经典伪影。此外，与第二列中的图像相比，最后一列的图像中的扫描对象的信息更好地保留。我们还列出了图4中缺失投影数据CT图像与原CT图像的MSE值：第二列图像的MSE为20.67%，20.25%和20.76%；最后一列图像的MSE值分别为2.88%，3.84%和2.84%。显而易见，使用本文模型的最后一列中的图像的MSE远低于图4的第二列中的图像。

从上述讨论可以得出结论，当有限角度投影数据缺失时，本文模型能有效地重建的CT图像。

图4 通过本文模型补全缺失投影数据之后通过FBP方法重建的CT图像与缺失投影数据重建的CT图像间的比较。可用投影的范围为45°至179°；第一列中的图像是原始图像；第二列中的图像是用0填充缺失投影数据时通过FBP方法重建的结果；最后一列中的图像是通过本文提出的模型重建的结果

4 总结

本文提出了一种在投影数据某些角度丢失时改进CT图像的新方法。具体方法为训练具有联合损耗函数的无监督卷积神经网络，其类似于自动编码器，以预测缺失的投影。使用预测数据补全CT投影数据后，采用FBP算法从完整的投影数据中重建CT图像。实验结果表明，本文的方法在预测缺失投影数据时具有良好的性能，可以获得良好的CT重建图像。endprint

參考文献：

[1] Marchant， T.E.， Joshi K.D.： Comprehensive Monte Carlo study of patient doses from cone-beam CT imaging in radiotherapy[J]. J. Radiol. Prot. 37， 13-30 （2017）

[2] Sanchez A.A.： Estimation of noise properties for TV-regularized image reconstruction in computed tomography[J]. Phys. Med. Biol. 60， 7007-7033 （2015）

[3] Cai， A.， Wang， L.， Zhang， H.， Yan， B.， Li， L.， Xi， X.， Li， J.： Edge guided image reconstruction in linear scan CT by weighted alternating direction TV minimization[J]. J. X-Ray Sci. Technol. 22， 335-349 （2014）

[4] Chen， Y.， Shi， L.， Feng， Q.， Yang， J.， Shu， H.Z.， Luo， L.M.， Coatrieux， J.L.， Chen， W.F.： Artifact suppressed dictionary learning for low-dose CT Image Processing[J]. IEEE T. Med. Imaging. 33， 2271-2292 （2014）

[5] Chen， Y.， Yin， X.， Shi， L.， Shu， H.Z.， Luo， L.M.， Coatrieux， J.L.， Toumoulin， C.： Improving abdomen tumor low-dose CT images using a fast dictionary learning based processing[J]. Phys. Med. Biol. 58， 5803-5820 （2013）

[6] Zhang， H.， Kruis， M.， Sonke， J.J.： Directional sinogram interpolation for motion weighted 4D cone-beam CT reconstruction[J]. Phys. Med. Biol. 62， 2254-2275 （2017）

[7] Shu， H.Z.， Zhou， J.， Han， G.N.， Luo， L.M.， Coatrieux， J.L.： Image reconstruction from limited range projections using orthogonal moments[J]. Pattern Recogn. 40， 670-680 （2007）

[8] Dai， X.B.， Shu， H.Z.， Luo， L.M.， Han， G.N.， Coatrieux， J.L.： Reconstruction of tomographic images from limited range projections using discrete Radon transform and Tchebichef moments[J]. Pattern Recogn. 43， 1152-1164 （2010）

[9] Pathak， D.， Krahenbuhl， P.， Donahue， J.， Darrell， T.， Efros， A.A.： Context Encoders： Feature Learning by Inpainting[C]. In： 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， pp. 2536-2544. IEEE Press， New York （2016）

[10] Krizhevsky， A.， Sutskever， I.， Hinton， G.E.： ImageNet classification with deep convolutional neural networks[C]. In： Advances in Neural Information Processing Systems， pp. 1097-1105. MIT Press， Cambridge MA （2012）

[11] Long， J.， Shelhamer， E.， Darrell， T.： Fully convolutional networks for semantic segmentation[C]. In： 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， pp. 3431-3440. IEEE Press， New York （2015）

[12] Goodfellow， I.， Pouget-Abadie， J.， Mirza， M.， Xu， B.， Warde-Farley， D.， Ozair， S.， Courville， A.， Bengio， Y.： Generative adversarial nets[C]. In： Advances in Neural Information Processing Systems， pp. 2672-2680. MIT Press， Cambridge MA （2014）.endprint