刘婧 张莺

浙江大学医学院附属第二医院核医学科，杭州 310009

肺癌是目前在世界范围内患病率（11.6%）和病死率（18.4%）最高的恶性肿瘤[1]，其5年生存率极低，在我国仅为15.6%，超过75%的患者在确诊时已处于晚期[2]。因此，早发现、早诊断对于提高肺癌患者的生存率尤为关键。胸部X射线检查是最早应用于肺癌普查、筛查的影像学检查方法，但因其灵敏度、特异度较低，已被发展迅速的胸部CT扫描所替代。从最早的低分辨率CT到目前高分辨率薄层、低剂量螺旋、双源能谱CT，都包含了大量的影像学信息，放射科医师需要耗费大量的时间和精力阅片，并结合临床信息来诊断肺结节的良恶性。随着人工智能的发展，基于人工智能技术的计算机辅助诊断（computer aided diagnosis，CAD）系统可提高放射科医师的工作效率以及肺结节诊断结果的准确率。深度学习是目前人工智能技术的研究热点，基于深度学习的CAD系统在肺癌的早期诊断中的应用取得了突破性的进展[3]。

CAD系统应用于肺癌的早期诊断，通常包含以下几个步骤：数据预处理、肺区域分割、候选结节检测与分割以及结节诊断[4]。基于深度学习的CAD系统能有效解决肺癌早期诊断中的核心问题，包括特征提取、肺结节检测和假阳性率的降低3个方面[5]。深度学习模型通常分为监督学习和非监督学习两种形式，其中监督学习需要使用带有分类标签的数据，此类模型包括卷积神经网络（convolutional neural network，CNN）和大规模训练人工神经网络（massive-training artificial neural networks，MTANNs）；非监督学习则使用无标签数据，此类模型包括自动编码器（autoencoder，AE）和深度置信网络（deep belief network，DBN）。

1 CNN

CNN是监督学习下的代表性深度学习模型，是端到端机器学习中的一种类型，主要由输入层、卷积层、池化层、激活层、全连接层和输出层组成。卷积层是CNN的核心层，用于提取较高等级的图像特征，而全连接层则用于图像特征分类。应用于肺结节检测和分类的CNN主要包括二维（two dimensional，2D）CNN 和三维（three dimensional，3D）CNN，以及多视图、多流、多尺度的CNN等。

2D CNN是最早应用于肺结节的深度网络模型，其不受肺部CT图像层厚的影响，且处理数据速度快，所需资源少。Setio等[6]提出了一种基于2D多视图CNN的CAD系统对肺结节进行分类。该CNN包含多个2D卷积流，使用肺部影像数据库中的LIDC-IDRI数据库[7]训练，训练过程中为了获得更全面的鉴别特征，选取肺结节的9个不同视图层的2D补丁作为输入层，再融合不同输出层结果，得到最终分类结果。这种方法相比于传统算法大大地降低了肺结节的假阳性率，准确率至少提升了15%～20%。2019年，Xie等[8]提出了一种更加快速和准确的2D CNN，该CNN是利用两个区域建议网络和一个反卷积层改进的Faster R-CNN进行候选结节的检测，采用了经典的CNN模型视觉几何群网络16来进行特征的提取。其强调保留错误分类的样本，对网络重新训练，这样可提高肺结节检测的灵敏度，同时降低假阳性率。

3D CNN比2D CNN在网络深度上更深，其在CT图像内学习肺结节空间信息，进行一系列的鉴别特征提取，极大地提高了识别准确率。在使用相同网络参数设置、对相同的数据集进行分类识别时，3D CNN比2D CNN具有更高的准确率。此外，一些研究者将不同的深度学习技术引入3D CNN。Jin等[9]引入了残差学习，通过使用残差单元来加深网络的深度，因此即使图像数据有限，也可提取到更高级的特征，进而有效地降低假阳性率。然而引入残差的同时也会增加偏度，这需要增加更细的维度分类，并且该网络结构消耗大量的内存和计算资源，对资源的需求极大地限制了网络深度；另外，由于图像数据量的限制，降低了数据的多样性，在临床应用中可能存在问题。Tang等[10]引入了难分样本挖掘技术训练一个3D Faster R-CNN，筛选出的难分样本再训练一个3D深度卷积神经网络分类器，综合两个CNN结果提高肺结节检测的准确率，这种端到端的目标检测技术使其在2017年天池人工智能医疗竞赛中脱颖而出。在2018年电气电子工程师协会国际会议上，Qin等[11]进一步采用在线难分样本挖掘和多任务残差学习技术展示了一种基于DenseNet的肺结节分类模型，提高了模型训练速度，降低了假阳性率。Zhu等[12]设计了两个3D深度卷积神经网络，其中一个采用3D双路径联合类U-Net编码解码结构的3D R-CNN用于肺结节检测，而另一个具有结节尺寸、原始像素和深度特征的梯度增强机用于分类，该算法在LIDC-IDRI数据库上进行评估，准确率为90.44%。

CNN的固定架构决定了其所提取的特征是单一的，这使得传统CNN在非实性肺结节中的诊断效果较差。近年来，一些研究者开发的多尺度、多流和多视图CNN可检测非实性肺结节。Ciompi等[13]使用基于多流、多尺度CNN的CAD系统对6种肺结节（包括实性结节、非实性结节、部分实性结节、钙化结节、叶间裂周围结节、分叶状结节）进行分类。该系统直接处理原始CT数据，无需任何预处理（如结节分割或结节大小判断等），大大缩短了训练时间。结果证明在适当范围内增大CNN的尺度对不同类型肺结节分类的准确率超过传统CNN。2018年，Liu等[14]开发了可对实性、磨玻璃结节和非结节分类的多视图、多尺度CNN。基于Liu的方法，Yuan等[15]利用多核学习结合CNN提取的统计特征与Fisher vector编码的几何特征，对具有混合特征的肺结节进行分类，在LIDC-IDRI和ELCAP数据库的评估结果中分别获得了93.1%和93.9%的分类准确率，尤其是对边界清楚的结节，准确率接近100%。

最近，研究者们提出CNN不仅可应用于肺结节的检测与分类，也可应用于肺结节更多细节信息的提取。例如Wu等[16]提出了双任务学习CNN，即同时学习肺结节的分割和恶性程度预测，其不仅能提供检测到的结节的具体位置，而且能对结节的恶性程度进行预测，准确率达到97.58%。

2 MTANNs

MTANNs是端到端机器学习的另一种类型，其含有多层改进的人工神经网络，核心处理单元是全连接网络，以图像的灰度数据作为直接输入，量化输出图像，减少特征提取和计算引起的误差，非常适合应用于小样本数据[17]。Tajbakhsh和Suzuki[18]比较了MTANNs与CNN在肺结节检测和分类中的性能，结果表明在使用有限的训练数据时，MTANNs的性能高于CNN，而随着数据量的增加，CNN的性能逐渐提高。因此，在有限的训练样本中，MTANNs捕获的中低等级的图像特征足以对肺结节进行准确检测和分类。

3 AE

AE是一种非监督学习下的深度学习模型，主要包含输入层、隐藏层和输出层。其特点是输入层到隐藏层是一个编码过程，而隐藏层到输出层是一个解码过程，通过编码、解码来提取特征，这相对于传统的人工标记提取更为客观和可靠。目前应用于肺结节的CAD系统中的AE包括：堆栈式AE[19]、去噪自动编码器（denoising autoencoder，DAE）以及堆栈式DAE等。

降噪技术在一定程度上可对抗原始数据的污染、缺失[20]，而堆栈多个AE或DAE构成堆栈式AE或堆栈式DAE，可逐步多层地提取出更抽象的图像特征[21]。Kumar等[22]于2015年首次使用了5层的DAE结合二元决策树的CAD系统对肺结节进行诊断，使用LIDC数据库训练该系统，并将从DAE提取的第4层特征作为特征向量用于分类，得到的准确率为75.01%，灵敏度为83.35%。而Kim等[23]提出结合堆栈式DAE提取的抽象信息与原始图像信息，形成一个组合特征向量，再采用t-test挑选的特征向量训练支持向量机进行分类。该分类方法的准确率达到了95.5%。最近，Mao等[24]建立了一种结合肺结节图像局部和全局特征的模型，将图像分割为局部补丁后，在深度AE中提取局部特征构造视觉词汇袋，与原始AE相比，深度AE可以捕捉到更详细的特征信息。

4 DBN

DBN这一概念在 2006年被 Hinton和Salakhutdinov[3]提出，其被定义为一种具有多层神经元的概率生成模型。DBN的基础结构是受限玻尔兹曼机，其特点是可见层、隐藏层之间是全连接的，而可见层间和隐藏层间是无连接的[25]，这种连接方式是其高效性的基础。2015年，Hua等[26]利用DBN和CNN对胸部CT图像上的良恶性肺结节进行分类，采用随机梯度下降法对DBN进行逐层无监督的预训练，并利用监督微调预训练的深度网络，进一步优化整体网络性能。将该方法与传统的k近邻法和支持向量机分形分析技术进行性能比较，结果表明DBN和CNN在灵敏度和特异度上都优于传统的纹理特征分类法。

5 小结

肺癌的早期诊断对于提高患者的生存率尤为关键。基于深度学习的CAD系统在肺结节的检测与分类应用中获得的突破性进展，可帮助放射科医师提高诊断的准确率，降低假阳性率。然而，深度学习在胸部影像诊断领域中的应用仍处于起步阶段，还存在诸多挑战。首先，深度学习模型需要依赖大量的医疗数据集进行训练，现有胸部影像数据集不足导致训练样本不够，数据集标注缺乏统一标准、具有主观性等均可影响模型的学习效果，因此需要建立开放的数据集平台，为研究者提供一个统一的研发环境。其次，现有深度学习模型在肺结节的检测和分类应用中有较多的研究，而肺癌的早期诊断还需要更全面的信息，未来可结合多任务学习等技术开发具有复杂功能的系统，更好地提高肺癌早期诊断的准确率。最后，已有研究者联合使用多种深度学习技术或模型改进CAD系统的性能，并取得了较好的表现[27-28]，期待多种新型模型的研发以进一步提高胸部影像诊断系统的性能。

利益冲突本研究由署名作者按以下贡献声明独立开展，不涉及任何利益冲突。

作者贡献声明刘婧负责资料的整理、论文的撰写和修改；张莺负责命题的提出和论文的审阅。