杨丽洋，文 戈

南方医科大学南方医院影像中心，广东 广州 510515

当前，医学应用的成像技术主要包括X射线成像、CT、MRI、正电子发射断层扫描和超声等［1］。随着科学技术的发展和医学影像设备的发展，手动进行数据解释和分析已逐渐成为一项具有挑战性的任务［2］。医学图像的诊断和分析依赖于医生的专业知识和经验，疲劳和情绪状态对其影响很大［3］，这可能导致同一位放射科医生在不同时间，或检查同一图像的不同放射科医生之间的结果不一致。

深度学习和机器学习作为人工智能的重要分支，在医学影像学方面有着广泛的应用。机器学习是将算法应用于一组数据，从该数据中学习知识并应用所学的知识可以做出预测［4］，其数据特征在机器学习中是手动提取的，而在深度学习中数据特征的提取是一个完全自动化的过程［2］。深度学习是通过多层非线性神经网络层将数据的低级别特征进行组合并转换成高级别、复杂的抽象特征，以完成复杂任务的学习［5］。应用深度学习方法，可以从海量医学影像数据中自动提取抽象特征，既消除了主观因素的影响，又能提取到更高级的抽象特征［6］，有助于协助医生对疾病做出精确诊断。

1 模型介绍

深度学习与机器学习一样，可分为两种：监督学习与无监督学习。监督学习需要通过有标注的数据进行训练得到模型，即先输入计算机一些问题的正确答案，然后在此基础上判断和分析新案例［7］，监督学习在医学影像处理中的常见模型有卷积神经网络（CNN）和循环神经网络（RNN）。无监督学习是处理未标注的数据，并训练生成模型［8］，在医学图像应用中常见的模型有深度置信网络（DBN）和自动编码器（AE）。

1.1 CNN

生物学家Hubel等［9］基于对猫视觉皮层细胞的研究，首次提出了感受野的概念。Fukushima［10］根据Hubel和Wiesel的层级模型提出了神经认知机模型，它被认为是CNN的第一个实现网络。之后，相继出现了基于CNN的改进模型：LeNet、AlexNet、VGG、GooleNet和ResNet。CNN是经典的深度学习网络，最大的优点是它的多层结构具有自动学习的特点［11］。

CNN基本结构包括卷积层、池化层和全连接层。卷积层提取输入数据的不同特征，且通过权值共享减小模型的复杂度，使网络更易于训练；池化层通过降低输入特征的分辨率获得具有空间不变性的特征，起到二次提取特征的作用；全连接层或称分类器，整合卷积层和池化层中具有类别区分性的局部信息［12］。因此，CNN通常是医学图像分类的首选。

1.2 RNN

RNN通常用于处理序列数据［13］。RNN的层级结构由输入层、隐藏层和输出层组成，其最大的特点的是隐藏层之间的神经元是有连接的，即神经元在某时刻的输出可以作为输入再次输入到神经元，这种串联的网络结构非常适合于时间序列数据，可以保持数据中的依赖关系,因此具有记忆能力。但是此模型很难训练，往往会出现梯度消失或梯度爆炸的问题，无法达到长期依赖的目标。为此，提出了长短期记忆网络和门控循环单元来解决长期依赖问题［8］。

1.3 DBN

DBN由Hinton等［14］提出，它是一种生成模型，通过训练器神经元间的权重，可以让整个神经网络按照最大概率来生成训练数据。DBN既可以用于识别特征、分类数据，也可以用来生成数据。DBN的组成元件是受限玻尔兹曼机。DBN由多层神经元构成，分为显性神经元和隐性神经元（显元和隐元）［8］，显元用于接收输入，隐元用于提取特征，也称特征检测器，层与层之间的神经元存在连接，但层内的神经元间不存在连接。

1.4 AE

AE包括编码层、隐藏层和解码层，编码层压缩图像数据，解码层将其扩展，中间的隐藏层学习图像内像素的复杂关系［15］，起到对目标特征提取和降维的作用。为了实现分类，在AE的最顶层的编码层添加一个分类器。AE的变体包括稀疏自编码器、降噪自编码器。

2 深度学习在医学影像中的应用

2.1 疾病的分类

在医学图像分类中，通常将一个或多个图像作为输入，单个诊断变量作为输出（例如是否存在疾病），CNN是目前图像分类领域的标准［8］。

深度学习方法在肺结节分类的应用主要是肺结节性质（实性结节、部分实性结节、磨玻璃结节）的鉴别和良恶性判断［16］。Li等［17］构建了基于深度学习的计算机辅助诊断系统（DL-CAD）模型与由两个放射科医生组成的双重诊断对CT肺结节性质的鉴别比较，结果显示，DL-CAD对实性结节、磨玻璃结节的敏感性与特异性分别是90.3%和100%、100%和96.1%，非常接近于双重诊断，说明DL-CAD模型对肺内的实性结节和磨玻璃结节的诊断与放射科医生的诊断具有一致性；但是DL-CAD鉴别部分实性结节的敏感性与特异性降低到了55.5%和93%，说明DL-CAD在诊断肺内部分实性结节的性能上仍有待提高。Zhang等［18］在少于70名受试者的小数据集中测试体素级一维CNN模型的分类性能，结果表明，该模型成功地区分胸部CT影像中肺结节的良恶性，AUC、准确性、敏感性、特异性分别为0.71±0.08、0.78±0.03、0.8±0.11、0.53±0.15。

2019年末，全球爆发了新型冠状病毒肺炎（COVID-19）。影像学方面的研究显示，磨玻璃结节和实变是COVID-19患者肺部主要的影像学表现。Guan等［19］观察入院的975例COVID-19患者CT图像，86.2%显示胸部影像有异常，其中最常见的影像学表现是磨玻璃结节（56.4%）和双肺斑片状阴影（51.8%）。针对COVID-19的大爆发，胸部CT检查在疾病的筛查与患者复查中不可或缺，我们可以应用深度学习模型帮助放射科医生早期对COVID-19做出诊断，并提高准确性。

此外，深度学习在MRI方面也有一定的应用，目前尚在研究阶段。MRI由于无电离辐射且成像对比度好，因此普遍用于脑疾病的诊断，但MR图像包含大量的数据信息，使放射科医生分析图像和诊断疾病的工作更复杂。由于标注的数据量有限,用于预训练的数据集少，在训练过程中会产生过拟合，而迁移学习可以解决这一问题，它是将在之前一个相对大的数据集学习到的知识或模型应用到数据集少但相关的领域中［20］。例如，Talo等［21］使用基于CNN的迁移学习ResNet34模型对正常和异常脑部MR图像进行自动分类，结果表明，ResNet34对613个MR图像的验证集准确分类，实现了100%的分类准确性。有研究用AlexNet、VGG-16、ResNet-18、ResNet-34和ResNet-50模型将脑部MR图像自动分类为正常、脑血管病、肿瘤、退变和炎性病变，且使用5倍交叉验证来评估五种预训练模型的分类性能，其中ResNet-50模型分类准确性最佳，为（95.23±0.6）%［22］，说明这些模型可以实现医学图像的准确自动化分类。

2.2 图像的分割

医学图像分割是要从背景图像中识别器官或病灶的像素，而对器官或病灶的精确分割有利于影像上目标物体积、形状等临床指标的定量分析［8］。在医学图像分割中，最著名的架构就是U-net［23］，其特点是等量的上采样层与下采样层的结合。U-net的基础是全卷积神经网络，但又不同于全卷积神经网络。其中，U-net较浅的高分辨率层用来解决像素定位的问题，较深层用来解决像素分类的问题，将浅层特征图与深层特征图结合，用于图像分割及边缘检测［11］。但是U-net往往会忽略不同比例特征图的影响，之后提出的特征金字塔网络用于检测不同比例物体［24］。

为了定量评估模型的分割性能，相关的测量指标有戴斯分数、平均绝对距离、豪斯多夫距离等［25］。例如，左心室的分割是定量测量一些临床数据（如面积、体积和射血分数）的关键，Moradi等［26］构建了多特征金字塔U-net（MFP-Unet）模型分割超声心动图中的左心室结构，与U-net、dilated U-net、U-net++、ACNN、SHG 和Deeplabv3架构比较，结果表明，MFP-Unet在各项测量指标中均取得最佳的结果，与手动计算的体积、面积、长度和射血分数之间的高度一致性。

此外，有研究使用U-net的变形架构自动分割腰部MR图像中的椎旁肌肉［27］，该模型包含两个主要模块：残差模块和特征金字塔注意力模块，并纳入120例患者，与其他多种模型比较，来评估该模型的分割性能。结果显示，在分割多裂肌的测试集中，该模型的戴斯相似系数、灵敏性、特异性、豪斯多夫距离分别为0.949±0.034、0.951±0.046、0.950±0.035、4.62±2.81；在分割竖脊肌的测试集中，该模型的戴斯相似系数、灵敏性、特异性、豪斯多夫距离分别为0.913±0.082、0.920±0.100、0.919±0.073、7.89±5.61。结果表明，该模型可以对腰部MR图像中的椎旁肌肉精准的分割，以实现腰椎疾病（如慢性腰痛、腰椎间盘突出、椎管狭窄等）的自动化分析。

Budak等［28］提出使用级联深度卷积编码器-解码器神经网络进行肝脏及肝肿瘤的分割，结果显示，该方法对肝脏分割的DICE分数是95.22%，与手动分割肝脏具有很好的一致性；对肝脏肿瘤分割的DICE分数是63.4%，此值虽然很低，但仍比其他方法的性能水平平均高3.3%。可见，在医学图像分割中，多种基于深度学习的架构在对器官或病灶的自动分割上与手动分割具有高度的一致性。

2.3 病灶的检测

在医学图像中检测异常（包括肿瘤和其它可疑物的生长）是放射科医生日常工作中常见的部分。但是，病灶区域相对于整幅图像往往很小，人工标记病灶费时且具有主观性，基于深度学习的自动检测方法可提高病灶检测的效率和可靠性，目前多应用于肺结节、乳腺癌的检测。

Ye等［29］使用AlexNet、GoogLeNet和ResNet50模型检测肺结节。结果表明，AlexNet检测肺结节的性能最佳，检测率为95%；预训练的ResNet50对磨玻璃结节的检测性能较好，准确性是0.87，F值最大值0.87 805。有研究纳入346位健康受试者，比较基于深度学习的计算机辅助诊断（DL-CAD）与由两个放射科医生组成的双重诊断对CT肺结节的检测性能。结果显示，DL-CAD和双重诊断对肺结节的检测率分别是86.2%和79.2%（P＜0.001）［17］。这说明DL-CAD对肺结节的检测优于双重诊断。但也有研究发现，DL-CAD检测肺结节的假阳性率比双重诊断更高。

一个高性能的肺结节检测系统必须具有高灵敏性和高精确性，因此，肺结节检测系统包括两个阶段，一个是结节的检出，另一个是降低检测的假阳性率［16］。为此，有研究提出了一种降低假阳性率的方法［30］，MR-森林是肺结节检测中降低假阳性的深度决策框架。他们在两个数据集中比较MR-森林与Multi-view、3DDCNNs（PATech）、3DDCNNs（Ding）、LightGBM 模型降低肺结节假阳性率的CPM分数，结果显示，MR-森林在两个数据集中的CPM分数分别为0.865和0.910。其结果表明，MR-森林可替代自动肺结节检测系统，既满足了资源消耗低又满足有效性。可见，目前使用的深度学习方法在肺结节检测系统中的应用很成熟，检测准确率高且假阳性率低。

还有许多研究集中在乳腺病变上，例如，Ribli等［31］构建了基于Faster R-CNN的CAD模型，用于对乳腺X线照片的病变进行检测和良恶性分类。结果显示，该模型在INbreast数据库中的AUC=0.95，对乳腺良恶性病变具有很好的分类性能。同时，该模型在INbreast数据库中检测恶性病灶的灵敏性为0.9，可见基于Faster R-CNN的CAD模型对乳腺恶性病灶的检测性能较CAD系统的特性好。在乳腺X线摄影中，使用CNN进行检测和分类之间存在很多重叠，因为许多设计用于检测的CNN最终也旨在对病变进行分类［32］。

病灶的检测、分割和分类都是为了准确的诊断病变，Gao等［20］提出了多任务深度学习（MTL）将病灶检测、分割和分类问题联合解决，这是一种通过特征迁移（FT）实现的MTL模型，即FT-MTL-Net。为了评估该方法的有效性，将FT-MTL-Net与文献中的各个模型进行了比较，这些模型均使用公开提供的全数字化乳腺X线照片数据集进行乳腺癌诊断。实验结果表明，所提出的FT-MTL-Net在分类和检测方面优于其他模型，并且在分割方面具有可比性。

3 总结与展望

目前，深度学习方法在医学影像上的研究还主要集中在发病率比较高的疾病上，即可获取的患者图像数据量比较多的疾病研究中，而对一些罕见疾病的研究则很少。这是由于深度学习神经网络层数多、层次复杂，需要大量的数据进行模型训练和测试，才能准确提取疾病的图像特征。在医学领域中，高质量标注的影像数据很少，会导致训练数据的类别不平衡，当各类别训练数据不平衡时，预测结果会偏向样本量多的类别，出现过拟合问题［33］。Dropout是防止过拟合的一大有力手段，Dropout是指在深度学习网络的训练过程中，对于神经网络单元按照一定的概率将其暂时从网络中丢弃。另外，可以通过数据扩增（缩放、翻转、平移、旋转、裁剪）的方法增加训练和测试中的样本量。

同时，全国各地医院应当实现医学影像数据库共享，在工作中及时将有价值的病例加入，不断扩增疾病的样本量，积极配合推进深度学习在医学影像中的研究。因此，有必要建立高质量数据库和有效的深度学习模型，医学影像丰富的数据模式也有利于深度学习方法研究的不断完善。总之，深度学习方法的应用可以极大的缓解放射科医生的工作压力，提高疾病的诊断效率和准确率，具有广阔的前景。相信在不久的将来，会有完善的深度学习诊断模式应用于医学影像的临床诊疗工作中。