莫莹君 刘友员 郭瑞斌

颈部血管斑块与中老年患者缺血性脑卒中的发生息息相关，超声影像学检查是当前无创性颈动脉检查手段的首选方式。然而，超声影像数据逐年增长迅速，影像医师面临着工作量大、病情繁杂等诊断压力。随着人工智能（artificial intelligence，AI）技术的快速发展，其与医学相结合进行智能辅助诊断可有效提高影像医师超声诊断的工作效率，减少漏误诊［1-3］。近年来，一些机构和学者［4-5］聚焦颈动脉超声图像的分割任务发布了多种神经网络模型，但在颈动脉超声图像分类任务上关于现有深度神经网络模型的综合性比较方面的研究较少，有效性尚待进一步明确［6-7］。本研究以颈动脉斑块超声图像智能分类诊断为目标任务，通过构建颈动脉斑块超声图像数据集，对现有的不同深度神经网络模型进行综合训练测试比较，并探讨深度学习技术在超声图像自动诊断方面的应用价值。

一、数据集构建

收集2020 年6～9 月在我院接受颈动脉超声检查者608 例，男 300 例，女 308 例，年龄 40～75 岁。由 6 名超声科医师（主治医师4 名，主任、副主任医师各1名，平均工作年限12.5年）观察颈动脉声像图，经综合评判后共诊断颈动脉斑块354例，正常颈动脉254 例，每例选取2 幅颈动脉声像图构建数据集，共包含1216 幅图像，声像图分辨率均为224像素×224像素。正常颈动脉超声图像表现为颈动脉内膜光滑，厚度为0.6～1.0 mm（图1A）；颈动脉斑块超声图像表现为颈动脉内膜增厚（≥1.0 mm），可见回声不一的附壁斑（图1B）。

图1 数据集中的颈动脉超声图像

二、基于深度学习的智能诊断方法

1.基于深度神经网络的颈动脉斑块超声图像自动诊断方法

利用深度神经网络［8］进行颈动脉超声图像分类的流程见图2，输入原始的颈动脉超声图像，经过不同结构的多层卷积、池化、激活操作后，提取的高层次特征经全连接层后，最终输出该图像是否为颈动脉斑块超声图像的分类结果。深度神经网络模型根据实际任务可以使用现有的网络结构或重新设计确定，本研究基于自己构建的数据集对目前已有的网络模型进行了分类性能综合试验与分析。

图2 基于深度神经网络的颈动脉斑块超声图像自动诊断方法流程图

2.不同深度神经网络模型

深度残差网络ResNet 提出一种残差学习框架来降低深度网络训练的难度［9］，其核心思想是引入跨层连接构造本体映射及残差映射，并利用残差块减少计算和参数量，实现深度网络对图像高层次特征的提取，其网络结构见图3。不同层数的ResNet结构中的核心组成——残差块可以分为2类：如图3中残差块1和残差块2。二者使用了不同的卷积核，残差块1 参数较残差块2 多1 倍，所以当网络很深时，用右边的网络性能更好。本研究采用4 种ResNet 模型进行颈动脉斑块超声图像的分类诊断，分别为ResNet18、ResNet34、ResNet50、ResNet101，不同的数字表示对应ResNet 模型的待学习参数层数；其中，ResNet18 有8 层残差块1，ResNet34中有16层残差块1，ResNe50中有16层残差块2，ResNet101中有33层残差块2。

图3 ResNet网络结构示意图

DenseNet 结构中每一层的输入来自前面所有层的输出，在保证网络中层与层之间最大程度信息传输的前提下，直接将所有层连接起来［10］。Darknet53 基本由1×1 与3×3 卷积构成，其结合了ResNet的特点，在保证对特征进行超强表达的同时避免了网络过深带来的梯度问题［11］。Xception 主要采用深度可分离卷积，将传统的卷积操作分成2 步，假设原来是3×3 的卷积，先用M 个3×3 卷积核一对一卷积输入的M 个特征图，不求和并生成M个结果；然后用N个1×1的卷积核正常卷积前面生成的M个结果，求和最后生成N个结果［12］。MobileNet是Google提出的一种小巧而高效的CNN 模型，基本单元是深度级可分离卷积，针对每个输入通道采用不同的卷积核，并采用1×1 的卷积核，这样整体效果和一个标准卷积是差不多的，但是会大大减少计算量和模型参数量［13］。ShuffleNet 借鉴了 DenseNet 网络，将跨层连接结构从加运算换成了合并运算，从而实现了特征重用，与DenseNet 不同的是，ShuffleNetV2 并非密集地合并运算，而且合并之后有通道更新以混合特征［14］。

3.模型训练

不同的卷积网络仅确定了模型结构，如需用于实际超声图像的自动分类还需对模型进行训练。本研究在构建的数据集中随机选取1093 幅图像（其中456 幅为正常颈动脉超声图像，637 幅为颈动脉斑块超声图像）作为训练集，123 幅图像（其中52幅为正常颈动脉超声图像，71幅为颈动脉斑块超声图像）作为测试集。利用训练集标签和模型输出值的差异，通过逐步迭代实现损失函数值的收敛，模型预测结果越准确，损失函数值就越小。本研究中采用交叉熵损失进行模型的训练实现参数的学习，学习率设为0.05，并采用随机梯度下降（stochastic gradient descent，SGD）技术进行每一次参数的更新。为提高训练效率，本研究中选择各模型在IMAGENET上的训练结果为预训练模型参数。

三、分类算法评价指标

本研究评价颈动脉斑块超声图像诊断性能所采用的指标为分类精确率、召回率、精确率和召回率的调和平均值（F1），具体公式为：精确率（P）=TP/（TP+FP），即诊断为颈动脉斑块的超声图像中真正为颈动脉斑块的比例；召回率（R）=TP/T，即所有正样本总数（T）中被正确诊断为颈动脉斑块的比例；F1=2÷（1/P+1/R）；其中，TP即真阳性，为将颈动脉斑块超声图像正确诊断为颈动脉斑块的测试图像数；FN 即假阴性，为将颈动脉斑块超声图像诊断为正常颈动脉的测试图像数；FP 即假阳性，为将正常颈动脉超声图像诊断为颈动脉斑块的测试图像数；T=TP+FN。

四、基于已构建颈动脉斑块超声数据集的不同方法诊断性能测试结果

本研究中的颈动脉斑块自动诊断任务是一个分类问题，通过对传统的HOG+SVM 分类方法和14 种基于不同结构的深度神经网络模型分类方法进行训练和测试，每幅测试超声图像仅有一个确定的类别，即颈动脉斑块超声图像或正常颈动脉超声图像。精确率和召回率是评价颈动脉斑块超声图像正样本诊断的2 个常用的指标，而F1 是一个综合性能的指标，只有在召回率和精确率均高的情况下，F1 值才会高，各模型对颈动脉超声图像的分类性能见表1。其中，基于ResNet50 模型的训练过程可视化和测试结果示例见图4。

表1 不同网络模型对颈动脉斑块超声图像的诊断性能比较 %

图4 ResNet50模型训练可视化和测试集图像示例

五、结论

本研究构建了包含颈动脉斑块和正常颈动脉的超声图像数据集，并在该数据集上对不同结构的网络模型进行了训练，得出其各自的分类性能。根据血流动力学，最常产生斑块的血管切面为颈总动脉分叉处和右锁骨下动脉2 个部位，故采集常见血管切面的超声图像构建得到数据集。此外，训练集和测试集是在数据集上随机划分得到的，训练集和测试集中可能存在来自同一人的情况，同一人的两幅超声图像虽属于不同血管切面，但不同血管的内径仅存在少许差别，且形态总体上差异不大，故同一人在测试集和训练集同时存在的情况对分类性能结果影响较小。

本研究首先选用传统的HOG+SVM 方法对颈动脉超声图像进行分类性能测试：HOG 是一种特征值检测方式，主要利用图片中特征点的梯度信息提取特征值；SVM 是一种二分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解；HOG 提取特征与SVM 特征分类相结合是实现颈动脉图像分类的有效经典方法。与传统的HOG+SVM 方法相比，基于深度神经网络模型的分类方法有较明显的优势，主要原因在于后者利用多层卷积操作可以提取丰富的高层次特征，而提取的这些高层次图像特征是实现有效分类的重要基础。①纵向比较相关模型：就某一类深度神经网络模型而言，理论上，网络加深卷积核堆叠获得的感受野越大，能学到更高层次的特征，对识别任务性能越好。但从本研究结果看，单纯增加网络深度与颈动脉斑块的自动诊断并非严格正相关关系，实际模型诊断性能与任务目标复杂程度、模型训练难度也密切相关，如表 1 中 ResNet 系列，在 4 种不同结构的 ResNet 模型中，ResNet50的性能高于其他3个模型，自动分类的精确率达到97.36%，ResNet101网络结构较深，模型参数多也给训练带来了一定的困难，导致其性能有所下降。②横向比较相关模型：ResNet残差块使信息更容易在网络各层之间流动，包括在前向传播时提供特征重用，在反向传播时缓解梯度信号消失，其他几种模型虽然一定程度上具有ResNet的特性，但其相对更复杂的网络结构，在训练数据集较小的情况下训练容易发生过拟合的情况，导致分类性能有所下降。此外，深度神经网络本身可解释性问题尚未解决，故本研究通过综合比较得出ResNet50模型在分类性能上有一定的优势。证实ResNet50 模型可作为颈动脉超声图像自动诊断的优先候选模型。

综上所述，本研究验证了深度学习技术对超声图像自动诊断的有效性，深度学习技术可用于颈动脉斑块超声图像的智能诊断，结合高质量的标注数据集可进一步提高自动诊断性能；ResNet 模型或其改进网络模型对多疾病诊断的实际应用效果尚待构建更大的数据集以实现更广泛的应用。