董立岩, 张玥敏, 朱晓冬, 张小利, 赵 博

(1. 吉林大学 计算机科学与技术学院, 长春 130012;2. 吉林大学 符号计算与知识工程教育部重点实验室, 长春 130012)

多形性腺瘤(pleomorphic adenoma, PA)是最常见的唾液腺上皮性肿瘤, 恶性程度较高, 因其多种结构混杂在一起, 故又称为“混合瘤”[1]. 在病理上, PA无明显症状, 生长过程缓慢, 不易发现且存在恶变倾向[2], 其诊断需具备专业的医学知识和临床经验, 耗时耗力, 易造成诊断错误或遗漏导致病情延误[3]. 因此, 计算机辅助诊断成为解决该问题的一个有效途径[4], 借助计算机不仅能提高医生的工作效率, 还能为后续进行病情分析提供辅助信息[5].

随着深度学习方法的不断发展, 计算机被广泛应用于医疗领域. 在医学图像分类领域, Arevalo等[6]通过构造特征学习框架首次解决了基于乳腺X射线照片的病变分类, 并获得了较优结果. 在辅助诊断领域, Gao等[7]通过融合两个2D卷积神经网络对超声波心电图的信息特征进行了有效提取, 进而进行视点分类达到较优效果并实现了辅助诊断. 在医学图像定位领域, 杨亚男等[8]基于YoloV4构建了虹膜定位算法, 显著提高了定位速度及效果. 此外, 丁通等[9]基于残差网络搭建了轻量级虹膜分类模型, 有效提升了模型学习速度. 在口腔相关疾病领域, Nanditha等[10]开发了一个集合深度学习模型, 该模型结合ResNet50和VGG-16, 并利用扩充的口腔病变图像进行学习训练, 基于口腔癌图像进行癌症类别确定. Welikala等[11]使用ResNet101结合Faster R-CNN为口腔癌的诊断首次提供了自动化的解决方案. 虽然目前已有很多相关研究[12-16], 但针对多形性腺瘤的辅助诊断还没有完整的数据集和有效的方法.

基于深度学习模式的辅助诊断模型方法能自动实现医学影像的疾病诊断, 具有广泛的应用场景[17], 也为多形性腺瘤的病理诊断提供了新的方向和可能性. 因此, 本文首先构建多形性腺瘤病理切片数据集, 并对图像进行预处理; 其次通过构建深度学习方法, 使模型能有效提取组织进行分类识别, 实现多形性腺瘤的关键特征提取, 准确率达97.7%; 最后根据提取到的特征及其类别概率得分, 利用决策树进行推理诊断, 训练得到的决策树准确率达100%, 具备一定的有效性.

1 数据集构建

1.1 应用领域要求

多形性腺瘤中各组织成分的比例不同, 细胞形态结构多样, 导致肿瘤的组织结构复杂, 具有结构上多形性的特点. 常见的病理切片如图1所示.

图1 多形性腺瘤病理切片Fig.1 Pathological section of pleomorphic adenoma

诊断任务中需要识别的4类组织为: 腺管样结构、 肌上皮细胞、 黏液样组织和软骨样组织[18]. 其中, 腺管结构呈双层细胞排列, 即内层的腺管上皮细胞和外层的肌上皮细胞. 肌上皮细胞呈梭形和多角形, 界限不清. 黏液样组织和软骨样组织常见片状, 细胞呈星状, 有细长突起互相连接. 若细胞呈空泡性变, 核固缩, 则酷似透明软骨的细胞位于软骨的“陷窝”内. 多形性腺瘤4类组织结构如图2所示.

图2 多形性腺瘤4类肿瘤组织Fig.2 Four types of tumor tissues of pleomorphic adenoma

若病理切片同时存在腺管样结构及肌上皮组织或黏液样组织或软骨样组织, 则可推理诊断为多形性腺瘤. 因此, 本文需要在结构复杂的病理切片中准确识别出4类目标组织, 并结合识别到的信息进行推理, 给出诊断信息.

1.2 数据集构建及图像预处理

本文构建的数据集来自于吉林大学口腔医院多形性腺瘤患者的病理切片图像, 共采集到13 390张原始病理切片, 样本在显微镜下放大200倍, 像素为1 920×1 080, 其中9 725张为无病样本, 3 665张为确诊样本.

为达到准确提供诊断信息的目标, 本文通过滑动窗口的方式, 将较大的病理图片切割为较小的图片进行识别分类, 达到大致提取特征的目的, 在节省时间的同时具有足够的有效性.

本文选用大小为512×512, 步长为1/2边长的滑动窗口进行自动切割, 获取到有效的小切片共374 740张, 部分切片如图3所示. 创建5个类别文件夹, 分别为4类目标组织及1类正常组织, 在学习专业医学知识后人工将切割后的小切片放入对应的类别文件夹中. 共获取14 826张软骨组织切片, 59 607张腺管样组织切片, 4 659张黏液样组织切片, 58 696张肌上皮组织. 完整数据集中各类组织数量不一, 为避免模型过度依赖某种特征, 在后续的训练测试中对数据集进行进一步筛选扩充.

图3 部分切片Fig.3 Partial slicing

2 模型设计

本文构建一个基于神经网络和决策树的多形性腺瘤辅助诊断模型, 由特征提取组织分类、 基于决策树诊断推理和人工辅助3部分构成, 整体结构设计如图4所示.

图4 整体结构设计Fig.4 Overall structure design

在特征提取模块中, 首先对输入的病理切片使用大小为512×512的滑动窗口进行自动切割处理, 步长为窗口的1/2, 将原图转换为合适的大小, 对病理切片进行特征提取分类. 预处理后的数据首先通过一个步长为2、 大小为7×7的卷积层, 卷积核个数为64; 然后利用一个步长为2、 大小为3×3的最大池化操作缩小特征图. 输出的特征图通过构建的分类网络进行处理, 结构如图5所示.

图5 特征提取分类模块结构Fig.5 Structure of feature extraction and classification module

考虑到低级特征在病理图片中的重要性, 网络结构使用了稠密连接[19-20], 使顶层获取到的特征能传递到后面的层. 尽管网络中每层特征图都包含了丰富的特征信息, 可以检测到大感受野的数据, 但仍然难以获取空间信息并识别隐藏在特征图中的特征. 因此, 为增强特征图中重要特征的关注度, 模型在每个块中添加了通道注意力机制[21-23], 构造了两种SE-conv块, 使用注意力向量对当前阶段的特征图进行重新加权, 并引导模型更关注特征.

前两个SE-conv块1的结构如图6(A)所示, 结构中仅使用一次1×1卷积进行降维和3×3卷积提取特征; 后两个SE-conv块2的卷积操作则重复两次, 结构如图6(B)所示. 为保证每层间输出的特征图能进行连接, 需要保持尺寸一致, 因此每个密集块间需要进行特征图的压缩, 结构如图6(C)所示. 经过反复压缩, 特征图会缩小到较小的尺寸, 最后通过全连接层和Softmax输出对每个切片的结果, 展示具有有效诊断信息的切片, 并提供类别结果信息和概率.

图6 特征分类提取模块结构Fig.6 Structure of feature classification extraction module

将通过特征提取后得到的结果进行综合推理, 其中特征提取后已经得到该病理切片具有哪些类型组织, 仅需要依据医学知识进行推理, 诊断该病理切片是否为多形性腺瘤. 因此, 本文选用计算量较小的决策树进行下一步的决策推理. 将提取到的特征输入训练好的决策树中进行推理诊断, 并提供诊断信息. 本文选择基于Gini指数的CART(classification and regression tree)进行决策推理, 通过有监督训练得到的决策树结构如图7所示.

图7 诊断决策树Fig.7 Diagnostic decision tree

由图7可见: 若存在腺管组织结构的概率较低, 即可判断该病例为PA的可能性较低, 认定为正常组织; 若较高概率存在腺管结构, 则进入下一步判断, 若存在较高概率为肌上皮组织, 即可认为是PA, 否则进入下一步判断; 顺次对软骨组织和黏液样组织进行判断. 同时, 模型增加了人工辅助分支, 使得整个模型并不完全依赖于计算机, 而是提供一定程度上的人工辅助, 具有更好的鲁棒性. 此外, 本文以多形性腺瘤为例进行训练学习, 实际使用中也可迁移至其他病理切片进行学习使用.

3 实 验

3.1 数据集构建

本文收集吉林大学口腔医院多形性腺瘤患者的病理切片图像作为研究数据, 筛选后用于训练的数据集共48 230张, 其中9 639张软骨组织, 9 591张腺管组织, 9 318张黏液组织, 9 794张肌上皮组织, 9 888张非以上4类组织. 其中实际采集到的黏液组织共4 659张, 考虑到训练模型的效果, 使用数据增广进行了扩充. 针对辅助诊断任务, 特征提取模块是任务的核心, 故构造的数据集主要用于验证评估本文方法中特征提取分类模块的分类效果.

3.2 实验参数设定

实验环境基于Pytorch深度学习框架, 硬件配置采用的GPU为Nvidia RTX 2080 TI, 处理器为Intel i9 10900X, 系统内存为64 GB. 初始学习率为 0.001, 使用余弦衰减方法, 批次大小为32, 迭代次数设为80.

3.3 数据增广

在原数据集中, 黏液组织样本与其他类别严重不平衡, 为提高模型的效果, 对黏液样本进行扩充, 利用翻转操作将原数据集扩大一倍, 使数据集的各类别间达到相对平衡的状态, 从而更有利于模型优化. 对数据增广进行对比实验的结果列于表1. 由表1可见, 扩充数据集后, 能在一定程度上提高模型的效果, 对模型优化有正向作用.

表1 扩充数据集实验对比Table 1 Comparison of experiments with expanded datasets

3.4 分类识别评价比较

针对本文模型中分类识别模块, 为验证本文提出模块分类的性能和效率, 进行以下对比实验.

3.4.1 与深度学习算法比较

不同深度模型的实验对比结果列于表2. 由表2可见, 本文模型的准确率最高, 为97.7%. 为评估模型效率, 表3列出了在输入图像分辨率为224×224像素时几种不同算法的参数量和计算量. 其中: 参数量是模型所含参数数量, 代表了模型文件的大小, 也影响模型推断时对电脑内存的占用量; 计算量是模型推断时所需的计算次数. 这两个指标能评价模型在实际应用中的鲁棒性、 可扩展性以及对实际资源的依赖程度.

表2 不同深度模型实验对比结果Table 2 Experimental comparison results of different depth models

表3 不同深度模型参数量和计算量对比结果Table 3 Comparison results of amount of parameters and calculation for different depth models

上述实验结果表明, 本文模型具有最高的准确率, 为97.7%. 相比于残差网络ResNet34, 本文方法在腺管的精确度、 肌上皮的召回率以及腺管的特异度3个指标上相比降低了1.2%,1.2%,0.3%, 且计算量和参数量分别减少了91.3%和98.1%. 与同结构但层数更多的模型相比, 本文模型相比于21层基线模型, 在软骨的精确度、 黏液的召回率以及软骨的特异度3个方面分别降低了1.3%,0.4%,0.3%, 但模型的计算量和参数量分别减少了13.4%和26.3%. 相比于35层基线模型, 分别在黏液的精确度、 非4类的召回率和黏液的特异度3个方面降低了0.7%,1.4%,0.2%, 但模型的计算量和参数量分别减少了48.8%和65%. 在其余指标上, 本文模型均为最优, 同时也具有最少的计算量和参数量. 因此, 本文具有相对最优的效果以及最少的计算量和参数量, 更好的鲁棒性、 更优的扩展性以及对资源较低的依赖程度, 能适应更广泛的应用场景.

3.4.2 消融实验

为验证本文构造分类模块中融合通道注意力机制的有效性, 进行消融对比实验, 结果列于表4. 由表4可见, 加入SE模块后重构的模型在准确率方面能提高1.1%, 且各类组织的各项指标上均有明显提升.

表4 消融实验对比结果Table 4 Comparison results of ablation experiments

3.4.3 交叉验证

为充分利用有限数据集中尽可能多的有效特征, 从不同角度挖掘数据中隐含的信息, 避免在训练过程中模型出现过拟合现象, 验证模型的泛化能力, 本文选用k=5的交叉验证对模型进行评估测试, 测试结果列于表5. 由表5可见, 在数据集有限的情况下, 5个类别的平均准确率可达97.38%, top-1准确率可达97.7%. 实验结果表明, 本文的算法模型具有较好的有效性, 并具有一定的泛化能力.

表5 五折交叉验证结果Table 5 Fifty-fold cross-validation results

3.5 决策树构建

针对推理决策部分, 本文利用13 390组样本数据进行训练, 其中包括诊断结果为多形性腺瘤的病例3 665例, 诊断为非多形性腺瘤的病例6 101例, 需要人工辅助的病例3 624例. 本文选用CART进行学习, 其中训练集和测试集按7∶3进行随机分割. 利用混淆矩阵及准确率进行评估, 得到训练和测试的混淆矩阵如图8所示, 其中标签0表示诊断为正常组织, 标签0.5表示需要人工辅助诊断, 标签1表示诊断为多形性腺瘤. 由图8可见, 训练集和测试集的准确率均达到1.0.

图8 混淆矩阵Fig.8 Confusion matrix

3.6 迁移实验

为验证本文特征提取模块的普适性, 将本文特征提取模块应用于其他医学类数据集----检测和分类血细胞亚型进行实验验证. 该数据集来源于Kaggle开源数据集[24], 共包含12 500张带有细胞类型标签(CSV)的增强血细胞图像(JPEG). 4种不同细胞类型中的每种都约有3 000张图像, 这些图像被分到4个不同的文件夹中(根据细胞类型). 4种细胞类型分别是嗜酸性粒细胞、 淋巴细胞、 单核细胞和中性粒细胞.

在该公开数据集的分类任务中, Laurin[25]以0.75∶0.25划分训练集和验证集, 通过叠加卷积层、 最大池化层、 Dropout操作和全连接层等, 最终达到97.8%的准确率; Yvtsan[26]利用ResNet达到96%的准确率; Kamal[27]利用多种结构的卷积块叠加构造卷积神经网络, 最终验证集准确率达98%, 测试集准确率达98.6%.

本文将数据集按8∶2分为训练集和测试集, 模型的训练方式与上述相同, 同样使用交叉熵函数和Adam作为损失函数和优化方式. 模型训练结果列于表6. 由表6可见, 本文方法在血细胞分割4个类别的平均准确率达到99.1%, 4个类别的精确率、 召回率和特异度也有优异表现, 验证了本文方法能适应于其他医学图像, 可以进行医疗辅助检测工作.

表6 迁移实验结果Table 6 Results of migration experiment

综上所述, 针对多形性腺瘤的诊断主要依赖于专家对病理切片的分析判断, 需要占用医生大量时间且需要充足的专业知识及丰富的临床经验的问题, 本文提出了一种端到端的基于稠密连接和通道注意力机制的模型方法, 并结合决策树推理判断构成多形性腺瘤的病理辅助诊断方法. 实验结果表明, 本文方法对多形性腺瘤病理切片的关键组织具有良好的识别分类效果, 最高准确率达97.7%, 决策树推理准确率达100%, 且模型结构较小, 对资源依赖性较低, 能达到辅助医生诊断多形性腺瘤的目的.