蒋正锋，许 昕

1广西民族师范学院数学与计算机科学学院，广西 崇左532200；2南宁悦美韩星医疗美容门诊部，广西 南宁530023

2019年12月以来，武汉市陆续发现多名不明原因肺炎患者，经实验室病原学检测，一种新型冠状病毒从确诊患者的气道上皮细胞中分离出来［1］，初步判断，这种新型冠状病毒是不明原因肺炎的病原体。2020年1月20日，中华人民共和国卫生健康委员会发布1号公告，把新型冠状病毒感染的肺炎纳入《中华人民共和国传染病防治法》第三条规定的乙类传染病，并对它采取甲类传染病的预防、控制措施；2月11日，世界卫生组织将新型冠状病毒感染的肺炎正式命名为“COVID-19”；同时，国际病毒分类委员会宣布新型冠状病毒的正式名称为严重急性呼吸综合征冠状病毒2（SARS-CoV-2），SARS-CoV-2成为感染人类的冠状病毒家族的第7个成员［2-3］。现阶段COVID-19的诊断依据是核酸和血清学检测，但核酸检测有一定假阴性率，存在漏检的情况，而肺部CT影像的表现可能早于病例核酸检测成阳性［4］，肺部高分辨率CT（HRCT）影像检查有利于早发现疑似COVID-19病例［5］，在患者确诊、隔离、疗效评价与预后等方面都具有重要意义。

深度学习技术作为人工智能研究的热点，其强大的数据分析和特征识别能力可有效缓解射科医务人员的工作压力。近年来发展较快的计算机视觉技术，已在医学影像的各个领域展开了研究，在胸片质控［6］、肺结节检测［7-9］、肺癌诊断［10-11］等诸多肺部疾病中得到临床检验与认可，逐渐在医学影像领域得到广泛的应用，并促进了医学影像技术逐步完善和发展。已开发的COVID-19辅助诊断AI模型的准确度约94.00%～95.24%，有研究指出，COVID-19辅助诊断AI模型把放射科医生的阅片时间缩短了65%［12］，另有研究表明AI模型不仅可诊断COVID-19肺炎，还可以鉴别肺部的细菌性感染，敏感性为96%，并缩短了对患者的诊断时间，30 s内就能完成单个患者的诊断［13］。COVID-19辅助诊断AI模型也可评估COVID-19肺炎的严重程度［14-15］，为COVID-19的鉴别诊断提供帮助。目前开发的采用深度学习技术的COVID-19辅助诊断系统在准确性方面很有希望，但这些辅助诊断系统几乎为大公司开发或国家级研究团队基于大样本数据集研发，并且是封闭的，无法对这些辅助诊断系统进行深入的理解和扩展。本研究提出在小样本COVID-19数据集上采用迁移学习技术构建早期、进展期和重症期3类别的COVID-19智能辅助诊断模型，这样辅助诊疗手段，能准确、快速地为医生提供诊疗的参考意见，可缓解特殊时期隔离、防控区医务人员紧缺的局面。

1 资料与方法

1.1 CT表现

COVID-19基于病理分早期、进展期和重症期3期，影像学常见表现：早期呈现多发小斑片影及间质改变，以肺外带明显。进而发展为双肺多发磨玻璃影、浸润影，严重者可出现肺实变，胸腔积液少见。

1.1.1 早期CT影像学表现 早期病变以小斑影片状、亚段或节段性分布为主，以肺外带明显，表现为单发或多发磨玻璃样密度结节状、斑片或片状影，伴或不伴小叶间隔增厚为主，其内可见空气支气管征和血管增粗表现。

1.1.2 进展期CT影像学表现 进展期病灶增多、范围扩大，涉及多个肺叶，下叶居多。病灶变密实，双肺多发磨玻璃影，部分实变或结构扭曲影内支气管柱状增粗，下叶背侧肺底弧形肺不张。

1.1.3 重症期CT影像学表现 重症期双肺呈弥漫性病变，肺实质广泛渗出、实变，实变影为主，肺结构扭曲，支气管扩张，亚段性肺不张，严重时呈“白肺”［16-19］。

1.2 COVID-19CT数据集与预处理

为在训练中更加容易提取数据的相关信息，需要对数据进行预先处理。数据预处理包括了归一化技术、非线性变换、特征提取、离散输入、目标编码、缺失数据的处理和数据集的划分等。因搜集到的COVID-19 CT数据集中样本的尺寸大小不一，需先把样本处理成尺寸大小相同、归一化和数据集的划分等。数据集划分为训练集和测试集，其中训练集样本数量占整个数据集的80%，用于构建预测模型，验证集样本数量占整个数据集的20%，评估预测模型未来可能性的性能。

COVID-19 CT小样本数据集共366个样本，其中292个样本为训练集，74个样本为测试集。原始CT图像尺寸大小不一，需预处理把数据集中的所有样本大小统一为224×224。整个数据集的划分情况（表1）。

COVID-19 CT数据集分为3个类别，分别为COVID-19的早期、进展期和重症期，对应样本的标签分别为0、1和2。数据集在CT表现的分布情况显示，CT影像学表现为早期的样本在训练集和测试集中分别为84、21，表现为进展期的样本在训练集和测试集中分别为120、30，表现为重症期的样本在训练集和测试集中分别为88、23（表2）。

小样本数据集COVID-19 CT中，每个样本包含了灰度值和对应的标签信息。CT图片统一尺寸后都是224×224的，通过降维处理样本转化成50 176个特征的一维向量，则训练集提取的特征为[292,50 176]的张量，测试集提取的特征为[74,50 176]的张量。数据集COVID-19 CT中有3种不同的样本标签，训练模型前转换为one-hot编码。

1.3 迁移学习模型架构

迁移学习放宽了对训练数据和测试数据必须服从独立同分布的约束，采用把解决老问题训练好的模型参数迁移和复用到待解决问题新的模型中，避免繁杂的数据预处理工作，加快模型的训练［19-20］。迁移学习主要有3大类，分别为同构空间下基于实例的迁移学习、同构空间下基于特征的迁移学习和异构空间下的迁移学习。本研究采用同构空间下基于特征的迁移学习，将基于Image Net数据集上预训练好的VGG-16模型特征提取层迁移到COVID-19 CT数据集的辅助诊断任务中，即VGG-16模型具有的边缘、纹理和形状等高层抽象特征提取能力部分与设计的全连接层共同构成基于VGG-16深度网络的迁移学习模型。

基于VGG-16迁移学习模型的架构由两部分组成，一部分为VGG-16深度网络迁移过来的卷积层和池化层，同时加载了对应已训练好的VGG-16网络参数，另一部分是预训练的全连接网络层（图1）。全连接网络层通过迁移学习技术来训练，具体思路是将COVID-19 CT数据集作为迁移学习模型的输入，利用迁移学习模型第一部分的输出来训练第二部分的全连接层，缩短模型的训练时间。

表3 准确率和损失函数随迭代次数增加的变化情况Tab.3 Changes in accuracy and loss function with increasing number of iterations

2 结果

2.1 智能辅助诊断模型训练

基于VGG-16深度网络的迁移学习模型是为了区分COVID-19处于早期、进展期还是重症期，归根到底是一个三分类问题，所以输出层有3个神经元。设计的全连接层包含3层，每次的神经元个数分别为1024、128和3，全连接层中前2层的激活函数都是Relu。实验结果显示，设计全连接层多参数融合优化具有较高准确率的神经网络模型，全连接层中前2层的样本批次大小29，迭代次数30，损失函数为交叉熵，学习率0.00003，优化算法是AdagradOptimizer，激活函数为Relu,利用迁移学习技术来训练区分COVID-19处于某个时期的智能辅助诊断模型。

基于VGG-16迁移学习的COVID-19辅助诊断模型的识别准确率和损失函数的值随迭代次数增加的变化情况显示，在训练集中准确率从开始的0.4随训练迭代次数的增加逐渐提高到1，迭代次数≥8，准确率达到了100%，而损失函数的值随训练迭代次数的增加逐渐收敛（表3）。与前述变化情况对应的是准确率和损失函数随迭代次数变化的曲线，结果表明，COVID-19辅助诊断模型在训练集中取得了较理想的效果（图2）。

2.2 辅助诊断结果

COVID-19辅助诊断模型的诊断效果验证在Intel(R)Core(TM)i7-6700HQ CPU@2.6 GHz 2.59 GHz,8 GB内存的Windows 10系统上使用TensorFlow进行的。COVID-19 CT数据集中测试集样本个数为74，其中CT表现为早期的样本21个，进展期的样本30，重症期的样本23个，测试集CT表现为早期、进展期和重症期的3组随机样本（图3～5）。

用测试集74个样本对COVID-19辅助诊断模型进行验证，实验结果为0类别（表现为早期）样本诊断正确的个数为20，错误为1个，1类别（表现为进展期）样本诊断正确的个数为28，诊断错误2个，2类别（重症期）有1个样本诊断错误，22个诊断正确，实验得到的三分类混淆矩阵（表4）。对COVID-19辅助诊断模型评估的三分类混淆矩阵归一化后（图6）。根据三分类的混淆矩阵，计算出每个类别的敏感度、精确度、F1 Score。COVID-19辅助诊断模型在小样本数据集上3个类别的敏感度分别为0.95、0.93和0.96，F1 Score分别为0.98、0.95和0.92（表5）。实验数据显示，COVID-19辅助诊断模型的准确率达到94.59%，敏感度为94.5%，74个样本的诊断时间为16.08s。

3 讨论

COVID-19核酸检测的准确性存疑，患者的流行病学史、临床症状都吻合，甚至CT显示肺部已受病毒感染，都未得到病毒核酸阳性确诊，出现假阴性的可能，导致漏检情况发生；并且核酸临床确诊的时间过长，不易疫情的控制，一度引发使用CT影像代替核酸检测试剂确诊COVID-19的主要依据。国家卫健委发布《新型冠状病毒肺炎诊疗方案（试行第六版）》［23］和《新型冠状病毒肺炎诊疗方案（试行第七版）》［24］都将临床表现具有新型冠状病毒肺炎影像学特征作为疑似病例诊断的依据；而CT影像学显示，COVID-19的影像学表现与临床表现不完全匹配［25］，无论是CT检查还是核酸检测，都不能保证绝对的准确性，应结合流行病学史和影像学特征综合考虑。评价智能辅助诊断工具的应用效能并非容易，但一旦其承担第二诊断角色后，其诊断效能会发生改变［26］。

表4 三分类混淆矩阵Tab.4 Three-class confusion matrix

表5 评估模型的方法Tab.5 Methods for evaluating models

COVID-19是依据流行病学史、临床表现、实验室和影像检查进行综合判断，不能依据CT影像单独作出诊断，但可辅助诊断或提示需鉴别的疾病［27］。CT扫描图像分辨率高，且COVID-19早期表现具有其一定的特征性，依据《新型冠状病毒肺炎诊疗方案（试行第七版）》［24］，结合流行病学史，引入CT影像是筛查COVID-19的一种比较高效的手段。现在是防止疫情蔓延的关键阶段，需筛查、复检的人较多，医生工作压力大，引入类似基于CT影像的COVID-19智能辅助诊断系统，缓解医生工作压力，大幅提高临床诊断效率，及时隔离患者，有效阻断COVID-19疫情传播。

本研究是在小样本COVID-19数据集上通过迁移学习技术训练得到的COVID-19辅助诊断AI模型。首先对COVID-19数据集进行三类别标注，把COVID-19数据集划分为训练集和测试集，然后采用迁移学习技术对由VGG-16迁移的卷积网络与全连接层构成的COVID-19辅助诊断模型进行训练，最后在测试集上对早期、进展期和重症期3个类别的样本进行测试。既往文献表明现阶段已开发的COVID-19辅助诊断AI模型的准确度为94.00%～95.24%［12-13］，本文基于小样本数据集的COVID-19辅助诊断AI模型的诊断准确率达到94.59%，与现有研究开发的AI模型准确率相近。现有研究的AI模型的敏感性为96%［13］，本研究的COVID-19辅助诊断AI模型的敏感度为94.5%，有待进一步的改善，可从扩充数据集、深度网络模型结构、多参数融合优化等方面提高模型的准确率和敏感度。

综上，本研究是基于小样本数据集训练的COVID-19智能辅助诊断模型，结合流行病学史，以诊断COVID-19患者处于早期、进展期还是重症期。但仍存在样本数量不够多等局限，有待扩充数据集，进一步深入新冠肺炎的病灶数量、体积、病灶占比等定量指标的研究，持续关注基于大样本数据集的深度学习，研究人工智能在COVID-19与流感病毒、副流感病毒、鼻病毒等所致肺炎、SARS、MERS等病毒性肺炎的鉴别诊断应用。