余可妍，张晓东

(南方医科大学第三附属医院影像科，广东 广州 510630)

深度学习(deep learning, DL)是基于包含多个层级的、复杂的神经网络实现机器学习方法，能高效、快捷地处理大量数据，避免人工处理过程中因疲劳等因素而导致错误。近年来，DL飞速发展，现已可用于自动分割图像的器官、处理图像及诊断疾病。膝关节是骨关节炎的重要好发部位，晚期具有致残性和不可逆性。本文对DL在影像学诊断膝关节病变的研究进展进行综述。

1 DL概述

DL模型是以深度神经网络为结构基础的计算机模型。不同于传统的需要先验知识架构及大量预处理的机器学习模型，DL不仅能自动提取原始数据中特征，亦能分析特征之间的复杂关系，故可在无先验特征定义的情况下提取有意义的图像特征[1-2]。卷积神经网络(convolutional neural network, CNN)是用于医学影像学研究的主要神经网络结构，擅长提取高级特征，随着网络深度增加，CNN模型精度越来越高，DL由此得名[3]。医学影像中DL模型的任务目标主要包括疾病分类、检测及定位和病灶分割组织器官。

DL模型在训练过程中通常将数据分为训练集、验证集及测试集，训练集用于模型拟合，验证集用于调整参数及初步评估模型效能，测试集则用于测试模型的泛化能力。当样本量较小时，可进行K倍交叉验证，以对模型进行充分训练，也可先以其他数据对模型进行训练，获得初始权值后再于样本中进行训练，以对模型加以调整[4-6]，即迁移学习。

2 DL在膝关节影像学诊断中的应用及其评估指标

各种DL研究主要针对MRI进行，包括形态学MRI及定量MRI，对于发现并准确评估OA的发生、发展过程以及评价疗效等具有重要作用[7]。DL在膝关节影像学诊断中的主要应用包括分割器官、定量测量病灶、分类诊断病变、预测病变发展以及图像重建等。

2.1 分割器官及定量测量病灶 分割任务通常指识别构成目标对象的轮廓或内部的体素集[8]。构建自动分割模型需要大数据样本。各种人工智能挑战赛及大型膝关节影像数据库的建立，如膝关节图像2010(segmentation of knee images 2010, SKI10)、骨关节倡议(osteoarthritis initiative, OAI)以及多中心骨关节炎研究(multicenter osteoarthritis study, MOST)等[9-11]促进了高精度分割膝关节结构研究的发展。目前已主要基于MRI实现了分割膝关节骨与软骨[12-13]、分割半月板[5,11-12]及分割全膝关节[14]的二维(two dimension, 2D)和三维(three dimension, 3D)图像分割。2D模型输入单幅图像，具有分割速度较快、计算量小及显卡内存需求较低[15]等优点；3D模型则需输入多幅图像，其分割结果可真实、直观地体现组织形态，但分割速度较慢，对计算机硬件要求较高。目前主要分割网络结构包括U-net及VGG16，并在此基础上衍生出多种网络结构[16]。

评估分割精确性的指标包括Dice相似系数(Dice similarity coefficient, DSC)、平均表面距离(average surface distance, ASD)、交并比(intersection over union, IoU)、体积差(volume difference, VD)以及体积重叠误差(volume overlap error, VOE)等。DSC=(真实目标A与预测目标B的重叠面积)×2/(A+B总面积)，用以评价A与B的重叠情况，适用于评价所有分割任务，DSC越接近1，模型效果越好[9]；目前应用较多。VD及VOE用于评估3D模型整体分割效能，ASD等边界距离相关指标则主要用于评价分割边缘细节。已有多项研究[5,12,15,17]在自动分割基础上实现了自动评估半月板或软骨的T1ρ、T2*弛豫值或形态，以定量分析相应组织变性。

2.2 分类诊断病变及预测进展 膝关节病变初期多较细微，诊断耗时、费力。DL模型用于诊断软骨病变[18-19]、半月板撕裂[19-22]及前交叉韧带(anterior cruciate ligament, ACL)撕裂[20,23-24]，有助于提高诊断效能，减少人为因素所致误差，且部分模型[5,12,20]的诊断效能已可与临床医师相媲美。X线检查是临床筛查膝关节骨性关节炎(knee osteoarthritis, KOA)的常用手段，采用Kellgren-Lawrence等级(Kellgren-La wrence grade, KLG)，可根据X线平片所见对KOA进行分级[10]。也有研究者[25]试图通过自动识别KOA的生物标记物预测KOA进展。一般采用受试者工作特征(receiver operating characteristic, ROC)曲线下面积(area under the curve, AUC)为标准评价模型的预测性能，AUC越接近1则性能越好。

2.3 重建图像 有学者[26]以3D双回波稳态(double-echo steady-state, DESS)序列采集膝关节图像，其层厚为传统DESS序列的3倍，而后采用深度CNN进行超分辨率重建，以用较短的扫描时间获得高分辨率图像。

3 相关研究进展

3.1 软骨 骨关节炎临床表现通常为软骨退行性变和消失，识别软骨变化可实现早期诊断骨关节炎[27]。LIU等[15]采用2D SegNet结合3D单纯可变模型于多序列MRI上分割膝关节骨和软骨，在极大降低计算量及内存需求的基础上细化了边缘效果，其分割结果优于传统U-net，其以SegNet自动分割软骨后测量的T2值与手工分割后测值无显著差别。CARDENAS等[16]采用2个相连的2D CNN，其中一个CNN用于分割，于快速自旋回波序列图像上对软骨进行分割，并将其自动识别为17 395个小的ROI，分为训练集、验证集及测试集，另一个CNN用于分类，对数据集进行训练及验证，将各个ROI分为病变或正常，对测试集数据重复进行2次测试，其AUC分别为0.92、0.91，分类CNN模型的分类敏感度(0.81～0.84)高于具有17年肌骨影像学诊断经验的医师(0.71)，但其特异度(0.85～0.88)低于后者(0.97)；能准确自动分割软骨并识别病变，但未对软骨病变进行定位；其所用模型的核心为VGG16，相比U-net计算成本更低，且在分割及分类任务中的通用性更佳。AMBELLAN等[9]采用2D及3D CNN结合3D统计形状模型(statistical shape model, SSM)对来自不同MR设备及以不同序列采集的膝关节MRI进行骨与软骨高精度分割，其精度与临床专家相当。SSM可利用先验解剖知识对病变严重且形态失常的组织、伪影及不同序列所致图像改变进行正则化，填充分割掩模的孔洞和缺口，以增强模型的鲁棒性。

人工对软骨损伤进行评分甚为复杂，且费时、易出错，需对评价者进行专门培训。自动分割及评分模型可显著节省人力，并减少因疲劳而出现误差的可能。BURTON等[13]应用半监督方法以36例带标注及51例未带标注膝关节的MRI训练2D+3D CNN分割膝关节骨与软骨，发现训练病例中带标注病例达10例(占全监督模型训练集1/3)时，2D CNN分割效果与全监督网络相当，DSC为0.974，而3D CNN结合Monte Carlo patch的半监督分割模型效果最佳，DSC为0.99。PEDOIA等[17]以2D U-net分割1 478例MRI中的髌骨软骨与股骨软骨，并采用3D CNN进行软骨损伤程度分级，其分级AUC为0.88。

3.2 半月板 半月板病变为KOA危险因素。PEDOIA等[19]对半月板进行2D分割，并进一步以3D CNN进行损伤程度分级，其AUC为0.89。TACK等[11]采用2D及3D CNN结合SSM分割半月板，内侧半月板的DSC为0.84，外侧半月板的DSC为0.89。ROBLOT等[22]采用矢状位膝关节T2WI对fast-reigon CNN和faster-reigon CNN进行训练及验证，以自动判断半月板有无撕裂及撕裂方向(垂直或水平)，其AUC为0.90；但该研究仅选择1个层面代表每个半月板，且仅纳入半月板3级高信号作为病例组，存在局限性。COUTEAUX等[21]将mask R-CNN与一个浅层卷积神经网络结合，对半月板进行定位，进而判断有无撕裂及撕裂方向，其AUC达0.91。BIEN等[20]建立名为MRNet的CNN网络，对3个方位多个序列膝关节MRI进行分类，并应用逻辑回归模型结合MRI分类结果评估是否存在半月板撕裂，其在含120例膝关节患者的测试集中的诊断AUC为0.847。

NORMAN等[12]以U-net对软骨进行分割，对不同区域软骨的DSC为0.77～0.88，手动分割与自动分割所测弛豫值差异无统计学意义。BYRA等[5]通过迁移学习，以61例膝关节MRI对模型进行训练，半月板分割任务的DSC为0.86；在此基础上测量半月板的T1、T1ρ、T2*弛豫值，结果的准确度与人工测量相当。

3.3 ACL BIEN等[20]和CHANG等[23]分别开发了ACL撕裂自动诊断模型，其AUC分别为0.97及0.96。GERMANN等[24]比较分析DL模型在不同医疗机构或不同场强设备MR图像诊断ACL撕裂的效能，发现其AUC均显著低于医师水平，但在1.5T与3T MRI之间差异无统计学意义。

3.4 KOA 目前诊断KOA多采用放射学所用KLG标准。DL模型常用于诊断、分级KOA及预测KOA进展。PEDOIA等[17]针对4 328例T2 mapping自动分割软骨及并基于体素分析T2值，以DL模型评估是否存在放射学意义上的KOA，其AUC为0.82，明显优于浅层特征提取模型的0.78。TIULPIN等[10]基于X线平片构建自动评估KLG的DL模型，其平均诊断准确度为0.67，有助于临床医师进行诊断；虽未勾画ROI，但热点图提示DL模型可通过识别骨赘、关节间隙狭窄等进行诊断，其效能与人工判断相仿。GUAN等[25]训练的DL模型通过识别基线时间膝关节正位X线片的图像特征来预测48个月后关节间隙狭窄进展，其AUC为0.80，而结合逻辑回归可将预测的AUC提高至0.86，效能优于随机森林树或逻辑回归等传统模型(AUC=0.66)。CHANG等[28]构建2D CNN模型，以在MRI上区分单侧膝关节疼痛KOA患者的疼痛与非疼痛膝，AUC达0.853，并导出热点图以识别导致疼痛的原因，发现86%诊断正确者膝关节疼痛最明显区域存在积液滑膜炎。目前对于DL模型分类的依据尚不得而知，但热点图中的伪彩有助于模型判断组间差异以及评价分类结果是否可靠，且模型在无先验特征前提下发现的差异可能有助于临床关注该病的致病因素。

4 小结与展望

DL模型对于提取膝关节病变特征及节省人工成本方面具有独特优势，近年来相关研究热点聚焦于图像分割与分类结合以及多分类任务等。目前DL用于膝关节成像仍存在限制：①对数据量要求高，数据越多，模型性能越好，泛化能力越强，但迄今为止尚缺少膝关节影像数据库；②图像勾画及标注耗时，且缺乏金标准；③多数研究仅选择某一序列图像中的某一层面，导致模型的适用范围狭窄，需进一步关注多序列研究；④DL模型的可解释性较差。

总之，DL为影像学诊断膝关节病变提供了全新的方法，也是未来影像学研究的趋势所在。期待更多高性能模型出现，促进及早诊断、及早干预膝关节病变，并发挥更大临床作用。