陈冲,陈俊,夏黎明

在当今临床工作实践中,医学影像技术已成为日常诊断重要工具。从X射线到CT、MRI,再到超声和核医学影像,这些影像技术不仅帮助医生进行疾病诊断,还在病情的监测和治效评估中发挥着至关重要的作用。但是医生的阅片精准度、操作效率以及定量分析方面仍然存在局限性,往往依赖于放射科医生的经验、专业知识以及医生所处工作状态。这些主观因素均可能导致诊断结果的不稳定,从而影响患者的疾病诊断、手术治疗以及预后监测。

近年来随着医学影像成像技术的规范及其广泛使用,基于数据驱动和端到端学习的人工智能(artifical intelligence,AI)算法逐渐在医学影像辅助诊断中大放异彩。人工智能的医学影像分析算法在海量数据中学习训练,自适应地匹配不同的影像决策任务,这些技术不仅提高了疾病诊断的精确性和效率,还减少了放射科医生的工作负担,使他们能够更专注于复杂案例的分析。其中基于人工智能算法的诊断和分割是其应用在医学影像领域的两个重要研究方向,本文将重点介绍人工智能算法在医学影像自动分割、诊断中的研究现状以及未来的应用前景。

AI算法发展与介绍

21世纪以来,随着计算机软件、互联网技术以及微电子集成电路的发展,困扰AI领域多年的数据以及算力等问题得到了很大程度的解决,2006年图灵奖获得者Geoffrey Hinton利用深度神经网络训练自编码器以降低数据维度[1],文章中提出的很多思想为后续的研究提供了新的视角和方法。2012年Hinton和他的学生Alex Krizhevsky设计AlexNet获得ImageNet图像分类的冠军[2]。相比传统机器学习特征的浅层判别,卷积神经网络通过不断堆叠的卷积层和池化层对原始数据进行自主地特征提取和筛选,由浅层图像纹理特征到深层语义特征转变,“深度学习”(deep learning,DL)由此得名。从2012年开始,在算法层面,数据科学家们在深度学习基础网络的理论研究,计算机视觉以及自然语言的应用等方面有了重大突破,深度学习算法能够适配越来越多的落地应用场景,特别是医学影像领域;在硬件层面,以NVIDIA公司、Intel公司为代表的AI芯片公司在人工智能模型的训练端芯片、云服务器的推理芯片以及边缘计算的部署芯片等取得了多样性的发展,在硬件的加持下,人工智能产品和解决方案能够更快发展;在数据层面,万物互联理念和大数据技术的发展将越来越多的图像数据以及文本分享到互联网上,进一步推动深度学习技术的发展。2022年,openAI公司分别在GPT-3[3]的基础上提出智能对话机器人chatGPT,在CLIP[4]和扩散模型(diffusion model)[5]的基础上提出了多模态绘图产品DALLE系列,这些产品极大地推动了大模型以及弱人工智能模型向强人工智能模型的发展。在过去的十年里,这些技术也逐渐应用到医学影像领域中,给放射科医生的工作模式以及疾病的诊疗预后优化带了巨大的革新。

人工智能在医学影像中的研究进展

1.影像组学的应用

影像组学作为一种高通量的影像特征提取建模方法,能够将高维的原始影像学数据转换为所研究区域的影像学特征,主要包括形态学特征、一阶特征、纹理特征以及高阶特征[6]。相比于传统放射学参数,影像组学特征通过客观的图像描述以及信息论原理等方法更加全面地体现所研究区域的形态学参数、影像信号强度分布、统计学参量、影像纹理定量指标、影像变换的全局-局部特征以及频域变换的特征等。机器学习作为人工智能的重要分支,在影像组学的后续研究中起到了关键性的作用。目前影像组学作为一种无创的疾病评估方法,在疾病诊疗与预后的全流程中都有广泛研究和应用。

在疾病诊断方面,研究人员从不同的医学影像以及影像模态上提取影像组学特征,通过mRMR、LASSO以及特征差异性分析等方法进行影像特征筛选后,利用多因素逻辑回归、支持向量机、随机森林以及XGBoost等方法构建影像学风险评分,将其与临床因素结合构建联合模型,应用于疾病诊断并通过模型的判别性、校正性以及临床应用验证其临床收益[7-10],研究表明相比临床资料以及影像的半定量诊断方法,基于机器学习的影像组学方法能够提升疾病的诊断效能,辅助临床诊断决策。乳腺癌腋窝淋巴转移状态是乳腺癌患者治疗规划以及预后复发风险评估的重要生物学标志物,Yu等[11]在MRI影像上提取腋窝淋巴和乳腺癌区域的影像学特征,通过随机森林进行特征筛选后,构建基于支持向量机的影像组学模型无创预测乳腺癌患者腋窝淋巴转移状态,并在803例训练集、179例外部验证集以及前瞻性-回顾性临床实验收集的106例研究队列得到了验证,AUC为0.90～0.93,影像学特征不仅能够描述乳腺癌内部的定量特征,也能够反映浸润性乳腺癌免疫微环境的改变情况。此外,乳腺癌特征结合淋巴结特征能够有效提高模型的诊断效能,为后续其他肿瘤淋巴转移问题提供了新的思路和方法[12-14]。

在疾病的预后风险评估方面,多项关于脑出血预后研究表明基于平扫CT的影像组学特征构建的机器学习模型能够有效评估脑出血患者短期不良预后的情况,辅助医生评估脑出血患者的术后不良风险[15-18]。Yu等[19]从多参数MRI(T1ce、T2WI、DWI-ADC)提取乳腺癌以及腋窝淋巴结的影像特征用来预测和分析乳腺癌患者腋窝淋巴结转移风险与无疾病生存期(DFS),该研究纳入了中国4个中心1214例乳腺癌患者,构建了多机器学习模型,采用LASSO和随机森林进行重要特征筛选,支持向量机和逻辑回归进行建模分析,该研究表明所构建的临床决策诺莫图能够帮助乳腺癌患者无创诊断腋窝淋巴结转移以及术后无疾病生存情况,这对早期乳腺癌患者的手术计划以及治疗规划有重要意义。

由此看来,基于机器学习的影像组学方法已经广泛应用于疾病鉴别诊断、治疗前规划、治疗后疾病反应以及患者后续生存状态等方面,为个性化、精准治疗提供重要依据。

2.智能诊断

相比基于机器学习的影像组学方法,基于深度学习的智能诊断能够通过端到端数据驱动的方式自主学习特征,进行医学影像诊断分析。深度学习智能诊断研究的标准流程包括:①数据集:建立标准化的医学影像数据集,包含配对的图像数据、勾画ROI数据以及患者匿名化的临床数据;②图像预处理:通过Z-score以及重采样的方法对医学影像数据进行灰度和空间归一化,减小设备、扫描方式的差异性;③模型选择:根据数据量情况,选择合适的深度学习模型,包括ResNet[20]、VGGNet[21]、InceptionNet[22]及3DConv等[23];④模型训练:根据数据量情况,基于ImageNet预训练参数对模型部分或全部权重使用较小的学习率进行微调[24];⑤模型验证:将微调好的模型在训练集、测试集以及外部验证集中测试验证并与其他传统诊断结果(如人工诊断及影像组学模型等)对比其性能优劣。在多项基于深度学习的医学影像诊断研究中发现基于深度学习的影像学模型拥有更好的诊断效能并且在多个外部验证集得到充分验证[25-28]。在医学影像临床实践中,多任务的医学影像分析也是目前研究的热点,研究表明基于多任务的深度学习模型在提高单一任务的预测效能、减缓模型的过拟合现象以及提高深度学习可解释性方面有独特优势[29-31]。

随着Transformer架构在自然语言研究中的广泛应用[32],相对卷积神经网络逐层提高感受野,Transformer通过自注意力机制策略能够无监督地获取文本数据的全局信息,提高网络特征的表达能力,能够很好地处理数据分布异制性及长尾问题,目前成为人工智能大模型研究的基础。在医学影像智能诊断的研究中,Transformer网络架构也逐渐受到学者们的关注。多项研究表明,基于ImageNet预训练以及自监督学习预训练的Transformer深度学习模型能够更好地拟合医学影像全局的信息[33],提高其诊断效能[34-36]。值得注意的是,在一项大规模病理影像智能分析研究中,Huang等[37]构建了包含20万张病理影像的数据集OpenPath,该数据集包含了病理影像以及对应的影像学人类语言描述。在OpenPath数据库和CLIP模型的基础上[4],构建了病理影像的基础预训练大模型PLIP,在多个下游任务(图像分类、图像检索等)中都有非常高效的表现。研究还表明相对于传统的分类类别数量固定的模式,基于CLIP的大模型在不需要微调下能够快速拟合新的数据类别分布。

由此可见,基于人工智能的智能诊断研究由传统的影像组学、卷积神经网络以及多任务模型向预训练医学影像基础大模型发展,其诊断效能、模型的泛化能力越来越高,应用场景越来越多样化。但是,随着模型越来越复杂,特征层次逐渐加深,其算法的可解释性也受到多方面挑战。因此,大规模、规范化的医学影像数据集、大模型算法的可解释性是未来人工智能诊断的难点和发展方向。

3.自动分割

2015年Ronneberger等[38]在卷积神经网络的基础上提出UNet架构应用于医学影像自动分割上,网络结构主要由编码器-解码器构成。其编码器逐层卷积提取图像的语义信息,特征图尺度逐层减小;解码器再通过反卷积操作逐层恢复特征图尺度并与编码特征融合分割目标区域,在医学图像分割领域有较高的效能。在后续的多个研究中分别从网络结构、损失函数以及分割目标部位等方面进行模型优化以更好地适配医学影像不同分割部位、不同模态数据分布的特点(CT、MRI、US以及胃肠镜等),以达到更好的分割效果[39-42]。但在医学影像分割领域中,图像重建参数、三维图像的层厚、扫描范围以及不同设备、不同中心的影像等都会影响模型的分割效能。

一方面,如何对多样性的医学影像进行高效预处理以及算法输出结果的后处理是人工智能算法应用在医学影像分割领域首先要考虑的问题。2020年Isensee等[43]提出一种一站式医学影像预处理、网络架构自动配置、自动训练、多分割模型分割融合以及模型评估的nnUNet架构,并在多个公开医学影像数据集中验证其分割效能[44-47]。在数据预处理阶段,通过一系列自动配置方案根据使用者显卡情况对分割医学影像数据集进行自动分析,选择合适的层厚、扫描范围、预处理方案以及UNet编码器各个维度下采样方案对原始医学影像预处理;在模型训练阶段,采用基于空间位置的增强策略(如旋转、镜像翻转等)与基于灰度强度的增强策略(如高斯模糊、色度变换等)提高分割模型的泛化能力与分割精度;在模型应用阶段,nnUNet采用窗口的方式进行滑动推理,并对窗口推理结果采用高斯融合提高分割精度;在模型评估阶段,采用Dice系数、Jaccard系数以及真阳性率等多个指标综合评估模型预测效能。由于nnUNet架构易于使用及较高的分割效能,目前已在医学影像分割领域被广泛使用。

另一方面,如何结合最新人工智能技术改进Unet架构以提高多脏器结构化分割效能和泛化性是目前研究的难点,目前已经有多项研究[48-49]结合Transfromer[50]、扩散概率模型[5]、预训练大模型的思想[48,51]以及自监督学习的策略[33]对UNet网络结构进行改进,以通过自然语言描述、少量的人工交互以及全自动的方式实现模型自主的目标区域分割,让智能体模型更加理解医生的意图,进行大范围多模态的医学影像精确分割。

除了在预处理以及模型方面的改进之外,利用人工智能分割技术辅助构建标准化的医学影像数据集也是医学影像精细化分割的另一发展方向。为了提高模型的分割泛化性和精度,相关学者使用nnUNet框架在来自于不同中心、不同层厚、不同空间分辨率以及不同增强期相的1204个CT影像上训练了多个分割模型,能够分割104个人体解剖结构,其中包括27个器官、59种骨骼结构、10种肌肉组织以及8种血管,推动了人工智能分割模型从算法研究到落地应用的发展。目前人工智能医学影像软件分割算法正在改变放射科医生临床科研的工作方式。在一项大规模医学影像分割的研究中,在人工智能分割模型的基础上建立迭代式人工辅助半自动分割方案,在该方案中“自动分割-专家矫正-模型迭代”的模式能够帮助医生节省大量的手工标注时间,并且模型的分割精度随着迭代的进行,其效能不断提升以拟合新的数据分布,该方案仅用3个星期便可以完成8000例腹部CT的多脏器分割任务,而一名经验丰富的腹部放射科医生可能需要30年的时间才能完成,极大提高了标注效率。

由此可见,大规模的医学影像自动分割工具和软件是未来人工智能在医学影像应用的重要方向和研究趋势。

总 结

随着人工智能技术、计算机算力以及医学影像数据库标准化的发展,人工智能技术正在改变放射科医生日常的工作模式。人工智能新技术在疾病的早期筛查、临床诊断、病灶检测与分割、治疗方式的选择与规划以及治疗后的疗效评估与生存分析等临床工作中起到了不可忽视的作用,为临床和科研工作带来了巨大的便利。然而,人工智能作为一项新兴的技术,依然在不断发展和完善。医学影像相关算法模型仍不成熟,存在系统性故障以及模型误判漏判的风险,可能造成临床评估、诊断、方案规划等工作的误判。因此放射科医生在拥抱人工智能的同时仍需保持清醒客观的认识,不能形成完全依赖,AI辅助的最终环节仍需医学专家严格地加以人工审核。未来人工智能技术要想进一步与医学影像融合,其模型的可解释性、算法的泛化性和鲁棒性、如何克服医学影像的多样性和复杂性以及大规模数据的验证是人工智能医学影像领域研究和落地的难点和发展方向。