刘梦涵 张光

摘要：脑肿瘤早期诊断对改善治疗结果，提高患者生存率起着重要作用。脑肿瘤影像具有很强的异质性，且脑肿瘤图像数量大、序列多，人工评估脑肿瘤影像复杂且耗时。因此，迫切需要具有更高准确性和更具效率的计算机辅助方法来进行脑肿瘤的分析。当前，计算机辅助脑肿瘤影像诊断研究主要集中在三个领域，包括肿瘤检测、分割和分类。近年来，人工智能领域内新兴的深度学习技术展现了其在医学图像处理领域内的突破性潜力，对于诊断脑肿瘤有更高的准确率和稳健性。本文回顾了深度学习在脑肿瘤影像诊断中的发展历程，介绍了近年来在该领域中的研究进展，对深度学习未来在临床应用的前景和挑战进行了讨论。

关键词：脑肿瘤;深度学习;人工智能;计算机辅助诊断

中图分类号：R739.41;R445文献标识码：BDOI：10？郾3969/j.issn.1001-0270.2021.05.10

Research Progress of Brain Tumor Imaging Based on Deep Learning

LIU Meng-han1， ZHANG Guang2

（1. Shandong First Medical University， Shandong 271016， China; 2. The First Hospital Affiliated with Shandong First Medical University， Shandong 250014， China）

Abstract： Early diagnosis of brain tumors plays an important role in improving the treatment results and increasing the survival rate of patients. Brain tumor images have strong heterogeneity， and the number of brain tumor images is large， and there are many sequences. Manual evaluation of brain tumor images is complicated and time-consuming. Therefore， there is an urgent need for computer-assisted methods with higher accuracy and efficiency to analyze brain tumors. Currently， computer-aided brain tumor imaging diagnosis research is mainly concentrated in three areas， including tumor detection， segmentation and classification. In recent years， the emerging deep learning technology in the field of artificial intelligence has demonstrated its breakthrough potential in the field of medical image processing， and it has higher accuracy and robustness for diagnosing brain tumors. This article reviews the development of deep learning in brain tumor imaging diagnosis， introduces the research progress in this field in recent years， and discusses the prospects and challenges of deep learning in clinical applications in the future.

Key Words： Brain tumors; deep learning; artificial intelligence; computer-aided diagnosis

腦肿瘤是指大脑实质或邻近脑部产生的异常细胞的集合或团块，是世界上成人和儿童死亡率上升的主要原因之一。世界卫生组织（world health organasition，WHO）将脑肿瘤分为Ⅰ、Ⅱ、Ⅲ、Ⅳ四个级别。肿瘤级别越高，恶性程度越高，其治疗也更加困难，预后及生存率也随之降低[1]，因此脑肿瘤的早期诊断至关重要。2016年最新版WHO中枢神经肿瘤分类将脑肿瘤分为17个大类，100多个小类[2]。不同类型的肿瘤有不同的治疗方法，包括外科手术、放疗、化疗、免疫治疗、靶向治疗等[3]。在使用任何治疗方法之前，需要了解脑肿瘤的详细信息，如其位置、生长速度和所有相关因素。获取这些信息的主要方法有两种：手术和影像检查。考虑到成本、风险和时间因素，无论是治疗前、治疗中还是治疗后，影像检查都是疾病诊断的首选方法。MRI是一种多模态的成像技术，是当前脑肿瘤影像诊断主要依靠的检查手段之一。其通常采用四种标准序列：T2加权图像（T2）、T1加权图像（T1）、液体衰减反转恢复（fluid attenuated inversion recovery，FLAIR）序列和T1加权Gd（T1-Gd）增强序列，每种序列在脑肿瘤诊断中的作用各不相同。T1图像可以分辨出正常组织，T2图像能勾画出水肿区，T1-Gd图像用于区分肿瘤边界，FLAIR图像可鉴别水肿区与脑脊液。由这些MRI序列产生的各种类型的对比度图像为临床提供了肿瘤的多方面信息。

然而，这些信息并不一定能被全部利用，人工评估脑肿瘤是一个耗时且极具挑战性的过程，因脑肿瘤的高度异质性和个人经验的差异，往往导致诊断结果较为主观。当前，以深度学习为代表的人工智能技术逐步展现出在医学图像处理方面的巨大优势。随着计算机算法的不断发展，深度学习凭借其强大的信息处理能力可以从图像中提取大量人眼难以识别的特征，辅助影像医师在脑肿瘤诊断方面得出更为客观的结论，为脑肿瘤的精准分析提供了新的方向。

1 深度学习在脑肿瘤影像中的发展

人工智能是利用计算机技术模仿人类认知功能的一门学科，人工智能的范畴包括机器学习，而深度学习是机器学习领域内一项高水平技术[4]。传统的机器学习技术需要复杂的特征提取和降维方法，而深度学习省略了这一步骤。从本质上讲，它是端到端的机器学习，消除了训练过程中人工干预的需要。深度学习网络的性能可以随着训练数据的增多而提高，但它的训练是需要庞大的数据样本和能够快速运行代码的高级服务器的支持。

20世纪90年代，深度学习被用于医学成像领域，如肺结节检测[5]和乳腺组织分类[6]。然而，由于缺乏标注的训练数据和当时计算能力的限制，深度学习发挥出的性能十分有限。随着近年来大量带注释的训练数据库的建立和更强大的计算机服务器的更新，深度学习在医学图像处理这一领域的研究数量逐年增加。深度学习最经典的网络是卷积神经网络（Convolutional Neural Networks，CNN），CNN模仿人类神经网络的结构，建立起包含多层结构的复杂网络，每一层都可以根据其结构和类型执行不同的任务，如第一层提取简单的特征（例如边缘），第二层提取更复杂的高级特征。CNN通过使用卷积和池化操作提取代表性特征来学习输入图像像素之间的关系。在Krizhevsky等（2017）[7]将深度学习网络性能大幅度提升之后，学术界掀起了深度学习热潮。在脑影像分析方面，Maleki等（2012）[8]在检测多发性硬化症（multiple sclerosis，MS）病变中首次报道了使用深度学习进行脑图像分析的开创性工作。他们使用2D的CNN结构从2D MR FLAIR图像中提取特征，并使用三层神经网络作为分类器，对正常和MS进行分类。近年来，深度学习技术在医学图像分析，特别是脑肿瘤诊断中表现突出。相比传统的机器学习方法，深度学习网络获得了更高的准确率。

2 深度学习在脑肿瘤诊断中的应用

脑肿瘤诊断包括肿瘤检测、分割、分类。脑肿瘤检测是指从颅脑影像数据库中识别出肿瘤的影像，这是脑肿瘤诊断的第一阶段。分割是在脑肿瘤影像中定位病变位置并把肿瘤与正常组织区分开来。而分类主要研究将异常图像根据临床需求进行分类，如良、恶性肿瘤的分类等。而肿瘤预测是脑肿瘤诊断方面新拓展的一个方向，这四个方面以非侵入的方式为临床医生下一步对患者的治疗与管理提供了关于肿瘤的有用信息。

2.1 肿瘤检测

肿瘤检测是使用MRI图像数据库检测肿瘤存在与否的过程。其输出的结果是标记为正常或异常的MRI图像。肿瘤检测一般是临床诊疗程序的第一步，可大规模应用于疾病筛查和日常查体。 Abd-Ellah等（2018）[9]使用AlexNet的卷积神经网络和纠错输出编码支持向量机（ECOC-SVM）相结合，来评估Response（Rider）Neuro MRI数据库中的颅脑影像，获得了99.55%的检测准确率。

2.2 肿瘤分割

分割是将图像分割成感兴趣区的过程，以便于数据的表征和描述，其目的是使肿瘤的位置和边界更加可视化，更容易分析。脑肿瘤应用方面的分割包括研究解剖结构、定位异常区域、自动测量组织大小、计算机引导手术等。肿瘤分割一般是指将肿瘤组织（如坏死和水肿）与正常组织（如白质、灰质）分开。杨新焕和张勇（2018）[10]比较了基于多模态MRI的2D-CNN和3D-CNN在肿瘤分割中的能力，dice系数由（83.67±4.22）%提高为（88.26±4.65）%，证明了基于多模态3D-CNNs特征提取的MRI脑肿瘤分割准确度高，适应不同患者不同模态之间的多变性和差异性。脑肿瘤外科手术是一个非常复杂的过程，医生既要更准确完整地切除肿瘤以防止复发，又要为患者保留尽可能多的正常脑组织，避免伤及不必要的神经而影响其正常生活。高光譜成像是一种非电离、无标签、非接触的成像技术。深度学习可以对活体脑组织中的高光谱图像进行预处理，能显示大脑的实质区域和肿瘤的位置，为外科医生成功而精确地切除肿瘤提供了可靠的指导[11]。除了能进行正常与异常组织的分割，基于2D深度神经网络的算法还可以分割肿瘤内部结构，能精准定位肿瘤区内的恶性部分以最大限度地减少活检中的抽样错误。Pereira等（2016）[12]介绍了一种自动分割方法，他们训练了两个CNN网络分别用于低级别胶质瘤和高级别胶质瘤的分割，以MR的多序列图像为训练样本将肿瘤内部结构分为五类：坏死、水肿、无强化、强化的肿瘤和正常组织。其在脑肿瘤图像分割竞赛（multimodal brain tumor segmentation challenge，BraTS） 2015数据集的评估结果显示强化肿瘤、肿瘤核心区域（坏死+无强化肿瘤+强化肿瘤）和完整肿瘤分割的Dice系数分别为0.78、0.65、0.75。

2.3 肿瘤分类

分类是将输入的特征分配给不同的类别的过程。特征提取和选择对于分类是非常重要的，尤其是脑肿瘤的分类，这需要获取大量不同种类肿瘤的MRI病例，并结合病理金标准作为标签进行训练。脑肿瘤分类的研究包括利用MRI图像对肿瘤进行良、恶性分类、对不同肿瘤进行鉴别、对同种肿瘤进行分级及肿瘤分子亚型的鉴别等。由于脑肿瘤细胞的形态、大小、位置和影像对比度的变化多种多样，脑肿瘤分类是一项更具挑战性的任务。

2.3.1 脑肿瘤类型分类

Zhou等（2018）[13]使用递归神经网络（Recurrent Neural Network，RNN）用于对不同类型的脑肿瘤（胶质瘤、脑膜瘤和垂体瘤）的图像进行训练，由Dense CNN模型分类。该研究的独特之处在于直接使用整个序列的3D图像作为训练样本，建模出2D图像的切片，省略了单独标记序列中每一帧的耗时过程。未来研究者还将扩展专有数据集，用于更多类型的脑肿瘤分类。

2.3.2 胶质瘤分级

胶质瘤的正确分级对于临床选择治疗方案和患者管理至关重要。手术切除范围、辅助放化疗的需要以及患者总体预后的情况很大程度上取决于胶质瘤的分级。Zhuge等（2020）[14]使用两种卷积神经网络2D Mask R-CNN和3DConvNet对2018BraTS数据库的MR图像进行胶质瘤的自动分级，其结果分别为0.935（灵敏度），0.972（特异性）和0.963（准确性），对于3DConvNet方法，结果分别为0.947（敏感性），0.968（特异性）和0.971（准确性）。Yang等（2018）[15]比较了两种不同的CNN（AlexNet和Goog LeNet）在区分低级神经胶质瘤（他们定义为WHO Ⅱ和Ⅲ）和高级神经胶质瘤（WHO Ⅳ）的性能。他们使用来自113位经病理证实的神经胶质瘤患者的T1增强图像，比较了从头开始训练和使用经过微调的预训练CNN这2个CNN的准确性。结果表明，使用预训练的CNN和GoogLeNet可以达到94.5%的准确率。但以上这些研究中很少使用年龄、家族史、性别、体重或BMI等患者相关信息。若能将这些信息加入CNN模型中，可以提高模型的计算效率，使肿瘤检测和分级结果更加准确。

2.3.3 胶质瘤分子分型的鉴别

浸润性胶质瘤是一组高度异质性原发肿瘤，不同分型的胶质瘤的影像学特征、对治疗的反应、临床病程和预后具有高度可变性。这归因于肿瘤生长早期产生的遗传和表现遗传突变的多种变异。在最新的2016 WHO脑肿瘤分类系统引入了分子学特征进行分类，如弥漫型星形细胞和少突胶质细胞瘤是通过异柠檬酸脱氢酶（IDH）是否存在突变（野生型和突变型）以及1号和19号染色体部分的缺失（称为1p19q共缺失）等基因型进行分类[16]。IDH是Krebs循环的一种酶，它是细胞能量代谢途径的一部分。据报道[17]，胶质瘤中IDH突变状态与存活率提高相关，因为这类胶质瘤对替莫唑胺治疗的反应更好。同样，具有1p19q缺失的间变性少突胶质神经胶质瘤患者相比于无突变的患者对丙卡巴肼/洛莫司丁/长春新碱联合放疗的效果更好[18-19]。IDH突变和1p19q共缺失是胶质瘤的重要分子学标志物。IDH突变胶质瘤也具有相对特异的影像特征，在MR灌注上表现为局部脑血容量和血流减少，在MR弥散成像上表现ADC值较高[20-21]。CNN可以结合MRI图像成功实现对胶质瘤潜在的分子遗传突变状态的预测。Chang等（2018）[22]对259例低级别和高级别胶质瘤患者的MR影像资料和分子资料进行回顾性研究，使用一种新型2D/3D混合CNN对IDH1突变、1p19q共缺失进行分类预测，准确率分别为94%、92%。该研究不同于以往的一点是使用深度学习进行预测之后，还利用主成分分析（PCA）技术确定了每个分子状态最具预测性的成像特征，增强了深度学习网络的可解释性。主成分分析结果表明，肿瘤轻度强化或无强化、肿瘤内以T1和FLAIR低信号为表现的囊样坏死中心区，以及肿瘤边界清晰是CNN对IDH突变状态预测最重要的特征;额叶位置、肿瘤边界边界不清和明显增强是预测1p19q编码状态的最重要特征。这也一定程度上反映了深度神经网络能够自动学习关键的成像特征，而无需事先的特征选择或人工指导的训练。

2.4 肿瘤预后

高级别胶质瘤是一种侵袭性很强的脑瘤，可导致患者在1-2年内死亡。对胶质瘤进行准确、及时的预后预测能提高患者的生存机会。Nie等（2019）[23]提出了一种基于两阶段学习的方法来预测高级别胶质瘤患者的总体生存时间。在第一阶段，使用三维CNN从MRI、DTI和fMRI中提取胶质瘤患者的影像深层特征，并训练网络进行预测。在第二阶段，使用支持向量机（SVM）对与肿瘤相关的特征（如年龄、组织类型和肿瘤大小）进行分类，以预测高级别胶质瘤患者的最终总生存期（短或长），准确率为90.66%。

3 挑战与展望

脑肿瘤具有极强的异质性，不同的肿瘤细胞表现出不同的表型和形态信息，包括基因表达、运动性、细胞形态、代谢转移潜能和增殖方式。随着WHO对脑肿瘤的分类越来越精细，患者对脑肿瘤精准诊断的要求越来越高，深度学习辅助影像医师诊断的方法有望成为解决问题的关键。

但目前深度学习应用于临床还面临着诸多挑战。第一，深度学习模型使用大量数据进行脑肿瘤的分析，缺乏大量的训练数据集是深度学习应用的一个普遍的主要限制。首先，获取足够高质量标注的数据来训练模型是一项艰巨的任务。肿瘤图像的标记不仅耗时，而且需要高水平的专业知识。其次，医学图像标注是由影像医师人工进行的，主观且容易出错[24]。深度学习从训练样本中较不精确的表征学习会降低算法的准确性。此外，公共数据库的建立面临重重限制，将患者的医疗数据共享到一个集中的位置会给国际上的隐私、法律、数据所有权和技术等带来挑战。因此，从有限的图像数据中有效地进行深度学习是未来深度学习算法致力于提高和改进的一个主要方向。第二，虽然包括深度学习在内的人工智能技术的研究在脑肿瘤检测、分割、分级三个诊断阶段各有建树，但目前仍没有一个由所有三个诊断阶段组成的完整诊断系统。建立完整的诊断系统要面临两个问题，一是缺乏完全自动化的过程，因为一些過程必须手动执行，二是三个过程之间缺乏集成。开发一个完整和自动化的系统可以简化临床医生和放射科医生的脑肿瘤诊断流程，真正将只存在于概念中的“模型”从研究转向临床诊疗的应用。

近年来，医学影像成像技术与设备不断发展和更新，包括扩散张量成像（diffusion tensor imaging，DTI）、扩散峰度成像（diffusion kurtosis imaging，DKI）、磁共振波谱（MRS）和脑灌注MR在内的许多先进的MRI成像序列及技术已用于脑肿瘤的分析[25-26]，为临床医生评估肿瘤提供了更多信息。深度学习在这些新领域内有非常广阔的前景，有望成为下一步脑肿瘤影像计算机辅助诊断的研究热点。

参考文献：

[ 1 ] Hoegler D. Radiotherapy for palliation of symptoms in incurable cancer[J]. Current problems in cancer，1997，21（3）：129-183.

[ 2 ] Louis D N，Perry A，Reifenberger G，et al. The 2016 World Health Organization classification of tumors of the central nervous system：a summary[J]. Acta neuropathologica， 2016，131（6）：803-820.

[ 3 ] 延鹏翔.脑肿瘤的早期识别和诊治[J].人口与健康，2020（10）：90-94.

[ 4 ] Le Berre C，Sandborn W J，Aridhi S，et al. Application of artificial intelligence to gastroenterology and hepatology[J]. Gastroenterology，2020，158（1）：76-94.

[ 5 ] Lo S C，Lou S L，Lin J S，et al. Artificial convolutionneural network techniques and applications for lung nodule detection[J]. IEEE TransMed Imaging，1995，14（4）：711-718.

[ 6 ] Sahiner B，Chan H P，Petrick N，et al. Classification ofmass and normal breast tissue：a convolution neural network classifier with spatialdomain and texture images[J]. IEEETrans Med Imaging，1996，15（5）：598-610.

[ 7 ] Krizhevsky A，Sutskever I，Hinton G E. Imagenet classification with deep convolutional neural networks[C]. Communications of the ACM，2017，60（6），84-90.

[ 8 ] Maleki M，Teshnehlab M，Nabavi M. Diagnosis of multiple sclerosis （MS） usingconvolutional neural network （CNN） from MRIs[J].Glob J Med Plant Res，2012，1（1）：50-54.

[ 9 ] Abd-Ellah M K，Awad A I，Khalaf A A M，et al. Two-phase multi-model automatic brain tumour diagnosis system from magnetic resonance images using convolutional neural networks[J]. EURASIP J. Image Video Process. 2018， 97（1）：1-10.

[10] 楊新焕，张勇.结合MRI多模态信息和3D-CNNs特征提取的脑肿瘤分割研究[J].中国CT和MRI杂志，2020，18（9）：4-6+23.

[11] Fabelo H，Halicek M，Ortega S，et al. Deep Learning-Based Framework for In Vivo Identification of Glioblastoma Tumor using Hyperspectral Images of Human Brain[J]. Sensors （Basel），2019，19（4）：920.

[12] Pereira S，Pinto A，Alves V，et al. Brain tumor segmentation using convolutional neural networks in MRI images[J]. IEEE Trans Med Imaging，2016，35（5）：1240-1251.

[13] Zhou Y，Li Z，Zhu H，et al. Holistic brain tumor screening and classification based on densenet and recurrent neural network[C]. International MICCAI Brainlesion Workshop，2018：208-217.

[14] Zhuge Y，Ning H，Mathen P，et al. Automated glioma grading on conventional MRI images using deep convolutional neural networks[J]. Med Phys，2020，47（7）：3044-3053.

[15] Yang Y，Yan L F，Zhang X，et al. Glioma Grading on Conventional MR Images：A Deep Learning Study With Transfer Learning[J]. Front Neurosci， 2018，12：804.

[16] 蘇昌亮，李丽，陈小伟，等.2016年WHO中枢神经系统肿瘤分类总结[J].放射学实践，2016，31（7）：570-579.

[17] Ducray F，Idbaih A，Wang X W，et al. Predictive and prognostic factors for gliomas[J]. Expert review of anticancer therapy，2011，11（5）：781-789.

[18] Chow D S，Chang P，Weinberg B，et al. Imaging genetic heterogeneity in glioblastoma[J]. AJR Am J Roentgen，2018，210：30-38.

[19] Sattiraju A，Mintz A. Pericytes in glioblastoma：multifaceted role within tumor microenvironments and potential for therapeutic interventions[J]. Adv Exp Med Biol. 2019， 1147：65–91.

[20] Kickingereder P，Sahm F，Radbruch A，et al. IDH mutation status is associated with a distinct hypoxia/angiogenesis transcriptome signature which is non-invasively predictable with rCBV imaging in human glioma[J]. Sci Rep，2015，5：16238.

[21] Law M，Young R J，Babb J S，et al. Gliomas：predicting time to progression or survival with cerebral blood volume measurements at dynamic susceptibility-weighted contrast-enhanced perfusion MR imaging[J]. Radiology，2008， 247（2）：490-498.

[22] Chang P，Grinband J，Weinberg B D，et al. Deep-Learning Convolutional Neural Networks Accurately Classify Genetic Mutations in Gliomas[J]. AJNR Am J Neuroradiol，2018，39（7）：1201-1207.

[23] Nie D，Lu J，Zhang H，et al. Multi-Channel 3D Deep Feature Learning for Survival Time Prediction of Brain Tumor Patients Using Multi-Modal Neuroimages[J]. Sci Rep，2019，9（1）：1103.

[24] Lladó X，Ganiler O，Oliver A，et al. Automated detection of multiple sclerosis lesions in serial brain MRI[J]. Neuroradiology，2012，54（8）：787-807.

[25] Yang G，Raschke F，Barrick T R，et al. Manifold Learning in MR spectroscopy using nonlinear dimensionality reduction and unsupervised clustering[J]. Magnetic resonance in medicine，2015，74（3）：868-878.

[26] Yang G，Nawaz T，Barrick T R，et al. Discrete wavelet transform-based whole-spectral and subspectral analysis for improved brain tumor clustering using single voxel MR spectroscopy[J]. IEEE Transactions on Biomedical Engineering，2015，62（12）：2860-2866.