马亚楠 宋玥 郝天宇

摘  要：目前关于非小细胞肺癌（NSCLC）患者生存分析的研究已经有很多，但是大多数都是在医生勾画出肿瘤的基础上进行影像组学特征提取，其次结合临床以及治疗前患者的肿瘤PET/CT图像特征进行生存分析的研究。在无医生勾画肿瘤的基础上，采用深度学习的方法，基于患者治疗前后FDG-PET是否可以对局部晚期NSCLC患者进行生存分析。在采用治疗前和治疗后FDG-PET时，基于3D卷积神经网络（3D CNN）的深度生存模型的一致性指数（C-index）为0.67。研究表明，同时使用治疗前后PDG-PET进行阅片可以预测出患者的风险概率。

关键词：非小细胞肺癌；治疗前后PDG-PET；3D卷积神经网络；生存分析

中图分类号：TP391  文献标识码：A  文章编号：2096-4706（2023）04-0109-05

Survival Prediction of Patients with Locally Advanced NSCLC Based on 3D CNN

MA Ya'nan， SONG Yue， HAO Tianyu

（Lanzhou University of Finance and Economics， Lanzhou  730020， China）

Abstract： There have been many studies on the survival analysis of patients with non-small cell lung cancer （NSCLC）. However， most of the studies are based on the extraction of tumor radiomics features based on the tumour label outlined by the physician， followed by a combination of clinical and pre-treatment PET/CT image features of the patient for survival analysis. Survival analysis of patients with locally advanced NSCLC based on whether pre-treatment and post-treatment FDG-PET can be performed by using a deep learning approach without the basis of tumors label of the physician. The consistency index （C-index） of the deep survival model based on 3D CNN is 0.67 when using pre-treatment and post-treatment FDG-PET. The study shows that simultaneous reading with pre-treatment and post-treatment PDG-PET can predict the risk probability of patient.

Keywords： non-small cell lung cancer; pre-treatment and post-treatment PDG-PET; 3D CNN; survival analysis

0  引  言

癌症是世界范围内的主要公共卫生问题。肺癌是世界范围内最常见的癌症类型，也是导致癌症死亡的主要原因[1]。肺癌可以大致分为小细胞肺癌（Small Cell Lung Cancer， SCLC， 15%）和非小细胞肺癌（Non-small cell lung cancer， NSCLC， 85%）。其中NSCLC患者中超过三分之一（33%～50%）的患者表现为局部晚期疾病[2]。局部晚期NSCLC通常是指Ⅲ期的NSCLC[3]。

PET对NSCLC分期有效，與常规分期相比，对局部或远端转移疾病的敏感性和特异性更高[4]；并且已经有研究证明，放化疗后相对较快获得的18-氟脱氧葡萄糖（FDG）PET可以预测长期预后。但是由于PET/CT检查非常昂贵，极少有病人会在治疗后再次进行PET/CT筛查，导致治疗后图像数据非常稀缺。并且肿瘤金标准勾画非常昂贵和耗时，如果可以在不勾画肿瘤金标准的基础上，对PET图像进行阅片来对患者进行生存分析可以节省极大的人力和时间。

Cox比例风险模型可以对比与事件和事件发生时间相关的变量，是医学研究[5]中常用的分析方法。该方法不仅提供了结果（即是否死亡），还提供了事件发生的时间，这对临床实践更有模型帮助。Cox比例风险模型表现出较高的性能，但也有局限性。它假设是线性分析，而不是进行非线性分析。非线性分析可以更好地反映实际的特征与患者预后之间的相关性[5]。

在过去的几年里，深度学习已经成为一个跨越广泛的成像领域的强大工具，如分类、预测、检测、分割、诊断、解释、重建等。虽然深度神经网络最初在计算机视觉社区中发现，但它们很快传播到医学成像应用。

深度学习在诊断疾病方面的加速力量将使医生在临床环境中加快决策。近年来，现代医疗器械的应用和医疗保健的数字化产生了大量的医学图像。在这个大数据领域，用于高效数据处理、分析和生成数据建模的新深度学习方法和计算模型对于临床应用和理解潜在的生物过程至关重要。

近年来，深度学习在医学领域引起了关注[6，7]。通过深度学习，有可能提取出特征与个体预后之间复杂的线性和非线性关系。将深度学习集成到Cox比例风险模型中，导致了深度学习生存神经网络（DeepSurv）的发展[8]。在具有线性和非线性协变量的生存数据上，这已被证明与其他生存分析方法一样好或更好。死亡时间估计的优点是它比传统的二值分类任务能提供更多的信息。传统的二元分类并不估计患者在死亡风险增加之前的多少天。另一方面，死亡时间模型可以从一个固定时间点（在该模型中的入院时）的数据中估计随时间变化的死亡风险。

假设可以通过使用FDG-PET建立一个可以直接从医学影像中提取图像特征的预后模型。由于DeepSurv没有处理图像的机制，整合了卷积神经网络（CNN），这是DeepSurv的深度学习领域之一。可以用端到端的形式直接使用和處理图像，以评估预后。

本文的研究重点是基于患者治疗前和治疗后的FDG-PET图像，并采用深度学习的卷积神经网络模型对NSCLC患者进行生存分析。

1  相关知识

1.1  生存分析

生存数据由三个要素组成：患者的基线数据x、事件发生的时间间隔T和事件指示器E。如果观察到事件（例如死亡），时间间隔T对应于收集基线数据的时间和事件发生的时间之间的时间，并且事件指示器为E=1。如果没有观察到一个事件，时间间隔T对应于收集基线数据到与患者最后一次接触（如研究结束）之间经过的时间，事件指标为E=0。在这种情况下，病人被认为是正确审查的。如果选择使用标准回归方法，右截尾数据被认为是一种缺失数据。这通常会被丢弃，这可能会在模型中引入偏差。因此，对右截尾数据进行建模需要特别考虑或使用生存模型。

生存和风险函数是生存分析中的两个基本功能。生存函数用S（t）=Pr（T＞t）表示，它表示一个个体在时间t后“存活”的概率。风险函数λ（t）的定义为：

风险函数是一个人不能存活额外的时间δ的概率，假设他们已经存活到时间t。因此，危险越大，死亡的风险就越大。

生存分析模型包括两个部分，包括线性分析模型以及非线性分析模型。常用的线性生存分析模型指的是Cox比例风险回归模型，用来处理特征与生存时间以及生存状态之间的线性关系。但是通常得到的特征，其与患者生存状态以及时间之间的关系并非是线性关系，因此会采用深度学习生存神经网络来处理特征进行生存分析，并且深度学习可以直接用来处理图像，为使用深度学习进行生存分析提供了一种端到端的方式。

1.2  CNN

在深度学习和医学图像处理领域，CNN是最常用的神经网络。CNN结构由三层类型组成：（a）卷积，（b）池化层和（c）全连接层，分层有序，堆叠在多层中。除了这些层之外，还有一个输入层和一个输出层。每一层的功能都是学习图像[9]的具体特征。

CNN模型的性能会在很大程度上受到数据的影响。此外，它可能对结果产生误导，以及模糊图像特征从而影响到CNN最终的预测结果，因为已知放射图像有噪声、人工制品和其他因素，可能影响医疗和计算机应用程序的感知[10]。因此，医学图像分析的第一步通常是图像预处理，以改善图像的质量、对比度、噪声去除等特征[11]。

2  实验数据

2.1  数据来源

本文所采用的数据为公开数据集，患者数据来自美国放射影像网络（ACRIN）6668/放射治疗肿瘤组（RTOG）/0235。该数据集总共有250名患者，共有242名非小细胞肺癌患者的影像数据。其中239名患者有PDG-PET图像数据，180名患者有治疗前和治疗后的FDG-PET图像，156名患者有治疗前和治疗后的FDG-PET/CT图像。

2.2  数据预处理

所采用的数据中每名患者都有治疗前和治疗后的FDG-PET/CT图像，首先，将患者的FDG-PET/CT图像经过3DSlicer医学图像处理软件得到其PET图像对应的SUV图像；然后，去除处理异常和SUV图像异常的数据以及临床分期非、、的患者，然后将所有的患者切片进行重采样到相同的层厚，最后手动挑选出所有病人肩膀以下、膀胱以上的部分，最终纳入144名患者。并将图像进行了归一化，剔除图像中可能存在的一些噪声以及干扰信息。从中随机选取80%的数据作为训练集，其余20%的数据为测试集。本实验采用的数据情况如表1所示。

3  实验方法

3.1  模型结构

本文采用的生存分析模型如图1所示。将同一名患者治疗前后的FDG-PET同时输入到由3D卷积神经网络组成的特征提取器中，用来进行图像特征提取；然后将提取到的特征通过通道数叠加到一起，最后经过全连接层预测患者的风险概率。

具体来说就是将一个CNN合并到DeepSurv[8]中：将CNN的输出连接到DeepSurv的全连接层，以创建一个端到端深度学习模型。该模型同时由CNN和MLP结构组成。在正向传播过程中，将从影像中提取到的CNN的特征传递给MLP。损失根据MLP的输出值计算。然后，CNN和MLP中的权重将同时进行更新。在每个训练过程中，模型将图像和临床数据作为输入，预测结果（死亡或出院），然后通过反向传播对DeepSurv和CNN进行训练。

3.2  特征提取模块

所采用的特征提取模块如图2所示。特征提取模块的基本框架是3D-VGG16，与VGG16不同的是，只采用的VGG16网络的前三个卷积块来进行图像特征提取，并分别在第一和最后一个卷积块后加入了卷积注意力（Convolutional Block Attention Module， CBAM）[12]模块，如图3所示。

本实验采用的三个卷积块中，前两个卷积块由两个3×3×3的卷积组成，最后一个卷积块由三个3×3×3的卷积组成。每个3×3×3的卷积后都跟了一个批量归一化（即BatchNorm）和Relu激活层。在每个卷积块的最后都有一个最大池化层用来进行下采样，核大小为2×2×2，步幅为2。

CBAM模块由两个部分组成，分别是通道注意力模块和空间注意力模块。通道注意力模块是将从卷积块得到的特征先分别经过全局平均池化和全局最大池化层，然后分别通过共享参数的MLP层后相加，最后经过Softmax激活后和最初的特征相乘得到通道注意力特征。通道注意力模块中的MLP层是由两个1×1×1的卷积组成，两个卷积层中间加了一个Relu激活层。空间注意力模块是将从经过通道注意力模块得到的特征分别经过最大和平均池化层后，得到两个不同的特征图，然后经过通道数堆叠，通过一个1×1×1的卷积层以及Softmax激活层，将得到的概率图和通道注意力特征相乘得到最后的卷积注意力特征。最后在特征提取器后面加了一个全局平均池化层，将卷积神经网络提取到的三维特征映射到一维层面，并进行患者的生存预测。

4  实验与结果

4.1  损失函数

卷积神经网络的输出是具有线性激活的单个节点，估计的是Cox模型中的对数风险函数[8]，因此本文采用的損失函数是平均负对数似然损失函数：

其中，NE=1为患有可观察事件的患者数量。

模型训练过程中的损失如图4所示，训练过程中训练集的损失随着epoch的增加，是成波动变化的，但整体上呈下降趋势。

4.2  实验参数设置

由于实验设备的局限，为了保证实验的顺利进行，本实验的特征提取模块中的卷积块通道数分别为16、32、32。用于治疗前和治疗后FDG-PET的特征提取器的参数是共享的。优化器选择的是Adam优化器与权重衰减为0.000 5，学习率设置为0.001，并选择使损失函数最小的权重用于测试。

4.3  评价指标

C-index，C指数，即一致性指数（index of concordance），用来评价模型的预测能力。它估计了预测结果与实际观察到的结果相一致的概率，取值范围在[0， 1]，计算方法为：

其中，n是可比较对的数量， 是指示函数，t是实际的时间观测值，f表示预测的风险概率。C-index数值越大，模型的预测结果就越好[13]。

4.4  特征提取可视化

在特征提取模块，卷积神经网络提取到的特征图可视化如图5所示，图5（a）至图5（d）为治疗前患者的FDG-PET所提取到的特征图，图5（e）至图5（f）为治疗后患者的FDG-PET所提取到的特征图。图中第一行图片是特征提取模块提取的患者治疗前FDG-PET的图像特征，第二行图片是特征提取模块提取的患者治疗后FDG-PET的图像特征。第一列图像是输入的图像经过特征提取模块的第一个卷积块时候所提取到的浅层图像特征，第二列图像是图像经过特征提取模块的第二个卷积块后所提取到的图像特征，第三列是图像经过特征提取模块的第三个卷积块后所提取到的深层图像特征，最后一列是第三列图像经过CBAM后得到的最终的图像特征。图像在经过每个卷积块后，图像的大小以及像素值都会发生改变，为了观察方便，手动把它调整为同样大小，特征图的像素值也经过了归一化扩展到了[0， 255]。

4.5  实验结果与分析

为了验证仅使用治疗前或治疗后的FDG-PET图像对生存分析是否有帮助，进行了对比实验。实验结果如表2所示。实验结果表明在单独使用治疗前或治疗后患者的PDG-PET图像进行生存分析时，是可以提取到与患者生存分析有关的一些图像特征的，虽然生存分析结果的C-index偏低，但是还是对患者生存分析有一定的帮助。模型在同时使用治疗前和治疗后患者的FDG-PET图像时，生存分析效果最好，这表明网络同时学到了治疗前和治疗后患者的FDG-PET的一些特征，并可能学到了它们之中的不同之处用来进行最后的生存分析，才会使在同时使用治疗前和治疗后的图像时，生存分析结果有所提升。其中3D CNN with CBAM表示本文所采用的模型，3D CNN without CBAM表示的是在本文所采用模型的基础上去掉CBAM模块，实验结果的目的是为了验证网络加入CBAM模块后效果是否有提升，验证CBAM模块的有效性。最终实验结果表明，在加入CBAM模块后，模型的效果得到了提升，这表明卷积神经网络在加入注意力模块时，模型学到了一些与生存分析有关的特征，尤其是在同时使用治疗前和治疗后的FDG-PET时，生存分析的效果最好，C-index达到了0.67。

5  结  论

本文的实验表明，在没有医生勾画肿瘤金标准的情况下，采用阅片的形式对患者进行生存分析是可行的，并且在同时使用治疗前和治疗后的FDG-PET时效果最好，C-index达到了0.67。

参考文献：

[1] SIEGEL R L，MILLER K D，FUCHS H E，et al. Cancer Statistics [J].CA：A Cancer Journal for Clinicians.2022，72（1）：7–33.

[2] 中华医学会肿瘤学分会，中华医学会杂志社.中华医学会肿瘤学分会肺癌临床诊疗指南：2021版 [J].中华肿瘤杂志，2021，43（6）：591-621.

[3] SHIARLI A-M，PATEL P，MCDONALD F. Management of Locally Advanced Non-Small Cell Lung Cancer [M]//JANES S M. Encyclopedia of Respiratory Medicine：Second Edition.Pittsburgh：Academic Press，2022：810-824.

[4] TRUONG M T，VISWANATHAN C，ERASMUS J J. Positron Emission Tomography/Computed Tomography in Lung Cancer Staging，Prognosis，and Assessment of Therapeutic Response [J].Journal of Thoracic Imaging，2011，26（2）：132-46.

[5] COX D R. Regression Models and Life-Tables [M]//KOTZ S，JOHNSON N L. Breakthroughs in Statistics Volume II Methodology and Diitribution.Berlin：Springer，1992：527-541.

[6] HINTON G. Deep Learning—a Technology with the Potential to Transform Health Care [J].JAMA，2018，320（11）：1101-1102.

[7] LECUN Y，BENGIO Y，HINTON G. Deep learning [J].Nature，2015，521（28）：436-444.

[8] KATZMAN J L，SHAHAM U，CLONINGER A，et al. Deepsurv：Personalized Treatment Recommender System Using a Cox Proportional Hazards Deep Neural Network [J/OL].arXiv：1606.00931 [stat.ML].[2022-08-03].https：//arxiv.org/abs/1606.00931.

[9] VIZCARRA J，PLACE R，TONG L，et al. Fusion in Breast Cancer Histology Classification [C]//the 10th ACM International Conference on Bioinformatics，Computational Biology and Health Informatics.Niagara Falls：ACM，2019：485-493.

[10] NISHIKAWA R M，GIGER M L，DOI K，et al. Effect of Case Selection on the Performance of Computer-Aided Detection Schemes [J].Medical physics，1994，21（2）：265-269.

[11] RODRIGUEZ-RUIZ A，TEUWEN J，CHUNG K，et al. Pectoral Muscle Segmentation in Breast Tomosynthesis with Deep Learning [C]//Medical Imaging 2018：Computer-Aided Diagnosis.Houston：SPIE，2018：10575.

[12] WOO S，PARK J，LEE J-Y，et al. CBAM：Convolutional Block Attention Module [J/OL].arXiv：1807.06521 [cs.CV].[2022-08-06].https：//arxiv.org/abs/1807.06521v2.

[13] YAO J W，ZHU X L，JONNAGADDALA J，et al. Whole Slide Images Based Cancer Survival Prediction Using Attention Guided Deep Multiple Instance Learning Networks [J/OL].arXiv：2009.11169 [eess.IV].[2022-08-09].https：//arxiv.org/abs/2009.11169.

作者簡介：马亚楠（1996—），女，汉族，河南郑州人，硕士在读，研究方向：信息管理与信息系统；宋玥（1997—），女，汉族，山西吕梁人，硕士在读，研究方向：信息管理与信息系统；郝天宇（2001—），男，汉族，湖北荆门人，本科在读，研究方向：信息管理与信息系统。

收稿日期：2022-09-30