潘伟博，汪海涛，姜 瑛，陈 星

(昆明理工大学 信息工程与自动化学院，昆明650500)

E-mail：weibopan@yeah.net

1 引 言

阿尔兹海默症(Alzheimer′s Disease，AD)是最常见的神经退化性疾病之一，俗称老年痴呆，常出现在65岁以上的人群中，并逐渐影响他们的记忆和其他它大脑功能.根据阿尔茨海默症协会的研究报告[1]，在未来的50年内，全球的AD发病总数预计会达到6000万人，因此许多研究致力于了解阿尔茨海默症潜在的生物学或生理机制[2].尽管现阶段还没有有效的阿尔茨海默症治疗手段，但是研究表明在阿尔茨海默症的早期阶段，即在轻度认知障碍阶段治疗可以有效的减缓疾病的进展[3，4].

随着神经影像技术的发展，MRI和PET图像已经被广泛的应用于阿尔茨海默症的辅助诊断，尤其是多种模态数据之间包含的互补信息促进了阿尔茨海默症辅助诊断的发展.此外，还有研究表明MRI和PEI之间包含的互补信息有助于提高阿尔茨海默症的辅助诊断性能[5].但是基于多模态神经影像学习的方法通常存在的一个普遍问题，即缺失某种模态的数据[6]，在临床测试中，受试者可能因中途退出或者数据质量差而缺失了特定模态的数据，例如在ADNI数据库中就缺失大量的PET数据.传统的方法通常会舍弃缺失PET的图像样本数据[7]，但这种处理方法会让可用于训练模型的数据量减少，从而导致模型的诊断性能不佳.为了尽可能多的利用多模态神经影像数据，一种直接的解决办法就是补充缺失的PET图像数据.但是传统的数据补充方法大多侧重于补充PET图像的特征值，而忽略了同一受试者的MRI和PET之间具有的潜在相关性(MRI和PET图像都是来源于同一受试者的大脑扫描成像)，以及完整PET图像所传达的特定疾病信息，而且这种填充PET特征值大多是手工制作而成[6].因此这种填充缺失特征值的方法在阿尔茨海默症辅助诊断的效果并不理想.此外，基于多模态学习的方法还存在一个问题，如何利用多模态数据之间的内在关联，即如何有效的融合多种模态的数据.为了融合多种模态数据，传统方法通常分为两个步骤，首先分别为每个模态进行特征选择，然后将所选特征串联起来进行诊断或分类，但是这些方法忽略了不同模态之间的潜在关联.

基于上述原因，本文提出了一种新的解决方案，称为基于非对称多模态学习的阿尔茨海默症辅助诊断算法，用于不完整多模态神经图像(MRI与PET)合成和阿尔茨海默症辅助诊断.该算法的主要思想是通过3DCGAN补全缺失的PET数据，再利用MDNFM模型学习多模态数据(MRI和PET)的共享潜在表示进行辅助诊断.该模型学习的功能具有较好的可解释性，将有助揭示大脑的复杂结构.在ADNI数据库中的实验结果表明本文提出的算法不仅可以生成合理PET图像，而且在阿尔茨海默症辅助诊断中也表现出良好的性能.

本文的贡献主要有3个方面：

1)通过MRI和PET之间的潜在关联，构建3DCGAN模型补全了缺失的PET图像数据.

2)使用分层分解策略构建MDNMF模型，以有效地发现多模式神经影像数据的隐藏信息.

3)本文提出的算法将多模态融合和分类集成到一个统一的模型中，通过学习不同模态的共享特征表示来挖掘MRI和PET之间的隐藏信息，用于阿尔茨海默症的辅助诊断.

2 相关工作

随着阿尔茨海默症患者逐年增加，计算机辅助诊断越来越受到关注.在早期研究中，通常使用单一的模态数据(如MRI，PET，临床诊断数据或者基因数据)作为研究内容.文献[8]通过提取PET图像特征后，使用主成分分析法进行特征选择，然后通过逻辑回归进行分类，阿尔茨海默症患者和正常对照组的分类准确率为82%.文献[9]使用最小二乘法对MRI进行分析，在实验结果显示阿尔茨海默症和正常对照组的分类准确率达到了87%.文献[10]提出了一种层次全卷积网络来自动识别整个大脑MRI中的有区别的局部块和区域，然后通过联合学习和融合多尺度特征表示来构建阿尔茨海默症诊断的层次分类模型.文献[11]提取了皮层表面每个顶点的体积和几何度量，构建了一个线性SVM来区分轻度认知障碍和阿尔茨海默症患者.文献[12]通过提取以多个预先定义的解剖标志为中心的局部图像斑块来开发基于卷积神经网络的阿尔茨海默症分类和轻度认知障碍的转换预测模型.

随着多模态学习的发展，越来越多的多模态学习算法已经应用于脑部疾病的诊断[13].其中最直接的方法就是使用一种简单的融合算法，将多种模态的特征拼接在一起[14]，然后利用分类器(例如支持向量机)进行分类.然而这种算法不能有效地利用多种模态数据之间的潜在相关性，导致诊断性能不理想.为了有效地融合多模态数据，文献[15]提出的模型采用了多内核学习算法，通过学习最优的线性组合进行分类和数据融合.文献[13]提出了一种基于多任务学习的特征选择算法，该算法利用不同模态间的关系保持约束.最近提出了一种多视角的多模态融合学习算法，其中每一种模态都被视为一个特定的视角.文献[16]构建了一种自适应的多视角学习模型，同时执行聚类/半监督分类和局部结构学习进行预测.

尽管多模态学习在阿尔茨海默症辅助诊断方面已经取得了相当大的进步，但是多模态数据的有效融合仍然面临很多问题.首先，多模态数据的融合通常独立于诊断模型的训练，这导致了诊断模型性能不佳.其次，如何有效地利用基于低水平成像特征的多种成像方式之间的信息互补也是一个亟待解决的问题.相比之下，在本文中，通过MDNFM可以效的融合MRI和PET两种神经影像数据，挖掘出MRI和PET图像之间深层关联.

3 原理与方法

在本节中，介绍本文提出的基于非对称多模态学习的阿尔茨海默症辅助诊断算法研究.首先概述所提出的算法，然后详细描述该算法的两个主要组成部分，即PET图像生成和阿尔茨海默症辅助诊断.算法的整体流程图如图1所示.

图1 阿尔茨海默症辅助诊断整体算法流程图Fig.1 Flow chart of the overall algorithm for Alzheimer′sdisease-assisted diagnosis

3.1 预备知识

(1)

由上文可知，基于非对称多模态学习的阿尔茨海默症辅助诊断算法中包含两个任务.

1)学习一个可靠的映射函数G来生成缺失的PET数据.

2)构建一个能有效融合多种模态数据并可以分类的辅助诊断模型.

3.2 3D循环对抗生成神经网络模型

第1阶段任务的目标是学习一个映射函数G：χM→χP：用于生成PET图像，并且G必须确保每一个受试者的MRI和PET图像之间的一对一关系，其中χM表示MRI图像域，χP表示PET图像域.与此同时还必须学习一个逆向映射函数G-1：χP→χM来保证映射的一致性，即通过映射函数G生成的PET图像，使用逆向映射函数G-1还原出MRI图像.

图2 3D循环生成对抗神经网络结构图Fig.2 3D cycle-generative adversarial networks structure diagram

为此，本文基于cycle-GAN[17]网络模型提出3DCGAN模型，用于生成缺失的PET数据.3DCGAN的具体网络结构如图2所示.该模型包含两个生成器GM：χM→χP和GP：χP→χM以及两个判别器DP和DM.每个生成器由编码、转换、解码3个部分组成.编码部分包含3个卷积层，用于抽取MRI的特征信息.转换部分由6个残差块组成，将MRI的特征向量转化为PET特征向量.解码部分包含2个反卷积层和1卷积层，使用转换后的PET特征向量还原PET图像.两个判别器DP和DM包含5个卷积层，通过将真实的PET和生成的PET进行对比来判断图片的真假.3DCGAN的损失函数如下所示：

L(GP，GM，DP，DM)=Lgan(GM，DP)+Lgan(GP，DM)+
λLc(GP，GM)

(2)

公式(2)中的Lgan是对抗损失函数，确保生成的PET图像与真实图像相似.Lc为循环损失函数，确保生成的PET图像与其对应的真实MRI图像保持一致.参数λ用于控制图像生成的一致性.对抗损失函数Lgan(GM，DP)和Lgan(GP，DM)以及循环一致损失函数Lc的具体表示如下：

Lgan(GM，DP)=Ex∈χPlog(DP(x))+
Ex∈χMlog(1-GP(GM(x)))

(3)

Lgan(GM，DP)=Ex∈χMlog(DM(x))+
Ex∈χPlog(1-GM(GP(x)))

(4)

Lc(GP，GM)=Ex∈χM‖GP(GM(x))-x‖1+
Ex∈χP‖GM(GP(x))-x‖1

(5)

其中公式(5)中的Ex∈χM‖GP(GM(x))-x‖1和Ex∈χP‖GM(GP(x))-x‖1表示L1损失.

3.3 多模态深度非负矩阵分解模型

通过3DCGAN获得完整的MRI和PET图像数据后，就可以进行第2阶段任务，即构建诊断模型.本文在非负矩阵分解(Nonnegative Matrix Factorization，NMF)[18]的基础上提出一种特定针对MRI和PET的多模态深度NMF模型(MDNFM)，用于多模态特征学习融合以及阿尔茨海默症的辅助诊断.

非负矩阵分解是一种分解矩阵的算法.NMF是指将一个非负矩阵X=[x1，x2，…，xn]∈Rd×n分解成为两个非负矩阵B∈Rd×h和H∈Rh×n的乘积，非负矩阵的函数表达如下所示：

(6)

其中X∈Rd×n表示n个样本的输入数据，每个样本都是d维特征.B∈Rd×h表示基础矩阵，H∈Rh×n，H>0表示潜在空间中的共享特征矩阵，共享特征矩阵H可以揭示X中隐含的信息.但是在ADNI数据库中包含多种模态的数据，使用单层NMF不足以消除那些不良因素的影响，并且抽取到固有的潜在信息.

图3 多模态深度非负矩阵分解模型结构图Fig.3 Multi-modal depth non-negative matrix factorizationmodel structure diagram

为此，本文以NMF为基础提出了一种特定针对MRI和PET的深度非负矩阵分解算法，利用MRI和PEI之间的潜在联系学习共享的特征表示，提升阿尔兹海默症辅助诊断的性能，具体网络结构如图3所示.本文是用X(1)，X(2)，…，X(V)}表示多模态神经影像数据，其中X(v)∈Rdv×n表示第v(1，2，…，V)种模态的数据，dv和n分别表示不同模态数据的维度和样本数，则多模态NMF可表示为：

(7)

公式(7)中的B(v)和H(v)分别表示第v中模态的基和特征表示，公式(7)虽然能够独立地学习每个模态的新的特征表示，但不能明确地捕捉到多个模态之间的潜在相关性.为了学习到不同模态之间潜在共享特征表示，则公式(7)更新为如下所示：

(8)

公式(8)中的H表示不同模态的共享特征表示，因此可以用来挖掘多种模态之间的相关性.在阿尔茨海默症诊断任务中，需要构建一个统一的多模态特征学习和分类器训练的框 架，则统一的框架表示如下：

(9)

其中λ为惩罚系数，W为权重矩阵，Y∈Rc×n表示c种类别的标签信息.公式(9)中定义的模型利用训练数据的标签信息来指导模型学习共享表示H，也就是说，学习到的“好的”特征表示可以提高分类性能.但是公式(9)仅定义了一个单层的NMF模型，该模型无法有效的解释多种模态之间的复杂相关性.因为深度学习可以产生高质量的特征表示，也可以捕获特征之间的高级关联.所以定义了一个具有多层的深度NMF模型来捕获不同模态特征之间的高级关联，产生高质量的共享特征表示.深度NMF模型中的多层分解过程如公式(10)所示.

(10)

(11)

公式(11)中的λ和β为惩罚系数，S表示某种模态的数据是否存缺失标签，若缺失标签则sii∈S为0，反之则为1，在辅助诊断模型中添加标签限制可以降低因缺失标签对辅助诊断结果造成的影响.

3.4 模型优化

(12)

(13)

3)更新权重矩阵W，优化W可以理解为求W的最小值，即：

(14)

用E表示单位矩阵，则更新后的W如下所示：

(15)

4 实 验

在本节中，首先介绍实验所用数据集和数据预处理方法，然后对实验设置和评估指标进行描述，最后展示本文提出的模型与对比模型的诊断结果.

4.1 ADNI数据集

本文实验的数据全部来源于ADNI数据库，ADNI数据集是由美国国家老龄研究所，美国国家生物医学成像与生物工程研究所，美国食品药品管理局，私营制药公司和非营利组织于2003年启动的.ADNI的主要目的是研究如何有效地融合多种模态数据(例如神经影像，临床，生物学和遗传生物标记)，以有效诊断阿尔茨海默症及其早期阶段[19,20].在本文的实验中使用ADNI-1和ADNI-2数据集中MRI和PET数据，其中共分为3个类别：阿尔茨海默症患者(Alzheimer′s disease，AD)，认知正常(Normal Cognition，NC)和轻度认知障碍(Mild Cognitive Impairmen，MCI).同时，本文将24个月内转变成为AD的MCI受试者定义为进行性轻度认知障碍(progressive Mild Cognitive Impairmen，pMCI)，未转变为AD的MCI受试者定义为稳定轻度认知障碍(stable Mild Cognitive Impairmen，sMCI).ADNI-1中有821位受试者，ADNI-2中有636位受试者.表1为ADNI数据库中MRI和PET图像的具体描述.

表1 ADNI数据集Table 1 ADNI dataset

4.2 数据预处理

ADNI数据库中的MRI通过不同的扫描器收集的，而且每个扫描器的扫描协议都有所不同.为了控制MRI的质量，本文在实验之前需要对MRI图像进行预处理操作[21].

1)首先对MRI进行前连合(AC)-后联合(PC)校正，图像重新采样为标准的256×256×256模式；

2)使用N3算法校正不均匀的组织强度；

3)使用颅骨剥离算法提取大脑；

4)小脑切除；

5)使用FSL软件包中的FAST算法对组织进行分割，以获得白质，灰质和脑脊液3个主要组织；

6)通过模板对MRI进行配准；

7)从模板图像到MRI进行投影标记兴趣区域(ROI)；

8)标记MRI中每个ROI的灰质组织体积，并通过颅内体积对其进行归一化处理.

4.3 实验设置及评价指标

实验分为两个阶段，第1阶段使用ADNI-1数据集中拥有完整MRI和PET的样本数据训练3DCGAN模型，使用ADNI-2数据集中具有完整MRI和PET的样本数据测试.获得完整的MRI和PET数据之后，再将预处理后MRI图像划分为93个预先定义的兴趣区域，并且把计算的灰质体积值作为MRI的特征，然后将每个PET图像与其对应的MRI图像线性对齐，确保每个受试者的MRI和PET之间存在空间对应关系，然后计算出ROI的平均强度值作为PET的特征.

本文将提出的辅助诊断模型与基于多模态学习的算法及传统算法进行比较，通过3个二分类任务(AD vs.NC，MCI vs.AD，pMRI vs.sMRI)充分评估不同分类对所提出模型实验结果造成的影响.基线算法是通过将 MRI和PET图像的ROI特征向量简单拼接在一起，使用SVM分类器进行分类.此外还与4种多模态学习算法进行对比，其中MKL[15]使用多核学习融合不同模态的数据，通过学习最优的线性组合进行分类；MLAN[16]算法对不同模态数据同时进行局部结构学习和聚类；NMF[18]利用矩阵分解的思想，学习不同模态之间的共享特征；MDCR[22]算法采用内核匹配来规范化多个模态之间的依赖关系，并将每个模态投影到低维空间中进行诊断.

本文使用准确性(ACC)，敏感性，特异性(SPE)以及Fscore这4个评估指标来评估不同模型在阿尔茨海默症辅助诊断中的性能表现.其中，4个评估指标值越高，表示模型的诊断性能越好.

4.4 实验结果及分析

实验使用10次重复的10倍交叉验证算法来评估所有的比较模型，首先将真个数据集划分为10个子集，每个子集的样本数量大致相等，然后选择1个子集进行测试，其余的9个子集进行训练.所提出的模型与对比模型的性能比较如表2所示.

表2 阿尔茨海默症辅助诊断算法性能比较Table 2 Performance comparison of Alzheimer′s disease-assisted diagnosis algorithms

从表2可以得出6种算法在3个二分类任务上的性能表现，本文提出的算法优于其他5种算法，即本文提出的算法可以帮助提高阿尔茨海默症的分类性能.其中基线算法，MKL以及MDCR这3种算法通过两个独立的步骤进行特征学习和模型训练，而本文提出的算法和MLAN算法将特征学习和模型训练集中在一个统一的框架中.MDCR算法虽然也是将特征学习和分类集成在一个模型中，但是本文提出的算法在MRI和PET图像数据融合上具有天然的优势，即可以学习到MRI和PET之间深层次的关联性.虽然NMF算法也可以学习到不同模态之间的共享表示，但是该算法只能学习到浅层的特征，捕捉不到MRI和PET之间深层的关系.本文提出的算法在4个评估指标上比所有的比较算法都有更好的表现.主要原因是本文提出的模型可以有效地发现多模式神经影像数据的隐藏信息，同时也确保分类模型向NMF深层提供反馈，从而更好地学习MRI和PET之间的共享特征.

此外，本文为了分析多模态数据有效融合的优势，同样设置3个二分类任务(AD vs.NC，MCI vs.AD，pMRI vs.sMRI).分别使用多模态神经影像(MRI和PET)数据和单模态神经影像(MRI或PET)数据作为输入.通过比较本文提出的算法与基线算法，NMF，MDCR以及MDNMF这4种算法的分类结果，体现多模态数据有效融合的好处.结果如图4-图6所示.

图4 NC vs.AD分类结果Fig.4 NC vs.AD classification results

图5 MCI vs.AD分类结果Fig.5 MCI vs.AD classification results

图6 sMCI vs.pMCI分类结果Fig.6 sMCI vs.pMCI classification results

从图4-图6可以得出，所有算法在使用多模态神经影像数据的分类准确率都优于使用单一模态神经影像数据.对于所有的二分类任务，本文提出的方法在使用单模态神经影像数据用于阿尔茨海默症诊断的性能较其他对比方法都有提升.如图6所示，在sMRI vs.pMRI的分类任务中，MDCR和本文提出的MDNMF方法都是基于深度学习的方法，通常这类方法都有较好的分类能力，但是由于本研究中的sMRI和pMRI样本数量有限，诊断性能就可能会下降.相比于MCI vs.AD的分类任务，用于训练模型的样本较多，所以本文提出的MDNMF方法和MDCR方法的分类结果就有所提升.

5 结果讨论与未来工作

本文提出一种两阶段任务的深度学习算法用于阿尔茨海默症辅助诊断，该算法在第1阶段通过MRI和PET之间的潜在联系，使用3DCGAN补全了缺失的PET图像数据.第2阶段在NMF的基础上提出基于多模态的深度NMF模型，利用MRI和PET之间的潜在联系，将特征学习与辅助诊断集成到一个统一的模型中，揭示了多模态神经影像之间的层次关联，并捕捉复杂的数据与标签之间的关系.实验结果表明利用MRI和PET图像之间的相关性，合成PET图像的算法是合理的，并且通过3个二分类的实验验证了本文提出的阿尔茨海默症辅助诊断算法的性能优于传统的多模态算法.在未来的工作中，可以通过增加生物标志物数据、临床诊断数据以及基因数据，进一步了解阿尔茨海默症的潜在生理机制，帮助提升阿尔茨海默症辅助诊断的性能.