计亚荣，王瑜，付常洋，肖洪兵，邢素霞

北京工商大学人工智能学院，北京100048

前言

抑郁症又称抑郁障碍，是一种常见的精神类疾病，患者通常表现为情绪长期低落、悲观绝望，甚至出现自杀等行为［1］。目前的抑郁症诊断主要通过医生观察患者的临床症状与行为描述，并依据国际诊断标准进行判定，但这种方式过于依赖医生的主观判断，使得诊断准确率较低，造成患者病情延误或加重等后果。

近年来，越来越多的研究者使用机器学习方法识别医学图像，从而辅助医生进行早期的诊断与治疗。王露莹等［2］基于解剖图谱提取116 个脑区的影像组学特征，并使用重要程度高的特征构建支持向量机模型，结果显示，其分类器区分抑郁症患者与正常对照组的准确度为86.51%。赵建龙［3］提出一种基于功能网络连接的生成对抗网络，用于精神疾病患者的分类任务，显著提高了模型的分类精度，同时有效缓解脑图像的小样本问题。在这些研究中，多数任务只依据单一模态的核磁共振成像(Magnetic Resonance Imaging, MRI)数据就可达到较好的分类效果。文献［4］针对功能磁共振成像（functional Magnetic Resonance Imaging,fMRI）数据［5］，提出一种多尺度功能脑网络融合特征的分类方法，实验结果显示，其分类准确率达88.67%。文献［6］针对结构磁共振成像（structural Magnetic Resonance Imaging,sMRI）数据［7］，提出一种基于ADNI-Transfer 迁移学习方法的三维密集连接深度卷积神经网络（3DDenseNet264），以充分提取数据特征，实现准确分类。尽管对单模态数据的抑郁症分类已经达到较好的准确率，但仅对单一模态数据进行分类仍是片面的，并不能充分利用MRI数据的有效信息。

针对上述问题，本文提出基于双模态数据融合的抑郁症分类算法，以充分提取fMRI 与sMRI 的数据特征，得到更加准确的分类效果，首先构建多尺度功能脑网络，提取fMRI 特征，其次使用迁移学习的3D-DenseNet264 模型提取sMRI 特征，接着利用典型相关分析法将提取的两种特征融合，最后使用支持向量机（Support Vector Machine,SVM）［8］对融合特征进行分类。实验结果显示，本文提出的算法可达到较高的准确率，有效辅助医生进行抑郁症的临床诊断。

1 方法

本文提出的算法主要对被试双模态数据的融合特征进行分类，从而识别出被试是健康者还是抑郁症患者，在对数据进行预处理后，算法主要分为三步，分别为：特征提取、特征融合以及特征分类。算法流程图如图1所示。

图1 基于典型相关分析与双模态数据融合的抑郁症分类算法流程图Fig.1 Flowchart of major depressive disorder classification algorithm based on canonical correlation analysis and bimodal data fusion

1.1 特征提取

1.1.1 fMRI 数据特征的提取对于fMRI 数据的特征提取，传统的方法为根据某一特定的先验脑模板，对fMRI数据构建单一大尺度的功能脑网络［9-12］，并提取脑网络的局部与全局特征，用于下一步的分类任务。功能脑网络由节点和连接边组成［13］，由于可塑性强，能够提供丰富全面的影像学特征，因此被广泛应用于抑郁症的分类研究中［14-16］。依据不同尺度的脑模板，可以构建出包含有不同节点数目的脑网络，脑网络的节点数目越多，就越精细化，也就更能表征丰富的图像特征，因此仅构建单一尺度的脑网络，并不能充分提取fMRI 的数据特征。针对该问题，本文使用分别包含有116、264、625 和1 024 个脑区的4 个脑模板，构建4 种不同尺度的功能脑网络，并提取每种尺度脑网络的局部特征与全局特征，最后使用串联融合方法［17］将4种脑网络的特征融合，融合后形成的特征即为本算法要提取的fMRI 数据特征，由于篇幅所限，具体细节请参考文献［4］。多尺度功能脑网络如图2所示。

图2 多尺度功能脑网络Fig.2 Multi-scale functional brain network

1.1.2 sMRI 数据特征的提取对于sMRI 数据，深度神经网络可以有效提取其3D 特征，而前人的实验发现，经过ADNI-Transfer 方法迁移学习后的3DDenseNet264 模型，其分类准确率可达84.37%，召回率可达87.26%，与同实验其他模型相比，其分类效果最好［6］，因此本文使用该模型来提取sMRI 数据的特征。3D-DenseNet264模型共含有121层，其中模型的倒数第二层为一个全连接层，可输出一个高维的特征向量，最后一层为softmax分类层，用于对上一层输出的特征向量进行分类，由于本文使用该模型的目的主要在于提取特征，而不用于分类，且模型全连接层的输出向量一般包含有最丰富的图像特征，因此当被试的sMRI 数据被送入3D-DenseNet264 模型进行特征提取后，取其在模型全连接层的输出向量作为本算法要提取的sMRI 数据特征，由于篇幅所限，具体细节请参考文献［6］。

1.2 特征融合

在获取fMRI 与sMRI 的数据特征之后，本文使用典型相关分析（Canonical Correlation Analysis,CCA）［18］方法将两种图像特征进行融合。CCA 是一种利用一组向量中变量对之间的关系来反映向量整体之间相关性的分析方法。通过CCA 可以得到两个向量的线性组合，使它们彼此之间的相关性最大，随后通过串联或相加等融合策略，不仅实现了特征融合，也在一定程度上实现了冗余特征的去除，达到特征降维的作用。

其中，定义为fMRI 的特征向量定义为sMRI 的特征向量，的向量维度分别为p、q，定义为第i(1 ≤i≤p)对典型变量。

典型变量间的相关性表达为：

其中，E表示计算期望，σ表示计算标准差。要想找到使两个特征向量之间关联关系最大化的线性组合，就要使ρi值最大化。由于为乘以常数后，其相关系数值不变，因此同一个相关系数值ρi会有多组解，为避免求得多组重复的最优解，在最大化ρi值时，需使σA→best=σB→best= 1，故通过推算可表示为如式（4）的线性规划问题：

融合特征FCCA中蕴含着两种模态数据的特征，因此，与单模态特征相比，对融合特征进行分类，可达到更加准确的分类效果。

1.3 特征分类

融合特征获取后，本文使用基于径向基核函数（Radial Basis Function,RBF）的SVM 对其分类，其中RBF 核参数C值为103～105，g为10-4～10-1。实验将所有数据按8：1：1划分为训练集、验证集、测试集，采用五折交叉验证法训练和测试分类器，并且根据训练过程中损失函数值的变化与测试过程中评估指标值的大小，实时调整参数，以使分类器的效果达最优。

1.4 评价指标

本文所提算法主要依据被试的MRI 脑影像，将被试识别为抑郁症患者或健康对照者两类，规定抑郁症患者为正类（Positive），健康对照者为负类（Negative），分类模型对样本的预测有正确或错误之分，一般使用准确率（Accuracy）与召回率（Recall）评估模型的预测性能，准确率反映模型对所有样本的判定能力，召回率反映被正确判定的抑郁症患者占抑郁症患者总数的比重。其中，被预测为正类的正类样本数记为TP（True Positive）、被预测为负类的正类样本数记为FN（False Negative）、被预测为正类的负类样本数记为FP（False Positive）、被预测为负类的负类样本数记为TN（True Negative），则准确率、召回率的定义如下：

1.5 算法流程

基于以上方法的介绍，本文算法的实现流程如下所示：步骤1，对某一被试的fMRI 数据构建多尺度功能脑网络，提取各脑网络的特征并进行串联融合，形成的融合特征，记为；步骤2，将该被试的sMRI数据输入到训练好的3D-DenseNet264 模型中，提取其在全连接层的输出，即维度为1 024 的特征向量，记为；步骤3，根据式（1）和式（2）获得对应的典型变量表达式；步骤4，根据式（3）得到间的相关性表达式ρi，根据式（4）求得使ρi值最大时的线性组合向量；步骤5，将进行串联融合，得到最终的融合特征FCCA；步骤6，使用SVM分类器对FCCA分类，获得模型对被试的辅助诊断结果。

2 实验与结果分析

2.1 数据获取

本研究共包含174 名被试，其中包括99 名重症抑郁症患者和75名年龄、性别、受教育程度匹配的健康对照者。重症抑郁症患者是从首都医科大学附属安定医院招募的，健康对照组是从报纸广告上招募的。依据美国精神障碍诊断与统计学手册第四版［19］所列标准，所有被试都已经过严格筛选，且均签署知情同意书。实验需采集每一位被试的fMRI 数据与sMRI 数据，两种模态数据均由一台第三代特斯拉磁共振扫描仪（西门子公司，德国埃尔根）扫描所得。

2.2 数据预处理

fMRI 数据预处理主要步骤为：（1）丢弃前10 个时间点，以获取被试者对机器有一定适应性时的稳定信号；（2）灰质分割；（3）时间层校正和头动矫正；（4）空间标准化为3 mm 体素的标准空间；（5）平滑；（6）去线性漂移；（7）将0.01～0.08 Hz 带宽之外的样本过滤掉，以消除高频干扰。整个过程基于Matlab 的SPM8 工具包［20］实现。sMRI 数据预处理的主要步骤为：（1）去除非脑组织；（2）空间标准化；（3）灰质分割；（4）空间平滑。整个过程基于Matlab的SPM12工具包［21］实现。

2.3 实验结果

为验证所提算法的有效性，本实验设计基于CCA 与双模态数据融合的抑郁症分类模型，对其训练与优化，同时使用先前实验训练所得的两种模型作对比实验，两种模型分别为：基于fMRI构建多尺度功能脑网络的抑郁症分类模型（单独fMRI分类）［4］与基于sMRI 使用ADNI-Transfer 的3D-DenseNet264 模型（单独sMRI 分类）［6］，由于两种模型与本实验模型使用同组数据，且训练方法一致，因此可进行对比。同时，为明确CCA 方法对双模态数据融合分类的效果优劣，实验中额外增加一组对比算法，即基于串联融合的抑郁症双模态数据分类方法，与本文所提算法不同的是，该算法在特征融合环节使用串联融合法［21］，实验对两组模型使用相同的训练与测试方法，并依据评估结果进行对比分析。各对比实验结果如表1所示。

表1 抑郁症分类的对比实验结果（%）Tab.1 Comparative experimental results of major depressive disorder classification(%)

从表1可以看出，使用CCA 实现双模态数据融合的方法，其准确率比单独fMRI 数据分类高出0.89%，比单独sMRI 数据分类高出5.19%，说明双模态数据融合分类思想可提升抑郁症分类效果，具有一定可行性。然而并不是所有的双模态融合分类方法均具有实现意义，例如本实验基于串联融合的方法，其分类效果虽高于单独使用sMRI 数据进行分类的结果，却比单独使用fMRI 数据分类结果低2.33%，这说明将深度学习网络提取的特征与功能脑网络的特征进行简单拼接，并不能达到预期效果。另外，在双模态数据融合分类的方法中，基于CCA 方法与基于串联融合的方法相比，其准确率提升3.22%，召回率提升2.86%，说明使用CCA 融合特征对抑郁症的分类更有效。而且本文所提算法的准确率达89.56%，召回率达95.48%，与本实验其他算法相比，效果最好，表明使用CCA 实现双模态数据融合的方法，在抑郁症的分类中具有一定优越性。

3 结论

为了提高抑郁症的分类精度，充分利用MRI 数据的多模态信息，本文提出基于CCA 方法与双模态数据融合的抑郁症分类算法，分别提取fMRI与sMRI数据的特征，使用CCA 方法融合两种特征，并使用SVM 分类器对融合特征进行分类。实验对所提算法的模型进行训练与测试，并设计一系列对比实验，结果表明，本文提出算法的分类准确率达89.56%，召回率达95.48%，均优于使用单模态数据分类的结果，说明基于双模态数据融合的抑郁症分类方法具有一定的有效性，同时实验结果显示，与使用串联融合的方法相比，使用CCA 融合双模态数据特征的方法，可达到更高的识别精度，有效提升分类效果，具有重要的研究价值。