苏树智 张若楠 郜一玮 高鹏连 朱刚

摘 要：典型相关分析是一种经典的线性多模态融合方法，但是难以有效解决高维非线性数据的多模态融合问题。结合典型相关分析、线性回归分析与深度神经网络，提出一种新颖的多模态融合方法，即深度偏最小二乘相关分析。该方法能够在最大化不同模态之间相关性的前提下学习具有强鉴别力的跨模态融合数据，并且能够有效解决典型相关分析面临的高维非线性困境。在真实图像数据集上的实验结果表明，提出的方法具有良好的融合鉴别力和相关收敛性，是一种有效的多模态融合方法。

关键词：多模态融合;典型相关分析;偏最小二乘相关;深度学习;图像识别

中图分类号： TP391文献标志码：A

文章编号：1672-1098（2021）02-0023-06

收稿日期：2020-07-23

基金项目：国家自然科学基金资助项目（61806006）;中国博士后科学基金资助项目（2019M660149）;安徽省“115”产业创新团队基金资助项目;合肥综合性国家科学中心能源研究院基金资助项目（19KZS203）

作者簡介：苏树智（1987-），男，山东泰安人，副教授，博士，研究方向：模式识别、深度学习、多模态数据处理。

A Multi-modal Fusion Method via Deep Partial Least Square Correlation Analysis

SU Shuzhi1，2，ZHANG Ruonan1，2，GAO Yiwei1，2，GAO Penglian1，ZHU Gang1

（1.School of Computer Science and Engineering， Anhui University of Science and Technology， HuainanAnhui232001， China;2.Institute of Energy， Hefei Comprehensive National Science Center， HefeiAnhui230031， China）

Abstract：Canonical correlation analysis （CCA） is a classic linear multi-modal fusion method but difficult for CCA to deal with multi-modal fusion of nonlinear data. Therefore a novel multi-modal fusion method， i.e. the deep partial least squares correlation （DPLSC） is proposed by means of CCA， linear regression analysis， and deep neural network， which may maximize the correlation of different modalities and simultaneously learn the cross-modal fusion data with a strong discriminative power. Besides， the nonlinear dilemma and the small size sample problem of CCA will be solved with the method. Experimental results on real-world image datasets reveal that the proposed method is an effective multi-modal fusion one with a strong fusion discriminative power and good correlation convergence.

Key words：multi-modal Fusion; Canonical Correlation Analysis; Partial Least Squares Correlation; deep Learning; image Recognition

典型相关分析（Canonical Correlation Analysis， CCA）[1]是处理多模态数据的统计学方法，旨在最大化不同模态特征之间的相关性，目前已经被成功应用于很多领域。文献[2]将CCA用于多模态特征学习和数据融合，并在图像识别中获得了良好的实验结果。从不同的角度，文献[3]通过使用随机化方法降低典型相关分析的时间复杂度，提出了统计CCA方法，实现投影方向的快速学习。……