任泽裕，王振超，柯尊旺，李 哲，吾守尔·斯拉木

1.新疆多语种信息技术实验室，新疆多语种信息技术研究中心，乌鲁木齐830046

2.新疆大学 信息科学与工程学院，乌鲁木齐830046

3.新疆大学 软件学院，乌鲁木齐830046

在数据领域，多模态用来表示不同形态的数据形式，或者同种形态不同的格式，一般表示文本、图片、音频、视频、混合数据[1]。多模态数据是指对于同一个描述对象，通过不同领域或视角获取到的数据，并且把描述这些数据的每一个领域或视角叫做一个模态[2]。而多模态数据融合，主要是指利用计算机进行多模态数据的综合处理[3]，负责融合各个模态的信息来执行目标预测。数据融合是一项具有挑战性的任务。首先，数据是由非常复杂的系统生成的；其次，由于数据多样性的增多，可以提出的新的可以进行研究的类型、数量以及规模都变得越来越大；第三，为使得各个数据集自身的优势得以最大程度的利用，使用异构数据集，使得缺点得到一定程度的抑制并不是一项简单的任务[4]。常见的机器学习算法等均可尝试应用于多模态数据融合中。

1 多模态融合分类法

关于多模态的融合方法，大致可分为模型无关的融合方法和基于模型的融合方法两大类。其中，模型无关的方法较简单但实用性低，融合过程容易产生损失；基于模型的融合方法较复杂但准确率高、实用性强，也是目前运用的主流方法。

1.1 模型无关的融合方法

在多模态融合的过程中，融合发生的时间是一个重要的考虑因素。……