贾晨，刘华平，续欣莹，孙富春

（1. 太原理工大学 电气与动力工程学院，山西 太原 030600; 2. 清华大学 计算机科学与技术系，北京 100084;3. 清华大学 智能技术与系统国家重点实验室，北京 100084）

现实世界中数据信息是以包括图像、文本、声音、纹理等多种模态形式存在的。信息和科技智能化发展为机器学习方法提供了硬件条件。近年来，以多模态为研究对象的机器学习算法不断涌现，使得多模态机器学习成为科研人员广泛关注的研究热点。以机器人为例，越来越多的研究定位于机器人感知系统的设计，仅靠单模态中典型的视觉图像分割[1]、物体检测[2]等任务已经不能完全满足机器人的识别与感知需求。在机器人手势交互领域，视觉手势与其他模态(表情、方向、声音、触觉等)相结合能够增强交互的高效性和互补性[3]。将不同隐含层局部模态信息融合得到的全局特征用于人脸识别，可以多元化检测人脸并解决遮挡问题[4]。在机器人情感分析方面，有效结合文本和图像特征并对融合语义进行训练，会得到优于单一模态的情感分类效果[5]。此外，对多模态异构数据进行相关性度量有助于提高视频检索效率[6]。实现基于道路场景理解的多模态信息(RGB-D、超声、激光雷达等)融合可以提高复杂环境下环境感知和道路识别的准确性与可靠性，有助于机器人实时路径规划和自主定位与导航[7-10]。

以上研究大多基于时下流行的深度学习算法。考虑到深度结构运行时间长、难以收敛等性质，本文旨在寻求一种简单、高效的机器学习技术，在降低模型训练时间、节约成本的基础上对不同模态信息进行融合学习，提高系统识别的准确率。……