中国科学院自动化研究所的研究人员借鉴生物神经结构、认知机制与学习特性，在“视听模态的生成、融合”，以及“智能体之间的知识迁移”方面取得了重大突破。在“视听模态的融合”问题中，研究人员提出了有效将听觉信息融合在视频描述生成框架中的特征融合策略，获得了理想效果；在“视听模态的生成”问题中，研究人员提出了一个跨模态循环对抗生成网络、一个联合对应对抗损失函数和一个动态多模态分类网络，构建出了更有效的视听跨模态相互生成模型；在“智能体之间的知识迁移”问题中，研究人员将一种新类型的知识——交叉样本相似性引入到深度度量学习中，将知识形式化成一个教师和学生网络间的排序匹配问题，将经典的基于列的学习转换成排序学习算法，大幅提高了学生网络的性能，也可获得较传统方法更好的迁移性能。 (程 博)