丁 健，杨 亮，林鸿飞，王 健

(大连理工大学 计算机科学与技术学院，辽宁 大连 116024)

0 引言

对人类的情绪进行科学的分析，一直以来都是一个颇具难度的任务。因为人类的情绪表现方式具有多元化的特点，不同的人对于自己的意见的表达形式和特点并不相同。[1]例如人们的表情、神态、动作、声音的表现形式对于每一个个体而言都不是遵循着同一套规律的。随着人工智能技术的发展，使得利用人工智能算法进行情绪分析成为了一个热门的研究方向。以往出现了很多利用单一模态数据的情绪分析工作，但是现实情况中的人们并非仅通过单一的形式表达自己的情绪，人们在交流过程中也是通过多种不同角度的信息对他人的情绪、情感进行推断的。所以，单一模态的情绪分析是不够完备的，而且单一模态的数据更容易受到噪声的影响，从而影响模型的鲁棒性。

多模态的情绪分析工作，需要适宜的多模态情绪分类的训练数据。随着互联网产业的高速发展，各种社交媒体平台也呈现出了蓬勃发展的态势。其中以Youtube等视频网站的社交媒体平台在世界范围内最为突出。而我国的抖音、快手等新兴的短视频平台也在迅速发展的同时得到了广泛的认可。这些社交媒体呈现出越来越蓬勃的生命力，社交媒体平台的用户们在其中分享自己的观点和生活的意愿也大幅度提升，人们可以更容易地获得包含着情绪、情感观点信息的不同模态的数据。……