毛涵，蒋伟

(中国传媒大学视听技术与智能控制系统文化部重点实验室，北京100024)

1 引言

随着社交网络的快速发展，图片、视频等多媒体规模不断扩大，如何有效处理加工多媒体内容已成为人们研究的焦点。以往的图片、视频研究集中在高层语义的认知层研究，如物体检测与人脸识别。随着多媒体传播方式的变革，人们获取信息不仅仅依靠视觉，同时听觉也成为获取信息的重要渠道。如今，人们不仅仅需要获取多媒体的内容信息，对多媒体的情感分析需求也日益迫切。有效利用视听觉融合效应逐渐成为多媒体情感研究的突破点。视听觉融合效应的研究可通过对声画关系和谐与对立问题来切入图像的情感语义研究。基本研究思路是通过将视觉与听觉模态分开，分别研究图片和音乐的高层情感语义，通过建立情感空间，采用提取特征的方式探索图片和音乐的情感语义。但图片的情绪语义分析研究中常存在情感标注维度单一，理解困难等缺点，不利于对视听融合下的情感语义研究，因而需要以视听觉信息融合智能处理科学与技术为依托，建立针对特定场景的情感形容词标注方式。如以影视剧运用方向为例，选取影视剧图片库进行情感形容词标注。

2 图片情感库现状

近年来，对视听觉融合效应下图片的情感分析研究不断受到重视。在图片情感研究中，研究者通过实验材料对情感诱发，以揭示图片与情感的关联。……