蔡国永，储阳阳

（1.桂林电子科技大学计算机与信息安全学院，广西 桂林 541004；2.桂林电子科技大学广西可信软件重点实验室，广西 桂林 541004）

0 概述

随着移动终端技术的发展和可拍照设备的普及，越来越多的社交用户每天通过社交媒体创建和分享海量的视觉内容，这些用户生成的视觉内容的情感分析被广泛地应用于推荐、广告、舆情监控等领域。由于图像的低级视觉特征和高级情感语义之间存在难以逾越的“情感鸿沟”以及情感本身的复杂性和主观性，使得针对视觉内容的情感分析任务极具挑战性［1］。已有研究结果表明，图像情感与图像的不同层次的视觉特征相关，例如颜色等低层特征可以直接地刺激观看者从而产生情感，图像中的物体对象等高层特征同样可以传递情感。近年来，深度学习特别是卷积神经网络（Convolutional Neural Network，CNN）在视觉识别领域展现出优异性能［2］，基于深度学习的视觉情感分析方法也已经取得了较好的效果［3-4］，但在克服“情感鸿沟”方面仍有提升空间。

现有的基于深度学习的视觉情感分析模型往往只利用网络的最后一层输出的语义向量作为特征进而训练分类器进行情感分类，忽略了CNN 浅层所提取的有用信息。同时，由于情感的复杂性，图像之间情感差异往往由细微的局部特征所体现，因此需要在大量的局部特征中提取更具判别性的特征，现有的深度网络的特征提取能力仍需进一步增强。

针对以上问题，本文构建基于双注意力多层特征融合的网络模型DA-MLCNN。……