APP下载

基于知识蒸馏与迁移学习结合的多模态音乐情感识别

2021-09-23刘华平梁晓晶高月洁

复旦学报(自然科学版) 2021年3期
关键词:模态情感音乐

赵 剑,刘华平,梁晓晶,高月洁

(杭州网易云音乐科技有限公司 音视频实验室,上海 200080)

1 研究背景

音乐作品蕴含着丰富的人类情感,情感对于音乐情绪的传递、音乐的理解及欣赏等有着不可或缺的作用[1].随着互联网技术及人工智能的发展,数字音乐的数量呈爆炸式增长,面对海量的音乐作品,如何根据不同环境以及用户的不同心情推荐合适的音乐成为近些年研究的热点问题.在此背景下,音乐情感自动识别受到了越来越多的关注.

近年来,深度学习技术已经替代传统的统计学算法成为音乐情感自动识别领域的主流技术[2].音乐最主要的内容包括数字音频和歌词文本,目前对于音乐情感识别的研究也主要集中于这两方面.

相较于传统的统计学方法需要人工设计复杂的特征,深度学习可以从数据中自动学习最合适的特征表示.同时,受到深度学习在语音识别、机器翻译等领域的卓越表现的影响,Lidy[3]提出利用深度学习技术,基于音乐音频的情感识别方法,在MIREX(Music Information Retrieval Evaluation eXchange)音乐情感分类比赛任务中取得了优异的成绩.Byungsoo等[4]提出基于音乐音频及歌词的端到端多模态情感识别的二分类方法,并验证了该方法相比单一音乐音频与单一歌词音乐情感识别方法,其准确率有显著提升.Remi等[5]作者对多模态音乐情感识别中不同的时间段融合方法做了详细的对比实验验证,并验证了他们的中间融合方法比前置融合、后置融合的效果更佳.

2017年,陈……

登录APP查看全文

猜你喜欢

模态情感音乐
如何在情感中自我成长,保持独立
失落的情感
情感
如何在情感中自我成长,保持独立
圣诞音乐路
音乐
基于HHT和Prony算法的电力系统低频振荡模态识别
由单个模态构造对称简支梁的抗弯刚度
多模态话语模态的协同及在外语教学中的体现
音乐