语音驱动人脸动画研究综述
2015-09-18王慧慧新疆大学信息科学与工程学院乌鲁木齐830046新疆多语种信息技术实验室乌鲁木齐830046
现代计算机 2015年14期
王慧慧,赵 晖(1.新疆大学信息科学与工程学院,乌鲁木齐830046;2.新疆多语种信息技术实验室,乌鲁木齐830046)
语音驱动人脸动画研究综述
王慧慧1,2,赵晖1,2
(1.新疆大学信息科学与工程学院,乌鲁木齐830046;2.新疆多语种信息技术实验室,乌鲁木齐830046)
对语音信息的理解除了听觉信息,视觉信息也非常重要。在给出语音的同时,如果能给出相应的人脸动画,会提高人们对语音信息的正确理解,这正是语音驱动的人脸动画要达到的效果。语音驱动的人脸动画系统使计算机模拟人类语音的双模态,为人机交互提供可能性。简述语音驱动人脸动画的发展和语音驱动的人脸动画核心技术。
语音驱动的人脸动画;音视频映射;人脸模型
国家自然科学基金(No.61261037)
0 引言
语音驱动的人脸动画合成就是当给出语音信息时,如果能相应地给出视频信息,可以大大提高对信息的理解。这里所说的语音信息是指说话所产生的声波,而视觉信息就是说话者的可视发音器官,如嘴唇、下巴、舌头、面部肌肉等。语音信息和视觉信息都是由发音器官的作用产生的,发音器官包括声带、舌头、嘴唇、下腭、鼻腔等。由于某些发音器官是外部可以看得见的,所以语音信息和视觉信息之间有着必然的内在联系。由于并不是所有的发音器官是可见的,所以语音信息和视觉信息之间不是存在简单的一对一的关系。
近年来,语音驱动人脸动画成为研究热点,研究者在语音驱动的人脸动画方面取得了一定的成果,主要集中在语音驱动人脸动画中,对音视频映射模型的探索和人脸模型的探索中。……
登录APP查看全文
