车娜 赵剑 史丽娟 王柳 范秦寅

摘 要：文章提出一种基于Kinect和Faceshift技术的听障儿童言语康复训练方法。通过Kinect和Faceshift技术实时采集说话人面部信息，在利用视频驱动方式与面部三维模型相融合生成面部三维模型动画，实现能够实时显示说话人面部动画的面部表情、唇部动作，舌头运动状态的面部三维动画效果。本方法将面部三维模型动画和语音反馈结合起来从而真正意义上达到音视听结合的言语康复训练方法。试验结果表明，使用本言语康复训练系统对提高听障儿童言语康复训练的效率，缩短康复训练时间有显著效果。

关键词：Kinect；Faceshift；言语康复训练；面部三维模型；语音识别反馈

据中国残疾人联合会抽样调查统计数字表明，中国拥有听力及言语残疾人口数目约为2 057万，7岁以下聋儿近百万，每年新产生聋儿3万余名[1]。在聋儿7岁以前，尤其是在3岁左右时，如果能及时地进行康复治疗，极有可能帮助他们走出无声世界融入社会。因此，如何通过科学技术帮助聋儿缩短言语康复训练时间，提高效率尤为重要。

随着时代的进步和科学技术的发展，聋儿语言康复训练设备及方法已被广泛应用到聋儿语言功能康复训练中。如IBM Speech Viewer系统[2]，是一种高性能的实时语音治疗设备，但它要求使用者的语音学和传统临床疗法理解程度有很高的要求。在国内，影响力较大的是天津市聋儿语言康复中心开发的《聪聪学话》多媒体聋儿语训系统[3]，但该系统无法直接显示说话人面部表情状态。……