邵帮丽，朱寅，朱润，潘晨曦，王坚，奚雪峰*，杨颢，2

(1. 苏州科技大学电子与信息工程学院，江苏 苏州 215009； 2. 苏州市虚拟现实智能交互及应用技术重点实验室，江苏 苏州 215009； 3. 昆山市公安局，江苏 昆山 215300)

随着物联网的发展，嵌入式设备在人们的日常家居生活中得到了广泛应用，人机交互技术为用户带来高质量的生活体验。现有智能家居人机交互主要借助遥控器或者手机进行红外遥控，通过按键或者触屏进行操作；还有依托语音助手[1]控制家居设备，实现非接触式控制。然而，上述两种主要控制方式都存在局限性。红外遥控需要借助第三方移动设备，增加了故障载体；语音助手的控制方式，同样依赖第三方移动设备，并且虽然融入了语音控制的便捷性，但仍存在输入数据来源单一、准确率不高等问题。考虑到目前存在的人机交互方式都是间接控制且存在上述问题，本研究提出一种多模态融合[2]的方法应用于家居设备中空调的日常控制。通过语音识别将语音指令转换为文字指令加以理解，并辅于设定的手势调节，不借助其他设备，仅依赖于用户语音及手势特征。

本研究基于多模态融合现有的方法以及相关基础理论，分析并探讨多模态人机交互方法，并将其应用于家居生活中空调控制系统的构建。

1 相关理论基础

现有的多模态融合方法可分为模型无关的方法和基于模型的方法。模型无关的方法依据融合的阶段可以分为早期融合，即基于特征的融合，在提取特征后立即集成特征[3]；……