孙晓枫，赵新军，吕春梅，张义民

（1.东北大学，辽宁 沈阳110819；2.沈阳化工大学，辽宁 沈阳110142）

1 引言

因为符合人的交互模式，多通道交互（multi-modal humancomputer interaction，MMHCI）被认为是更为自然的人机交互方式［1］，是未来人机交互的发展方向。多通道人机自然交互涉及到人的五感中视觉、听觉、触觉、味觉、嗅觉的感知体验，而且多通道的人机自然交互并非是各个通道叠加，而是各个感知体验直接的互动。多通道人机自然交互与传统的单一通道人机交互方式相比，能够更加精准、有效地实现人机对话，有效提升用户的交互体验。

近年来，随着科技的发展，新涌现的单通道认知感知技术，如语音识别［2］、人脸识别［3］、情感理解［4］、动态手势［5］、触觉等随着技术的进步更加趋向成熟，这也使得单一通道的人机交互性能得到了快速的提升。

2 当前研究现状

随着人工智能、虚拟现实等技术的进步以及人们对于人机交互体验追求的提升等，单一通道人机交互已经难以满足人们对于精准和完美交互体验的追求，而多通道人机自然交互能够实现人们各感官体验的融合，提升人的交互体验感受，具有更大的应用潜力，被广泛应用在虚拟实验室，如谷歌的Google Daydream Labs、阿里巴巴的VR实验室gnomemagic lab。

多通道人机自然交互是基于眼动追踪、语音识别、手势输入、感觉反馈等新的交互技术，利用多个感觉通道和效应通道的并行、协作与计算机进行交互［6］，力求将“人机交互”演变为“人人交互”，提高人机交互的高效性和自然性。多通道人机自然交互的实现离不开人类视觉、听觉、触觉、味觉和嗅觉等各感官的相互关联和作用，而人类五感中视觉和听觉是人类认知世界的最的重要感官。……