崔唯佳 刘彤 田若宇

（中国电子科技集团公司第五十四研究所 河北省石家庄市 050081）

传统的无人机控制主要依赖图形用户界面（GUI）实现人机交互，需要操作员进行复杂的逻辑管理和熟练操作，然而，随着无人机在军民领域的广泛应用，无人机任务多样性不断增加，机载传感器种类越来越多，地面控制系统的任务指令的复杂性也随之增加，给操作带来了极大挑战，尤其要求操作员在不同任务和环境条件下，准确、快速地做出控制决策。为减少操作员的操作训练时间以及操控负担，简化指令步骤，提高操作体验，研究和应用高效、自然、直观的人机交互方式具有必要性。

随着智能感知技术的飞速发展，以及人工智能、虚拟现实等技术的广泛应用，基于自然用户界面（NUI）的人机交互方式成为无人机操控技术的重要分支。当前基于手势、姿态、语音等更为自然的交互操控技术不断突破，快速推动了无人机自然交互方式的研究进展。

本文首先对无人机自然交互技术框架进行了概述，总结了手势、姿态、语音、脑电以及多模式自然交互技术的发展现状，比较分析了不同交互模式的特点及其适用性，展望了无人机自然交互技术的未来发展趋势与挑战。

1 无人机自然交互技术基本框架

基于自然用户界面的无人机交互技术主要包括手势、姿态、语音、眼动、脑电、多模态等控制类型，表 1对不同自然交互技术方法进行了简介。

表1：无人机自然交互技术简介

无人机自然交互技术主要包括四个实施步骤：

（1）指令映射。建立无人机控制指令在不同交互模式下的映射关系，例如，将无人机前进、后退、上升、下降、起飞、降落等控制指令映射为不同手势；

（2）信号采集。利用数据手套、脑电信号分析头盔、眼动追踪设备等可穿戴传感器采集信号，或非接触式视觉传感器采集手势姿态等图像信息，收集不同控制指令下的传感器数据建立数据集；

（3）模型训练。对数据集进行去噪、归一化等预处理；选择合适特征提取算法提高数据可分性用于模型训练，当前流行的分类器包括支持向量机（SVM）、极限学习机（ELM）、卷积神经网络（CNN）等；

（4）信号识别。利用训练获得的最优分类器进行信号识别，将识别结果映射为无人机控制指令，实现对无人机的控制。无人机自然交互技术实施框架详见图 1。

图1：无人机自然交互技术实施框架

2 无人机自然交互技术应用现状

无人机自然交互技术主要涉及信号采集和信号识别等环节，通过文献调研分别对不同交互技术信号采集和信号识别的方法应用进行总结分析。

2.1 不同交互技术信号采集方法分析

本文对不同交互技术信号采集方法以及方法适用性和局限性进行了分析总结，具体见表 2。

表2：不同交互技术信号采集方法分析

2.2 不同交互技术信号识别方法分析

手势识别技术：Fang等人从三维静态和动态手部数据中提取54维特征数据用于训练ELM分类器，实现手势识别；Taha等人对比分析多个分类器性能，得出SVM分类精度最高，KNN预测时间最短；Hu等人将4D骨架时空信息转换为2维矩阵和1维数组训练深度学习模型；刘璇恒等人结合卷积神经网络提取手势特征以及双向长短期记忆网络（LSTM）提取时序特征实现动态手势识别；刘岚馨利用惯性信号训练融合高斯混合隐马尔可夫模型和SVM的分类器，具有较高的识别率；陈艺琛将采集的16通道肌电信号转换成伪图片用于训练卷积神经网络实现手势识别。

姿态识别技术：Yam-Viramontes利用开源OpenPose算法从图像中提取人体姿态关键点训练CNN、SVM分类器实现姿态识别；杨幸利用时空图卷积网络（ST-GCN）提取骨架信息时空高维特征训练softmax多分类器实现姿态动作识别；Tomas利用基于改进的局部二进制模式（LBP）的描述算子（ASTH-LQDP）作为时空序列深度图像特征描述符训练SVM；Ali Maher等人利用Tiny-YOLO网络模型识别图像中左右手势和人脸，实现在GPS拒止环境下控制微型飞行器。

语音识别技术：王冲提取24 维 MFCC 特征训练动态时间规整（DTW）算法进行语音指令识别；Supimros等人提取语音样本的基频、梅尔频率倒谱系数（MFCC）、能量等不同特征训练SVM，得出MFCC-SVM分类器具有较好语音识别性能；周楠等人首先提取24维MFCC特征训练隐马尔可夫模型（HMM）进行语音识别，同时利用递归神经网络（RNN）对指令串进行预测降低指令误识别率；Pourmehr等人利用开源工具PocketSphinx library进行语音识别实现对单架或多架无人机的有效控制。

眼动识别技术：Corichi等人利用眼部周围4路脑电信号训练决策树分类器识别眼部运动方向进行无人机控制；Kim等人佩戴眼部红外相机采集用户正在凝视的图形用户界面区域实现对无人机控制；Perrin等人将双目眼动仪采集的2D凝视坐标映射为UAV机载相机俯仰和偏航运动控制输入。

脑电识别技术：Kosmyna等人设计了基于递归神经网络（RNN）的协同学习策略实现脑电信号识别；Khan等人利用线性判别分析方法（LDA）对脑电信号和近红外混合脑电信号进行分类实现对无人机的前进控制和触发控制；赵秀娟利用典型相关分析算法（CCA）对稳态视觉诱发电位(SSVEP)信号进行特征提取和分类，具有很好的实用性。不同交互技术信号识别方法汇总见表 3。

表3：不同交互技术常用信号识别方法

3 未来研究方向与展望

3.1 智能化发展

当前深度学习等人工智能技术极大的推动了无人机自然交互领域的发展，但机器学习算法普遍存在训练效率低、识别鲁棒性差等问题，极大地影响了无人机控制技术的时效性和鲁棒性的提高，因此，有必要开发高效的机器学习算法，从而不断提升无人机自然交互技术的智能化水平。

3.2 场景化发展

当前研究大多专注于对将各类自然交互技术应用至对无人机的控制中，为满足场景化的发展需求，未来应根据无人机应用场景研发具有针对性的自然交互技术，包括多模式共融的无人机自然交互技术，以及图形用户界面与自然用户界面共融的无人机控制技术等，以切实提升用户体验。

3.3 军用化发展

无人机作为未来战争的重要作战单元之一，体现了降低人员伤亡、成本低、配置灵活等突出优势，高效、稳定的自然交互技术可作为士兵操控无人机的辅助手段，使士兵更加直观、便捷地操控无人机来执行作战任务，无人机自然交互技术军用化发展对于提升复杂战场环境中士兵对无人机的操控效率具有重要作用。

4 结束语

随着人工智能技术的不断发展与广泛运用，研究并发展基于自然用户界面的无人机交互技术具有重要的现实意义和应用价值，本文详细调研了国内外基于自然用户界面的无人机控制技术应用发展现状，对不同交互技术的信号采集方法、识别方法等进行了比较分析，对无人机交互技术未来研究与发展方向进行了展望，为设计更为先进、自然的无人机交互模式提供了技术参考，同时，基于自然用户界面的交互技术现状调研可为无人机交互技术研究成果转化、推广应用等起到促进作用。