APP下载

基于DTW 和CNN的仿真驾驶手势识别及交互

2021-03-22杨尊俭张淑军

关键词:深度动作

杨尊俭,张淑军

(青岛科技大学 信息科学技术学院,山东 青岛 266061)

手势是非语言交流的重要方式,也是非接触式的人机交互中的重点研究课题。其在各个领域取得了广泛的应用,如汽车自动驾驶过程中需要能够识别交警手势并做出正确响应,基于手势交互的车辆控制[1]、智能教学[2],基于手势的机器人控制[3-4]、3D模型控制等[5]。其中手势的识别速度和精准度是研究和应用的关键。

非接触式交互设备的出现,如Kinect、Leap Motion、HTC VIVE等,推动了基于手势的交互技术的进一步发展。Shotton等[6]从Kinect提供的深度数据中评估出3D关节点的位置,为人体动作识别提供了重要的数据基础。传统的手势识别主要通过数字图像处理的方式对手势进行跟踪、分割等处理,对图像进行分类。以骨架研究分为两大类[7]:一种是将骨架用点来表示,对点的信息进行分析处理;另一种则是将部分骨架表示为刚体片段进行分析[8]。曹国强等[9]使用动态时间规整(dynamic time warping,DTW)与朴素贝叶斯分类(naive bayes classification,NBC)相结合进行模板训练与匹配的方法,对手势进行分类。石祥滨等[10]通过K-均值聚类算法提取视频序列中关键帧的关节点位置和人体刚体部分之间的骨架角度来对动作序列分类。Ju等[11]结合RGB-D颜色空间的最大期望对Kinect捕获的手势进行分割。王鑫等[12]用LE(laplacian eigenmaps)流形学习对Kinect设备获取的人体关节点信息进行降维运算,提取特征。

随着卷积神经网络(convolutional neural networks,CNN)的提出,基于深度学习的识别方法得到了迅速发展。Sanchez-Riera等[13]使用Kinect进行数据采集,利用深度学习方法对手势的运行轨迹进行姿势和方向上的评估。……

登录APP查看全文

猜你喜欢

深度动作
下一个动作
深度观察
深度观察
深度观察
深度观察
动作描写要具体
让动作“活”起来
动作描写不可少
提升深度报道量与质
非同一般的吃饭动作