尹坤阳,潘　伟,谢立东,徐素霞

(厦门大学 信息科学与技术学院,福建省仿脑智能系统重点实验室,福建厦门361005)

一种基于深度学习的人体交互行为分层识别方法

尹坤阳,潘伟,谢立东,徐素霞*

(厦门大学 信息科学与技术学院,福建省仿脑智能系统重点实验室,福建厦门361005)

摘要：本文把人体交互行为分解为由简单到复杂的4个层次:姿态、原子动作、复杂动作和交互行为,并提出了一种分层渐进的人体交互行为识别方法．该方法共有3层:第1层通过训练栈式降噪自编码神经网络把原始视频中的人体行为识别为姿态序列;第2层构建原子动作的隐马尔科夫模型(hidden Markov model,HMM),并利用估值定界法识别第1层输出的姿态序列中包含的原子动作;第3层以第2层输出的原子动作序列为输入,采用基于上下文无关文法(context-free grammar,CFG)的描述方法识别原子动作序列中的复杂动作和交互行为．实验结果表明,该方法能有效地识别人体交互行为．

关键词：人体行为识别;深度学习;隐马尔科夫模型(HMM);上下文无关文法(CFG);Kinect

人体行为识别在计算机视觉领域中占有重要地位,它在视频监控、医疗监护、人机交互和运动分析等诸多领域有着广泛的应用[1]．在过去的几十年中,研究者们提出了大量的行为识别方法,这些方法可以分为2类:单层行为识别方法和分层行为识别方法[2]．

单层行为识别方法又可分为时空法[3]和序列法[4]．时空法把输入视频当作一个三维的时空体(XYT),而序列法把输入视频视为特……