多模态轻量级图卷积人体骨架行为识别方法
2021-04-11苏江毅宋晓宁吴小俊於东军
计算机与生活 2021年4期
苏江毅,宋晓宁+,吴小俊,於东军
1.江南大学人工智能与计算机学院,江苏无锡 214122
2.南京理工大学计算机科学与工程学院,南京 210094
行为识别是人工智能领域的重要研究方向之一,在视频监督、智能监控和人机交互等方向有着重要的应用。行为识别同时也是一项具有挑战性的任务,不仅因为处理视频片段所需的计算要求更高,而且易受外界环境因素的影响。这导致了基于RGB 视频的行为识别方法往往难以同时满足时效性和准确度的要求。最近几年,得益于深度相机的发展与普及,例如,MicrosoftKinetic[1],基于深度信息的行为识别[2]逐渐成为了该领域的重要研究方向之一。与传统的RGB 数据相比,骨架序列因为不包含颜色信息,所以具有简洁、易校准、不易受外观因素影响的特点。
早期的基于人体骨架的行为识别方法主要通过手工设计特征的方式来对行为进行表征[3]。例如Yang等人[4-5]的EigenJoints 方法,从骨架数据直接获得成对关节的静态姿势和偏移量,通过主成分分析法(principal components analysis,PCA)来减少冗余和干扰,最后通过非参数朴素贝叶斯最近邻(Naive Bayes nearest neighbor,NBNN)完成行为分类。在深度学习方法未被大规模使用之前,该类方法一直是行为识别领域的主要研究方向。但是,由于手工提取的特征往往表征能力有限并且需要耗费大量精力用于调参优化,因此当深度学习普及以后,一些端对端的基于深度神经网络的方法越来越受到人们的欢迎。
目前主流的方法可以分为以下三类:(1)基于循环神经网络(recurrent neural networks,RNN)[6]的方法;……
登录APP查看全文