刘廷龙,康 斌,2

(1.大连工业大学 信息技术中心,辽宁 大连 116034;2.大连工业大学 信息科学与工程学院,辽宁 大连 116034)

0 引 言

基于骨骼的行为识别是计算机视觉的重要研究课题。它的研究和发展得益于卷积神经网络,监督学习和有关传感器的发展。

研究初期使用卷积神经网络或循环神经网络来预测由人体关节特征构成的序列和图像。但这种方法有很大的局限性;忽略了人体中关节点之间相互的连接性和内在关系。而这些联系是人体行为活动的重要信息。连续性和动态性在行为识别中具有重要地位。Kamel等[1]提出一种基于CNN网络的深度图和姿势数据的动作融合的人体行为识别方法,将输入数据分为两种形式;为了最大化特征提取,将信道分成3个。这种划分方式有效提高了识别精度。Pham等[2]在CNN的基础上提出深度残差神经网络,设计了新的网络结构,有效提升了动作识别率。之后文献[3-10]在自适应、尺寸大小、模型结构等方面对卷积神经网络做出了改良,但仍然存在准确率和性能方面的不足。Bruna等[11]首次提出用图来模型化人体关节点关系并提出图卷积神经网络GCN,自定义的拓扑结构难以在非自然连接点之间获得关系模型,这限制了GCN的表示能力。为了增强表示能力,有方法[12-15]通过空间时序或其他机制来学习人类骨骼的拓扑结构。它们对所有通道使用拓扑结构,这迫使GCNs在不同的通道中聚合具有相同拓扑结构的特征,从而限制了特征提取的灵活性。……