王璇 王雄 张向阳 杨一 贾浩强

（1.中国煤矿机械装备有限责任公司 北京市 100011）

（2.中国矿业大学（北京）机电与信息工程学院 北京市 100083）

人体行为识别是通过分析理解视频数据或图像数据中人员行为在空间上和时间上表达的特征，从而推断行为类别的一种技术，广泛用于视频监控和人机交互等领域。与图像识别不同，人体行为识别提取的特征不仅描述了视频图像中人员的外观，还包括了人体姿势的变化，将二维空间特征扩展到三维甚至更高维的时空特征。

目前行为识别主要应用于特征提取的神经网络框架为卷积神经网络（CNN）及其优化变种（如3D卷积神经网络）。这些方法都对输入视频质量有较高要求，且视频背景不能过于复杂。然而，考虑到实际各个应用环境和人体行为的复杂性，当前的主流神经网络模型在提取视频行为的特征并加以描述时存在信息利用不全面的问题，从而导致识别的准确度达不到相较于图像其他应用场景的高度。近年来，一种用于在非欧氏空间的图结构中提取特征的神经网络—图卷积神经网络（GCN），开辟了新的特征提取方法。时空图卷积网络（ST-GCN），首次将图神经网络应用于基于图的动态骨架建模，并使用GCN直接在拓扑图上进行卷积，使特征的提取更加全面准确。因此，本文提出了基于OpenPose提取人体骨架数据拓扑图以及构建多流图卷积神经网络（3S-GCN）的识别人员行为的方法。

1 总体框架设计

基于OpenPose+3S-AGCN的行为识别模型的整体框架原理为：首先，对于输入视频，通过OpenPose的人体关键点提取算法获得人体骨架关节点，构造人体骨架拓扑图，从而得到包含人体行为信息的特征图，达到降低噪声干扰的目的。……