王璇， 吴佳奇， 阳康， 潘子恒， 杨伟， 王文清

（1.中国煤矿机械装备有限责任公司，北京 100011；2.中国矿业大学（北京） 机电与信息工程学院，北京 100083；3.煤炭科学技术研究院有限公司，北京 100013；4.北京工业职业技术学院，北京 100042）

0 引言

煤矿井下环境恶劣且具有危险性，对井下工作人员姿态的规范性要求较高。井下作业场所的特点决定了作业人员的姿态特征，包括站立、行走、蹲（坐）等，而跌倒、在运输巷或罐笼处躺卧等为不安全姿态。人体姿态包含大量有价值的原始数据，可为煤矿井下灾害预警和矿山救援提供有效信息[1]。对井下工作人员进行姿态检测，有利于提高井下人员姿态的规范性，保障其人身安全，对提高矿井安全生产水平有实际意义。

人体姿态检测技术可分为基于机器学习和基于惯性测量2类。在基于机器学习的人体姿态检测技术方面，L.Bourdev等[2]采用支持向量机和随机森林算法估计人体姿态；郑莉莉等[3]采用径向基核支持向量机完成对不同人体姿态的估计；黄心汉等[4]采用Faster R−CNN目标检测架构和ZFNet卷积神经网络对识别目标进行姿态检测，具有环境适应性强、速度快等优势；许志强[5]提出了一种基于深度学习的实时人体姿态估计系统，借助卷积姿态机算法完成人体关键点的姿态检测，利用3D游戏引擎Unity完成虚拟人体骨架搭建，实现人体姿态实时检测；钱志华等[6]设计了姿态检测元模型和参数可学习的域适应优化器，通过离线学习和在线学习相结合的方式进行多场景人员姿态检测。在基于惯性测量的人体姿态检测技术方面，S.K.Song 等[7]采用三轴加速度计设计了可穿戴模块，可实现对常见人体姿态的检测；曹玉珍等[8]提出了基于 MEMS（Micro−Electro−Mechanical System，微机电系统）加速度传感器的人体姿态检测方法，可判断人体跌倒状态；J.Stamatakis等[9]利用加速度传感器设计了一套步伐测量系统，可对帕金森患者的步态进行检测；陈超强等[10]认为人体在行走过程中下肢步态具有一定的周期性，提出了基于惯性测量方法的下肢外骨骼步态预测方法，解决了下肢外骨骼机器人跟随控制问题。

上述方法均在一定程度上实现了人体姿态检测，但应用于煤矿井下效果较差，主要原因是井下人员姿态较多，且姿态数据为时间序列，对时间延迟敏感，而支持向量机、随机森林算法等不能较好地存储计算结果[2]，对时间序列数据计算能力较差，难以处理连续相关数据。另外，上述方法在处理人员姿态数据时依赖于硬件系统强大的计算能力，需将采集数据传送至独立计算机处理，导致延时问题[11-12]。

笔者所在研发团队提出了一种基于改进LSTM（Long Short Term Memory，长短期记忆网络）的煤矿井下人体姿态检测方法。该方法通过压力传感器、角度传感器采集井下工作人员脚底压力、腰腿部角度数据，采用便携式边缘运算决策单元进行姿态判别，无需将采集数据传送至地面计算机进行姿态判断，保证了数据实时性。

1 人体姿态检测方法

1.1 井下人体姿态分类

根据煤矿井下对作业人员姿态判断的实际需要，将井下人体姿态分为站立、行走、弯腰、蹲（坐）、躺卧5种，见表1。

表1 煤矿井下人体姿态分类Table 1 Human posture classification in coal mine underground

1.2 人体姿态数据采集

设置4个角度传感器、2个压力传感器及边缘运算决策单元（内置1个角度传感器）获取人体姿态数据。数据采集装置布置如图1所示。压力传感器与特制硅胶鞋垫作为一体，置于井下人员的工作靴中，用于采集左右脚底压力数据。4个角度传感器分别安装在人员左右小腿和大腿外侧，采用伸缩带固定在工作裤上，用于采集人员腿部角度数据。边缘运算决策单元置于腰间，用于采集腰部角度数据。压力传感器和角度传感器将采集数据发送给边缘运算决策单元进行处理。

图1 人体姿态数据采集装置布置Fig.1 Distribution of human posture data collection devices

1.3 人体姿态数据边缘运算

人体姿态数据采样值定义见表2。压力传感器的1个采样值为1个数据点，角度传感器获取的任一姿态轴角度为1个数据点。考虑到小腿仅在踢腿动作时存在0～90°角度变化，为减小计算复杂度，将小腿角度采样值设为一维数据。某时刻所有采样值组成的向量为1个时间序列数据[8-9]，设为I=[X1，X2，…，X19]。

表2 人体姿态数据采样值定义Table 2 Definition of sampled human posture data

人体姿态数据采集装置对原始数据进行平均值滤波等预处理后，发送至边缘运算决策单元。边缘运算决策单元以Intel Edison模块为处理器，运行基于改进LSTM的人体姿态检测算法实现姿态估计；采用 1 700 mA·h，4.2 V 锂电池供电，正常工作时间可达 48 h。

2 基于改进LSTM的人体姿态检测模型

LSTM适用于处理和预测时间序列中间隔和延迟非常大的信息[10]，其作为 RNN（Recursive Neural Network，循环神经网络）[13-14]的改进型网络，能够解决RNN存在的长期依赖问题，但其存在算法复杂性高、计算耗时长等问题，不适合处理高维序列数据。

边缘运算决策单元的输入数据为19维时间序列数据，若直接输入LSTM，将导致姿态检测实时性较差。另外，高维序列数据会增加算法复杂度，降低计算效率。因此，本文将 SA（Sparse Autoencoder，稀疏自编码器）引入 LSTM，设计了 LSTMSA（Long Short Term Memory Sparse Autoencoder，长短期记忆稀疏自编码器），其网络结构如图2所示。

图2 LSTMSA 网络结构Fig.2 Network structure of long short term memory sparse autoencoder (LSTMSA)

LSTMSA 中，SA作为网络结构的前级，对输入数据进行编码、降维，减轻LSTM运算负担。SA由2层卷积层组成：第1层为输入层，用于接收19维数据；第2层为输出层，也是整个LSTMSA的第1层隐藏层，用于对输入数据进行特征提取，实现数据降维。LSTM作为网络结构后级，由1层隐藏层和1层输出层组成，根据SA提取的特征数据进行人体姿态估计。

由于LSTM输出为5类结果，则其输入数据不得高于5维，所以设置SA输出4维数据，令其为Z=[z1，z2，z3，z4]。

式中wi，j为 SA 输入层第i（i=1，2，…，19）个神经元与输出层第j（j=1，2，3，4）个神经元之间的计算权值。

LSTM使用门控机制对输入的特征向量流通和损失进行引导[15]，从而输出5维向量O=[，]，−分别表示站立、行走、弯腰、蹲（坐）、躺卧姿态，其值为1或0。输出向量中为1的维度即得出的估计姿态，如O=[0，1，0，0，0]表示估计姿态为行走。

3 试验与结果分析

基于煤矿井下人体姿态检测方法，设计嵌入式可穿戴人体姿态检测平台，在实验室环境下进行人体姿态检测试验。测试者为5位24～28岁健康成年人，身穿井下工作服在坡度为0，15，35°的地面上完成行走、站立、弯腰、蹲（坐）、躺卧5种姿态，如图3所示。

图3 测试用人体姿态设置Fig.3 Human posture setting in test

试验要求：① 姿态数据采样时间为 0.02 s。② 在同一环境下进行试验，每位测试者均参与3组试验的姿态数据采集。③ 测试者动作满足表1要求（测试者姿态习惯不同，可模拟实际应用环境中煤矿井下人员的行为姿态差异）。④ 硬件设备结构、安装角度、位置不变（实际测试中会略有差异，模拟实际应用环境下井下人员穿戴差异）。

试验时对每种姿态均采集4 000组数据，随机分为训练集和测试集，各包含2 000组数据。采用训练集分别对LSTMSA，LSTM，RNN进行200轮训练，得到基于不同网络的人体姿态检测模型。网络训练环境为 Ubuntu16.04 系统、Nvidia GTX 3080TI显卡。

将测试集数据分别输入LSTMSA，LSTM，RNN进行人体姿态检测，结果见表3−表5。可看出3种算法均能实现对人体姿态的有效检测，虽然RNN无法处理连续时间序列数据，但得益于本文方法通过多维数据采样来提高检测准确率的方式，RNN对于人体姿态的检测准确率平均达到80%以上。

表3 LSTMSA 人体姿态检测结果Table 3 Human posture detection results of LSTMSA

表5 RNN 人体姿态检测结果Table 5 Human posture detection results of recursive neural network(RNN)

3种算法对人体姿态检测的准确率如图4所示。可看出LSTMSA，LSTM的准确率几乎相同，可见是否采用SA对LSTM检测准确率影响较小，而RNN准确率较其他2种算法低；在5种人体姿态中，行走姿态的检测准确率最低，站立和躺卧姿态的检测准确率较高。

图4 3 种算法的人体姿态检测准确率对比Fig.4 Accuracy comparison of human posture detection by LSTMSA, LSTM and RNN

表4 LSTM 人体姿态检测结果Table 4 Human posture detection results of long short-term memory(LSTM)

算法运算时间通过边缘计算决策单元的定时器来计数，再根据处理器主频计算出实际运算时间。3种算法处理2 000组数据的平均运算时间如图5所示。可看出LSTM运算时间最长，达到32 s以上；RNN运算时间最短，不超过4 s；LSTMSA运算时间介于其他2种算法之间，较LSTM减少50%以上。

图5 3 种算法检测人体姿态的运算时间对比Fig.5 Computing time comparison of human posture detection by LSTMSA, LSTM and RNN

综合上述结果可知，LSTMSA对人体姿态检测的准确率达90%以上，且能够兼顾运算效率，可满足现场对人体姿态检测实时性和准确性的要求，具有可行性。

4 结论

（1） 根据煤矿井下人员作业特点及对应姿态特征，将矿井人体姿态划分为站立、行走、弯腰、蹲（坐）、躺卧5种，并提出采用压力传感器和角度传感器获取人体姿态数据，通过便携式边缘运算决策单元进行姿态判别，构建了一种煤矿井下人体姿态检测方法。

（2） 提出了一种改进 LSTM，即 LSTMSA，采用SA对采样的原始人体姿态数据进行降维，以解决数据维度较大导致的运算效率低等问题，再将降维后的人体姿态数据输入LSTM进行姿态检测。

（3） 基于煤矿井下人体姿态检测方法设计了试验平台，在同一试验环境下分别对LSTMSA，LSTM，RNN进行测试，结果表明LSTMSA能够兼顾准确率和实时性，可用于矿井人体姿态检测。

（4） 基于LSTMSA的煤矿井下人体姿态检测方法在现场大规模应用前，还需进一步研究2个关键技术问题：① 目前只针对5种姿态进行检测，但井下作业人员姿态很多，特别是有代表危险行为的姿态，如跌倒、翻越等，姿态复杂且数据量大，需研究如何提高复杂场景下庞大时间序列数据的姿态检测准确率。② 若采用更复杂的硬件系统来提高姿态检测准确率，将导致系统功耗增大，而便携式边缘运算决策单元采用容量有限的电池供电，为保证其正常工作时间不低于48 h，需研究如何提高姿态检测算法的计算效率。