童佳宁， 李志刚

(1. 河北工业大学 电气工程学院, 天津 300130; 2. 石家庄职业技术学院 信息工程系， 石家庄 050051)

在港口的清淤工作中，提高机械设备的工作效率、降低能耗、预测设备故障及纠正操作人员的不规范操作动作等一直是业内追求的目标。实现这些目标的关键在于对机械运动特别是连续机械运动的准确识别及分析。准确识别出清淤设备关键部位的运动动作，进而将运动动作与标准库的规范动作进行比对，同时做出相应的评估。再根据所得评估结果得出设备工作状态等级，对所监测的清淤船进行报警或实施相应的干预或提交操作改进意见。

随着混合传感器和数据传输技术的进步及机器学习技术的发展，机械动作识别尤其是连续动作的识别与分析已成为可能。通过混合传感器采集到机械设备工作时的运动信号，并对这些数据进行深入的处理和分析，可判断出设备所处的工作状态。

常用的动作采集方法有采集运动轨迹、物体轮廓和骨架信息等。再通过建立模型对其进行分类，典型分类方法有支持向量机、隐马尔可夫模型及动态时间规整等，其中广泛应用且效果较好的是支持向量机，这是一种有着坚实理论基础的小样本学习方法。但它需要借助二次规划来求解支持向量，而求解二次规划将涉及m阶矩阵的计算，当m数目很大时该矩阵的存储与计算将耗费大量的机器内存和运算时间,使得该方法在大数据量实时识别场合中使用有所不及。视频采集所用Kinect主要应用于人体动作识别，识别景深范围小，对于较大型设备动作已超出其识别范围。

鉴于以上方法的局限性，本文提出一种连续动作的识别方法。通过在机械臂上安装三维混合传感器，采集作业时的运动数据。建立机械臂模型并分析其运动特性和采集到的运动数据，提出一种新的复合特征参数用于动作分割。在完成连续动作分割的基础上分析铲斗作业动作，提出一种位移向量作为BP神经网络进行动作识别的特征参数，最终将机械臂的核心动作从整体作业过程中识别出来。连续动作识别流程见图1。

1 建立机械臂模型

清淤船机械臂完整机械结构见图2。机械臂作业动作全部反应在铲斗上；铲斗的空间坐标(包括位置和角度)及铲斗的运动速度和加速度完全取决于机械臂的动作。小臂前端的四连杆机构控制铲斗的翻转动作。

将大臂、小臂和四连杆机构抽象出来，建立机械臂抽象模型见图3，其中：b杆为铲斗;c杆为小臂。

混合传感器分别安装于大臂、小臂和四连杆，分别获得它们与水平方向的夹角。铲斗铲齿尖端与四连杆机构的b杆成固定的90°。∠B可通过传感器获得;四连杆各杆长度可由各型号挖掘机手册得到,最终需求解到的∠I，即斗口面与垂直方向夹角(后称斗口角)。将核心部分的四连杆机构抽出见图4。

(1)

由式(1)可求得∠G。

(2)

(3)

由式(2)和式(3)可求得∠H和∠K，得到斗口角∠I为

∠I=∠G-90=∠D+∠F-180

(4)

铲斗的位移一定在由机械臂尺寸决定的范围内。铲斗运动过程见图5。图5中:θ为作业中大臂绕车身旋转的角度;d为铲斗运动位移。求取过程为

(5)

2 数据采集及预处理

清淤船机械臂完成一次从挖掘、转运到卸载的运动过程，大臂、小臂和四连杆动作通过多个混合三维速度-加速度传感器以每秒数百万个数据的速度进行采集，并不断地传至数据中心。这些数据中掺杂着各种机械振动造成的无效数据，如发动机的振动、机械臂和铲斗振动等。为剔除这些无效数据，面对数据量较大和系统要求实时性较高的特点，选用算法简便、处理速度较快的快速移窗滤波法进行处理。将原始数据与滤波后数据对比绘制波形曲线见图6,由图6可知滤波效果十分显著。

3 动作分割

通过对数据的分析发现,在清淤作业中完成一次完整的连续挖-移-卸动作时，斗口角呈现出周期性的变化(见图7)。因此,可将斗口角作为特征参数，分割出每个周期的起止时间，即将完整的一次连续动作从总时长中分离出来。

所得到的铲斗动作时间和铲斗位移可选作BP神经网络的输入特征值。

4 BP神经网络的设计

BP神经网络强调的是网络采用误差反向传播的算法进行权值调整。它由多层构成，层间全连接且层内无连接。其中，网络的传递函数必须可微。BP基本结构见图8。

4.1 输入层和输出层的设计

输入项包含动作开始时间、动作结束时间、铲斗位移挖掘坐标和卸载坐标等4种特征值，因此输入节点数量设置为4个。输出判定为是否为完整动作，故设置输出节点为1个。

4.2 隐含层的设计

隐含层所包含的节点数对整体网络的性能有着很大的影响，一般来说更多的隐含层节点数能带来更强的网络性能，但是所带来的负面影响是训练时间更长。到目前为止，BP网络还没有确定节点个数的明确方式。通常做法是采用如下经验公式给出估计范围：

(6)

式(6)中:k为样本数;M为隐含层神经节点个数;n为输入层节点个数;m为输出层节点个数；a为[0，10]之间的常数。通过经验公式计算范围结合试验结果，最终将隐层节点数设为4。

4.3 误差

训练数据归一化后输入网络，每个样本的实际输出与期望的差为误差。实际输出为

(7)

网络的期望输出为

(8)

在实验设计时使用误差的平方和作为误差参数。

(9)

4.4 权值调整

由图8的BP神经网络结构图可得到输入层到隐层的权重矩阵为

(10)

从隐层到输出层的权重矩阵为

(11)

根据最速下降法，权值调整公式为

(12)

(13)

为了提高训练速度，本文使用有动量因子的最速下降法，因此除了第一次迭代外，之后所有的迭代都要考虑前一次迭代的权值修改量为

5 试验设计仿真与结果分析

试验中以斗山DX300LC型挖掘机为例，在多日的清淤作业中完成的动作包含标准动作挖-移-卸和非标准动作推卸、搬运等。传感器分别安装在大臂、小臂、四连杆及底座上，采样频率为115.2 kHz，共采集数据千余组。机械臂在作业的同时，摄像机同步拍摄全部过程作为验证依据，回看视频时人工标注各时间段内动作是否为完整连续动作，标注后数据作为训练数据及测试数据。利用斗口角作为动作分割的参数，分割出每个连续动作的起止时间及在此时间段内其他对应的参数。部分分割结果见表1。

针对所分割出的600多组数据进一步通过BP神经网络完成识别判定，识别出连续挖-移-卸动作并统计次数(见表2)。

6 结束语

表1 动作分割结果

表2 识别结果

本文使用BP神经网络，完成了从机械臂多种动作中识别出连续的挖-移-卸动作。试验结果表明：通过引入斗口角作为动作分割参数切实可行，可将数据进行有效的时间段划分。引入复合参数-铲斗位移作为BP神经网的输入特征，达到了良好的识别效果,为后续清淤机械工况等级划分、故障预警及操作指导等工作打下良好的基础。