基于BP神经网络的仿人两指末端执行器抓握模式预测
2020-12-25陈小静彭培成张高峰王裕清
陈小静,彭培成,张高峰,王裕清
(河南理工大学 机械与动力工程学院,河南 焦作 454000)
0 引 言
在生活中,人手可根据物体的形状、尺寸等特征选择不同的手指接触组合,并对不同的接触点施加力以形成不同的抓取模式,对目标物执行抓握操作[1-2]。这一抓握行为过程为机器人手的抓握行为提供了良好的操作示范。为了复制人手抓握行为,许多学者研制了多指灵巧手以模拟人手的抓握模式选择过程[3-4]。多指灵巧手抓握模式的拟人化虽然在一定程度上提高了抓握作业的灵活性,但是与其相适应的抓握模式的复杂性导致机器人多指灵巧手抓握的智能化控制难度增大,使机器人多指灵巧手难以走向实用。与多指灵巧手相比,两指末端执行器的结构及控制更为简单,在工业和农业中有较为广泛的应用[5],但由于拟人化程度不高,多被用于针对特定物体的操作。因此,对人手拇指-食指抓握模式选择过程进行模拟,有利于机器人两指末端执行器拟人化程度的提高,也可为机器人手稳定抓握控制策略提供重要的参考依据。
目前,研究者主要采用人工神经网络等算法建立多指/三指灵巧手抓握模式选择模型并完成人手/机器人手抓握模式选择的模拟。在国内,熊蔡华等[6]根据物体的几何特征和姿态特征,采用人工神经网络建立机器人三指手抓握模式选择算法;骆敏舟等[7]根据人的抓取经验将欠驱动手爪的抓取模式分为精确平行、精确对心、包络平行、包络对心4种,并采用粗糙集和模糊神经网络进行抓取模式决策;丁祥峰等[8]将IM-2机械手将抓取模式分为强力抓取、夹握、侧捏、对握抓取、三指对捏共5种,并采用基于专家系统的抓取模式规划,根据物体不同的形状及尺寸选择不同的抓取模式;王从庆等[9]针对机器人多指手自身的特点,将被抓目标物样本的几何特征、姿态及任务要求等作为输入,研究物体的几何特征与抓取模式之间的复杂非线性映射,然后分别采用基函数为高斯核函数的RBF神经网络、支持向量机和二叉树聚类以及改进的模糊C均值聚类算法,实现了抓取模式的自主分类,并逐步提高了模型的正确率和有效性[10-11];陈辉等[12]通过模仿人手的抓握模式选择过程,根据物体姿态、几何特征和任务建立了反向传播的BP神经网络模型,对机械手进行了抓握姿态决策。
国外的一些学者亦对人手抓握模式的选择进行了研究,N.Rezzoug等[13-14]提出了多层神经网络架构,该架构由2个阶段组成:第一阶段用于手指反向运动学习;第二神经模型用于搜索手部姿势空间并对评估函数进行优化。该网络架构对于各种目标物的抓握模式均具有良好的预测效果;C.R.MASON等[15]将人手抓取模式简化为5种,即强力抓取、强力提升抓取、精密抓取、模拟强力抓取和模拟精密抓取。对接近和抓握物体过程中手指关节位置变化进行3D重构,并通过奇异值分解(SVD)演算了5种抓取模式的手指关节位置关系;N.Jarque-Bou等[16]采用主成分分析法对手指抓取运动学降维,对不同直径及质量的圆柱抓握模式进行了研究。
上述文献中的抓取模式预测,输入特征为目标物的特征,均未考虑人体或机器人本身的特征参数。目前,还未有针对两指抓握模式预测的研究,机器人两指末端执行器稳定抓握策略仍缺乏参考依据。因此,采用合适的神经网络方法建立手部特征及目标物特征与两指抓握模式之间的非线性映射关系,并对两指抓握模式进行有效预测,从仿生学角度实现对机器人两指末端执行器抓握模式的预测,可以为仿人两指机器人智能稳定抓握控制提供重要的决策依据。
1 试验材料与方法
1.1 拇指-食指抓握模式
依据T.Feix等[17]的抓握模式分类经验,将试验中人类拇指-食指抓握目标物所用抓握模式归为精密捏和强力握2种。试验时,如果试验人员仅用拇指与食指的远节指骨指面抓握-移动-释放目标物,该抓握模式记为精密捏(图1(a));如果试验人员用拇指和食指的多个指骨的指面抓握-移动-释放目标物,该抓握模式记为强力握(图1(b))。
1.2 试验步骤
为了构建两指抓握模式选择神经网络模型,把人手拇指-食指抓握释放试验作为训练样本集:将待抓握目标物预先放置于桌面a点,指导试验人员坐于实验桌前的中心线位置,一只手固定其上臂,肘部放置于桌面,小臂自然向前伸展;桌面上区域a和区域b与桌子的中线对称,两区域之间的中心距约为30 cm,以便于不同身高的试验人员对目标物进行接触和抓握操作(图1(c));最后,试验人员自然地使用右手的拇指和食指将目标物从区域a移动至区域b,然后,使用左手的拇指和食指将目标物从区域b移动到区域a。试验前,试验人员用香皂清洗双手,待双手完全干燥后逐个测定试验人员的身高并记录;将标定标签贴于试验人员双手的食指,使用数码相机(Canon IXUS 95IS)从手掌的正上方位置进行拍照,将拍摄的手部照片传输至电脑后,使用图像分析软件(Digimizer Version 4.2.6.0)分别对食指与拇指指长进行测量;其中拇指指长Lt、食指指长Li均为由远指指骨指尖到掌指关节处肤纹的距离(图1(d)),并计算拇指-食指指长之和Lfs,而后执行抓握释放任务。试验过程中中指、无名指、小指及手掌的其他部分均不能触碰目标物,如果抓握-释放过程稳定并且食指/拇指和目标物之间没有发生相对滑动,则该抓握试验记为成功,并记录试验人员所用的抓握模式;否则,记为失败。本试验共有6 390次抓握(213名志愿者×2手×5个形状×3个大小),其中有5 554次成功抓握。
图1 拇指-食指抓握操作试验Fig.1 Grasp experiments of human thumb-index finger manipulation
1.3 抓握目标物
利用3D打印机(MakerBot Replicator Mini+,Makerbot Industries,美国)打印5种不同的几何体:四棱柱、三棱锥、圆锥、椭球、圆柱,作为抓握目标物,所用材料为Polylactic Acid(PLA)。每种几何体有小、中、大3个不同的尺寸等级。试验过程中,两指从每个几何体的过质心平面抓取,并采用红色标记线表示抓握截面的位置。定义5种不同形状的几何体抓握截面处的等效直径,以作为后续神经网络的尺寸输入变量,对于四棱柱和三棱锥利用抓握截面的内接圆直径作为等效直径de统一描述不同抓握截面的几何尺寸,其他形状均以抓握截面的直径作为等效直径de。使用高精度电子天平(精度0.01 g)对每个目标物的质量进行测量并记录。
1.4 试验人员
试验人员是从河南理工大学及其附属幼儿园和鹤翔小学招募的志愿者。每名志愿者均身体健康,四肢灵活,无肢体伤病历史,且均为右利手。共有213名志愿者参与了抓握释放操作,其中男性104人,女性109人;试验人员的特征如下(平均值(标准偏差)):年龄16(8)岁;身高147.0(25.7)cm;拇指指长46.0(9.25)mm;食指指长60.5(11.3)mm。
2 抓握模式神经网络的建立
人类在使用拇指-食指对目标物进行抓握时,通常由视觉感知目标物特征,结合人自身的特征(指长)信息,经过大脑的中枢神经系统处理,对拇指-食指抓握模式进行决策。为了模拟这一过程,本研究选择等效直径de、形状So、质量Mo等目标物特征和手部特征食指与拇指指长之和Lfs作为自变量,将人手拇指-食指抓握模式作为因变量,得到目标物特征及手部特征与拇指-食指抓握模式之间的神经网络模型,通过该神经网络模型,对仿人两指末端执行器的抓握模式选择进行预测,具体过程如图2所示。
图2 仿人两指末端执行器抓握模式选择过程Fig.2 The grasp type selection process of humanoid two-finger end-effector
2.1 神经网络模型构建
BP神经网络模型是一种前馈神经网络模型,强调网络采用误差反向传播的学习算法,修正权值时,沿着减少误差的方向,从输出层向前逐层进行修正。如图3所示,BP神经网络由输入层、隐藏层和输出层构成[18],其中输入层包含预测变量即自变量xi,本研究中分别为目标物等效直径de、质量Mo、形状So以及食指与拇指指长之和Lfs;隐藏层bm(一层或多层)包含无法观察的节点或单元,每个隐藏单元的值均为某预测变量的函数,本研究中隐藏层为一层;输出层为因变量yn,本次研究拇指-食指抓握模式,即强力握和精密捏。BP神经网络的计算过程如下[18]。
图3 BP神经网络结构Fig.3 BP neural network structure
假设BP神经网络模型的输入层有I个单元,隐藏层采用tansig函数为传递函数,相应的隐藏层的输入为
(1)
隐藏层的输出为
bm=f(am)=2/(1+e-2am)-1,
(2)
式中:xi为输入向量的第i个元素;ωim为连接从神经元i和神经元m的突触权值;am为神经元m的诱导局部域;f为隐藏层输出处的激活函数;βm为神经元m处的偏置;bm为神经元m处的输出信号。
输出层同样采用tansig作为传递函数,则前向传导到输出层,传导公式为
(3)
yn=g(an)=2/(1+e-2an),
(4)
式中:an为输出神经元的诱导局部域;g为输出层的激活函数;yn为输出层的信号。
自变量中目标物的形状是分类变量,有四棱柱、三棱锥、圆锥、椭球、圆柱共5个水平,因此,在构建模型之前,设定4个哑变量So1、So2、So3和So4,并对5种形状进行编码:四棱柱编码“0000”;三棱锥编码“0001”;圆锥体编码“0010”;椭球体编码“0100”;圆柱体编码“1000”。因变量拇指-食指抓握模式也是分类变量,共有2种水平,即精密捏和强力握,分别编码为“0”和“1”。
2.2 L-M算法
BP神经网络训练时,通过输入学习样本集,得到网络输出,然后根据网络的目标输出值与实际输出值计算误差,从输出层开始向前逐层进行计算并修正权值和阈值,直到误差达到极小值,完成训练过程。L-M神经网络学习算法是高斯-牛顿法的改进,也是高斯-牛顿法和梯度下降法的结合,由于传统的BP神经网络学习算法存在收敛速度慢、易陷入局部极小值的缺点,故采用收敛速度更快,且训练精度更高的L-M学习算法进行神经网络训练,以提高抓握模式预测准确率。L-M学习算法的计算过程如下[18-19]。
设神经网络第n个输出节点的误差函数为
en(W)=dn-yn,
(5)
式中:dn为第n个输出节点的期望值,W为网络权值、阈值所组成的向量。
则神经网络的总误差
(6)
从而误差性能函数的Hessian矩阵可近似表示为
H=JT(W)J(W),
(7)
其中,J(W)为雅可比矩阵,
梯度为
G=JT(W)e(W),
(8)
根据高斯-牛顿法,可得迭代公式为
W(h+1)=W(h)-W-1(h)W(h),
(9)
其中,h为第h次迭代。
对高斯-牛顿法进行改进,可得
W(h+1)=W(h)-[JT(W)J(W)+
μI]-1J(W)e(W),
(10)
式中:μ为比例系数;I为单位矩阵。
当比例系数μ为0时,式(10)转变为高斯-牛顿法;当μ很大时,式(10)转变为梯度下降法,且由于雅可比矩阵的计算比Hessian矩阵容易,因此,可以获得较快的训练速度。
3 结果与分析
3.1 拇指-食指抓握模式选择预测
根据L-M算法的BP神经网络原理,使用MATLAB软件进行编程。使用抓握释放试验中5 554次抓握成功的试验数据作为训练样本集,误差目标设为0.05,通过改变隐含层的节点数以及最大训练次数来训练网络,最终选取隐含节点数为700个,最大训练次数为10 000次,得到较好的预测精度。
经过训练,网络的误差曲线如图4(a)所示,随着训练次数的增大,误差值逐渐降低;当训练次数达到8 000次以后,误差线开始趋近水平;在整个收敛过程中振荡较小。结果显示,L-M算法的BP神经网络的训练样本预测正确率为90%,预测精度较高,预测值与实侧值的相关系数为0.83(图4(b)),呈高度相关。
图4 L-M算法的BP神经网络误差曲线以及网络预测值与实测值的相关性Fig.4 Error curve and correlation between predicted value and observed value of BP neural network with L-M algorithm
3.2 仿人两指末端执行器的抓握模式预测
为了对仿人两指末端执行器的抓握模式进行预测,选用10种生活中的常见物品作为抓握目标物(表1),以各目标物质心位置处截面作为抓握截面,以抓握截面的内接圆直径作为等效直径,而当抓握截面为长方形时,取截面的内接椭圆短轴作为等效直径,并使用游标卡尺(精度0.1 mm)对这些等效直径进行测量,作为目标物的尺寸参数。以抓握质心截面±20 mm范围的形状特征作为抓握目标物的形状并记录。使用高精度电子天平(精度0.01 g)对目标物质量进行测量并记录。抓握目标物的特征参数如表1所示。
表1 目标物特征参数Tab.1 The characteristic parameters of target objects
试验所采用的仿人两指末端执行器如图5所示,与人手拇指和食指相似,为一长一短的搭配。较短的手指1具有2个关节即2个自由度,指长Lt为85 mm,较长的手指2具有3个自由度,指长Li为120 mm,两指指长和为205 mm。
图5 仿人两指末端执行器Fig.5 Humanoid two-finger end-effector
将10个目标物的特征、仿人两指末端执行器指长和特征作为训练好的L-M算法的BP神经网络的输入,结合人手抓握不同目标物的抓握模式选择经验,对仿人两指末端执行器进行抓握模式预测,预测结果如表2所示。对于螺丝刀、遥控器、玻璃瓶、乒乓球、抽纸和笔等目标物宜采用精密捏的抓握模式,对于洗手液、茶叶盒、胶带、杯子等目标物宜采用强力握的抓握模式。结果表明,对于等效直径小且质量轻的目标物多采用精密捏的模式,反之,多采用强力握的模式。在仿人两指末端执行器稳定抓握控制过程中,应根据以上抓握模式分类对各目标物的抓握模式进行决策,再根据抓握稳定性准则对抓握力进行控制,完成对目标物的稳定抓握。
表2 仿人两指末端执行器的抓握模式预测结果Tab.2 The predicted results of grasp type for two-finger end-effector
4 结 语
采用基于L-M算法的BP神经网络建立了手部特征及物体特征与拇指-食指抓握模式的非线性映射关系,对两指抓握模式进行了预测。结果表明,该神经网络模型预测正确率为90%,具有较高的预测精度。对于等效直径较小且质量较轻的目标物多采用精密捏的模式,反之,多采用强力握的模式。根据该网络模型完成了对仿人两指末端执行器的抓握模式的预测,为仿人两指末端执行器的抓握稳定控制提供了决策依据。