王腊苗

摘 要：机械臂分拣作业，是当前制造、物流、环保等领域最常见的工作场景之一。以基于目标检测的机械臂分拣作业系统为主要研究对象，利用深度学习对机械臂分拣抓取工作中的目标检测算法进行优化并进行实验分析，结果表明：优化以后的算法能够有效提升机械臂分拣、抓取成功率。该系统可移植性强，可广泛应用于不同类型机械臂分拣作业流程。

关键词：深度学习;目标检测;机械臂抓取;机械臂分拣

中图分类号：TP241 文献标识码：A 文章编号：1001-5922（2022）04-0166-04

Abstract： The sorting operation of robot arm is one of the most common working scenes in manufacturing， logistics， environmental protection and other fields. Taking the sorting operation system of the robot arm based on target detection as the main research object， this paper uses deep learning to optimize the target detection algorithm in the sorting and grasping work of the robot arm and carries out experimental analysis. The results show that the optimized algorithm can effectively improve the sorting and grasping success rate of the robot arm. The system has strong portability and can be widely used in the sorting operation of different types of robot arm.

Key words： deep learning; target detection; grasping of robot arm; sorting of robot arm

分拣工作已逐渐发展为工业生产、物流运输、航空航天、教育医疗等领域不可或缺的重要环节[1]。在传统的分拣作业工作中，多利用纯人工方式进行工件抓取、分拣等存在分拣效率低、分拣错误率高等弊端。为此，有研究机构开始尝试利用图像识别技术结合PLC等开发出一种能够自动完成工件分拣工作的机械臂系统，大大降低了工件分拣工作中的人力成本，缩短了分拣工作所耗时间。然而，随着现代工业等领域对重复性强、场景单一地分拣作业系统分拣智能化要求的不断提升，利用传统图像方法完成机械臂分拣作业逐渐暴露出准确率低、鲁棒性差以及可移植性不足等問题，需要一种更加智能化的方法进行机械臂分拣系统工作优化。本文所开发系统，具备一定的目标检测模型配置选择优越性，能够一定程度提升机械臂分拣系统工作成功率和稳定性。

1 机械臂分拣系统整体架构

传统分拣系统作业需要通过人工手段提前为机械臂分拣系统构建工件构造特征，将构造特征录入系统以后作为模板进行分拣作业工件定位、识别等，一旦工件发生变化，则需要再次对检测目标进行特征构造，重新录入系统开展后续工作[2-4]。而利用深度学习目标检测算法，可以实现机械臂分拣系统特征构造环节的机器学习，不再需要对工件特征进行多次构造，进而增强分拣系统的可移植性。机械臂分拣系统整体架构如图1所示。

1.1 应用层

该层主要由机械臂和图像采集装置（摄像头）构成：机械臂负责接收上层指令完成对工件的抓取和分拣工作;图像采集装置负责对工件的图像信息进行获取并传送至上层控制层。系统应用层是外部能够直接观察到的层面。

1.2 控制层

该层主要负责处理图像采集装置传送的图像并对机械臂发送控制指令。首先，图像预处理软件接收图像采集装置利用USB通信发送的图像信息;其次，将预处理完毕后的图像矩阵发送至图像处理单元对获取的工件信息和模型进行预测，得到工件的位置、类别等目标检测信息;最后，将目标检测信息发送至机械臂控制模块生成G代码等控制指令。

1.3 服务器层

该层主要用于对机械臂分拣系统的搭建，为系统运行提供算法资源并对基于深度学习目标检测算法的机械臂分拣系统工件模型进行训练评估。服务器层在完成算法训练后，能够得到大量浮点数组成的模型配置权重文件，利用该文件能够准确描述多种构造特征工件的结构和参数值。服务器层通过系统搭建和算法训练，能够将机械臂分拣系统中的工件模型部署和封装到控制层，进而对应用层的机械臂具体动作与形态进行控制。

2 机械臂分拣系统硬件架构

2.1 硬件选型

机械臂分拣性能对系统硬件设备依赖性极强，本研究在一定预算要求下对系统硬件设备进行了筹备，详细系统硬件设备选型如表1所示。本次机械臂分拣系统硬件设备主要包括服务器、图像处理平台等。

2.2 硬件架构

与系统整体框架对应所得机械臂分拣系统硬件架构如图2所示。工件在处于USB工作环境下后，通过摄像头USB方式将拍摄图片传输至Jetson Xavier;图片信息经Jetson Xavier中的预处理模块处理完成以后生成图像矩阵;图像矩阵发送给Jetson Xavier目标检测模块获取工件的位置、形状、类别等特征后发送给Jetson Xavier中的机械臂控制模块生成G代码，进而实现对机械臂的控制。该硬件架构实现了机械臂分拣系统中指令与数据的回路。

3 基于深度学习的目标检测算法优化

3.1 算法流程

一般的机械臂分拣系统中，目标检测模块通过高清摄像设备中颜色模块的感知等很容易对某物体进行定位并分类[5]。但是当背景复杂或存在多个物体混杂在一起时，单纯的目标检测难度往往迅速提升，一般的算法将很难从图像中提取某些抽象概念并进行准确定位。

深度学习是一种发源于人工神经网络的学习结构，深度学习理论与目标检测算法的融合，能够通过组合图像中的底层特征形成更加抽象的高层表示属性类别或特征，以发现待检测目标图像中各区域数据的分布式特征表示[6]。基于深度学习的目标检测算法，能够利用服务区期限算法进行不断的训练，使机械臂分拣系统构造特征能够适应工件类型、位置等的不断变化，具有较强的泛化性和高移植性如图3所示。

图3虚线框中目标检测算法流程中RPN本质上是一个能够反映风险顺序数的全卷积神经网络，RPN接收的特征图是经卷积层、池化层等作用以后部分输出的特征图，输出为待检测目标图像中某候选区域预测及算法对该检测区域属于背景/目标等的判断结果。RPN的输出结果将会在ROI池化层中伴随工件构造特征数据库提供数据生成固定长度的特征向量，之后通过全连接层对特征向量进行目标分类，进入最优抓取位置检测。

3.2 优化算法模型

本文构建基于深度学习目标检测算法的机械臂分拣模型主要通过两部分进行优化：①构建了用于提取待检测工件图像候选区域的RPN模块;②构建了用于检测并识别待检测工件图像候选区目标的快速R-CNN模块[7]。其中RPN模块框架如图4所示。

RPN框架主要由卷积层和全连接层构成。如图4所示，卷基层位于模块框架下层，以一个像素为1，将若干个像素构成的矩形作为图像信息获取中使用的矩形滑动窗口，在RPN框架中进行二维到三维的位姿转换，得到该滑动窗口扫过图片区域的256维特征向量。将所得特征向量按照cls、reg层两种划分原则进行分类，分别用于定位滑动窗口位置以及判断扫过位置图片信息属于目标或者背景。将矩形滑动窗口中心作为锚点，分别生成基于该图片的k个形状各不相同的一系列矩形锚框，按照cls、reg层两种划分原则进行锚框目标得分和回归边界划分。

快速R-CNN模块利用CNN网络结构用来进行目标检测和语义分割任务。快速R-CNN模块工作流程主要分两步：将卷积神经网络CNN运用到自下而上的region proposals上来定位和分割目标，当标签训练样本不足时，可以在相关监督学习任務上进行精调，能产生显著的性能提升[8-9]。

4 机械臂分拣最佳抓取位置检测与验证

4.1 最佳分拣位置检测

本文利用深度学习优化后的目标检测算法，将机械臂最佳分拣位置检测分为两步级联系统：第1步，利用RPN模块和快速R-CNN模块选择一系列包含目标物的待检测区域;第2步，将第1步获取的检测区域锚框目标得分和回归边界进行计算，得到最优分拣框并表示为图5所示的机械臂分拣位置示意图。

其中椭圆部分表示工件带分拣目标;（x，y）表示待检测区域最佳分拣框在图像坐标系中的中心位置;矩形框表示机械臂夹持器位置，实线部分待检测区域分拣框的“长”为夹持器开口方向;α表示待检测区域分拣框的“长”与坐标系纵轴之间的夹角。利用深度学习算法对不同矩形框的表面法向量特征进行提取，经过旋转、白化数据等操作，得到待检测区域最佳分拣位置的若干组搜索框，通过权值训练得到最优的唯一一个搜索框，该搜索框即为机械臂最佳分拣位置分拣框。

4.2 实验验证

为验证本次构建基于目标检测算法的机械臂分拣系统工作性能，本文设计两组实验对机械臂分拣中的分拣动作成功率、准确率等进行分析。其中，实验一为未进行深度学习的一般目标检测算法机械臂分拣系统与本系统工作性能对比实验;实验二为两种不同工艺、材料以及构造特征工件利用本系统进行抓取时的性能验证实验。

4.2.1 实验一

以一般目标检测算法机械臂分拣系统为对照组（A），深度学习优化目标检测算法机械臂分拣系统为实验组（B），对同一工件进行抓取分拣进行30次对比试验，机械臂抓取分拣成功则记录为1，未抓取分拣成功则记录为0，所得实验结果如表2所示。

按照“成功率=成功样本数/总样本数”进行计算，A组整体分拣成功率为46.7%，B组分拣成功率为93.3%，实验组分拣成功率优势明显更高，同时，利用深度学习优化后的目标检测算法，除第一次及第二次未抓取分拣成功以外，其余抓取分拣动作均成功，可见该学习算法在对机械臂分拣抓取动作进行训练后取得了明显成效。

4.2.2 实验二

以某一号工件为对实验组Ⅰ，以某二号工件为实验组Ⅱ，利用深度学习优化目标检测算法机械臂分拣系统进行30次抓取分拣试验，机械臂抓取分拣成功则记录为1，未抓取分拣成功则记录为0，所得实验结果如表3所示。

从整体成功率角度分析，两组试样分拣成功率相同均为96.7%，表明了本系统进行工件分拣时的优越性;但工件二在进行第五次实验时出现了一次抓取失败，按照理论上对深度学习优化以后的目标检测算法分析，越往后抓取分拣的成功率应越高，本文通过对实验过程进行复原推理，并未发现实验中存在不严谨情况，属正常结论。

5 结语

综上，本文构建了一种基于目标检测的机械臂分拣系统，该系统的目标检测算法在经过深度学习优化以后，能够获得远高于一般目标检测算法的抓取分拣成功率。随着现代工业对机械臂分拣系统应用范围的扩大，分拣系统抓取分拣工件成功率、准确率成为机械臂分拣系统发展过程中最为主要的研究领域，本研究旨在为工业分拣、机械臂等研究领域提供理论与经验借鉴。

【参考文献】

[1] 朱福喜，杨怡群，傅建明，等.人工智能原理[M].武汉：武汉大学出版社，2002.

[2] 詹炜.基于候选区域的深度学习目标检测算法综述[J].长江大学学报（自然科学版），2019，16（5）：108-115.

[3] 张慧，王坤峰，王飞跃.深度学习在目标视觉检测中的应用进展与展望[J].自动化学报，2017，43（8）：1 289-1 305.

[4] 郭宪，马书根，李斌，等.基于动力学与控制统一模型的蛇形机器人速度跟踪控制方法研究[J].自动化学报，2015，41（11）：1 847-1 856.

[5] 朱雨贺.基于深度学习目标检测的机械臂分拣系统研发[D].杭州：浙江大学，2019.

[6] 蔡汉明，赵振兴，韩露，等.基于SSD网络模型的多目标检测算法[J].机电工程，2017，34（6）：685-688.

[7] 曾庆源，沈洪锐，龙健云，等.智能移动垃圾分拣机器人设计与实现[J].电子制作，2019（23）：24-25，44.

[8] 杜学丹，蔡莹皓，鲁涛，等.一种基于深度学习的机械臂抓取方法[J].机器人，2017，39（6）：820-828，837.

[9] 宋焕生，张向清，郑宝峰，等.基于深度学习方法的复杂场景下车辆目标检测[J].计算机应用研究，2018（4）：1 270-1 273.