王程民 万薇 何时剑

摘  要：文章从工程实际出发，对Delta机器人在线分拣的图像识别环节进行了分析，提出了将基于深度学习的RetinaNet算法作为目标检测算法，既保证了检测识别的精度又提高了检测速度与效率，符合实际的生产要求。

关键词：Delta机器人;深度学习;RetinaNet

中图分类号：TP242         文献标志码：A         文章编号：2095-2945（2020）33-0092-03

Abstract： Based on the engineering practice， this paper analyzes the image recognition link of Delta robot's online sorting， and proposes RetinaNet algorithm based on deep learning as the target detection algorithm， which not only ensures the accuracy of detection and identification， but also improves the detection speed and efficiency， thus meeting the production requirements.

Keywords： Delta robot; deep learning; RetinaNet

Delta机器人作为一种工业并联机器人，具有很好的灵敏性与准确度。由于因为执行器安装在机器人的底部，机器臂不需承载执行器本身的重量，因此机器臂可以用轻的复合材料制成。所以Delta机器人的惯性很小，可以以高速进行，也可以有很大的加速度。在工业上特别适合用作小型零部件产品的分拣与包装。由于最初的Delta机器人主要是由末端执行器的轨迹规划来完成分拣、搬运任务，对机器人的加工、装配都有很高的精度要求，在工作前需要对其运动学进行建模进而进行轨迹规划，必要时还需要对其末端运动误差进行分析[1]，非常繁琐。所以通常采用机器视觉的方式来配合Delta机器人完成对目标的识别与抓取工作[2]。使得Delta机器人成为一个闭环系统，提高了工作效率与可靠性。

通常使用工业相机来抓取生产线上的产品图像，然后对提取的图像进行算法识别，获得目标的位置，进而控制机械臂完成分拣抓取动作[3]。其过程通常为图像采集，信号处理，特征识别，位置获取，动作执行;如图1所示。

特征识别是这里最关键的步骤，需要借助现有的图像处理算法来完成。常用的匹配算法就是基于图像特征的识别：第一步对图像进行预处理，主要是去噪及边缘检测为后面的操作提取其更为丰富的特征，第二步建立需匹配的图像间特征对应， 特征基元有：点特征、边缘特征和区域特征[4]。由于现场的拍摄环境复杂，尚没有完善的通用图像匹配算法。通常做法是采用多种图像匹配算法进行使用。常用的有SIFT，尺度不变特征变换（Scale-invariant feature transform，SIFT）以及HOG，方向梯度直方图（Histogram of Oriented Gradient， HOG）。

从图2可以看出SIFT、HOG等算子只能反映图像的底层特征，难以提出抓取目标物相似且位姿不同的情况下的一些深层次的特征。整个检测精度和效率都较低[5]。特别是分拣生产线具有的高速度带来目标辨识要求，很难通过传统的算法进行快速检测。

回归到人类识别的功能认知上来看，人类是基于对物品的认知进而开始识别的过程。以上提到的算法都是一种从图像的细节进行特征提取及识别，而人类往往是从图像的整体方面进行认知与掌握的。深度学习（DL， Deep Learning）是机器学习（ML， Machine Learning）领域中一个新的研究方向，基于人工智能的技术以及计算能力的提高，深度学习可以通过自动学习提取到有用的特征，然后进行分类识别[6]。它尝试从样本中寻找其规律性与层次表现，通过学习算法分析复杂的信息类似文字、图像、声音甚至视频等。这种类似人类一样学习能力使得它可以在以往很难获得突破的分类识别方面取得了极大的进展。

基于深度学习的目标检测算法根据有无候选框生成阶段分为双阶段目标检测算法和单阶段目标检测算法两类[5]。双阶段目标检测算法先对图像提取候选框，然后基于候选区域做二次修正得到检测结果，这样做的优点是检测精度较高，缺点是检测速度较慢;单阶段目标检测算法直接对图像进行计算生成检测结果，优点是检测速度快，缺点是检测精度低。由于Delta机器人抓取物体大部分小且重量轻，外形相对比较简单，因此这里选择采用：基于单阶段目标检测算法。单阶段檢测算法也被称为基于回归分析的目标检测算法，其内容是将目标检测问题当作对目标位置和类别信息的回归分析问题，通过一个神经网络模型可以直接输出得到检测结果[7]。

单阶段目标检测算法的算法结构是基于深度神经网络的一个端到端的训练结构。算法模型如图3所示由特征提取与目标检测两个模块组成。其中特征提取含有特征提取网络和辅助网络。特征提取网络是对图像分类数据集上预训练的权重进行迁移学习的实现，提取特征目标。目标检测则是由若干全连接层或卷积层构成，这些层构成了检测器，可以输出检测结果。每个检测器可以对应的输出一个检测结果。

RetinaNet是由Facebook AI团队于2018提出的一个高效的单阶段目标检测算法。算法采用 Resnet-FPN作为骨干网络，并针对单阶段目标检测器存在的样本类别失衡问题，提出Focal Loss以调节难易样本的loss贡献度，有效缓解了样本失衡对检测性能的影响，达到了接近两阶段目标检测算法的检测精度[8]。是继SSD和YOLO V2公布后，YOLO V3诞生前的一款目标检测算法，针对现有单阶段法（one-stage）目标检测模型中前景（positive）和背景（negatives）类别的不平衡问题，提出了一种叫做Focal Loss的损失函数。RetinaNet本质上是由Resnet网络、特征金字塔网络（Feature Pyramid Network，FPN）和两个全卷积网络（Fully Convolutional Network，FCN）的子网络组成。图4是它的网络框架。该网络最大的创新就是使用Focal Loss代替了传统的交叉熵（Cross Entropy，CE）。

Focal Loss的定义为[9]

F（pt）=-at（1-pt）γlog（pt）

pt=p，y=11-p，y≠1

其中：y为标签值;p为模型预测值;at为线性调节因子，γ为指数调节因子。

根据任务要求以及控制器的计算能力选择ResNet-50作为特征提取网络。这是一个50层深度学习网络。含有4个区块，每个区块依次具有3，4，6，3个Bottleneck。配合特征金字塔FPN结构以及两个FCN子网络组成RetinaNet检测模型。

对搭建好的RetinaNet检测模型进行训练，设置参数，将之前采集到的工件图片通过模型转化为模型权重文件，之后就可以对现场实施采集的图片进行目标识别了。

RetinaNet作为一种网络单阶段目标检测算法，确保了算法在实施现场的应用实时性要求;通过特征金字塔网络（FPN）构建了用于目标检测的多尺度特征，并提出了新型损失函数（Focal Loss），显著提高了目标检测算法的准确性。

Delta分拣机器人适用于小型电子类零部件的流水线应用，其工作速度快，对目标识别要求高。这里设计的基于RetinaNet的智能识别算法可以满足高精度快速識别的双重要求，在工业应用中提供了一种有效的解决方案。特别是算法所具有的自主学习功能以及对样本失衡的控制功能，可以更有效的提升识别精度、效率。在算力允许的情况下，接下来可以朝着更多层分类网络发展，以得到更好地精度。

参考文献：

[1]张续冲，张瑞秋，陈亮，等.Delta机器人产品分拣轨迹规划仿真[J].计算机仿真，2019，36（11）：295-299+364.

[2]梅江平，王浩，张舵，等.基于单目视觉的高速并联机器人动态目标跟踪算法[J].天津大学学报（自然科学与工程技术版），2020，53（02）：138-146.

[3]陈跃春.基于Delta机器人的目标图像识别与动态抓取系统设计[J].电子世界，2019（19）：124-128.

[4]王军.图像匹配算法的研究进展[J].大气与环境光学学报，2007（01）：11-15.

[5]赵永强，饶元，董世鹏，等.深度学习目标检测方法综述[J].中国图象图形学报，2020，25（04）：629-654.

[6]李燕飞.基于深度神经网络的视觉识别分类研究[D].内蒙古工业大学，2018.

[7]刘俊明，孟卫华.基于深度学习的单阶段目标检测算法研究综述[J].航空兵器，2020，27（03）：44-53.

[8]谢学立，李传祥，杨小冈，等.基于动态感受野的航拍图像目标检测算法[J].光学学报，2020，40（04）：107-119.

[9]Lin， T.-Y.， Goyal， P.， Girshick， R.， He， K. & Dollar， P. Focal Loss for Dense Object Detection[J]. IEEE transactions on pattern analysis and machine intelligence，2020，42（2）.