基于YOLOv3的桥式起重机摆角检测系统

2021-03-26

起重运输机械 2021年4期

同济大学机械与能源工程学院上海 201804

0 引言

桥式起重机是现代工业生产和起重运输中实现生产过程机械化、自动化的重要设备，广泛应用于室内外工矿作业、钢铁化工、铁路交通、港口码头以及车间物流周转等场所[1]。提高桥式起重机的效率和实现无人化控制的研究是当前热点，其中闭环防摇控制是实现起重机自动化控制的重要一环。闭环防摇控制需要实时检测摆角作为防摇算法的反馈量，对于摆角检测的研究具有重要意义。

目前的摆角检测方式主要有：直接检测和间接检测。直接检测采用在吊钩上安装角度传感器或者加速度传感器进行测量，主要缺点是需要对起重机的吊钩结构进行改造，且在运行过程中容易造成损坏。间接检测有激光检测和机器视觉检测，激光检测是在小车运行下方安装一组激光发射装置和接收装置，通过三角几何关系可以测得吊重摆角信息；机器视觉检测是采用高速的CCD摄像头，通过面阵摄像机采集吊重偏摆的图像，然后进行图像处理，通过线性回归分析得到直线方程，从而得到吊重的摆动信息[2]。激光检测的成本较高，而视觉检测对起重机的机械结构改造较小且成本较低，推广应用更方便。目前的视觉检测多采用识别外加标志物的方法实现[3]，对于直接识别吊钩检测的研究较少。由于机器视觉技术和深度学习技术的发展，直接识别吊钩的方案有了实现的可能。文中提出了一种使用YOLOv3算法直接识别吊钩的摆角检测系统。

1 摆角检测系统总体设计方案

摆角检测系统是通过用YOLOv3算法提前训练好的模型对吊钩的实时图像进行检测，由计算机根据图像中吊钩偏离平衡位置的距离结合吊绳绳长计算出吊绳的摆动角度。系统的前端部分是一个摄像头和数据采集卡，系统的硬件组成如图1所示，由摄像头、图像采集卡和计算机组成。

图1 硬件组成

摄像头垂直固定在起重机小车的吊绳吊点附近，对吊钩进行摄像，如图2所示。

图2 摄像头安装位置示意图

摄像头完成图像的获取，图像采集卡将图像信息转为计算机信号，计算机进行图像预处理，并运行YOLOv3目标检测程序，识别吊钩并输出位置，通过吊钩的位置和吊绳的长度计算出摆角，其中吊绳的长度通过安装在起升电机上的旋转编码器测得。图3为摆角检测的流程图。

图3 视觉摆角检测流程图

2 数据集制作及预处理

2.1 数据集制作

使用OpenCV摄像头采集吊钩在运行过程中的图像，并制作数据集，根据吊钩摆动频率确定，一般吊钩摆动频率大于1 Hz，故可采用大于10以上的帧率，本文采用的帧率为20帧，将拍摄的图像放入文件夹中，主要采集不同光照、不同背景下吊钩在不同高度的图像，选取1 100张图像，1 000张作为训练图像，100张作为测试图像，每张图片大小为640×480像素。

2.2 图像标注

用开源软件Labeling手工框选出每帧图像中的滑轮，标注所需要的数据，包括每幅图像中目标区域的位置、尺寸和名字，生成相应信息保存在相应的xml文件中[4]。

3 基于YOLOv3算法检测吊钩

3.1 算法原理

YOLOv3是一种使用深卷积神经网络学习的特征来检测物体的目标检测算法[5]。如图4为YOLOv3的网络结构图，图中采用了Darknet-53的网络结构，由卷积和残差结构组成，输出有三个尺度，每个尺度内通过卷积核的方式实现局部特征交互，三个尺度可以对应检测不同类型的目标，13×13用于检测大型目标，26×26用于检测中型目标，52×52用于检测小型目标。多尺度的输出可以兼顾检测不同大小的目标。

图4 YOLOv3网络结构图

YOLOv3相对于目前的其他目标检测算法，可以兼顾检测速度和精度，符合摆角检测的实时性要求，并且该算法可以兼顾不同尺度的目标，吊钩在不同起升高度时的尺度相差较大，适合于摆角检测系统。

3.2 算法实现

在Linux系统中先配置Darknet框架，对数据集进行处理，修改保存为YOLOv3的训练格式，使用训练图像进行预训练和训练，测试图像进行模型测试，最后进行预测。

图5为复杂背景下滑轮的检测结果，检测单张图片的运行时间是0.02 s，IoU可以达到100%。

图5 滑轮检测结果

4 坐标变换及摆角计算

根据YOLOv3检测到的吊钩的位置，通过像素坐标系与世界坐标系之间的坐标变换，可计算出实际的吊钩的摆动量，再根据吊绳的长度可计算出摆角的大小。图6为像素坐标系与世界坐标系的变换示意图。图中Ow-XwYwZw为世界坐标系，O-XcYcZc为相机坐标系，OD-uv，为像素坐标系，O1-XY为图像坐标系。