周其洪， 彭 轶， 岑均豪， 周申华， 李姝佳

(1. 东华大学 机械工程学院， 上海 201620； 2. 东华大学 数字化纺织服装技术教育部工程研究中心， 上海 201620； 3. 广州盛原成自动化科技有限公司， 广东 广州 511400)

纺纱是纺织产业链的重要工序之一，环锭纺纱以其生产品种范围广、纺纱质量优良等特点得到了广泛应用。据统计，我国纺纱总产量中，环锭纺纱产量占到了85%[1]。近年来，环锭细纱机技术正变得更加高速化、品种宽广化、自动化和智能化[2]，但细纱断头问题仍然是目前制约细纱机生产效率的主要问题之一，在环锭纺纱行业，接头工作大都由人工完成，存在效率低，劳动强度大等问题[3]。

2019年，立达公司公开首展适用于环锭细纱机的自动接头机械手(ROBOspin)，该款接头机械手在工作过程中尽量不与管纱发生接触，防止外层纱线受到污染，从而保证纱线质量[4]，目前相关技术仍然高度保密。国内方面，唐火红等[5]设计了一款针对环锭纺纱机的双臂接头机器人，通过动力学分析为机器人的参数选型提供依据。

近年来，图像处理与机器人技术得到了极大的发展，相关的硬件性能也不断提升，在各领域都得到了广泛的应用。Xiao等[6]提出针对焊缝的自适应特征提取算法，并引导机械手进行抓取，取得了满意的鲁棒性和精度。Yang等[7]针对茶叶采摘问题提出了相应的茶叶识别算法以及利用蚁群算法规划采摘路径，实现机器人对茶叶的采摘。由于机器视觉技术无接触测量、定位的特点，纺织领域也积极引入机器视觉技术，显著提高了系统的智能化水平。张文昌等[8]将机器视觉技术与机器人结合，实现了对纱笼的定位并引导机器人进行抓取，具有重要的实际应用价值。张建新等[9]开发了一种利用机器视觉技术的筒子纱密度在线检测系统，取得了较好的检测精度和稳定性。王雯雯等[10]研究利用机器视觉技术来实现对细纱机的断头检测。

这些成功案例也为机器视觉技术应用于细纱接头机器人创造了技术和硬件条件。结合环锭纺纱机工作空间紧凑的特点及接线动作灵活性的需求，利用视觉技术配合工业机器人实现接线动作。首先利用机器视觉技术实现纱线断头的定位，定位完成后，再引导机械手进行抓取，该方法不仅能够减少纱线与设备产生的接触摩擦，减少纱线被污染，同时也可以简化装置的机械结构，提高系统的自动化、智能化水平，对接头机器人的整机设计具有重要意义。

本文在前期研究的基础上，提出了利用机器视觉技术进行纱线断头的识别与夹取的方案。通过工业相机采集纱线图像，开发了基于图像处理的纱线识别及定位专用算法，可以准确提取纱线的位置和角度信息，为机械手的夹取奠定基础。

1 纱线断头定位装置工作原理

1.1 主要硬件

接线过程中，接头机将出现断头的纱筒从细纱机的锭子上取出之后，控制纱筒自转，负载装置工作产生负压，通过吸嘴将纱线断头吸入，并控制纱筒移动至离吸嘴10 cm处，同时使纱线紧靠定位柱。实验装置示意图如图1所示。相机位于纱线一侧并正对纱线，机械手处于另一侧。由于纱线断头在纱筒上的位置未知，纱线被吸入吸嘴后位置也并不固定，通过机器视觉技术实现对纱线的定位，机械手根据定位信息夹取纱线，之后进行后续接线动作。

注：1—机械手； 2—黑色挡板； 3—纱筒； 4—相机；5—光源； 6—纱线； 7—定位柱； 8—吸嘴。图1 装置示意图Fig.1 Schematic diagram of device

1.2 定位原理

本文系统引导机械手进行抓取的方法为：通过相机采集目标图像，编写图像定位算法识别纱线在像素坐标系下的位置(u，v)以及角度信息α，将(u，v)转换到机器人基坐标系下的坐标(XW，YW，ZW)，引导机械手进行夹取。像素坐标与机器人基坐标的转换关系如下：

式中：M1为3×4矩阵，表示相机的内部参数，可通过相机标定获得。M2为4×4矩阵，表示相机坐标系到机械手基坐标系的映射关系，可通过手眼标定得到，ZC表示物距。由图1可知，在定位柱的作用下，纱线被吸出后处于机械手基坐标系Y方向上的固定平面，即YW已知。

图2为机器人基坐标系Y方向上的正视图。令机械手末端执行器的夹取点为ui与纱线的交点，利用图像处理算法求出夹取点q(ui，vi)以及纱线与像素坐标系U轴正方向的夹角α，通过公式可求得机械手的目标位姿信息，传入机械手的位置寄存器引导机械手进行夹取。

图2 定位原理图Fig.2 Positioning principle

2 纱线识别与定位算法

被吸入吸嘴的纱线稳定之后，通常情况下会趋于一条直线，但由于装置工作过程中引起的纱筒以及吸嘴抖动、吸嘴与纱筒之间的风场不稳定等原因，纱线会出现抖动的现象，结果如图3所示。可知，纱线在无抖动的情况下，特征较为明显，易于识别，在图3(b)所示纱线存在抖动的情况下，纱线特征不明显，会出现弱边缘特征。纱线的识别与定位精度对后续机械手的夹取至关重要。为保证算法的可靠性，本文以纱线抖动时的状态来进行纱线的识别与定位算法研究，该算法同样适用于对无抖动的纱线的定位。

图3 纱线状态图Fig.3 Yarn state. (a) No fluctuation of yarn;(b) Yarn fluctuates

2.1 纱线图像灰度增强

在对图像进行处理前，提取感兴趣区域(ROI)可有效减少图像处理的复杂度。理论上，ROI的区域越小，图像处理的速度越快，但也会导致关键特征信息的丢失[11]。相机的拍摄视野固定，同时考虑最大程度保留纱线有效信息，ROI的左右两侧分别选取左右定位柱的边缘向中间偏移5像素，上下两侧分别选取纱筒的上下边界，由此确定出ROI区域。

相机采集到的图像为包含了R、G、B三通道的彩色图像，处理时，需要对3个通道进行运算，时间消耗大。由于本文中纱线检测只需要形态学信息，为提高图像处理的效率，先将彩色图像转换为灰度图，再进行后续处理。由于纱线较细以及光照不匀等因素，背景为黑色时，部分纱线特征尤其是波动状态下的纱线在图像中会呈现出灰白色，不利于后续的边缘检测,因此需要对图像进行灰度增强，增大纱线与背景的对比度。系统在不同位置工作时，图像的背景环境是存在变化的，本文采用可适用于不同背景环境的改进灰度增强算法，以获得更好的图像增强效果[12]。改进灰度增强算法如下：

1)从原图中截取出背景图b，计算背景图中所有像素的平均灰度值g。

2)将原图像I的图像矩阵的每个元素减去平均灰度值g，若计算之后的像素值小于0，则截断为0。

3)将得到的矩阵乘以系数k。若计算之后的像素值大于255，则截断为255，得到增强后的图像O。

改进灰度增强算法的表达式表示如下：

O(x，y)=k(I(x，y)-gT)

式中：I(x，y)表示灰度增强前的图像灰度矩阵;O(x，y)表示灰度增强后的图像灰度矩阵;k为参数;g为背景平均灰度值;T为与I相同大小的元素全为1的矩阵。若O(x，y)中元素大于255，则设置为255，若O(x，y)中元素小于0，则设置为0。

图4示出改进灰度增强过程图。可看出，经过改进灰度增强算法处理后，纱线特征与背景的对比度明显提高，纱线特征更加明显，同时抑制了噪声。

图4 改进灰度增强过程图Fig.4 Improve the grayscale enhancement process diagram. (a) Original image I; (b) Background image b; (c) Improved grayscale enhancement image O

图5示出原图像和经过灰度增强处理之后的纱线边缘局部灰度值分布图。可看出，图5(b)中纱线的灰度值和背景灰度值的区分度相较于图5(a)更加明显，纱线更易于识别。

图5 局部灰度值分布图Fig.5 Local gray value distribution diagram. (a) Local gray value distribution diagram of image I; (b) Local gray value distribution diagram of image O

2.2 纱线特征边缘检测

图6示出阈值分割和Canny检测对比图。阈值分割是常用的图像分割方法，可有效去除图像中的无效信息，但在处理图6(a)纱线抖动图像时，由于纱线抖动部分颜色较浅，属于弱边缘，难以与背景实现有效分离。经过二值化分割之后，损失了大量纱线特征信息，因此采用Canny边缘检测来最大限度保留纱线信息，见图6(c)。

图6 阈值分割和Canny检测对比图Fig.6 Comparison diagram of threshold segmentation and Canny detection. (a) Original image; (b) Binary segmentation; (c) Canny detection

2.3 纱线特征提取

2.3.1 霍夫变换原理

经过边缘检测后的纱线具有明显的直线特征，霍夫变换是常用的直线检测算法，具有很好的鲁棒性，本文选择霍夫直线检测算法进行纱线特征的提取，霍夫变换的原理如下。

图7 霍夫变换示意图Fig.7 Hough transform schematic

直线的检测是一个投票的过程，首先遍历图像上的每个像素点并寻找边缘像素点(x，y)，对θ在[0，π]内按照步长离散化得到Qi，将(x，y，θ)代入方程r=xcosθ+ysinθ中，得到参数(r，θ)，将r值离散化，建立关于(r，θ)的矩形网格，将每次得到的(r，θ)在网格对应位置累加1，当所有的边缘像素点都计算完成后，通过合理设置阈值，将筛选出的每组(r，θ)视为1条直线。

通过上述原理可知，霍夫直线检测的缺点在于角度检测范围广，并且需要将参数坐标转换到直角坐标系下，计算量大。理论上进行检测的角度步长越小，检测直线的精度越高，但会导致占用较多的资源，耗时长[13]。

2.3.2 优化的霍夫变换直线检测

如2.3.1节所述原理，本文结合实际图像的特点，对霍夫变换直线提取进行优化。纱线被吸入吸嘴中，以吸嘴中心轴线为界，上侧和下侧的θ角是在有限范围内进行变化的，如图8所示。将图像分为上下2个ROI区域，上侧区域在θUmax和θUmin之间变化，下侧区域在θDmax和θDmin之间变化，进行霍夫变换直线检测时，可通过不检测这2个区间之外的角度来提高程序运行效率，减少运算时间。

图8 上下ROI区域θ角极限位置示意图Fig.8 Upper and lower ROI area Angle limit position

2.4 纱线定位

分别代入确定好的ui，得到y1、yn，记阈值为Tf，对纱线的波动幅度进行判断：

当y1-yn≤Tf时，表明纱线波动幅度不大，机械手可正常夹取，则像素坐标系下的vi：

纱线与U轴的夹角α为

当y1-yn>Tf时，表明此时纱线波动幅度过大，已经影响机械手的夹取，系统发出预警。

3 参数分析与实验结果

本文软件测试平台为PyCharm 2019，软件运行环境为Python3和Opencv3视觉库，计算机配置为Intel Core i5-4210H，CPU为2.90 GHz，4 G内存。

3.1 霍夫直线检测角度范围确定

本文实验根据图8所示原理进行摆放纱线断头的位置，收集纱线在极限位置和非极限位置下的图像，通过处理图像收集纱线特征在上下ROI区域内的r和θ参数。上下ROI区域内随机选取7个图像的r和θ参数，结果如表1所示。通过对所得数据进行分析以及考虑容错性，确定上ROI区域的θUmax和θUmin范围为(35°，95°)，下ROI区域的θDmax和θDmin范围为(85°，145°)。

表1 ROI区域r和θ参数表Tab.1 ROI section r and θ parameter table

3.2 坐标提取结果分析

本文以感兴趣区域图像原点沿U轴偏移140像素作为ui求取坐标点进行实验，部分处理结果图像如图9所示，图中白点表示坐标点。

图9 部分纱线图像坐标提取图Fig.9 Partial yarn image coordinate extraction. (a) Image one; (b) Image two; (c) Image three; (d) Image four; (e) Image five; (f) Image six

通过在Photoshop软件中手动标注坐标点以及求解纱线与U轴的夹角α与本文所用算法的结果进行对比，如表2所示。将本文算法和手动标注所得的结果对比，在图像V轴方向上坐标的平均绝对误差为1.42像素。纱线与U轴正方向的夹角α的平均绝对误差为0.60°，角度偏差较小，对机械手的夹取影响小。

表2 图像定位结果Tab.2 Image location results

3.3 算法耗时分析

系统的实时性非常重要，由3.1节可知，与传统算法每个边缘点的检测角度为0°～180°相比，基于本文的优化纱线边缘直线检测算法(OHT)通过划分上下2个ROI区域使得2个区域的检测角度均减小到大小为60°的区间内，降低了霍夫运算的复杂度，程序运行时间得到了缩短。OHT与传统的直线拟合在完成预处理之后，进行纱线定位步骤的耗时对比以及算法总耗时如表3所示。可知，OHT在进行纱线定位时平均耗时为23 ms，直线拟合平均耗时高达478.6 ms，本文提出的经过优化的直线提取算法平均耗时为63.1 ms，总耗时均在10-1s数量级上，具有较高的响应速度，算法计算效率高。

表3 算法总耗时Tab.3 Total algorithm time

4 结束语

本文提出利用机器视觉技术对细纱接头机器人的纱线断头进行定位的方法，并给出了图像识别与定位算法。首先基于改进的灰度增强方法增强纱线与背景的对比度，然后利用Canny边缘检测算法提取纱线信息，最后利用优化的霍夫直线检测配合定位算法实现对目标纱线的位置信息提取。实验证明，该算法能准确提取所需纱线位置信息，与手动标注的结果相比，坐标点误差为1.42像素，纱线与图像U轴正方向的夹角α的误差为0.60°，程序整体平均运行时间在10-1s数量级上，实时性好，利用机器视觉技术实现纱线定位应用于细纱接头机器人以及为细纱接头机器人的进一步完善开发提供参考。

FZXB