宋家慧，孔令美

(1.广西机电职业技术学院 计算机与信息工程系，南宁　530007；2.广东技术师范学院 天河学院信息与传媒学院，广州　510540)



采摘机器人视觉伺服策略研究—基于回归数据挖掘的

宋家慧1，孔令美2

(1.广西机电职业技术学院 计算机与信息工程系，南宁530007；2.广东技术师范学院 天河学院信息与传媒学院，广州510540)

摘要：为了实现采摘机器人的准确抓取控制、路径识别和自主导航功能，提出了一种基于回归数据挖掘计算模型的机器人视觉伺服控制系统。首先利用双目相机获取果实图像，然后利用拉普拉斯变换和高斯滤波方法对图片进行平滑和增强处理，并利用Canny算法对图像边缘进行检测和分割处理，完成图像的预处理。对图像进行目标识别，提取图像的特征，并采用回归数据挖掘方法对滤波图像进行检验，最终通过计算得到果实图像的中心位置，将中心位置利用控制器反馈给控制中心，控制中心发出指令，控制末端执行器完成果实的采摘作业。对机器人视觉伺服系统进行了测试，结果表明：利用采摘机器人视觉伺服系统可以准确地计算果实的中心位置，实测位置和计算位置的吻合程度较高，视觉伺服系统的计算的稳定性较好。

关键词：采摘机器人；回归算法；数据挖掘；Canny算法；高斯滤波

0引言

视觉伺服策略是果蔬采摘机器人对果实识别和定位的一个重要问题。在果实采摘作业环境下，为了完成对果实的识别、抓取采摘和放置动作，需要利用视觉伺服系统获取果实的位置信息。视觉系统首先在图像背景中识别果实，然后得到目标果实的中心位置，利用执行末端抓取果实，割断果柄，完成果实采摘作业。在特定的应用场合，机器人的作业对象和环境是预先设定的，可以通过编程来实现机器人的自动化作业；但在采摘作业环境下，目标物和作业场景是时刻变换的，这就需要借助机器视觉实现机器人的自主导航和机械手轨迹自动化控制。机器人视觉伺服系统的引入可以模仿人的视觉功能感知采摘环境，实现无接触的位置测量，提高了机器人的智能化水平和自适应学习能力。

1视觉伺服系统和机械结构

采摘机器人视觉伺服系统的图像采集相机安装在机械手末端，机械手末端安装有吸附结构，可以将果实吸附，视觉相机安装在执行末端的果柄夹持位置，其机械结构如图1所示。

1.视觉相机　2.果实　3.吸盘　4.手指

工作时，果实主要靠吸盘装置进行吸附，吸附装置使用伺服控制系统控制；当果柄切断后，吸附装置将果实放下。

图2为果柄切割装置的机械结构图。果柄的切割利用电热丝加热切割，并利用吸盘吸附果实；当果柄切断后，吸附装置不再吸附果实，果实滑落到果箱内。采摘机器人伺服视觉系统和总体结构由6部分组成，包括双目视觉相机、采摘末端执行器、人机交互系统、硬件系统、移动模块和控制器，如图3所示。

图3中，控制器负责回归数据挖掘的运算、控制信号的接收和发送，以及协调各部件的工作；视觉相机安装在机械手末端，通过姿态的调整，对果实图像进行全方位的采集。控制器具有果实位置识别和定位功能，其结构原理设计如图4所示。

1.固定架　2.电热丝　3.切割垫板　4.夹持垫片　5.手指

1.移动平台　2.传感器　3.采摘机械臂

图4　机器人系统控制器原理图

图4中，采摘机器人的视觉系统主要由路标识别相机和双目视觉相机组成，利用机器人伺服视觉系统可以控制机器人的移动。综合考虑机器人的作业环境、作业要求和作业成本，采用四轮行走式机器人结构，该机器人可以在垄间自主行走，实时进行图像的采集和果实采摘作业。当一个果实采摘完毕后，利用图像采集得到下一个果实的位置，利用不断的循环，完成果实的采摘任务。移动平台的伺服控制结构如图5所示。

1.车底盘　2.同步带轮　3.步进电机支架

图5中，伺服控制系统主要使用步进电机实现移动距离和方向的精确控制，其控制精确度高、噪声小、稳定性好。伺服控制系统的硬件主要由5部分组成，包括控制核心、图像采集模块、电机驱动模块、人机交互模型和电源模块，如图6所示。

图6　硬件控制核心系统结构

图6中，采集模块为CCD相机和图像采集卡，采集卡将模拟信号转换为数字信号，人机交互模块由键盘构成，电机驱动使用专用的驱动芯片L298N和光藕。

2视觉伺服回归数据挖掘计算模型

在采摘过程中，由机器视觉伺服系统获取的图像往往含有大量的噪声和畸变，图像的质量较差，使图像的灰度不均匀，容易形成虚假的果实边缘和轮廓，给图像的分析带来较大的困难，因此需要对图像进行滤波操作。对于滤波效果的检验，使用回归数据预测计算模型，可以有效地提高滤波的精度，提高果实图像的识别准确度。

假设果实的图像是由灰度均匀的许多小块图像组成，图像在相邻位置具有较高的空间相关性；而噪声是独立叠加在图像上，其均值为0。因此，可以利用图像像素领域各像素的平均值代替原来的灰度值，实现图像的平滑处理。假设某像素灰度值中心为f(i,j)，像素组成的点集为P，像素个数为N，利用邻域方法进行滤波后，像素的f(i,j)输出为

(1)

利用领域像素的平均g(i,j)代替了原理的灰度值f(i,j)，该方法可以有效地抑制噪声，但同时也会使图像变得模糊。为了尽量降低模糊造成的果实图像失真，使用超限邻域平均法，其表达式为

g(i,j)=

(2)

其中，T为设定阈值，当像素平均值超过领域平均一定值后，才能将其作为噪声处理，否则不处理。为了进一步提高滤波的效果，将图像进行拉普拉斯变换，实现图像的二阶边缘检测。拉普拉斯变换通过寻找图像二阶微分过零点来检测图像边缘，经过微分算子形成了一个单峰函数，对函数进行微分，峰值处的微分值为0，峰值两侧的符号相反。在实际滤波过程中，首先对图像进行高斯滤波，然后对滤波后的图像二阶求导，求导按照式(3)，则有

▽2[G(x,y)·f·(x,y)]

(3)

其中，f(i,j)为原图像；G(i,j)为高斯函数。由微分和卷积交换顺序可得

▽2[G(x,y)·f(x,y)]=▽2G(x,y)·f(x,y)

(4)

其中，▽2G(x,y)为拉普拉斯高斯算子。

(5)

其中，σ为关于原点对称函数，其主瓣宽度为

(6)

在采摘数字图像处理过程中，边缘检测信息容易丢失，会产生双像素的边缘，噪声也会被加强。因此，可以使用Canny边缘检测对算法进一步加强，在噪声抑制和边缘检测直接取得良好的平衡，其步骤为：

1)使用高斯滤波器进行滤波，然后将图像中的噪声去掉。

(7)

其中，f为滤波后的图像。为了将果实图像提取出来，对图像进行阈值分割，利用二值化方法将图像灰度值分别设置为255和0。假设全局阈值分割的原始图像为f(i,j)，其阈值为T，通过图像分割后可以得到

(8)

强阈值范围内的像素值置为1，范围外的像素值置为0，其表达式为

(9)

利用逐步回归分析法对图像处理的效果进行检验，其具体步骤如下：

步骤6：通过上述步骤，查看滤波后像素值是否可以引入或者剔除，通过逐步回归数据挖掘的方法不断迭代计算，当像素值无变量可引入，也无变量可剔除，计算结束；将所有标准化的量值转换为回归系数，求出常数项，回归数据挖掘计算结束。

3系统测试

机器人视觉伺服系统可以自动计算果实中心，计算依据为上文中设计的回归数据挖掘计算模型。为了验证伺服系统计算的可靠性，在采摘机器人上安装了伺服视觉系统，其作业过程如图7所示。

图7　采摘机器人采摘过程图

图7中，在机械手上安装了高清相机可以对成熟果实图像进行采集，将采集得到的图像首先进行图像处理，通过一系列计算可得到果实中心的提取结果，如图8所示。

图8　果实特征提取结果

图8中，首先利用图像滤波进行平滑处理，利用边缘检测得到果实的特征曲线；然后可以得到图像具体位置的坐标值，利用坐标值确定果实位置中心，对果实进行准确定位。

表1为视觉伺服系统对果实中心进行计算得到的果实位置的结果。将计算中心位置和实测位置进行对比可以发现：实测位置和计算位置的吻合程度比较高，从而验证了视觉伺服系统果实中心计算的可靠性。

表1　视觉伺服系统果实中心计算

续表1

4结论

1)为了实现采摘机器人路径识别和准确抓取果实的功能，提高果实的自主识别和自主导航能力，提出了一种基于回归数据挖掘计算的机器人伺服控制系统。该系统利用邻域滤波、拉普拉斯变化和高斯滤波对图像进行去噪处理，利用Canny算法提取果实的边缘图像，对果实目标的中心位置进行准确的计算，并使用回归数据挖掘算法对图像像素值进行筛选，提高了机器人目标识别的准确性。

2)对采摘机器人的视觉伺服系统进行了测试，通过测试得到了果实的中心位置坐标。将计算得到的中心位置坐标和实际测量得到的位置坐标进行对比发现，实测位置和计算位置的吻合程度较高，从而验证了伺服视觉系统计算的可靠性。

参考文献：

[1]贺瑶,王文庆,薛飞.基于云计算的海量数据挖掘研究[J].计算机技术与发展,2013,23(2):69-72.

[2]丁岩,杨庆平,钱煜明.基于云计算的数据挖掘平台架构及其关键技术研究[J].中兴通讯技术, 2013,19(1): 53-60.

[3]李凯,常征.基于云计算的并行数据挖掘系统设计与实现[J].微计算机信息,2011, 27(6):121-123.

[4]孙广路,齐浩亮.基于在线排序逻辑回归的垃圾邮件过滤[J].清华大学学报,2013, 53(5):734-740.

[5]刘波涛.基于粗糙集的数据挖掘算法的研究[J].中国西部科技,2011,10(14):11-12.

[6]胡剑策,吴国平.改进的遗传BP 神经网络数据挖掘算法及应用[J].微型机与应用,2011(2):30.

[7]储兵,吴陈,杨习贝.基于RBF 神经网络与粗糙集的数据挖掘算法[J].计算机技术与发展,2013,23(7):87-91.

[8]国刚,王毅.应用BP神经网络迭代进行手写体字母数字识别[J].人工智能及识别技术,2008,4(6):1459-1460.

[9]黄斌,许舒人,蒲卫.基于MapReduce 的数据挖掘平台设计与实现[J].计算机工程与设计,2013,34(2):495-501.

[10]俞庆生.基于云平台的逻辑回归模型构建算法的设计与实现[J].科技通报, 2013,29(6):137-139.

[11]张建勋,古志民,郑超.云计算研究进展综述[J].计算机应用研究, 2010, 27(2):429-433.

[12]袁挺,纪超,陈英,等.基于光谱成像技术的温室黄瓜识别法[J].农业机械学报, 2011,42(S1):172-176.

[13]冯青春,袁挺.黄瓜采摘机器人远近景组合闭环定位方法[J].农业机械学报,2011,42(2):154-157.

[14]王仲民,戈新良,唐智强.多传感器信息融合技术研究现状和发展趋势[J].河北工业大学学报, 2003,32(2):30-35.

[15]张铁中,杨丽,陈兵旗,等.农业机器人技术研究进展[J].中国科学,2010,40(S1):71-87.

[16]宋怡焕,饶秀勤.基于DT-CWT 和LS-SVM 的苹果果梗/花萼和缺陷识别[J].农业工程学报,2012,28(9):114-118.

[17]魏承,赵阳,田浩.空间机器人抓取漂浮目标控制研究[J].航空学报,2010,31(3):632-637.

[18]王津京,赵德安,姬伟,等.采摘机器人基于支持向量机苹果识别方法[J].农业机械学报,2009,40(1):148-151.

[19]方勇纯.机器人视觉伺服研究综述[J].智能系统学报,2008,3(2):109-114.

[20]周昕,王小玉.机器学习在数据挖掘中的作用[J]. 电脑学习, 2010(3):93-94.

[21]李洪欣,杨建中.基于两参数的表冷器建模方法研究[J].建筑热能通风空调,2009,28(6):15-17.

[22]孟庆山.水源热泵机组变流量水系统节能优化探讨[J].制冷与空调,2010,10(1):84-89.

[23]谢志勇,张铁中,赵金英.基于 Hough 变换的成熟草莓识别技术[J].农业机械学报,2007,38(3):106-109.

[24]王东,赵宇,王秀红.一种改进的DFT迭代的MIMO-OFDM系统信道估计算法[J].应用科技,2009, 3(3):19-22.

[25]徐文颖,张静,董建萍.导频信道估计中的插值算法[J].上海师范大学学报,2007,12(6):41-46.

[26]陈晖,陈晓光.基于直接判决导频跟踪的OFDM系统快时变信道估计[J].通信学报,2006,9(27):1-5.

[27]李文见,姬江涛.轮履复合式农业机器人越避障控制研究[J].河南科技大学学报:自然科学版,2007(8):57- 59.

Research on Picking Robot Visual Servo Strategy—Based on Regression Data Mining

Song Jiahui1, Kong Lingmei2

(1.Department of Computer and Information Engineering,Guangxi Technological College of Machinery and Electricity,Nanning 530007, China;2.Information and Media Academy, Tianhe College of Guangdong Polytechnic Normal University，Guangzhou 510540, China)

Abstract：In order to realize the accurate grasp control of picking robot, realize the function of path recognition and autonomous navigation, a robot visual servo control system is proposed based on the regression data mining model. The robot visual servo system first uses the binocular camera to obtain the fruit image, then uses the Laplasse transform and Gauss filtering method to smooth and enhance the image processing, the image edge detection using Canny algorithm to detect and segment processing, complete image preprocessing. Image recognition, the feature extraction of the image, and the use of regression data mining method to test the filtering image, the center position of the fruit image is obtained by calculating the center position of the fruit. The test results can be seen from the test results, the center position of the fruit can be accurately calculated by using the visual servo system of the picking robot. The calculated center position and the measured position are found to be in good agreement with the measured position and location.

Key words：picking robot; regression algorithm; data mining; canny algorithm; gauss filter

中图分类号：S225；TP391.41

文献标识码：A

文章编号：1003-188X(2016)12-0081-05

作者简介：宋家慧(1978-)，女，山东苍山人，讲师，硕士。通讯作者：孔令美(1976-)，女，山东齐河人，讲师，硕士，(E-mail)sjh70klm@sina.cn。

基金项目：广西高校科学技术研究项目(LX2014550)

收稿日期：2015-09-16