孙承庭，胡　平

( 1.连云港职业技术学院 信息工程学院，江苏 连云港　222006；2.南京工业大学 计算机科学与技术学院，南京　211800)



智能移动式水果采摘机器人设计——基于机器视觉技术

孙承庭1，胡平2

( 1.连云港职业技术学院 信息工程学院，江苏 连云港222006；2.南京工业大学 计算机科学与技术学院，南京211800)

摘要：自动化和计算机智能控制行业的不断发展，使得智能机器人在各个领域的应用已经十分普遍。目前，我国绝大部分水果采摘工作依然靠人工完成，随着工人工资不断攀升，人工采摘水果增加了果农的经济成本，机器人在农业领域方面的需求越来越迫切。为此，基于机器视觉技术设计了智能移动式水果采摘机器人，集可移动载体、机械手臂、夹持器、横向移动机构及智能控制模块于一身，采用双目立体视觉技术，实现了水果采摘机器人移动行走路径的规划、果实成熟度自动判断及对成熟果实定位识别的功能。试验表明：所设计的采摘机器人采用视觉技术，机械结构简易，能够克服气候环境影响因素，运行过程中性能稳定、效率高、可靠性高、适应能力强。

关键词：采摘机器人；智能控制系统；机器视觉技术；识别定位

0引言

我国水果产业发展迅猛，种植面积和年产量双居世界第一，是世界上水果生产的大国。在整个水果种植过程中，成熟水果的采摘耗时最长，劳动力需求最大；而随着外出务工人员的增多，农村劳动力人口下降，导致劳力成本上涨，果农的生产成本增加，用工成本高严重制约着水果产业的发展。水果产业更深一步的发展，亟需控制生产成本、减少人工采摘；而在农业生产上广泛应用智能采摘机器人，对于节省成本。提高生产率具有重要意义。在日、美、德等发达国家，由于劳动力人口的短缺，农业智能机器人的使用已经十分广泛。我国作为水果生产大国，国家对采摘机械化的发展十分重视，采摘机器人对我国未来水果产业发展的作用十分重大。本文结合水果生产种植环境和实际采摘过程，基于机器视觉技术对水果采摘过程的试验研究，设计了智能水果采摘机器人样机，实现农业生产水果的智能采摘。采用双目视觉技术的智能水果采摘机器人设计如图1所示。

图1　智能采摘机器人

1结构设计

该机器人由机械结构部分和电气智能控制系统两部分构成。机械结构包括可移动载体、机械手臂、夹持器和横向滑动装置；电气智能控制系统主要包括工控计算机、伺服电机驱动、双CCD摄像机、传感器控制模块、数据采集卡、GPIB卡、运动控制卡、锂电池供电箱、GPIB卡和控制系统，如图2所示。

机械结构部分是智能采摘机器人的硬件平台，为机器人进行成熟果实识别与采摘奠定了坚实的基础，其各个部件的作用各不相同，结合起来实现采摘机器人的自动控制。

可移动载体是智能机器人的基础，是其他控制采集系统的平台，智能采摘机器人的信号采集、电机驱动、传感器模块及智能控制系统都需要以可移动载体为载体。可移动载体采用履带行走方式，履带式移动载体与地面接触面积大，受力面积大，给地面的压力小，适合在松软的果林路面上行进。机器人行走装置根据智能控制系统的指令进行驱动，伺服电机采用直流供电。

机械手臂装置采用采用多关节机械手臂，有3个主自由度，可以做转动和移动的动作；再加上夹持器的X、Y轴转动， 可以使夹持器到达臂长范围的任何三维坐标点。该机器人的机械手臂装置韧性强、承受负载大、自身轻薄、灵活性高、到达指定位置误差小，在整个采摘作业过程中，运行速度适中，惯性较小，平稳度非常高。

夹持器是采摘过程中作用最大的部件，是采摘机器人的手，水果的抓取收获依靠其完成，可以根据命令直接执行采摘任务。该设计中的夹持器最大工作角度为88°，采摘过程中夹紧力未270N，质量为0.6kg，闭合时间为0.2s；装置轻便，采摘角度大，耗时短，力度适中，不会给果实带来机械损伤。

图2　智能采摘机器人结构二维图

2目标果实的识别分割和定位

采摘机器人进行采摘作业的前提是先识别成熟果实及确定其三维位置，对果实成熟率的识别和定位极大程度地影响了采摘的成功率。采摘过程中，机器人的夹持器采用手环抱状采摘的方式，夹持器的采摘位置主要依靠目标果实的三维位置确定。三维图像的视觉技术是采用两个摄像机从不同的角度去对目标果实拍摄成像，然后根据图像采集卡将信息传送至工控计算机，由其根据两者的角度差异实现目标果实的三维图像；根据形成的三维图像，智能采摘机器人可知道目标果实的大小、三维形状等，进而实施准确采摘。双目视觉技术系统构造结构如图3所示。

机器视觉系统主要包括工控计算机、LED灯源、专用光学镜头、CCD摄像机及数字图像处理模块等。工作时，系统由双CCD摄像机将待测目标转化为数字图像的电信号，然后传送给PC机；PC机采用专用的图像处理软件，根据色彩和颜色，采用多种算法提取果实的特点；最后，根据设定的量化值和其他条件进行准确判断。采摘机器人识别分割与定位的核心技术包括目标果实分割识别与成熟度的判断和目标果实空间坐标的计算两个方面。

Fig.3　System structure of binocular vision technology

2.1　目标果实分割识别及其成熟度的判断

对目标果实的正确采摘首先需要对目标果实进行正确的分割识别和判断其成熟度，这样采摘机器人才可以替代劳动人口进行采摘作业。识别的首要任务是进行果实图像样本的采集，需要依靠CCD摄像机拍摄完成，根据图片信息建立完整的果实样本；其次是建立颜色模型，采用分割技术将果实与其周围生长环境分开，识别果实本体，并通过三原色RGB对比计算，判断目标果实的成熟度。 三原色RGB颜色模型如图4所示。

图4　三原色颜色模型

本文以苹果采摘为例，介绍机器人对目标果实利用自动阈值分割方法进行切割识别。成熟的苹果一般呈红色，与周边环境最大的差别就是颜色。因此，利用三原色RGB可以成功将目标果实成功切割，而且图像处理模块可根据目标果实的颜色，对比PC机数据库中的成熟果实颜色样本判断出目标果实的成熟度。

2.2　目标果实空间坐标的计算

人在拿物体的过程中，手朝着目标物体移动，通过眼睛反馈手与物体的相对距离，然后不断调整，最终能准确地拿到目标物体。然而，采摘机器人没有人类的思维与反馈能力，需要建立传感器与控制系统，使其模仿人类收获作业的方法。采摘过程中，通过双CCD摄像机获取整株果树的信息，然后传送给图像处理系统，利用三原色RGB颜色切割识别出目标果实，并利用红外光源和果实的外形，通过两个摄像机同时获取的图像信息差别，准确定位目标果实相对于双CCD摄像机的空间坐标位置。目标果实定位工作流程如图5所示。

图5　目标果实空间坐标定位流程图

一个物体的空间坐标确立，实质是由视差值决定的。如图6所示，物体是通过双目视觉原理来定位的，在采摘过程中，根据摄像机的连线距离与物体和摄像机的角度确定目标果实的视觉深度。

获取目标果实的视觉深度后，然后采用RBF网络逼近算法，计算出质点空间坐标(X,Y,Z)，方便控制系统进行收获作业。

3控制系统设计

3.1　硬件设计

智能水果采摘机器人控制系统硬件以工控计算机为核心，处理双目摄像图的高清照片，利用图像处理模块识别和定位目标果实，制定规划可移动载体的路径，并控制机械手臂进行采摘作业。智能水果采摘机器人控制结构如图7所示。

图6　双目视觉识别图

图7　智能控制系统结构图

3.2　软件设计

控制系统的硬件部分是整个采摘机器人正常运作的平台，而硬件部分准确协调运行依靠软件部分的底层程序驱动。智能采摘机器人系统软件运行流程如图8所示。

图8　智能采摘机器人系统软件流程示意图

4智能水果采摘机器人路径识别规划

智能采摘机器人在果园内作业时需要不断移动。在移动过程中，需要有对障碍物检测和避开的能力，要对机器人移动路径进行识别规划，使其在园林中作业时能成功避开障碍物前进，完成整个采摘收获任务。智能水果采摘机器人行进路径规划如图9所示。

图9　智能水果采摘机器人行进路径规划图

在整个收获作业过程中，园林内的障碍物信息是时刻变化的，需要把全局轨迹规划和部分轨迹规划结合起来；同时考虑全局已知障碍物和随机出现的障碍物，并随时根据红外传感器检测运动前方的障碍物，运用路径规划算法，制定一条从开始采摘到结束完整的路径规划。采摘机器人以规划路径前进，并不断通过红外传感器接收运动前方其他的动态障碍物；结合机器人的前进速度判断有碰撞的可能时，调用路径规划的算法再次进行路径规划，自动避开前进方向的障碍物，实现实时对前进道路进行轨道规划。

5试验与结果分析

对成熟果实的成功采摘，是衡量智能采摘机器人的性能优良的重要条件。本文在树龄为5年的苹果果园进行成熟果实的采摘，并对果园中遮挡严重的苹果做了一些整理，在机器人自主运行的情况下进行了采摘试验。智能采摘机器人采摘的试验结果如表1所示。

由表1可知：无论是晴天、阴天还是夜晚，智能采摘机器人均可自动控制自身正常移动，能准确完成采摘作业并完成装箱工作，可移动载体、机械手臂及夹持器在智能控制系统的调节下能实现协调工作。由表1可知：智能采摘机械人采摘目标果实的成功率在3种条件下均可以达到85%以上，对单个目标果实的采摘时间能控制在10s以内，证明该智能机器人的采摘效果非常好，适合采摘作业过程中应用。

表1　智能采摘机器人采摘试验结果

6结论

根据果农对成熟水果的收获作业要求，设计制造了基于机器视觉技术的智能移动式水果采摘机器人。该机器人将机器视觉技术与自动化技术融合在一起，机械结构简易、协调灵活、运行速度快，可在作业前行过程中躲避障碍物强，识别目标果实速度快，摘过果实的成功率高，实现了农业采摘过程的机械智能化、自动化、无人化，具有十分宽广的应用前景。

参考文献：

[1]冯青春,郑文刚,姜凯,等.高架栽培草莓采摘机器人系统设计[J].农机化研究,2012, 34(7):122-126.

[2]顾宝兴,姬长英,王海青,等. 智能移动水果采摘机器人设计与试验[J].农业机械学报,2012(6):153-160.

[3]吕继东,赵德安,姬伟,等.苹果采摘机器人对振荡果实的快速定位采摘方法[J].农业工程学报,2012(13):48-53.

[4]王丽丽,郭艳玲,王迪, 等.果蔬采摘机器人研究综述[J].林业机械与木工设备,2009(1): 10-11,14.

[5]宋健,孙学岩,张铁中, 等.开放式茄子采摘机器人设计与试验[J].农业机械学报,2009(1):143-147.

[6]陈进.机器人技术在农业中的应用—水果采摘机器人[J].四川农机,2009(6):32.

[7]王辉. 机器视觉技术在果园自动化中的应用研究[D].北京：中国农业机械化科学研究院,2011.

[8]戚利勇.黄瓜采摘机器人视觉关键技术及系统研究[D].杭州：浙江工业大学,2011.

[9]吕继东.苹果采摘机器人视觉测量与避障控制研究[D].镇江：江苏大学,2012.

[10]李占坤.果树采摘机器人控制系统研究与设计[D]. 镇江：江苏大学,2010.

[11]李小亮.基于振动机理的山核桃采摘样机设计[D].杭州：浙江农林大学,2012.

[12]王鸿,顾金梅,李飞,等.温室采摘车的机电液一体化设计[J].科技传播,2014(22):170-171.

[13]方建军. 移动式采摘机器人研究现状与进展[J]. 农业工程学报,2004(2):273-278.

[14]姬江涛,郑治华,杜蒙蒙,等.农业机器人的发展现状及趋势[J]. 农机化研究,2014,36(2):1-4,9.

[15]毕昆,赵馨,侯瑞锋,等.机器人技术在农业中的应用方向和发展趋势[J].中国农学通报,2011,(4):469-473.

[16]姜丽萍,陈树人.果实采摘机器人的研究综述[J]. 农业装备技术,2006(1):8-10.

[17]宋健,张铁中,徐丽明,等.果蔬采摘机器人研究进展与展望[J].农业机械学报,2006(5): 158-162.

[18]赵庆波.果树采摘机器人控制与避障技术研究[D]. 镇江：江苏大学,2008.

[19]崔玉洁,张祖立,白晓虎. 采摘机器人的研究进展与现状分析[J].农机化研究,2007(2):4-7.

[20]宋健. 茄子采摘机器人结构参数的优化设计与仿真[J].机械设计与制造,2008(6):166-168.

[21]张水波.柑橘采摘机器人末端执行器研究[D].杭州：浙江工业大学,2011.

[22]张洁,李艳文.果蔬采摘机器人的研究现状、问题及对策[J].机械设计,2010(6):1-5.

[23]蓝峰,苏子昊,黎子明,等.果园采摘机械的现状及发展趋势[J].农机化研究,2010，32(11):249- 252.

[24]汤修映,张铁中.果蔬收获机器人研究综述[J]. 机器人,2005(1):90-96.

[25]赵匀,武传宇,胡旭东,等.农业机器人的研究进展及存在的问题[J].农业工程学报,2003(1):20-24.

Design of Intelligent Mobile Fruit Picking Robot——Based on Machine Vision Technology

Sun Chengting1, Hu Ping2

(1.Information Engineering College, Lianyungang Technical College, Lianyungang 222006, China; 2.Computer Science and Technology, Nanjing University of Technology, Nanjing 211800，China)

Abstract：The deepening of industry automation and computer intelligent control makes the intelligent robot in various fields of application very widespread,the development of science and technology drives the development of society.China's vast most of the fruit picking work is still done manually.With the rapid development of China's social and economic, the wages of the workers continues to rise, manual picking fruit increased the fruit of economic cost and the demand of robot in the field of agriculture,so it is becoming more and more urgent. In this paper, based on machine vision technology design and research on the intelligent mobile fruit picking robot, and the mobile carrier, mechanical arm, clip holding device, it designed a horizontal moving mechanism and intelligent control module in a body, by using binocular stereo vision technology, the mobile robot's walking path planning, fruit maturity automatically judge and of mature fruit location recognition function for picking fruit. Experiments show that the design of the picking robot can overcome the impact of climate factors, by using visual technology with simple mechanical structure, operation process of stable performance, high efficiency, high reliability, adapt to ability.

Key words：picking robot; intelligent control system; machine vision technology; recognition and localization

中图分类号：S225.93；TP391.41

文献标识码：A

文章编号：1003-188X(2016)08-0179-05

作者简介：孙承庭(1969-)，男，江苏连云港人，副教授，硕士。通讯作者：胡平(1962-)，男，南京人，教授，硕士，(E-mail)fiberhome@126.com。

基金项目：国家自然科学基金项目(612030702)；江苏省现代教育技术研究所课题(2012-R-21331)；连云港市科技支撑计划项目(SH1110)

收稿日期：2015-07-30