何　婕，罗　妤

(1.重庆工商职业学院 电子信息工程学院，重庆　401520；2.重庆科技学院 电气与信息工程学院，重庆　401331)



果实成熟度识别机器人设计——基于近红外线信号处理

何婕1，罗妤2

(1.重庆工商职业学院 电子信息工程学院，重庆401520；2.重庆科技学院 电气与信息工程学院，重庆401331)

摘要：为了提高采摘机器人自动识别果实成熟度的智能化水平，提高果实识别的准确性，实现机器人自主定位和自动规划路径能力，设计了一种新的自动化采摘机器人。该机器人利用图像分割技术和近红外信号处理技术，实现了果实成熟度的自动定位和判别。对采摘机器人的性能进行了测试，包括苹果图像的分割和提取、果实成熟度的判断和机器人路径规划。通过测试发现：机器人可以在复杂采摘背景下准确地识别苹果果实，并可以通过红外线探测实现果实成熟度的判别，最终规划出来合理的采摘路径，实现果实的精准采摘，为果蔬采摘机器人的研究提供了较有价值的参考。

关键词：采摘机器人；红外线探测；果实成熟度；图像分割；路径规划

0引言

机器视觉系统是果实采摘机器人的重要组成部分，能否实现准确的识别与定位果实是采摘机器人成功实现采摘的关键。果实采摘机器视觉一般采用主动成像系统，其抗干扰能力较强，可以直接获取高清晰度的苹果图像，将其使用在苹果果园这一非线性结构化环境中，具有重要的现实意义。目前的采摘机器人大多数还不具备自动识别果实成熟度的能力，对于果实成熟度判断的精度较低。本次研究将结合图像分割技术和红外线探测技术，提高采摘机器人果实成熟度的判断能力，对于采摘机器人果实高精度的采摘具有重要的现实意义。

1果实成熟度自动识别机器人总体设计

机器人果实成熟度的识别主要依赖于机器视觉，通过高清摄像机获取苹果图像，对苹果进行路径跟踪，然后利用近红外光谱技术对成熟度进行探测，对完全成熟期的果实进行摘取。果实的定位流程如图1所示。果实图像的采集使用高清摄像头，安装在机器人执行末端，采集得到图像后利用阈值分割技术对苹果图像进行识别，并划分跟踪轨迹，实现果实的准确定位。

图1　采摘机器人果实定位流程

图2为采摘机器人的果实成熟度的判断流程框架图。通过图像采集和图像分割可以有效地识别苹果果实，对果实进行定位后利用红外线探测技术对果实进行识别，探测过程使用红外探测器。为了提高红外探测器的工作效率，使用多通道并行计算的D/A转换器，可以同时实现多路信号的采集和处理；对驱动电机发出指令后，便可以执行果实采摘动作。

2采摘机器人果实成熟度识别系统设计

果实采摘机器人使用高清摄像头对苹果图像进行采集，并使用红外线探测器探测果实的成熟度。高清摄像头和红外线探测器均安装在采摘机器人的执行末端，结构如图3所示。

图2　采摘机器人果实成熟度判断流程

图3　采摘机器人果实识别系统结构示意图

红外线探测结果被PC单片机处理后会发出数字信号进行采摘指令控制，发出的数字信号进行数模转换，数模转换采用DAC0832微处理器。该处理器兼容型D/A转换器，如图4所示。

图4　DNC0832引脚示意图

图4中，芯片的引脚较多，可以接受微处理控制功能，具有两级锁存的控制能力，可以实现多通道的D/A同步转换与输出，内部参考电压为0，需要外接参考电压才能工作。

颜色的识别和判断主要分为两种方法：一种是HIS颜色空间方法；二是Lab颜色空间方法。其中，HIS颜色空间类似人眼感受颜色：H为色度，表示不同的颜色；I为明度，表示颜色的亮暗程度；S表示饱和度，表示颜色的深浅。将RGB转换为HIS模型，则

(1)

其中，H、S和I分别表示色度、饱和度和明度，R、G、B分别表示红色、绿色和橙色分量，取值为0～255。Lab颜色空间的L为照度，a为红绿分量，b为蓝黄分量。其中，L相当于亮度，取值为0～100；a为从红到绿的范围，取值为-128～127；b表示从蓝到黄的范围，取值为-128-127。由RGB转换为Lab，则有

(2)

其中，Xn、Yn和Zn的取值可以参考CIE标准流明D65参考白平衡点。f(t)和Y、Z为

(3)

依据颜色分级统计方法，将阈值a的最低等级设置为-5.8：当a<-5.8时，判断为果实枝叶；当a>5.8时，识别为果实。其计算为

(4)

通过颜色分类方法，可将苹果从背景图像中成功地分离出来。Lab颜色空间判别建议表如表1所示。

表1　Lab颜色判别建议表

通过对苹果图像的处理，可以初步识别成熟果实图像。要实现苹果成熟度的准确判断，还需要结合红外探测技术。其性能测试在下节中将做进一步的详细研究。

3果实成熟度自动识别机器人性能测试

为了验证本次研究设计的果实自动识别与采摘机器人的可靠性，对采摘机器人的性能进行了测试，包括果实图像识别、成熟度检测及机器人自动化路径规划能力。苹果采摘的场景图像如图5所示。

图5　果实采摘场景照片

在实际采摘过程中，受自然条件的影响，大部分的树冠的苹果会受到光照、枝叶和果实重叠的影响，使图像的识别变得复杂；而使用lab颜色空间可以相对准确地提取出苹果的图像，如图6所示。

图6　成熟苹果阈值分割图像

采摘中，可以根据不同成熟度苹果的颜色阈值，对成熟苹果图像进行提取，利用边缘提取方法将成熟苹果图像分割出来，再对苹果的面积和周长进行计算，达到成熟苹果图像准确识别的目的。

通过计算得到了如图7所示的成熟苹果面积和周长的计算结果图。由图7可知：提取出的主要苹果面积为33 557个像素点，周长为428个像素点，通过迭代计算得到了如图8所示的收敛残差。

图7　成熟苹果面积和周长计算结果

图8　残差控制收敛曲线

图9表示图像识别计算过程中，得到的残差收敛曲线。由图9可以看出：在计算时间4ms时，计算误差便开始接近于0，残差较小，从而验证了本次计算的可靠性。通过计算得到的成熟苹果图像的连通区域特征如表2所示。

表2　连通区域特征表

由表2可以看出：利用Lab颜色特征方法可以较好地分离出苹果的图像，根据圆形度也可以预先判断果实是否成熟。为了进一步确定果实的成熟度，使用红外线探测的方法对果实的成熟度进行探测，结果如图9所示。

图9　红外线苹果成熟度检测结果曲线

由图9可以看出：不同成熟度的苹果对红外线的反射率有所不同，可以根据不同的反射率来判断果实的成熟度。判断需要采摘的苹果后，对机器人路径进行规划，如图10所示。

图10　机器人二维路径规划图

由图10可知：在二维平面内确定成熟苹果目标后，使用路径规划方法对苹果目标进行跟踪，并规划出形式路径；但是二维平面的机器人路径规划还是有一定的缺陷，需要结合三维路径规划来提高采摘的准确度，如图11所示。

图11　采摘机器人三维路径规划图

图11中，A表示成熟苹果的目标，机器人从右侧开始规划形式路径，并判断最佳行驶路径。其中，最佳行驶路径为粗线部分，结合三维路径规划，采摘机器人可以精准地采摘到成熟的苹果果实。

4结论

1)为了提高果实采摘机器人果实成熟度的识别能力，提高果实采摘精度，本文依据阈值分割理论和红外线信号处理技术，对果实成熟度识别系统进行了改进，提高了机器人自主识别成熟果实的能力及采摘的智能化水平。

2)对本次研究设计的自主识别果实成熟度的采摘机器人进行了测试。通过测试发现：利用Lab颜色空间和阈值分割技术，可以在复杂的背景下提取出果实的图像，边缘提取效果较好。通过计算可以得到果实的面积和周长，利用红外线探测技术成功的识别了果实成熟度，进而划分了采摘机器人的二维平面和三维立体路径规划，符合高精度采摘作业机器人的设计要求。

参考文献：

[1]樊景超,周国民.苹果近红外光谱采集影响因素研究[J].安徽农业科学,2011,39(1):464-467.

[2]吴迪,陈孝敬,何勇.基于离散余弦变换和支持向量机的多光谱纹理图像的茶叶分类研究[J].光谱学与光谱分析,2009,29(5):1382-1385.

[3]吴迪,吴洪喜,蔡景波,等.基于无信息变量消除法和连续投影算法的可见-近红外光谱技术白虾种分类方法研究[J].红外与毫米波学报,2009,28(6): 423-427.

[4]史敏.基于红外光谱技术的猕猴桃品质检测研究[D].杨凌:西北农林科技大学,2008:1-9.

[5]曹志勇,邱靖,曹志娟,等.基于改进型神经网络的植物病虫害预警模型的构建[J].安徽农业科学,2010,38(1):538-540.

[6]时君伟,胡敏英,武志富,等.基于神经网络的视觉图像处理研究[J].安徽农业科学,2009,37(19):9300- 9302.

[7]纪淑娟,柏兰,李东华,等.南果梨糖度近红外光谱无损检测模型的建立[J].食品工业科技,2008,29(4): 281-283.

[8]于冠年,纪淑娟,魏宝东,等.1-MCP处理对冷藏后南果梨常温货架影响[J].北方园艺,2007(1):180-182.

[9]王圆圆,丁志杰,万华林.基于视觉颜色聚类的彩色图像分割[J].北京理工大学学报,2003,23(2):19-23.

[10]袁春兰,熊宗龙.基于Sobel算子的图像边缘检测研究[J].河海科技大学学报,2009,30(6):31-48.

[11]向方,段瑞玲,李庆祥,等.图像边缘检测方法研究综述[J].光学技术,2005(3):415-419.

[12]周心明,兰赛,徐燕.图像处理中几种边缘检测算法的比较[J].现代电力,2000(3):65-69.

[13]魏伟波,芮筱亭.图像边缘检测方法研究[J].计算机工程与应用,2006(30):88-91.

[14]林卉,赵长胜,舒宁.基于Canny算子的边缘检测及评价[J].黑龙江工程学院学报,2003(2):3-6,16.

[15]孙慧,周红霞,李朝晖.图像处理中边缘检测技术的研究[J].电脑开发与应用,2002(10):7-9.

[16]宏福.图像边缘分割算法的优化研究与仿真[J].计算机仿真,2011(8):280-283.

[17]丁吉昌,崔现成.一副叠加有噪声图像的边缘分割的讨论[J].医疗设备信息,2001(12):12-13.

[18]纪淑娟,李东华,柏兰,等.扫描方式对南果梨近红外光谱无损检测模型建立的影响研究[J].食品科学,2008,29(6):383-386.

[19]周莹,傅霞萍,应义斌.湿度对近红外光谱检测的影响[J].光谱学与光谱分析,2007,27(11):2197-2199.

[20]周俊,程嘉煜.基于机器视觉的农业机器人运动障碍目标检测[J].农业机械学报,2011,42(8):154-158.

[21]朱安民,明仲.基于神经动力学的目标跟踪算法[J].深圳大学学报:理工版,2009,3(26):83-88.

[22]朱大奇,颜明重.移动机器人路径规划技术综述[J].控制与决策, 2010,25(7):961-967.

[23]朱庆保.动态复杂环境下的机器人路径规划蚂蚁预测算法[J].计算机学报, 2005,28(11):1898-1906.

Recognition of Fruit Maturity——Based on Near Infrared Signal Processing

He Jie1, Luo Yu2

(1.College of Electronic Information Engineering ,Chongqing Technology And Business Institute, Chongqing 401520,China; 2.School of Electrical and Information Engineering, Chongqing University of Science & Technology, Chongqing 401331,China)

Abstract：In order to improve the picking robot automatic identification of fruit maturity level of intelligence, improve fruit recognition accuracy, robot self localization and automatic planning path capacity design a new automatic picking robot, the robot using image segmentation technique and near infrared signal processing technology, to realize the automatic positioning of fruit maturity and discriminant. The performance of the picking robot was tested, including the segmentation and extraction of the apple image, the judgment of the fruit maturity and the path planning of the robot. Through the test found that the robot can be in complex picking background accurate recognition of apple fruit, and can be in infrared light to achieve the identification of fruit maturity. Finally, plan out the reasonable picking path, to obtain the fruit of accurate picking, for the fruit picking robot research provides a valuable reference.

Key words：picking robot; infrared detection; fruit maturity; image segmentation; path planning

中图分类号：S225.91；TP242

文献标识码：A

文章编号：1003-188X(2016)08-0194-05

作者简介：何婕(1984-)，女，重庆人，讲师，硕士。通讯作者：罗妤(1980-)，女, 四川广元人, 讲师,博士研究生，(E-mail)luoyu1980@126.com。

基金项目：重庆市教委科学技术研究项目(KJ1403805)

收稿日期：2015-07-27