李思广

(周口职业技术学院，河南 周口 466000)



自然背景下计算机视觉技术在西红柿采摘中的应用

李思广

(周口职业技术学院，河南 周口 466000)

针对西红柿种植过程中，采摘费时费力的问题，将计算机视觉技术与图像处理和模式识别技术相结合，开发了在自然背景条件下的西红柿自动识别系统。运用双目立体视觉系统来识别红色西红柿，去除原始图像的噪声、转换图像的灰度、对新图像进行分割和目标特征提取，从背景中把西红柿分离出来；同时，针对果实间存在的重叠问题，采用圆形Hough变换算法，提取西红柿的圆心坐标和半径特征，通过获取T=Sqrt(s×l)图像，恢复被遮挡西红柿。利用该技术，采集了不同条件下的100张西红柿照片，其中99张照片被准确识别，识别率达到99%以上，能够较好地满足西红柿采摘工作的要求。

双目立体视觉；自动识别；定位；西红柿；采摘

0 引言

果蔬采摘作业有较强季节性，通常集中在成熟阶段较短时间内。采摘作业耗时费力，属于高度劳动密集型工作，在收获期间所需的人力占到整个种植过程的50%以上。进行果蔬采摘作业时，所收获果蔬的品质好坏，会直接影响到果蔬在后续的储存运输、食品加工和销售等环节，并最终影响果蔬本身的市场价格。我国农业生产的自动化和智能化程度较低，目前国内果蔬采摘工作基本上是靠人工完成。但是，随着国民社会经济的高速发展、城镇化进程加快和人口老龄化加速,很多国家都出现或面临着农业生产劳动力严重短缺问题,导致农业生产经济成本提高，不利于农业生产活动的良性发展。另外，不同采摘者的经验素质各异，对果蔬品质的评判标准不一，也影响了对果蔬的分级加工和销售。因此，实现果蔬采摘作业的智能化和自动化，是解决劳动力不足、降低农业生产成本、提高农业生产效率的有效途径[1]。

近年来，国内外计算机视觉技术和人工智能控制技术得到了快速发展，特别是在果蔬采摘、农产品质量分级检测[2]、植物病虫害识别[3]和植物生长信息监测[4]等领域。美国学者Schertz和Brown于1968年首次提出将机器人技术运用在果蔬采摘作业上，之后日本、法国、意大利、美国、英国等国家在这方面做了大量研究，并成功研制出西红柿、茄子、茶叶、草莓、黄瓜、蘑菇和苹果等智能采摘机器人。我国对采摘机器人的研究开始于20世纪90年代中期，随后在各大院校学者的积极努力下得到了快速发展[5]。目前，我国西红柿智能采摘作业的研究主要集中在各类视觉系统开发及图像处理软件等方面，但尚处于起步阶段，应用并不广泛[6-7]。本研究针对西红柿种植过程中采摘费时费力的问题，利用双目立体视觉系统来识别红色西红柿，结合圆形Hough变换算法，提取西红柿的圆心坐标和半径等特征，提高目标定位精度。该技术的开发应用可以解决西红柿采摘过程中存在的多果重叠问题，同时能提高西红柿的采摘效率，降低种植成本。

1 目标的识别与定位

1.1 识别原理

计算机视觉系统是由光照箱、摄像头、图像采集卡及计算机软硬件等部分组成，利用视觉传感器获取目标物体的二维图像，再将图像信号转换为一系列数据矩阵，经过计算机的统计分析，完成对目标物体的识别。

双目立体视觉是计算机视觉的一种重要形式，主要通过成像设备从两个不同位置观察相同物体，获取目标物体不同角度两幅图像，通过计算图像像素对应点的坐标偏差，获取目标物体三维坐标信息，实现对目标物体的定位。

本研究所采用的双目立体视觉系统是由左右两个摄像头组成，构建以左目坐标为基础的三维坐标系，找到其在右摄像头像面上对应点，计算出该像素点的空间坐标。

2 图像处理

2.1 图像的获取

左右两个摄像头通过视频采集卡与计算机相连，采集目标物体图像的数字信号，在计算机的控制下完成二维图像的输入及信号数字化工作。

2.2 图像的预处理

对计算机得到的二维图像进行预处理，分离目标图像与背景图像，使计算机更容易识别图像中的目标物体。

2.2.1 图像噪声的去除

中值滤波法可有效消除图像中的孤立的噪声点干扰，同时可以保护图像的轮廓边界，避免图像边界模糊。因此,本文采用该法对原始二维图像进行平滑处理，去除噪声，提高图像质量。

2.2.2 图像灰度化

为增加目标图像与背景图像的对比度，避免目标与背景区域的相互重合，需对原始的西红柿图像进行灰度化处理。图像灰度化处理时常用的是RGB颜色系统。

在RGB颜色系统中,R、G、B分别表示彩色数字图像中红、绿、蓝三基色的亮度值,图像中每个像素的颜色信息存在于3个基色的分量中，改变三基色数值,可以混合出不同色彩。图像中每个像素都有一个色度坐标(r,g,b),坐标轴上的3个顶点表示RGB 3种基色，原点(0,0,0)对应黑色，顶点(1,1,1)对应白色；亮度值取值区间为[0，255]，三色数值相同时为灰度色，而黑色与白色的连线为灰度级。

一副图像由彩色变为灰度后，对应点的灰度值为b=0.3B+0.59G+0.11R。

2.2.3 图像分割

为了有效分析目标图像，需对图像进行分割，提取图像中的意义的特征，除去背景干扰，最大限度将西红柿本身图像从背景环境中“抓取”出来，以提高量化特征值的准确性。

本文采用图像阈值分隔法，对图像按照灰度分级；通过设定合适的阈值，将像素集合进行区域划分，各区域内部及其相邻区域均具有一致性属性。

图像分割处理后，整个西红柿基本被分离出来，但需要对一些误判的像素进行进一步处理。对于目标果实内部一些黑洞，可以以像素为单位，计算所有单连通区面积。当单连通区面积小于设定阈值时，可作为噪声去除。

2.2.4 果实特征的提取

正确识别西红柿位置是完成采摘任务的基础和关键，西红柿外形接近圆形，可通过确定西红柿圆心位置来确定西红柿的采摘点。

本文通过圆形Hough变换采集目标物特征，即西红柿中心圆点位置。Hough变换是利用图像坐标空间变换，将识别目标西红柿问题转化为空间坐标系中点的聚类问题。通过该算法得到的拟合圆半径和西红柿半径基本吻合。

2.2.5 目标特征的提取

西红柿生长时，经常会出现相互重叠和遮挡现象，如何顺利实现采摘重叠和遮挡的西红柿，是目前计算机视觉识别技术关键问题之一。

西红柿接近圆形，对西红柿的最小外接矩形边长阈值进行检测，当长宽比超过1.4时，可以判定西红柿存在重叠。重叠时，对阈值分割后的彩色图像进行灰度化，T=Sqrt(S×I)，其中S和I是HSI颜色系统中饱和度和亮度，Sqrt为开方运算。然后，再通过边缘检测，将得到的新图像进行3次腐蚀和膨胀运算，将重叠或粘连部分分开，最后进行特征提取处理。

3 成熟西红柿的视觉检测试验

利用上文所述的判别方法，对识别红色西红柿进行检测。本试验共进行100张西红柿图像的处理，这些图像均为不同条件下拍摄所得。每个图片中的西红柿数目在1～10个之间，大小不同，成熟的程度各异，在空间上随机分布。经过试验，其中99张被快速准确识别，识别率在99%以上，对于被部分遮挡的，识别率在98.36%；无遮挡的，识别率在100%，具体试验结果如表1所示。

表1 成熟西红柿的识别试验

4 结论

利用双目立体视觉系统对红色西红柿进行识别和定位，对原始图像进行去噪声处理，图像灰度化，并对新图像进行图像分割和目标特征提取，将西红柿从背景中分离出来进行定位；采用圆形Hough变换算法，提取西红柿的圆心坐标和半径特征，通过获取T=Sqrt(s×l)图像，提取重叠果实边界，实现果实特征提取。试验结果表明：该系统对成熟西红柿的识别率在99%以上，能够较好地满足西红柿采摘工作的要求，降低西红柿种植时的采摘成本。

目前，计算机视觉技术随着新的图像处理、数据处理技术的升级而得到了进一步的发展，在西红柿的采摘过程中也得到较多的应用。后续针对智能机器人在西红柿的种植应用过程中的问题，还需从机器采摘过程中降低对果实的损伤率、增强机器人系统的通用性和实用性等方便做进一步的完善。

[1] 姜丽萍，陈树人.果实采摘机器人的研究综述[J].农业装备技术,2006,32(1):8-10.

[2] 罗雪宁，倪明航，彭云发，等.浅谈计算机视觉技术在果蔬外观品种检测中的应用[J].新疆农机化,2014(4):14-17.

[3] 柴阿丽，李宝聚，石延霞，等.基于计算机视觉技术的番茄叶部病害识别[J].园艺学报,2010,37(9):1423-1430.

[4] 吴艳兵，樊啟洲，郑健，等.计算机图像处理技术在温室黄瓜幼苗生长信息检测中的应用 [J].湖南农机,2007(3):7-10.

[5] 张杰，李艳文.果蔬采摘机器人的研究现状、问题及对策[J].机械设计,2010,27(6):1-4.

[6] 郭凯敏，崔天时，张桢，等.西红柿采摘机器人视觉系统的研究[J].农机化研究,2016,38(12):217-226.

[7] 董坦坦，姬长英，周俊，等.成熟番茄的图像识别及其位姿的获取研究[J].江西农业学报,2009,21(8):152-155.

[8] 张瑞合，姬长英，沈明霞，等.计算机视觉技术在番茄收获中的应用[J].农业机械学报,2001,32(5): 50-52，58.

Application of Computer Vision Technology in Tomato Picking under Natural Background

Li Siguang

(Zhoukou Vocational and Technical College,Zhoukou 466000,China)

Computer vision technology is an important branch of computer technology. It has been widely used and developed from the beginning of last century. According to the picking time-consuming problem during tomato planting, the combination of computer vision technology and image processing and pattern recognition technology, developed under natural background condition of tomato automatic identification and picking method.Using binocular stereo vision system to identify the red tomatoes, removal of the original image noise,image conversion of gray,the new image of segmentation and target feature extraction, from the background to isolate the tomatoes; and according to the fruit of overlapping problem, using circular Hough transform algorithm, extraction tomatoes of the center coordinates and radius of the characteristics,through T=Sqrt (s x L) image acquisition, the restoration of occlusion tomatoes.Using this technique,100 tomato pictures were collected under different conditions, the 99 pictures were identified accurately and the recognition rate reached 99%, which could meet the requirements of the tomato picking.The development and application of this technology can improve the picking efficiency and reduce the production cost.

binocular stereo vision; automatic recognition; orientation; tomato; picking

2016-06-06

河南省高等学校重点科研项目(15B520047)

李思广(1965-)，男，河南沈丘人，副教授，硕士，(E-mail)lisiguang@163.com。

S126;TP391.41

A

1003-188X(2017)07-0201-03