杜云 郑羽纶 张效玮

摘 要：为了实现苹果的智能分拣，在GB/T 10651-2008《鲜苹果》的标准下，采用图像处理方法对分拣系统中的苹果大小进行分级。首先，针对同一种类的苹果，对摄取到的蘋果表面图像进行图像预处理，得到平滑且无噪声影响的苹果二值图;然后，通过寻找每个苹果5幅表面图像中最小外接矩形长宽比最接近1的苹果图像，依此作为获取苹果最大横截面直径的重要依据;最后，通过寻找苹果图像质心，将质心与目标像素点的最大距离作为半径，用最小外接圆的方法得到苹果的最大横截面直径。实验研究表明：选取的30个红富士苹果，最终得到系统分级正确率为93.3%，系统的平均分级时间在1.5 s以内，满足实际苹果分级的需要。所提出的方法可为按照行业标准对苹果进行大小分级提供参考。

关键词：图像处理;最小外接矩形;最小外接圆;苹果;分级

中图分类号：TP391 文献标志码：A

doi： 10.7535/hbgykj.2019yx06007

文章编号：1008-1534（2019）06-0410-05

Abstract：In order to realize intelligent sorting of apples， under the Chinese standard GB/T10651-2008 Fresh Apples， image process method is used for apple size grading in sorting system. Firstly， the surface images of the same kind of apples are taken and preprocessed， and a smooth and noise-free binary is obtained. Then the image with the smallest circumscribed rectangle aspect ratio closest to 1 in the five images is searched， which serves as an important basis for obtaining the largest cross section of the apple. Finally， by searching apple image centroid， the maximum distance between the centroid and the target pixel is searched， which serves as a radius. The maximum diameter of the apple is obtained by the method of the smallest circumscribed circle. The experimental research shows that for the 30 Fuji apples selected in this experiment， the accuracy rate of system classification is 93.3%， the average grading time is less than 1.5 s， which meets the needs of actual apple grading. The study can provide reference for automatic sorting of apples by size under the industry standard.

Keywords：image processing; the minimum enclosing rectangle; the minimum circumscribed circle; apple; grading

中国苹果产销量居世界首位[1]，传统的苹果分级由人工完成，长期以来，其劣势逐渐显现[2]。因此，智能分拣是当今苹果分级的主要任务，而大小又是苹果分级的重要参考指标。国内外专家做了许多基于图像处理的苹果大小分级研究，其中PAULUS等[3]提出以表面积、直径和体积作为苹果大小分级的指标。应义斌等[4]通过寻找柑橘的最小外接矩形的最大横径数来求取柑橘的大小，随之也被应用到了苹果大小的检测中。冯斌等[5]通过果梗侧外形确定轴向，取垂直轴向的最大宽度作为水果大小。

陈艳军等[6]通过比较3幅苹果图像的最大直径来确定苹果实际大小，还通过多元线性回归原理找到3个最大直径与苹果实际大小的拟合关系。除此之外，苹果大小检测还有当量直径法、投影面积法和平均半径法等[7]。而根据鲜苹果分级标准[8]，需选取苹果最大横截面直径作为测量依据。因此，本文选取垂直拍摄果径面的图像作为获取最大横截面直径的参考，再利用最小外接圆得到苹果的直径，最后依据分级标准判断大小等级。

1 苹果分拣系统

苹果分拣系统主要由水果输送装置、图像采集系统、图像处理系统和分拣系统组成[9]。其中水果输送装置选用市场上广泛应用的滚子式输送结构，如图1所示。其主要工作原理是：整个装置由一条循环输送链带动，摩擦表面的滚子由于摩擦作用绕滚子轴转动并前进，而相邻的2个滚子之间有一“凹型槽”，苹果正好处于“凹型槽”上，随着滚子翻转滚动并向前输送[10]，苹果的所有表面都会被相机获取，这也保证了苹果采集的完整性。水果输送过程中的实际状态如图2所示。将相机采集到的图像传送到处理系统进行分析，获得苹果等级结果，然后控制模块将指令传递到分级执行机构，使苹果在对应分类级别的位置落下，从而实现分级[11]。

2 苹果图像预处理

2.1 图像采集

根据苹果在输送中的实际运动状态以及相机摄取到的多姿态苹果图像，在实际操作中发现，5幅图像就能包含苹果的所有表面，因此将获取到的每个苹果的5幅图像作为研究对象，如图3所示。

2.2 圖像二值化

将采集到的苹果彩色图像进行二值化处理，得到像素值为0的黑色背景和像素值为1的目标图像[12]。具体方法为先将彩色图像进行灰度化处理，利用如下语句实现：

其次，利用Qtsu图像分割将灰度图转换成二值图，通过计算方差寻找最合适的灰度级作为阈值，使划分区域的两部分差别最大，Qtsu法的语句实现如下：

2.3 形态学去噪

图像二值化后，目标区域可能会有小的孔洞出现，因此用图像形态学进行去噪处理，填补小孔洞，细化边缘[13]。使用圆形结构进行形态学闭操作处理，语句实现如下：

对于采集到果梗面或有缺陷的图像，上述操作后还会有较大孔洞出现，因此使用imfill函数填充较大孔洞，语句实现如下。

图像预处理结果如图4所示。

3 最小外接圆分级

3.1 果径面的确定

鲜苹果分级标准规定，取苹果最大横截面直径作为苹果大小等级的判断标准。通过观察可以发现，由于苹果是立体图形，苹果以正立形式（果梗上置）放置时，获取到的苹果主视图图像的最大直径不一定是苹果的最大横截面直径，而此时的俯视图，也就是垂直于果径拍摄的图像，它的最大直径可以作为大小等级划分的重要依据。进一步观察发现，对于大多数苹果，尤其是形状不规则的苹果而言，垂直于果径拍摄的图像比其他姿态时的图像更加接近于圆形[14]。因此，可以利用图像最小外接矩形长宽比这一指标来寻找最接近圆形的图像[15]。而且长宽比数值越接近于1，图形越接近于圆，所以可用式（1）来求取图像最小外接矩形长宽比与1的差值，差值最小的图像即为所确定的果径面的图像。

3.2 最小外接圆圆心确定

确定好果径面后，就要对果径面求取它的最大直径，将其作为苹果的实际大小，本文用最小外接圆法求取直径。首先就要确定最小外接圆的圆心，将苹果图像的质心作为最小外接圆的圆心，计算苹果二值图目标区域的总像素数，记作s，质心坐标可以通过求取二值图目标像素的平均像素点获得[16]，如式（2）和式（3）所示。

3.3 最小外接圆半径确定

确定好最小外接圆圆心后，通过寻找图像坐标与圆心坐标的距离，距离值最大的即为最小外接圆半径。首先，设初始半径为2个像素点，再遍历各个像素点，利用两点间距离公式，如式（4）所示，计算此时像素点与圆心的距离，如果大于当前半径，则此距离作为新的半径，最终迭代更新得到最小外接圆半径。

最终在二值图的基础上，根据圆心和半径画出图像的最小外接圆，如图5所示。

3.4 图像标定

系统通过最小外接圆法得到苹果直径的单位为像素，而苹果实际直径单位是毫米，因此需要进行单位转换。具体方法：选取一标准形状的球体，利用图像采集系统进行球体的图像采集，然后运用计算机绘图软件，如Photoshop进行球体直径的测量，得到的球体直径为d像素，而球体的实际直径为D mm，则系统的标定系数k如式（5）所示：

用标定系数k与系统测量的苹果直径进行转换，就可以得到实际的苹果直径。

4 苹果分级结果分析

4.1 单一苹果果径面的选取与测量

将一个苹果样本在光箱中进行不同姿态拍摄，获取5幅图像（保证提取到所有表面图像），经过图像处理与分析后，选择5幅图像中最小外接矩形长宽比最接近于1的图像，也就是垂直于果径拍摄的图像作为果径面，如表1所示。由表1可知5幅图像中最小外接矩形长宽比与1差值最小的是0.015，因此选择图像5作为果径面。然后用最小外接圆方法测量图像5的直径大小，通过图像标定，最终系统测量苹果样本的大小为79.05 mm，而用游标卡尺测量出实际大小为77.82 mm，两尺寸相差不大，绝对误差为1.23 mm。

4.2 苹果大小分级结果

采用同样的方法，随机选取30个同一品种的红富士苹果作为研究对象，依次测量苹果的直径，参考《鲜苹果》分级标准和实际选取的苹果果径大小，将各级之间的分割阈值确定为85，80，75 3个阈值，其中苹果直径大于85 mm的为一级果，80～85 mm的为二级果，75～<80 mm的为三级果，小于75 mm的为四级果。实验中，首先用游标卡尺分别测量30个苹果的实际果径大小，并编号标记;其次，按照编号依次获取每个苹果的5幅图像;最后，系统确定果径面并测量直径大小，与苹果实际直径进行对比，分出等级，如表2所示。

实验结果显示，在对30个苹果进行大小分级后，有28个苹果分级正确，2个苹果分级错误。因此，使用本方法最终得到的苹果大小分级准确率为93.3%。

5 结 语

本文对苹果大小分级问题进行了研究，首先对获取到的苹果表面图像进行预处理，得到二值化图像，然后将垂直果径的拍摄面图像作为寻找苹果最大横截面直径的重要依据，其中通过对相机获取到的每个苹果的5幅表面图像进行最小外接矩形长宽比的比较，将比值最接近于1的图像作为最终的果径面。得到果径面后，采用最小外接圆法得到苹果的直径，并将单位转换成毫米，实验选取30个红富士苹果进行实验验证，最终分级准确率为93.3%，系统平均分级时间在1.5 s以内，满足实际苹果分级的需要。但在苹果每个表面都近似圆形的情况下，就会影响果径面的选择，进而导致苹果大小分级错误。针对这种情况，如何选取果径面是下一步研究的重点。

参考文献/References：

[1]庞桂娟，张复宏，宋晓丽.我国苹果产业转型升级路径与对策[J].合作经济与科技，2018（23）：22-25.

[2]李彦峰，王春耀，王跃东，等.基于虚拟仪器视觉系统苹果图像采集装置的研究[J].农机化研究，2014，36（4）：183-186.

LI Yanfeng， WANG Chunyao， WANG Yuedong， et al. Study of apple image acquisition device based on vision system of virtual instrument[J]. Journal of Agricultural Mechanization Research， 2014，36（4）：183-186.

[3]PAULUS I， de BUSSCHER R， SCHREVENS E. Use of image analysis to investigate human quality classification of apples[J]. Journal of Agricultural Engineering Research， 1997， 68（4）：341-353.

[4]应义斌，成芳，马俊福.基于最小矩形法的柑桔横径实时检测方法研究[J].生物数学学报，2004，19（3）：352-356.

YING Yibin， CHENG Fang， MA Junfu. Real-time size inspection of citrus with minimum enclosing rectangle method[J]. Journal of Biomathematics， 2004，19（3）： 352-356.

[5]冯斌，汪懋华.基于计算机视觉的水果大小检测方法[J].农业机械学报，2003，34（1）： 73-75.

FENG Bin， WANG Maohua. Detecting method of fruit size based on computer vision[J]. Transactions of the Chinese Society of Agricultural Machinery， 2003，34（1）： 73-75.

[6]陈艳军，张俊雄，李伟，等.基于机器视觉的苹果最大横切面直径分级方法[J].农业工程学报，2012，28（2）：284-288.

CHEN Yanjun， ZHANG Junxiong， LI Wei， et al. Grading method of apple by maximum cross-sectional diameter based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering， 2012， 28（2）： 284-288.

[7]杨习文.基于机器视觉的苹果尺寸分级技术研究[D].武汉：武汉轻工大学，2015.

YANG Xiwen. Research of Apple Size Classification Technology Based on Machine Vision[D]. Wuhan： Wuhan Polytechnic University， 2015.

[8]GB/T 10651—2008，鲜苹果[S].

[9]安爱琴，余泽通，王宏强.基于机器视觉的苹果大小自动分级方法[J].农机化研究，2008（4）：163-166.

AN Aiqin， YU Zetong， WANG Hongqiang. The method of automatic apple hierarchy based on machine vision[J]. Journal of Agricultural Mechanization Research， 2008（4）： 163-166.

[10]魏新华，周杏鹏，李法德，等.水果机器视觉分选机滚子式输送翻转机构优化设计[J].农业机械学报，2007，38（9）：98-102.

WEI Xinhua， ZHOU Xingpeng， LI Fade， et al. Optimum design of fruits roller conveyor of machine vision grader[J]. Transactions of the Chinese Society for Agricultural Machinery， 2007，38（9）：98-102.

[11]张方明，应义斌.水果分级机器人关键技术的研究和发展[J].机器人技术与应用，2004（1）：33-37.

[12]杜云，曹世佳，贾科进，等.基于图像处理的大蒜蒜种品质无损分级方法研究[J].河北工业科技，2018，35（5）：317-321.

DU Yun， CAO Shijia， JIA Kejin， et al. Research on nondestructive classification of garlic seed quality based on image processing[J]. Hebei Journal of Industrial Science and Technology， 2018， 35（5）： 317-321.

[13]王一丁.数字图像处理与实战[M].北京：人民邮电出版社，2013.

[14]刘新庭，匡迎春，陈熵，等.基于最小外接 圆直径的苹果分级研究[J].中国农学通报，2015，31（20）：239-243.

LIU Xinting， KUANG Yingchun， CHEN Shang， et al. Research on apple grading based on the minimum circumscribed circle diameter[J]. Chinese Agricultural Science Bulletin， 2015， 31（20）： 239-243.

[15]黃星奕，魏海丽，赵杰文.实时在线检测苹果果形的一种计算方法[J].食品与机械，2006，22（1）：27-29.

HUANG Xingyi， WEI Haili， ZHAO Jiewen. A computation method of real time inspection of apple shape[J]. Food & Machinery， 2006，22（1）：27-29.

[16]郭辉.基于机器视觉的蜜柚品质检测方法研究[D].北京：中国农业大学，2015.

GUO Hui. Research of Pummelo Quality Detection Method Based on Machine Vision [D]. Beijing： China Agricultural University， 2015.