陈 进，顾 琰，练 毅，韩梦娜



基于机器视觉的水稻杂质及破碎籽粒在线识别方法

陈 进，顾 琰，练 毅，韩梦娜

（江苏大学机械工程学院，镇江 212013）

为了解决目前国内联合收获机缺乏针对含杂率、破碎率的在线监测装置的问题，该文提出基于机器视觉的水稻图像采集，杂质与破碎籽粒分类识别方法。采用带色彩恢复的多尺度Retinex算法增强原始图像，对HSV颜色模型的色调、饱和度两个通道分别设定阈值进行图像分割，并结合形状特征得到分类识别结果。采用综合评价指标对试验结果进行量化评价，研究表明，茎秆杂质识别的综合评价指标值达到了86.92%，细小枝梗杂质识别的综合评价指标值为85.07%，破碎籽粒识别的综合评价指标值为84.74%，平均识别一幅图像的时间为3.24 s。结果表明，所提出的算法能够快速有效识别出水稻图像中的杂质以及破碎籽粒，为水稻含杂率、破碎率的在线监测提供技术支撑。

机器视觉；图像处理；杂质；水稻；破碎籽粒；颜色模型；在线识别

0 引 言

水稻含杂率、破碎率是衡量联合收获机作业质量的重要标准，根据2013年发布的《水稻联合收割机作业质量》规定，对全喂入式的联合收获机要求收获的水稻含杂率、破碎率均要低于2.5%[1]。但是，目前国内的联合收获机普遍缺乏作业过程中对含杂率、破碎率的监测，只能停机后依靠人工完成[2-3]，效率低下。

近年来，机器视觉技术因其非破坏性、精度高、速度快等特点，在现代农业生产中得到广泛应用[4]。国外的农机公司和研究人员将机器视觉技术应用到谷物杂质、破碎籽粒含量的监测上。德国克拉斯公司（CLAAS）采用高清彩色相机拍摄脱粒物的图像，对非谷物成分和碎粒含量进行分析，并在驾驶室操作面板上显示为条形图，还可显示极限值警示[5]。比利时的Wallays等[6]采用机器视觉在线检测联合收获机内小麦的杂质含量，通过遗传算法对400～900 nm范围内的5个波段进行组合，将图像中的单个像素分类为小麦籽粒或杂质。日本京都大学的Mahirah等[7]采用一种双灯源视觉系统检测水稻中杂质和破碎籽粒，系统检测的2值大于0.7，具有检测相关性。国内也有一些对谷物杂质和破碎籽粒识别算法的研究[8-9]，但是所研究的均是理想状态下的谷物图像。除本课题组外对联合收获机在线采集的谷物图像进行识别未见有其他报道。笔者所在研究团队近年来对联合收获机含杂率、破碎率的监测进行探索[10-12]，陈璇[13]采用-Means算法与分水岭算法结合进行图像分割，再利用BP神经网络模型识别杂余、破碎籽粒。但是分水岭算法存在过分割现象[14]，分割不准确影响后续识别结果；而且算法复杂，BP神经网络的计算量大[15]难以满足实时性的要求。程序在Matlab平台运行，平均识别一幅图像的时间在10 s左右。

本文要解决的关键问题在于实现杂质和破碎籽粒的精确识别并且达到实时性要求的识别速度。本文提出基于机器视觉的水稻图像采集及识别方法。采用图像采集装置、处理器、显示器搭建视觉系统，研究带色彩恢复的多尺度Retinex算法（MSRCR）及HSV颜色空间阈值分割方法，解决水稻图像杂质及破碎籽粒的快速准确识别问题。

1 图像采集系统的构建

图像采集系统主要由谷物采集装置、处理器、工业相机、光源以及显示器等部分组成（如图1所示）。

谷物采集装置1主要包括采样槽9、下方的挡板5、与挡板相连接的推拉式电磁铁6。采样槽侧面隔着透明亚克力板4与密闭空间连接，密闭空间内装有工业相机2和光源3。工业相机正对透明亚克力板拍摄，镜头距离亚克力板100 mm，拍摄范围55 mm×40 mm。亚克力板表面有一层均匀透明耐磨涂层，能够保证亚克力板不被籽粒损伤而造成成像模糊。光源采用贴片式LED条形光源，安装于密闭空间的上下两个面正对着照射，面上涂有白色的漫反射涂料，采用漫反射的方式进行照射。

1.谷物采集装置 2.工业相机 3.LED光源 4.透明亚克力板 5.挡板 6.电磁铁 7.谷物 8.出粮口 9.采样槽 10.嵌入式处理器 11.显示器

嵌入式处理器具有体积小、功耗低、成本低[16]等优点，本文选用NVIDIA公司的嵌入式Linux开发板Jetson TK1作为视觉系统的处理核心。它包含四核2.3 GHz ARM Cortex-A15 CPU和Tegra K1 GPU[17]，可连续在恶劣环境下工作，适应联合收获机的作业环境。

谷物采集装置1安装于联合收获机出粮口8下方，采集落入到采样槽9中的谷物7，采样槽下方的挡板5由推拉式电磁铁6控制移动。当电磁铁没有通电时，挡板完全遮挡住采样槽下方，阻止谷物继续下落，谷物在采样槽中迅速堆积，从而获得一个相对稳定的状态，嵌入式处理器10控制工业相机2进行一次谷物图像采集并进行图像处理和识别，将识别结果送显示器11显示。一次图像采集结束后，嵌入式处理器控制电磁铁短暂通电移开挡板，释放掉采样槽内的谷物，等待下一次图像采集和处理。图像采集系统实物如图2所示，主要由控制盒（里面包含了嵌入式处理器以及电源电路）、显示器、图像采集装置组成。

图2 图像采集系统实物图

2 图像采集与处理

2.1 图像采集

图像采集工作于2017年11月在苏州试验田完成。采用本文所述的图像采集系统在联合收获机作业过程中采集粮箱内的100幅水稻图像，图像采集设备为工业相机，选用MindVision彩色工业相机，搭配焦距16 mm相机镜头。工业相机通过GigE接口与嵌入式处理器连接。在开发板的Linux操作系统中利用工业相机配套的SDK动态库libMVSDK.so控制相机工作。设定图像分辨率为1 600×1 200像素，图像格式为jpg。

2.2 图像处理

在嵌入式处理器上利用计算机视觉库OpenCV设计图像处理算法。

本次试验所采集的水稻图像中存在大量籽粒堆叠、粘连的现象，需要从复杂的图像中识别出杂质以及破碎籽粒。首先对图像进行预处理，增强图像对比度，再进行图像的二值化，获得图像的前景和背景。然后将原图像转化到HSV颜色空间，通过对、两个通道分别设定不同阈值范围进行杂质和破碎籽粒的粗提取，再利用杂质和破碎籽粒的不同形状特征进行进一步的提取，得到杂质和破碎籽粒的识别结果。图像处理流程如图3所示。

图3 图像处理流程图

2.2.1 图像预处理

图像预处理包括图像增强、图像二值化。图像增强的目的是增强图像中的有用信息[18-19]，即籽粒和杂质的边缘轮廓，因为水稻图像中光照和阴影等噪声的存在给识别造成困难，所以有必要对原始彩色图像进行补偿和消除，减小噪声干扰。本文采用带色彩恢复的多尺度Retinex增强算法（MSRCR，multi-scale Retinex with color restoration）。Retinex方法以人类视觉色彩恒常性为理论基础，处理后的图像往往能得到较高的视觉评价，更接近于人眼直接观察到的真实场景[20]。

设图像(,)中任一像素点的数值为，带色彩恢复的多尺度Retinex增强算法表达式定义为[21]

图像二值化的目的是将图像的前景与背景区分开，前景部分包括水稻籽粒及杂质，背景部分即图像中的间隙部分。最大类间方差法是一种常用的二值化方法，算法简单，自适应能力强[22]。该方法首先假定一个灰度值将图像分成前景和背景两部分，然后通过类间方差的计算和比较确定最优分割阈值使得背景与前景差别最大[23]。但是，当图像中存在不均匀光照时采用最大类间方差法效果不佳。图4b是直接对图4a的水稻原图采用最大类间方差法得到的二值化结果，可以看出由于原图的左上角部分光线较暗，部分籽粒未被正确二值化分割为前景部分；而且原图中籽粒之间的轮廓不够清晰，导致二值图中存在大量的籽粒粘连情况。直接对原图二值化所得到的结果不利于后续的处理，因此需要对原图进行增强后再进行二值分割。本文采用MSRCR算法对图4a的水稻原图进行处理之后的结果如图4c所示。

可以看出经过MSRCR算法的增强使得原图中存在的部分不均匀光照得到了校正，而且图像的对比度得到了提高。对MSRCR增强之后的图像采用最大类间方差法得到二值图如图4d所示，与图4b原图的二值图相比前景部分更加完整，籽粒得到了正确的二值分割，籽粒间的轮廓更加清晰。

2.2.2 水稻图像分类识别

本文要识别水稻图像中的杂质和破碎籽粒，其中杂质又包括茎秆杂质以及枝梗杂质。完整水稻籽粒如图5a所示，可以看出水稻籽粒的形状近似椭圆，表面有一层黄褐色的外壳包裹。而破碎籽粒形状不完整，或是缺少外壳，表面透明。茎秆杂质呈长条形；枝梗杂质较为细长，通常与水稻籽粒连接，水稻图像主要成分如图5所示。

图5 水稻图像主要成分

从采集的100幅水稻图像中随机抽取20幅图像作为样本，人工选取样本图像中部分完整水稻籽粒、杂质、破碎籽粒的内部区域进行截取，将截取的区域从RGB颜色空间转化到HSV颜色空间，对区域内像素点的、值参数进行统计，得到完整水稻籽粒、杂质、破碎籽粒各部分的值分布范围统计结果，如图6所示。可以看出完整水稻籽粒、杂质、破碎籽粒之间存在界限。其中破碎籽粒的界限最为明显，值分布范围广，但是值分布在0～60之间，而完整水稻籽粒和杂质的值主要集中在60～255之间。从值上看完整水稻籽粒、杂质存在部分的重合，但是整体上来看完整水稻籽粒的值小于茎秆杂质值，茎秆杂质的值小于枝梗杂质值。由于水稻图像颜色的复杂性，待识别的各部分像素存在重叠，单单依靠颜色特征还不足以实现准确的识别，因此还需要结合杂质、籽粒的形状特征[27]进行进一步的筛选，剔除干扰部分。

图6 h值和s值范围统计图

1）茎秆杂质识别

图7d是对图7a的水稻原始图像识别茎秆杂质的结果,从识别结果来看，原图中的大型茎秆杂质基本都能被识别出来，而且茎秆的基本长度、大小均保存良好。不足之处在于存在与茎秆粘连的水稻籽粒（圈内）被误识别。对于图7a原图中长度较短的茎秆杂质（圈内）未能够识别。

注：图7a中圈内表示未被识别的茎秆杂质，图7d中圈内表示被误识别为茎秆杂质的水稻籽粒。

2）枝梗杂质识别

4.4.1 青藏高原作为气候变化敏感区，各地的热量资源增加，农作物生长季延长，同时由于降水变化的季节性和地域性的差异，干旱、冰雹、洪水等气象灾害呈现出增多，霜冻、低温冷害等呈现减少的趋势，喜凉作物种植上线的海拔高度增加，主要粮食作物适宜种植的区域面积扩大，农业生产的结构和布局在逐步发生变化。

注：图8a中圈内表示未被识别的枝梗杂质，图8b中圈内表示被误识别为枝梗杂质的部分。

图8b是对图8a的水稻原始图像识别枝梗杂质的结果。从图8b可以看出枝梗杂质基本得到了准确的识别，存在少量的误识别（圈内）。图8a中有2处颜色接近水稻籽粒的细长枝梗杂质（圈内）未得到识别。

3）破碎籽粒识别

注：图9b中圈内表示在破碎籽粒粗提取过程中被误识别的部分，图9d中圈内表示在最终的识别结果中存在的误识别籽粒。

3 结果与分析

3.1 杂质及破碎籽粒识别结果

本文对采集的100幅水稻图像进行杂质和破碎籽粒的分类识别，程序在嵌入式处理器上运行，平均一幅图的识别时间为3.24 s，满足在线识别的要求。图10是随机抽取的3幅水稻图像及其对应的识别结果。

可以看出水稻中的杂质及破碎籽粒均得到了有效识别。但是图像中也存在着一定的误识别或漏识别情况，从识别结果（图10b、10d、10f）可以看出，茎秆杂质存在部分籽粒粘连的现象（红色圈内的黄色部分），因为部分籽粒与茎秆颜色相似，而且之间没有清晰的边界造成了误识别。也存在部分完整籽粒被误识别为破碎籽粒的情况（图10b、10d中红色圈内的白色部分），原因在于该部分籽粒表面受白色光斑或白色病斑的影响导致了误识别。从试验原图（图10a、10c、10e）中看，存在着部分杂质或破碎籽粒未得到识别的情况（红色圈内），原因在于该部分颜色与水稻籽粒颜色接近，部分杂质与籽粒长度接近，低于设定的长度阈值被剔除掉造成漏识别。

注：识别结果图中黄色部分表示识别出的茎秆杂质，绿色部分表示识别的枝梗杂质，白色部分表示破碎籽粒。图10a、10c、10e中圈内表示未被正确识别的部分，图10b、10d、10f中圈内表示被错误识别的部分。

3.2 识别结果量化评价

为了衡量本文算法分别识别杂质和破碎籽粒的准确度，采用查准率、查全率这两项指标分别对杂质及破碎籽粒的识别结果进行量化评价。查准率（precision）表示准确率，它是衡量检测信噪比的指标，也就是指检测结果中的正确部分占整个检测结果的百分比。查全率（recall）表示召回率，它是衡量检测出成功度的指标，也就是检测结果中的正确部分占实际整个正确部分的百分比[29]。计算公式为

式中T为正确识别的像素数，F为错误识别的像素数，F为漏识别的像素数。T、F、F均采用人工标注的方式得到。

对于查准率、查全率这2项指标又可以采用综合评价指标1值进行考量，综合反映整体指标。

对100幅图像的评价结果进行统计，取平均值如表1所示。

表1 识别结果量化评价

综合查准率和查全率，本文识别茎秆杂质的1值达到了86.92%，大型茎秆类杂质基本都能被识别，而且形状大小保存良好。识别的误差在于部分籽粒与茎秆粘连严重，颜色上过于接近所以未分割开，造成误识别；部分杂质长度较短，与水稻籽粒长度相近，小于设定的长度阈值造成漏检测。枝梗杂质识别的1值为85.07%，大部分枝梗杂质得到了准确的识别，小部分枝梗的颜色与籽粒颜色相似且堆叠，给识别造成一定的错误。破碎籽粒识别的1值为84.74%，破碎籽粒能够得到有效的识别，但是还存在着一些完整籽粒因为光斑或病斑的影响被错误地识别为破碎籽粒，导致识别错误。本文主要采用了HSV颜色模型对杂质和破碎籽粒进行分类识别，为进一步提高识别的准确性，下一步考虑采用多种颜色模型相结合的形式进行水稻图像识别。

4 结 论

1）采用以嵌入式处理器为核心的机器视觉系统进行水稻图像的采集与处理，能够采集到清晰的水稻图像；在嵌入式处理器上利用开源计算机视觉库OpenCV进行编程，所开发的识别算法也能够成功运行，平均处理一幅图像的时间为3.24 s。

3）为了对识别的结果进行量化评价，采用综合评价指标1值对查准率和查全率进行考量，茎秆杂质识别的1值达到了86.92%，细小枝梗杂质识别的1值为85.07%，破碎籽粒识别的1值为84.74%。

本文提出的水稻杂质及破碎籽粒在线识别方法能够对联合收获机粮箱内的水稻进行图像采集，并且能快速、有效、稳定地识别杂质和破碎谷粒，为水稻含杂率、破碎率的在线监测提供技术支撑。后继可采用本识别法与多种颜色模型相结合的算法进行图像识别，进一步提高识别的精度。

[1] 中华人民共和国农业部. NY/T498-2013水稻联合收割机作业质量[S]. 北京：中国标准出版社，2013.

[2] 王志明. 横置差速轴流脱分选系统工作机理及设计研究[D]. 西安：长安大学，2017.

Wang Zhiming. Study on Work Mechanism and Design of Axial Flow Differential-speed Threshing-separating-cleaning Unit[D]. Xi’an: Chang’an University, 2017. (in Chinese with English Abstract)

[3] 李舟. 小型联合收割机清选装置设计与试验研究[D]. 长沙：中南林业科技大学，2016.

Li Zhou. Design and Experimental Research of the Cleaning Device for Small Scale Combine Harvester[D]. Changsha: Central South University of Forestry and Technology, 2016. (in Chinese with English Abstract)

[4] 刁智华，王会丹，魏伟. 机器视觉在农业生产中的应用研究[J]. 农机化研究，2014，36(3)：206－211.

Diao Zhihua, Wang Huidan, Wei Wei. Summary of research on machine vision application in agricultural production[J]. Journal of Agricultural Mechanization Research, 2014, 36(3): 206－211. (in Chinese with English Abstract)

[5] 李峥峥，编译. 2013年世界农机创新精彩回顾（三）[N]. 中国农机化导报，2014-02-24(7).

[6] Wallays C, Missotten B, Baerdemaeker J D, et al. Hyperspectral waveband selection for on-line measurement of grain cleanness[J]. Biosystems Engineering, 2009, 104(1): 1－7.

[7] Mahirah J, Yamamoto K, Miyamoto M，et al. Monitoring harvested paddy during combine harvesting using a machine vision-Double lighting system[J]. Engineering in Agriculture, Environment and Food, 2017, 10(2): 140－149.

[8] 苏忆楠. 基于机器视觉和高光谱图像技术的粮食水分检测及杂质与不完善粒识别方法研究[D]. 杭州：浙江大学，2011.

Su Yinan. Research on Grain Water Content Detection and Impurities Recognition Method Based on Machine Vision and Hyperspectral Image Technique[D]. Hangzhou: Zhejiang University, 2011. (in Chinese with English Abstract)

[9] 闫磊，刘芷宁，林剑辉，等. 一种粘连谷物图像分割及杂质识别算法开发[J]. 吉林农业科学，2012，37(4)：72－76.

Yan Lei, Liu Zhining, Lin Jianhui, et al. Development of splitting and identification algorithm of touching kernels in digital images[J]. Journal of Jilin Agricultural Sciences, 2012, 37(4): 72－76. (in Chinese with English Abstract)

[10] 李耀明，梁振伟，徐立章. 一种粮箱籽粒含杂率、破碎率监测装置及其监测方法：CN106404679A [P]. 2017-02-15.

[11] 梁振伟，李耀明，徐立章. 一种粮箱籽粒含杂率、破碎率监测装置：CN206223641U [P]. 2017-06-06.

[12] 陈进，陈璇，李耀明，等. 一种联合收割机粮箱中谷物破碎在线监测系统及方法：CN105806751A [P]. 2016-07-27.

[13] 陈璇. 联合收获机谷物破碎率、含杂率监测方法及系统研究[D]. 镇江：江苏大学，2017.

Chen Xuan. Research on the Methods and Systems for Monitoring Grain’s Crushing Rate and Impurity Rate for Combine Harvester[D]. Zhenjiang: Jiangsu University, 2017. (in Chinese with English Abstract)

[14] 张毅. 分水岭算法在图像分割中的应用研究[D]. 广州：广东工业大学，2013.

Zhang Yi. Applied Research in Image Segmentation Used by the Algorithm of Watershed[D]. Guangzhou: Guangdong University of Technology, 2013. (in Chinese with English Abstract)

[15] 曹永峰，赵燕君. 基于GA-BP神经网络的计算机智能化图像识别技术探究[J]. 应用激光，2017，37(1)：139－143.

Cao Yongfeng, Zhao Yanjun. Research on computer intelligent image recognition technology based on GA-BP neural network[J]. Applied Laser, 2017, 37(1): 139－143. (in Chinese with English Abstract)

[16] 李栋. 基于ARM嵌入式的图像处理研究[D]. 石家庄：河北科技大学，2010.

Li Dong. The Remote Control System of Video Based on Web Service in Embedded Linux Environment[D]. Shijiazhuang: Hebei University of Science and Technology, 2010. (in Chinese with English Abstract)

[17] 许美珍. 嵌入式图像处理系统研究[D]. 呼和浩特：内蒙古工业大学，2016.

Xu Meizhen. Research On Embedded Image Processing System[D]. Hohhot: Inner Mongolia University of Technology, 2016. (in Chinese with English Abstract)

[18] 张亚秋，吴文福，王刚. 基于逐步改变阈值方法的玉米种子图像分割[J]. 农业工程学报，2011，27(7)：200－204.

Zhang Yaqiu, Wu Wenfu, Wang Gang. Separation of corn seeds images based on threshold changed gradually[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(7): 200－204. (in Chinese with English Abstract)

[19] 周德祥，毋桂萍，杨红卫，等. 基于数学形态学粘连粮食籽粒图像分割算法的改进[J]. 农机化研究，2010，32(7)：49－52.

Zhou Dexiang, Wu Guiping, Yang Hongwei, et al. The improvement of adhesive grain particles image segmentation algorithm based on the mathematical morphology[J]. Journal of Agricultural Mechanization Research, 2010, 32(7): 49－52. (in Chinese with English Abstract)

[20] 李莹. 基于Retinex理论的图像增强算法研究[D]. 西安：西北大学，2014.

Li Ying. Research on Image Enhancement Algorithm Based on Retinex Theory[D]. Xi’an: Northwest University, 2014. (in Chinese with English Abstract)

[21] 窦易文，周鸣争，唐肝翌，等. 焦点引导的带颜色恢复的多尺度Retinex算法[J]. 计算机工程与应用，2013，49(2)：207－210,270.

Dou Yiwen, Zhou Mingzheng, Tang Ganyi, et al. Focus-guided multi-scale Retinex with color restore algorithm[J]. Computer Engineering and Applications, 2013, 49(2): 207－210,270. (in Chinese with English Abstract)

[22] 张晴晴，张云龙，齐国红. 基于最大类间方差法的黄瓜病害叶片分割[J]. 安徽农业科学，2017，45(12)：193－195,234.

Zhang Qingqing, Zhang Yunlong, Qi Guohong. Segmentation of cucumber disease leaves based on Otsu method[J]. Journal of Anhui Agricultural Sciences, 2017, 45(12): 193－195,234. (in Chinese with English Abstract)

[23] 朱言江，韩震，和思海，等. 基于最大类间方差法和数学形态学的遥感图像潮沟提取方法[J]. 上海海洋大学学报，2017，26(1)：146－153.

Zhu Yanjiang, Han Zhen, He Sihai, et al. Remote sensing image extraction of tidal channels based on Otsu and mathematical morphology[J]. Journal of Shanghai Ocean University, 2017, 26(1): 146－153. (in Chinese with English Abstract)

[24] 郭英华. 基于HSV色彩空间的图像分割[J]. 黑龙江冶金，2011，31(2)：35－37.

Guo Yinghua. Image segmentation based on HSV color space[J]. Heilongjiang Metallurgy, 2011, 31(2): 35－37. (in Chinese with English Abstract)

[25] 张丽静，孙杰，殷晓宇. 基于HSV颜色空间的车牌定位方法[J]. 微计算机信息，2008(7)：247－248.

Zhang Lijing, Sun Jie, Yin Xiaoyu. A mothed of vehicle license plate location based on HSV space[J]. Microcomputer Information, 2008(7): 247－248. (in Chinese with English Abstract)

[26] 韩丁，武佩，张强，等. 基于颜色矩的典型草原牧草特征提取与图像识别[J]. 农业工程学报，2016，32(23)：168－175.

Han Ding, Wu Pei, Zhang Qiang, et al. Feature extraction and image recognition of typical grassland forage based on color moment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(23): 168－175. (in Chinese with English Abstract)

[27] 葛杰，曹晨晨，李光. 基于机器视觉的图像形状特征提取方法研究进展[J]. 包装学报，2015，7(1)：54－60.

Ge Jie, Cao Chenchen, Li Guang. Research progress in shape feature extraction methods based on machine vision[J]. Packaging Journal, 2015, 7(1): 54－60. (in Chinese with English Abstract)

[28] 耿帅. 基于数学形态学的图像去噪[D]. 济南：山东师范大学，2012.

Geng Shuai. Image Denoising Based on Mathematical Morphology[D]. Ji’nan: Shandong Normal University, 2012. (in Chinese with English Abstract)

[29] 郭守宽. 高速印刷品质量图像检测系统研究和开发[D]. 武汉：华中科技大学，2012.

Guo shoukuan. Research and Design on High-speed Press Quality Image Detection System[D]. Wuhan: Huazhong University of Science & Technology, 2012. (in Chinese with English Abstract)

Online recognition method of impurities and broken paddy grains based on machine vision

Chen Jin, Gu Yan, Lian Yi, Han Mengna

(,212013,)

The status of grains, including impurity and breakage, is one of the key criteria for the assessment of combine harvester, whereas the on-line monitoring system for grain impurity and breakage is not yet well understood. In this paper a method of image capturing and processing for rice impurity and breakage based on machine vision was presented. The machine vision system designed was mainly composed of grain collection device, embedded processor, industrial camera, light source and display module. One hundred paddy images were collected when the combine harvester was working. The image resolution was set to 1 600×1 200 pixels, and the image format was jpg. There were lots of phenomena of grain stacking and adhesion in the rice images collected from this experiment. It was necessary to recognize MOG (material other than grain) and broken paddy grains from an image in complex background. HSV (hue, saturation, value) color space is closer to human perception of color and is more suitable for color expression based on machine vision than RGB (red, green, blue) color space. The interval ranges of hue channel and saturation channel of whole grains, impurities and broken grains were analyzed from 20 images sampled randomly from 100 images, and the boundaries between intact rice, impurities and broken grains were found. Among them, the saturation value of broken grain was between 0 and 60, while the saturation values of intact rice and impurity were mainly between 60 and 255. From the hue value as a whole, the hue value of intact rice was smaller than that of stem impurities, and the hue value of stem impurities was less than that of branch impurities. But mere color feature was not enough to recognize the accurate recognition, and the shape characteristics of impurities and grains such as length, width and area were also needed to eliminate the interference part. On the embedded processor, the computer vision library OpenCV was used to design the image processing algorithm. The multi-scale Retinex with color recovery algorithm was used to enhance the original image and then different thresholds were set up in the hue and saturation channel of the HSV color model for image segmentation respectively. Then the shape features of impurity and broken paddy grains were used to obtain the detection results. The comprehensive evaluation index F1-score was used on the detection results for the quantitative evaluation.1 is a comprehensive consideration of precision and recall rate. It was showed that the1 of detected stem of impurity reached 86.92%, the F1-score of detected small branch of impurity was 85.07%, the1 of detected broken paddy grain was 84.74%, and the average time for the detection of an image was 3.24 s. The proposed technology can effectively recognize the impurities and broken paddy grains from the captured images, which provides a solid foundation for monitoring impurity and breakage rate of paddy grain during harvesting, and also provides a reference for future research on the identification methods of wheat images containing impurities and broken grains. Later, this recognition method can be combined with a variety of color models for image recognition, which can further improve the accuracy of recognition.

computer vision ; image processing; impurities ;paddy; broken grain; color model; online recognition

陈 进，顾 琰，练 毅，韩梦娜. 基于机器视觉的水稻杂质及破碎籽粒在线识别方法[J]. 农业工程学报，2018，34(13)：187－194. doi：10.11975/j.issn.1002-6819.2018.13.022 http://www.tcsae.org

Chen Jin, Gu Yan, Lian Yi, Han Mengna. Online recognition method of impurities and broken paddy grains based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 187－194. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.13.022 http://www.tcsae.org

2018-04-09

2018-05-15

国家重点研发计划重点专项（2016YFD0702001）；江苏省重点研发计划（BE2017358）；镇江市重点研发计划（NY2016016）。

陈 进，江苏盐城人，教授，博士生导师，主要从事智能化农业装备和机器系统监测与控制研究。Email：chenjinjd126@126.com

10.11975/j.issn.1002-6819.2018.13.022

TP391.41

A

1002-6819(2018)-13-0187-08