周志强,郭帅超,成军虎

(1.河南工业大学信息科学与工程学院,河南郑州 450001;2.河南工业大学粮油食品学院,河南郑州 450052)

玉米品质性状计算机视觉识别与评价研究进展

周志强1,郭帅超2,成军虎2

(1.河南工业大学信息科学与工程学院,河南郑州 450001;2.河南工业大学粮油食品学院,河南郑州 450052)

计算机视觉技术是计算机科学和人工智能的重要分支,它作为一种无损检测技术在农业领域有着广泛的应用前景.综述了计算机视觉技术在玉米品质识别与评价中的研究进展,为计算机视觉技术精确测量玉米籽粒特征,建立玉米的特征信息与其品质的相关性,实现对玉米品质检测提供了参考,同时提出了利用计算机视觉技术并结合红外、微波、核磁共振等技术进行农产品内部品质的视觉信息提取与检测、研究快速并行图像处理算法等作为今后的发展趋势.

玉米品质;计算机视觉;特征提取;纯度;应力裂纹

0 前言

计算机视觉技术是计算机科学和人工智能的重要分支,它所研究的是从图像中提取信息,实现三维景物的识别、定位和描述,从而使机器具备与人相似的视觉功能.随着计算机技术的发展与进步,计算机视觉技术在农业领域有着广泛的应用前景.国外在利用计算机视觉进行农产品检测方面的研究取得了较快发展,利用计算机视觉技术对农产品表面缺陷与损伤、尺寸和表面颜色等农产品重要品质特征的检测,不仅可以排除主观因素干扰,而且还能对这些指标进行定量描述,具有人工检测所无法比拟的优越性[1-2].把计算机视觉技术、农业传统方法与现代新方法 (神经网络、并行算法、遗传算法、模糊技术、人工智能、图像形态学、分形学、小波变换和多光谱技术等)有效结合起来可以有效促进我国农业科技水平的发展.作者重点综述了国内外利用计算机视觉技术研究玉米品质检测的进展情况,为计算机视觉技术如何精确测量农产品特征,如何建立农产品的特征信息与农产品品质的相关性,如何实现对高速运动农产品群体的品质检测等提供了参考.

1 计算机视觉技术在玉米品质性状中的识别与评价研究

1.1 计算机视觉技术在玉米籽粒特征提取中的应用

玉米是世界三大作物之一,其籽粒的胚部特征是重要农艺性状之一,不同品种的玉米胚部特征有较大差别,因此,在玉米育种、栽培及新品种测试等科研实践中准确检测玉米胚部的颜色、形状、纹理等特征非常重要[3-4].目前主要通过手工方法进行测量.为了实现通过机器视觉图像处理的方法进行玉米胚部特征的自动检测,韩仲志等[5]提出了一种基于独立分量分析 ICA的玉米胚部测量方法,并建立了检测模型.和手工检测结果相比,面积误差为 0.7%,决定系数达 0.984.与前人的基于颜色模型区域生长的检测结果比较,检测准确度有明显提高.表明采用基于 ICA的方法检测的结果准确可靠,能够用于玉米胚部的自动检测.张杰[6]分别利用 Roberts算子、Sobel算子、Prewitt算子、LoG算子和 Canny算子对玉米图像进行边缘检测,通过比较检测结果,最终采用Canny算子对玉米图像进行边缘检测.剔除两侧轮廓线,得到玉米籽粒应力裂纹的图像.分析应力裂纹的图像,通过搜索二维逻辑矩阵,统计出了裂纹的条数.史智兴等[7]通过对不同品种玉米籽粒数字图像信息的分析对比,发现玉米籽粒白色部分 (胚部)与黄色部分 (冠部)的面积、颜色等信息可以作为识别玉米品种的特征.采用基于支持向量机的遗传算法结合 SPSS统计软件进行试验验证,得出玉米籽粒白色部分与黄色部分的面积比例、黄色部分的蓝色分量与饱和度在玉米品种识别方面具有显著价值.Zayas等[8]借助于一系列形态学参数从破损的玉米籽粒中提取出完整的籽粒,用 SAS程序中的统计学判别函数来进行外形判别分析.结果表明,玉米籽粒的形态学参数能够准确地将完整玉米从破损玉米中分离出来.但采用这些技术只有在时间极少限制或没有限制的情况下才是可行的.Ruiz-Altisenta等[9]借助于图像处理技术研究了玉米的色泽和质构的变化,提出了检测玉米物理特性的无损检测方法.Liao等[10]借助于人工神经网络分类器的方法,从二值化图像中简化出一维数字信号来描述玉米外形,通过分析玉米外形来选择形状参数,并输入到机器学习算法中来训练完整籽粒相对于破损籽粒的形状成员函数.试验表明,对 720粒完整扁平玉米的分类准确率达 99%,对 720粒破损玉米的分类准确率达 96%,而对圆形玉米则分别是 91%和 95%.Panigrahi等[11]为了精确快速地测量玉米籽粒的尺寸,提出了一种从背景中分割玉米籽粒图像的阈值自动选择技术,并利用机器视觉测定了玉米籽粒的最大长度、最大宽度和沿长度方向每 5 mm测量一次所得的连续宽度,三者与所测结果的相关性分别为 0.998、0.997和 0.970.Ni等[12]研究了利用机器视觉可以不考虑籽粒放置的方向独立测量籽粒的大小.获得了玉米籽粒三维信息,根据不同形状的玉米籽粒其图像灰度曲线有明显差异,有效的将凸形冠顶、光滑凹形冠顶和非光滑凹形冠顶玉米籽粒区分开.周红等[13]介绍了利用数字图像处理技术(灰度变换、图像增强、基于直方图的阈值分割、轮廓提取与跟踪)快速准确地提取玉米种子外形轮廓,为玉米种子等级的评定作了前期准备工作.根据玉米种子外形轮廓,可以进一步进行玉米种子外形尺寸、式样、匹配度等的识别,从而为玉米种子等级的分类提供有效的方法.

1.2 计算机视觉技术在玉米品种识别中的应用

王瑶[14]利用计算机视觉技术从玉米籽粒的大小、饱满度、健康度、破损率和含杂率这 5个特征来考虑玉米种子的品质.通过专家的经验选用面积、矩形度、颜色、边缘、纹理这 5个特征参数和含杂率作为相应的评价指标.对于每一个评价指标,建立了相应的隶属函数.权龙哲等[15]利用图像标记法,实现了在含有众多散放玉米籽粒的图像中对单个籽粒的有效拾取,分析并设计了单个籽粒图像的形心及边缘曲线的提取方法,研究了利用 coif5小波来识别玉米籽粒尖顶的方法,提高了识别的准确率及精度.闸建文等[16]用基于外部特征参数的计算机自动识别方法来替代目前广泛使用的品种形态鉴定法,以提高玉米品种识别效率和精度;并利用数理统计和模糊数学知识建立了反映玉米品种间特征参数相似程度的特征贴近度、品种贴近度计算公式和品种判别准则;基于 3类 11个外部特征参数构造出成本低、使用简便的玉米品种计算机识别系统.在 5个品种 50次实验检测中,正确率达 96%,品种正确识别率达 88%.熊凯等[17]研究了一种基于玉米外观形态和颜色特征进行的玉米品种的特征主分量分析及 BP神经网络识别方法.试验结果表明,方法对 11个品种 550个籽粒的品种检出率为 92%以上,得到了较好的识别效果.为实现外观相似的不同玉米品种的有效识别,权龙哲等[18]提出了 K-L变换与最小二乘支持向量机相结合的籽粒品种鉴别方法.采用标记算法及多尺度小波分析方法获得玉米单籽粒图像,应用 K-L变换技术提取籽粒图像的特征数据,设计了二叉树型多类 LS-SVM分类器,实现了对特征数据的有效分类.通过试验分析,确定了较为合理的状态空间维数 (L=3),正确识别率可达 95.3%.宋韬等[19]应用计算机视觉技术选择并获得了 11个玉米粒形态参数,采用 BP冲量算法,建立了一个三层前馈神经元网络,实现了一幅多颗粒任意放置玉米粒的完整与破损的在线自动识别,对 175粒完整及 175粒破损玉米粒的识别试验显示,正确率为 93%.王玉亮等[20]研制了玉米品种识别硬件系统和软件系统.针对玉米种子及种子图像的特点,对玉米种子品种识别技术与算法进行了深入地研究和探索,提出了一种基于多对象有效特征提取和主成分分析优化神经网络的玉米种子品种识别方法,提取了玉米种子的几何特征和颜色特征参数,优化了基于机器视觉的玉米种子图像处理策略和品种识别算法,提高了玉米品种识别的速度和准确率.Neethirajan等[21]借助于计算机视觉技术研究了玉米生虫后的部位和营养物质的损失情况,很直观地分析了玉米品质的变化.Del Fiore[22]利用计算机光谱成像技术能够有效区分完好玉米颗粒与病变颗粒.与传统检测方法相比,这种方法可以快速准确的检测出被真菌毒素污染过的玉米颗粒[23].

1.3 计算机视觉技术在玉米应力裂纹检测中的应用

裂纹率是影响干燥后玉米品质的一个重要指标,应力裂纹的存在严重影响玉米的品质:一是在后续输送和加工过程中易产生破碎;二是裂纹玉米使玉米湿法加工淀粉得率降低;三是裂纹玉米在贮存过程中易吸湿、霉变和产生病虫害;四是食品加工中 (如玉米片的加工)不能使用有裂纹的玉米;五是有裂纹玉米降低玉米等级;六是裂纹玉米会降低种子发芽率[24].因此,研究玉米应力裂纹的检测方法具有重要意义.常规的玉米裂纹检测方法主要有光照法、化学法、射线法等.这些方法过程复杂、耗时,而且化学法、射线法等是破坏性检测,不适于对所有样品进行检测.近年来,数字图像处理技术已经广泛用于各类产品的质量检测和控制,同时也逐渐成为物体表面裂纹检测的一种有效办法并得到了广泛应用[25-28].

张杰[6]利用图像分析方法对玉米应力裂纹图像进行识别,结果发现:重度裂纹玉米的识别效果最佳,其识别准确率为 100%;无裂纹玉米的识别效果次之,其识别准确率为 97%;而轻度裂纹玉米和中度裂纹玉米的识别准确率分别为 91%和 88%.朱文学等[29]利用扫描电子显微镜观察玉米籽粒的应力裂纹,分析了裂纹在胚乳中扩展的情况以及对胚乳结构产生的影响.张俊雄等[30]采用数字图像处理技术实现了对玉米种子表面裂纹的识别和检测.试验结果表明:识别准确率分别为 94%和 90%,基本满足玉米种子表面裂纹检测的精度要求.Bhandarkar等[31]研究了采用计算机视觉的玉米种子表面裂纹图像识别方法,对玉米籽粒图像先通过边缘提取再利用籽粒的形态学特征实现了裂纹的自动提取和测量,对于玉米裂纹的检测具有一定的理论意义和工程实用价值.

1.4 计算机视觉技术在玉米种子纯度鉴定中的应用

纯度是种子最主要的质量指标,纯度低将明显影响作物的产量.随着种子市场的放开,种子的质量受到了严重的威胁,出现了许多以次充好、以假充真的坑农和害农现象.因此,玉米种子纯度鉴定技术是当前我国种子检验工作的重点与难点之一,也是种子管理工作中迫切需要解决的问题.目前鉴定玉米杂交种子纯度的方法有籽粒形态鉴定法、幼苗形态鉴定法、田间种植鉴定法及分析生化指标的电泳分析法等[32].籽粒形态鉴定法只有对杂交种子及亲本自交系十分熟悉的专家才适用,且有些杂交种无法依此方法鉴定.幼苗形态鉴定法只适于鉴定少数品种.田间种植鉴定是现在国际采纳的方法,准确可靠,但周期长,且消耗大量人力、财力.电泳法分析生化指标检验种子纯度快捷、成本低,易于普及且结果较可靠[33-34].将计算机图像识别与处理技术与种子纯度检测方法相结合,可以快速准确地检验种子纯度[35-37].司秀丽等[38]利用计算机图像识别与处理技术处理 2种不同品种玉米,对通过蛋白质凝胶电泳获取的谱带进行计算机图像识别与处理,并将玉米种子纯度计算机图像识别结果与人工测定结果进行对比研究.试验结果表明:图像识别与处理系统对玉米种子纯度鉴定最低准确度为 90%,平均准确度达99.5%.利用计算机进行玉米种子纯度的检测在理论和方法上可行.

1.5 计算机视觉技术在玉米种子精选与质量分级中的应用

玉米种子的质量分级是收获后加工的重要环节之一,利用机器视觉技术对玉米种子进行质量分级具有无损、分级精度高、速度快等优点,可代替大量的、重复性的人工劳动.杨杰[39]利用图像处理算法提取玉米种子的周长、面积、圆形度、矩形度、伸长度、色度这 6个特征值,并对其进行统计分析.从大小、形状、饱和度、颜色等多角度对实现种子的质量分级,并使用MATLAB进行了算法的软件实现和试验验证,并分别采用基于隶属函数的玉米种子分级和基于 BP神经网络的玉米种子分级的方法进行试验对比,试验表明基于 BP神经网络的玉米种子分级的方法更有利于实时处理.从而证明了利用计算机视觉代替人力来实现玉米种子自动分级的可行性.蔡卫国等[40]基于形态学信息并结合计算机视觉技术的精选种子实时分级装置可将种子分为 4级,分级准确率可达90%以上.吴继华等[41]开发了基于机器视觉的种子品种实时检测系统,该系统每隔 2 s停止 1次,由 CCD摄像机采集图像,经图像处理分析后提取品种的特征参数,系统识别 100粒种子的时间为5 s.Wan等[42-43]研制了一套谷物动态识别与分类系统,采用机器视觉方式,拍摄谷物图像并将处理结果发送给可编程逻辑控制器 (PLC),由 PLC控制相应电磁阀的开闭,实现谷物籽粒的吹离.W inter等[44]开发了谷物品种识别与品质分析系统.宋鹏等[45]设计了动态玉米籽粒品质检测分级系统,利用玉米籽粒的形态特征将种子分为 4级,利用颜色特征将种子分为 3级,分级合格率分别为81.8%和 93.04%;设计了玉米籽粒品种识别系统,利用基于贝叶斯准则的分类器和基于支持向量机的模式识别方法,可实现 5个玉米品种的识别,平均识别准确率为 92%;研制了玉米单倍体籽粒分拣系统,根据其颜色特征及模式识别技术进行玉米单倍体识别后使用二自由度并联机器人机构,采用气吸方式进行分拣,分拣精度为 80%.

2 结束语

近几年计算机视觉图像处理技术在国外农业工程中得到了应用,相应地出现了许多新的方法和理论与之相融合,也取得了一些成果.如水果品质动态检测系统,自动收获机器人技术等,但由于我国在这方面起步很晚,与国外相比仍存在很多不足.首先,在动态图像处理系统中,由于动态图像处理需要很高的帧速,这势必减少摄像机在拍摄每帧图像时的进光量,导致图像质量下降.在试图采用提高镜头折射率和增大辅助光源强度的方法解决这一问题的同时,还可以考虑结合其他硬件或图像增强软件等方法以弥补进光量的不足.其次,农业工程中的图像由于受生物多样性、气候和环境等因素的影响,相对于工业图像处理要复杂得多.

如何将相对成熟的工业动态图像处理技术应于农业工程,许多关键技术有待解决.但是,随着传感技术的发展,人们对农业物料特性认识的深入,出现了红外、近红外图像处理的研究,使计算机视觉技术从单纯的外观视觉向物料的性状、组成和成分分布等品质内部特性方向发展,并逐步建立了以计算机视觉技术为主导部件的检测分级系统.虽然该技术目前还存在许多需要解决的问题,但随着社会和科学水平的发展,积极探索新的理论和方法,研究适合我国国情的农产品视觉自动识别和分级系统,并结合红外、微波、核磁共振等技术进行农产品内部品质的视觉信息提取与检测、研究快速并行图像处理算法等作为今后的发展趋势.

[1] Zheng C X,Sun D W,Zheng L Y.Recent applications of i mage texture for evaluation of food qualities—a review[J].Trends in Food Science and Technology,2006,17:113-128.

[2] Sun D W.Computer vision—an objective,rapid and non-contact quality evaluation tool for the food industry[J].Journal of Food Engineering,2004,61:1-2.

[3] DubeyB,Bhagwat S G,Shouehe S P,et al.Potential of artificial neural networks in varietals identifications using morphomet of wheat grains[J].Biosystems Engineering,2006,95(1):61-67.

[4] Venora G,Grillo O,Shahin M A,et al.I-dentification of sicilian landraces and canadian cultivars of lentil using an i mage analysis system[J].Food Research International,2007,40(1):161-166.

[5] 韩仲志,赵友刚,杨锦忠.基于籽粒 RGB图像独立分量的玉米胚部特征检测[J].农业工程学报,2010,26(3):222-226.

[6] 张杰.基于声学和图像分析的玉米应力裂纹检测方法研究 [D].长春:吉林大学,2007.

[7] 史智兴,程洪,李江涛,等.图像处理识别玉米品种的特征参数研究[J].农业工程学报,2008,24(6):193-195.

[8] Zayas I,Converse H,Steele J.Discrimination of whole from broken corn kernels with image analysis[J]. Trans of the ASAE,1990,33(5):1642-1646.

[9] Neethirajan S,Karunakaran C,Jayas D S,et al.Detection techniques for stored-product insects in grain[J].Food Control,2007,18(2):157-162.

[10]Liao K,PaulsenM R,Reid J F,et al.Corn kernel breakage classification by machine vision using a neural network classifier[J].Transof the ASAE,1993,36 (6):1949-1953.

[11]Panigrahi S,MisraM K,Bern,et al.Background segmentation and di mensional measurement of corn ger mplasm[J].Trans of the ASAE,1995,38(1):291-297.

[12]Ni B,Paulsen M R,Reid J F.Corn kernel crown shape identification using image processing[J].Trans of the ASAE,1997,40(3):833-838.

[13]周红,刘光蓉,管庶安.数字图像处理技术在玉米种子轮廓检测中的应用[J].种子,2004,23(9):90-92.

[14]王瑶.种子分类与检测的图像分割与识别[D].长春:吉林大学,2007.

[15]权龙哲,马小愚.基于小波分析的玉米籽粒图像正形研究[J].农机化研究,2006(2):154-156.

[16]闸建文,陈永艳.基于外部特征的玉米品种计算机识别系统 [J].农业机械学报,2004,35(6):115-118.

[17]熊凯,李向红,李言照,等.基于 ANN和PCA的玉米品种特征分析与识别研究[J].粮油食品科技,2010,18(4):1-5.

[18]权龙哲,祝荣欣,雷溥,等.基于 K-L变换与LS-SVM的玉米品种识别方法 [J].农业机械学报,2010,41(4):168-172.

[19]宋韬,曾德超.基于人工神经网络的玉米粒形态识别方法的研究[J].农业工程学报,1996,12(1):177-181.

[20]王玉亮,刘贤喜,苏庆堂.多对象特征提取和优化神经网络的玉米种子品种识别[J].农业工程学报,2010,26(6):199-204.

[21]Del Fiore A,ReverberiM,Ricelli A,et al.Early detection of toxigenic fungi on maize by hyperspectral imaging analysis[J].International Journal of Food Microbiology,2010,144:64-71.

[22]Xavier P Burgos-Artizzu,Angela Ribeiro,Alberto Tellaeche,et al.Analysisof natural images processing for the extraction of agricultural elements[J].I mage and Vision Computing,2010,28:138-149.

[23]Ruiz-Altisenta M,Ruiz-Garcia L,Moreda G P,et al.Sensors for product characterization and quality of specialty crops—A review[J].Computers and Electronics in Agriculture,2010,74:176-194.

[24]张玉荣,成军虎,周显青,等.高水分玉米微波干燥特性及对加工品质的影响[J].河南工业大学学报:自然科学版,2009(6):1-4.

[25]Iyer S,Sinha S K.A robust approach for automatic detection and segmentation of cracks in underground pipe-line images[J].I mage and Vision Computing,2005,23(10):921-933.

[26]Sinha S K,Fieguth P W.Automated detection of cracks in buried concrete pipe i mages[J].Automation in Construction,2006,15(1):58-72.

[27]Ammouche A,Riss J,Breysse D,et al.I mage analysis for the automated study ofmicrocracks in concrete[J].Cement and Concrete Composites,2001,23:267-278.

[28]李玉兰,林绪虹,刘桂雄.正交设计方法在优化空瓶检测图像处理参数中应用[J].光学精密工程,2005,13:207-211.

[29]朱文学,曹崇文.玉米应力裂纹的显微分析[J].农业工程学报,1998,14(2):98-202.

[30]张俊雄,荀一,李伟.基于形态特征的玉米种子表面裂纹检测方法 [J].光学精密工程,2007,15(6):951-956.

[31]Bhandarkar S M,Luo X,Daniels R,et al.Detection of cracks in computer tomography images of corns[J].Pattern Recognition Letters,2005,26(14):2282-2294.

[32]朱迎春.玉米种子纯度检测最有效的几种方法[J].杂粮作物,2003,23(2):75-77.

[33]刘燕德,应义斌,成芳.机器视觉技术在种子纯度检验中的应用 [J].农业机械学报,2003(5):161-163.

[34]刘玉欣,王万双,刘会灵.蛋白质凝胶电泳与田间种植鉴定玉米种子纯度的相关性研究[J].农业系统科学与综合研究,2000,16(1):74-75.

[35]赵新子,吴巍,司秀丽.玉米种子活力图像识别与处理技术研究[J].吉林农业大学学报,2004,26(5):572-576.

[36]王玺,张宝石.玉米种子纯度鉴定技术研究进展 [J].种子,2002(1):43-45.

[37]任东.种子纯度与活力的快速测定的人工智能图像识别与处理系统[D].长春:吉林农业大学,2003.

[38]司秀丽,吴巍,赵新子,等.玉米种子纯度的计算机图像识别 [J].吉林农业大学学报,2005,27(6):694-697.

[39]杨杰.基于数字图像处理的玉米种子质量分级方法研究 [D].武汉:武汉理工大学,2009.

[40]蔡卫国,李伟,荀一.种子精选分级装置自动控制方法研究[J].农业机械学报,2005,36(8):90-92.

[41]吴继华,刘燕德,欧阳爱国.基于机器视觉的种子品种实时检测系统研究[J].传感技术学报,2005,18(4):742-744.

[42]Wan YN.Kernel handling performance of an automatic grain quality inspection system[J].Trans of the ASAE,2002,45(2):369-378.

[43]Pearson T C.Low-cost bi-chromatic image shorting device for grains[C].In:2006 ASABE Meeting Presentation.Portland:ASABE,2006:63-85.

[44]W inter Philip,Shahab Sokhansanj,Wood Hugh.Machineision methods for use in grain variety discrimination and uality analysis[J].Proceeding of SPIE,1996,29(7):230-240.

[45]宋鹏,张俊雄,荀一,等.玉米种子自动精选系统开发[J].农业工程学报,2010,26(9):124-127.

RESEARCH PROGRESS IN COMPUTER V ISI ON IDENTIFICATI ON AND EVALUATI ON OFMA IZE QUAL ITY

ZHOU Zhi-qiang1,GUO Shuai-chao2,CHENG Jun-hu2
(1.School of Infor m ation Science and Engineering,Henan University of Technology,Zhengzhou450001,China;2.School of Food Science and Technology,Henan University of Technology,Zhengzhou450052,China)

Computer vision is an important branch of computer science and artificial intelligence,and haswide application in the agriculture field as a non-destructive testing technology.This paper reviewed the research progress in the computer vision technology in the identification and evaluation ofmaize quality,and provided a reference for the accurate measurement of characteristics of maize kernels,the construction of correlation between the feature information and quality ofmaize,and the maize quality detection.The paper also proposed the application of the computer vision technology in the vision information extraction and detection of agricultural products,and in the study of quick and parallel image treatment algorithms in combination with IR,microwave and magnetic resonance techniqueswas the future development trend.

maize quality;computer vision;feature extraction;purity;stress crack

TS210

A

1673-2383(2011)01-0083-06

2010-11-26

周志强 (1977-),男,河南驻马店人,讲师,硕士,研究方向为计算机科学技术在粮油食品检测中的应用.