李颀 王康 强华 马琳

摘要：针对玉米选种过程中异常种穗的外观缺陷难以准确识别的问题，以玉米种穗为研究对象，通过计算机视觉技术快速识别杂色、缺粒、虫蛀、籽粒杂乱4种异常种穗。选择单目视觉采集装置，采集任意姿态玉米种穗图像，利用凹点匹配算法分割粘连玉米种穗;采用HSV和CLBP（完全局部二值模式）方法提取玉米种穗的颜色和纹理特征，利用匹配得分融合算法融合玉米种穗的颜色和纹理特征，建立玉米种穗分类模型，利用SVM实现4种异常玉米种穗的快速分类。试验结果表明，该方法相对于传统玉米种穗检测技术能快速有效识别出4种异常玉米种穗，对杂色、缺粒、虫蛀、籽粒雜乱玉米种穗的识别正确率分别达到了96.0%、94.7%、93.6%和95.3%，玉米种穗在有粘连和无粘连情况下平均识别速度分别为每穗1.180 s和0.985 s，能够满足异常种穗分类识别的需求。

关键词：玉米种穗;计算机视觉;颜色特征;纹理特征;分类识别

中图分类号：S126;TP391.41文献标识码：A文章编号：1000-4440（2020）01-0024-08

Abstract：This study aims at the problem that it is difficult to accurately identify the appearance defects of abnormal corn ears during corn selection. Taking the whole corn ear as the research object， the four kinds of abnormal corn ears（variegated corn ear， missing corn ear， worm-eaten corn ears and untidy corn ears） were quickly identified by computer vision technology. The monocular visual image acquisition device was selected to collect the image of the corn ear in arbitrary posture， and the pit matching algorithm was used to complete the rapid segmentation of the cohesive corn ear. The HSV color model and complete local binary pattern（CLBP） method were used to extract color and texture features of corn ear， and the matching score fusion algorithm was used to fuse the color and texture features of corn ear. At the same time， an abnormal corn ears classification model was established. Finally， the rapid classification of four abnormal corn ears was achieved by support vector machine（SVM）. The experimental results showed that this method could quickly and effectively identify four abnormal corn ears compared with traditional corn ear measurement technology. The correct recognition rate of this method was 96.0%， 94.7%， 93.6% and 95.3% for the variegated corn ears， missing corn ears， worm-eaten corn ears and untidy corn ears. The average recognition speed of maize seed ear in the presence of adhesion and non-adhesion was 1.180 seconds per ear and 0.985 seconds per ear. This method can provide a basis for the identification of abnormal ears during the intelligent corn ear sorting process.

Key words：corn ears;computer vision;color features;texture features;classification and recognition

异常玉米种穗是制约玉米产量和质量的重要因素，目前玉米种穗的检测主要由人工完成。基于机器视觉技术的异常玉米种穗分类识别能够有效解决传统人工检测速度慢、精度低、主观误差大、容易疲劳出错等问题，并且能够为玉米种穗的自动化分拣奠定基础。近年来，国内外采用机器视觉技术对玉米的研究主要集中于玉米籽粒的分析和处理[1-4]，对于玉米种穗整穗外观缺陷检测的研究方法较少[5]。在玉米种穗识别方面，李伟等利用HSV颜色空间方法检测玉米种穗的外观性状，单一用明度V的标准差和均值表征玉米种穗颜色和纹理的特征，未对异常玉米种穗进行识别[6]。张帆等对玉米种穗的霉变、虫蛀、机械损伤3种情况进行了识别和分析，没有识别杂色、籽粒杂乱等其他异常玉米种穗[7]。王慧慧等通过HSI模型研究了鲜食玉米种穗的外观品质，利用玉米种穗的H值进行双向一次微分运算，根据H的单位变化量实现玉米种穗缺陷识别，但不能识别出缺陷玉米种穗的具体类别[8]。崔欣等[9]以玉米种穗籽粒为研究对象，根据玉米籽粒的形态特征提取籽粒矩形度、圆形度、紧凑度等16个特征参数，最终实现了损伤籽粒的识别，虽然没有研究玉米种穗的整体特性，但对本研究的虫蛀和缺粒玉米种穗识别提供了参考方法。玉米种穗的外观缺陷类型不仅与种穗的颜色特征相关，而且也与种穗的纹理特征相关。若仅采用颜色特征判别种穗的缺陷类型，容易造成颜色相近的玉米种穗被误识别成同一类;若仅采用纹理特征识别玉米种穗，易造成纹理特征相似的玉米种穗被分为同一类。本研究以玉米种穗整体为研究对象，将玉米种穗HSV模型中3个通道的均值和标准差作为玉米种穗的颜色特征向量以及利用CLBP方法得到的纹理特征，全面表征玉米种穗的外观特征信息，用于解决杂色、缺粒、虫蛀、籽粒杂乱玉米种穗难以识别的问题，为实现智能化玉米种穗的分类识别提供理论依据。

1材料与方法

1.1试验材料

试验时间为2019年3-7月，试验地点为西安品诚电子科技有限公司。以西北地区广为种植的先玉335玉米品种中的杂色、缺粒、虫蛀以及籽粒杂乱成熟玉米种穗为研究对象。试验玉米穗长在165 mm至245 mm之间，种穗最大直径在43 mm至65 mm之间。常见4种异常玉米种穗如图1所示。

1.2玉米种穗图像采集

玉米种穗图像采集装置（图2）包括传送带、黑色暗箱、LED补光灯、迈视威CCD彩色工业相机以及PC机。传送带长宽尺寸为150 cm×40 cm;暗箱为一个立方体，尺寸大小为40 cm×40 cm×40 cm;2个长度为35 cm的LED补光灯置于暗箱顶部侧面;CCD工业相机垂直悬挂于暗箱顶部中央位置，摄像头最大分辨率为3.00×106像素，即2 048 px×1 536 px，相机视场大小为40 cm×40 cm。为了保证相机采集到清晰且亮度一致的玉米种穗图像，暗箱内采用光照度为110 cd的2个LED补光灯使暗箱内不受外界环境的影响，始终保持光线均匀的弱光条件。玉米种穗通过传送带被传送至暗箱后，照相机采集玉米种穗图像，图像通过USB接口发送给PC机，在PC机上对玉米种穗图像进行分析和处理。玉米种穗图像采集装置实物图见图3。

1.3玉米种穗颜色和纹理特征提取

玉米种穗的缺粒区域呈灰白色，虫蛀区域呈乳白色，两者的颜色比较接近。缺粒区域在HSV模型中的H（2～5）、S（60～79）、V（229～253）和虫蛀区域在HSV模型中的H（2～8）、S（33～68）、V（232～255）中均有交叉部分，因此通过颜色特征来区分缺粒和虫蛀玉米种穗时容易错分。籽粒杂乱玉米和正常玉米的HSV颜色值基本在（11，102，241）附近波动，用颜色难以区分，需要通过玉米种穗的纹理特征才能将两者区分开。而杂色玉米种穗的HSV颜色模型中S（137～197）、V（95～125）颜色值与其他3种玉米种穗的S、V颜色值没有交集，能够明显区分开，因此用颜色比较容易区分。

单独利用玉米种穗的颜色或纹理特征难以将异常玉米种穗区分开，因此本研究采用将玉米种穗颜色和纹理特征相结合的方法来识别异常玉米种穗。对异常玉米种穗的识别主要是识别单个玉米种穗或玉米种穗的异常区域（杂色籽粒、缺粒、虫蛀籽粒、排列杂乱籽粒），因此本研究主要提取单个玉米种穗的颜色特征和异常区域的纹理特征，从而识别异常玉米种穗的类型。

1.3.1颜色特征提取HSV颜色模型支持大量的图像分析算法，与BGR相比，HSV颜色模型更接近人类视觉感知特点，更利于图像的分析和处理。针对玉米种穗的颜色特征，采用HSV颜色模型提取异常玉米种穗颜色特征向量，而颜色矩中的低阶矩存储着异常玉米种穗的大部分颜色信息，因此主要提取玉米种穗HSV空间的H、S和V通道的一阶矩μ（均值）以及二阶矩δ（标准方差）6个参数作为玉米种穗的颜色特征向量。

为了排除剪切出的单个玉米种穗图像黑色背景部分对计算结果的影响，利用H、S、V通道计算H、S和V的均值和标准差时，不能计算玉米种穗轮廓外的背景区域。因此H、S和V通道的玉米种穗轮廓区域A对象的均值和方差计算为公式（1）和（2）。

M、N分别表示剪切出的单个玉米种穗图像的像素长和宽，A表示单个玉米种穗轮廓区域的像素面积，P（x，y）表示H、S和V通道玉米种穗图像在（x，y）点的像素值。

通过玉米种穗的HSV颜色空间模型分析，将H、S和V通道的均值（μ）、标准方差（δ）这6个值作为玉米种穗的颜色特征值，表征玉米种穗的颜色特征，并记颜色特征向量为hsv，则其可表示为：hsv=[μH，δH，μS，δS，μV，δV]。

1.3.2纹理特征提取由于局部二值模式（LBP）在纹理识别方面具有计算复杂度低、数据量小以及效果较好等优势，可用于表征局部图像的纹理空间结构，而被广泛应用于纹理特征识别[10]。但传统的LBP描述仅仅利用了单一差分符号信息，简化了局部纹理结构，损失了其他纹理信息，导致两种不同的纹理可能被误识别，归为同一类。CLBP特征信息比原始LBP特征信息更全面，并且CLBP方法对纹理的表征能力优于传统的LBP方法[11-12]。由于CLBP能够反映玉米种穗的局部纹理特征，并且相对于LBP能够更全面地表征局部纹理结构，因此本研究采用基于CLBP的纹理特征提取算法提取玉米种穗纹理特征参数。

CLBP从局部差异符号与大小转换的角度分析了LBP方法，由3种不同的描述子组成：灰度描述子CLBP_C、符号描述子CLBP_S和幅度描述子CLBP_M。为了保证CLBP算子能够处理玉米种穗纹理区域的每一个像素点，采用半径为1 px的8邻域旋转不变二值模式对纹理特征进行描述。CLBP的3个描述子如式（3）、（4）、（5）所示，将CLBP_S8，1、CLBP_M8，1和CLBP_C8，1结合在一起组成CLBP8，1描述子。

式中，gc代表窗口中心位置像素值;gp代表以gc为中心，半径为1 px的环形领域像素值;mp表示中心像素和邻域像素差值的绝对值;τ表示玉米种穗纹理局部区域图像幅度值mp的均值，p=0，1…，7;cl是一个自适应阈值，我们将其设置为玉米种穗局部区域图像的灰度均值。

由于玉米种穗的H通道图接近于黑色，难以从中提取到纹理特征，因此选择求取BGR以及S、V通道的CLBP8，1直方图作为玉米种穗的纹理特征，分别记为QBGR、QS和QV，则玉米种穗纹理区域图像的特征向量为Q=[QBGR，QS，QV]。

1.4玉米种穗特征向量匹配得分特征融合及分类识别

由于要对提取的异常玉米种穗颜色和纹理特征进行融合，计算出玉米种穗的融合得分值，從而判断出玉米种穗最相似的类型作为玉米种穗可能所属类别，因此选择SVM学习方法，再利用SVM算法实现异常玉米种穗的分类。因为SVM是一种基于结构风险化最小的学习方法，SVM求得的是全局唯一最优解。要解决异常玉米种穗线性不可分问题，核函数的选择在SVM分类算法中至关重要。由于异常玉米种穗的特征数量不多，样本数量不是特别大，因此采用SVM+高斯（RBF）核函数对异常玉米种穗进行分类。

2结果与分析

2.1图像预处理及粘连玉米种穗的分割

本研究所用的方法均在Python 3.5.4 和Opencv-python 4.0.0.21环境下进行试验测试。为了保证采集到清晰的玉米种穗图像以及系统具有较高的图像处理速度，将CCD工业摄像机的分辨率设置为640 dpi×480 dpi。利用泛洪填充算法对采集到的BGR图像进行去背景处理，将墨绿色传送带背景填充为黑色，并对图像进行灰度化处理，最后利用Otsu（大津法）自适应阈值分割算法对玉米种穗图像进行二值化处理[13]，得到二值化玉米种穗图像。

为了提取单个玉米种穗图像的颜色和纹理特征，需要分割粘连的玉米种穗。经过分析，采集的单个玉米种穗图像最大像素面积不超过7 000 dpi。采用凹点匹配算法分割粘连玉米种穗图像[14]，首先筛选出面积大于7 000 dpi的粘连玉米种穗轮廓区域进行最小凸闭包检测，获取二值化后的粘连玉米种穗图像轮廓最小凸闭包，得到粘连玉米种穗轮廓最小凸闭包的匹配凹区以及对应的分割凹点对，最后根据得到的分割凹点对完成粘连玉米种穗的分割。

采用改进的最小外接矩形法 （MER）获取玉米种穗的最小外接矩形区域，根据单个玉米种穗最小外接矩形的4个顶点对玉米种穗进行旋转剪切，获得单个玉米种穗图像。玉米种穗图像粘连分割处理过程见图4。

2.2异常种穗的颜色和纹理特征提取结果

将BGR玉米种穗图像转换为HSV图像后，进行HSV通道分离，得到玉米种穗的H、S、V通道图。4种异常玉米种穗的H、S、V通道图如图5所示。

通过玉米种穗颜色特征计算公式（1）、（2）计算旋转剪切出的单个玉米种穗图像的H、S和V通道的均值μH、μS、μV，标准方差δH、δS、δV，共6个颜色特征值。异常玉米种穗的6个颜色特征值见表1。4种异常玉米种穗的40×40像素的局部纹理图如图6所示。

由图5可知，从异常玉米种穗的H通道中难以获得其纹理特征，因此选择提取异常玉米种穗的BGR以及S、V通道的纹理特征值，作为玉米种穗的特征值。设置与训练样本40×40像素大小相等的窗口，旋转剪切出单个玉米种穗图像，图像移动一次得到一幅玉米种穗图像区域，用于玉米种穗的纹理特征识别。通过玉米种穗纹理特征提取的公式（3）、（4）和（5）得到玉米种穗BGR以及S、V通道的直方图（图7～图10）。

2.3基于颜色和纹理特征的异常玉米种穗分类与试验结果

2.3.1样本选择以及分类识别从采集的玉米种穗库中，选取4种已知异常玉米种穗以及正常玉米种穗图像，每类各100幅共500幅作为训练集。再分割出4种已知异常玉米种穗的局部异常区域图像各100幅，并统计每块异常玉米种穗区域图像的尺寸大小。为了确保图像处理过程中不错过面积较小的异常部位，并且系统具有较高的识别精度以及处理速度，通过试验分析选取40×40像素大小的矩形区域图像作为提取纹理特征的训练样本。另外分别选取100个正常、125个杂色、132个缺粒、110个虫蛀、108个籽粒杂乱的玉米种穗图像作为测试样本。

用选取的玉米种穗样本参数对SVM进行训练，得到SVM分类模型，利用分类模型实现异常玉米种穗的快速分类。在Python中分2个线程提取玉米种穗的特征能够提高玉米种穗的处理速度。系统的第一个线程提取待测玉米种穗的颜色特征，第二个线程提取玉米种穗的纹理特征，在主线程中将颜色和纹理特征进行融合，利用SVM分类器对待侧玉米种穗进行分类。系统分类识别流程如图11所示。

本系统对测试样本的分类识别结果见表2。从表2可以看出本方法对异常玉米种穗的识别准确率较高，达到了93%以上。由于缺粒和虫蛀玉米种穗在颜色上比较接近，大块虫蛀区域和缺粒区域纹理特征比较相似，因此对于缺粒和虫蛀玉米种穗容易出现互相识别错误的情况。籽粒杂乱和正常玉米种穗在颜色特征上比较接近，因此也容易出现相互识别错误的情况。

2.3.2种穗识别速度识别速度测试计算机配置为六核2.2 GHz CPU、8 G内存、4 GB独立显卡，运行平台Windows10。速度测试方案：分别选取20穗正常、杂色、缺粒、虫蛀、籽粒杂乱玉米种穗共100穗进行有粘连和无粘连测量。速度测试结果表明，本系统在有粘连和无粘连情况下，每穗平均识别速度分别为1.180 s和0.985 s。周金辉等[5]通过可见光二维成像获取种穗三维表型性状参数，计算穗长、穗粗、穗行数以及粒数，每穗测量时间约1.8 s。相比而言，本方法在满足异常种穗识别精度的前提下，有较快的测量速度，能够实现玉米种穗的在线识别与处理，可用于大批量玉米种穗自动化分拣。

2.3.3玉米种穗用户管理平台利用PyQt5为本系统开发了玉米种穗用户管理平台，平台能够实时显示当前生产状况以及处理结果（图12）。利用本方法，系统可准确识别出4种异常玉米种穗，并将识别结果显示在上位机用户机界面，便于用户查看和分析。

3讨论

本研究通过对玉米种穗外观特征进行分析，所建立的方法能够有效地识别4种异常玉米种穗类型，提高了异常玉米种穗的筛选效率。

对于玉米种穗外观缺陷的研究，李伟等[6]在用HSV空间模型检测玉米种穗性状时，利用V通道的均值和标准差表征玉米种穗的纹理和颜色特征存在不合理性，V通道的均值和标准差难以表征玉米种穗的纹理特征。张帆等[7]在RGB和HIS模型中利用玉米种穗的颜色和纹理特征识别异常玉米种穗，其中利用玉米种穗各个颜色通道的均值作为玉米种穗的颜色特征向量表征玉米种穗的颜色特征，但是各個颜色通道的均值只能反映玉米种穗的整体颜色特征，不能反映玉米种穗的局部颜色分布情况，对玉米种穗的颜色特征表征存在较大的误差，对机械损伤玉米种穗的识别正确率只达到90.0%。王慧慧等[8]通过HSI模型对鲜食玉米种穗的外观缺陷进行识别与分析，根据玉米种穗的缺陷面积与整个玉米种穗面积计算出玉米种穗的缺陷比，以此判别玉米种穗是否属于等外品，但不能识别出玉米种穗的具体缺陷类别。

本研究将广泛用于人脸识别的CLBP方法引入到玉米种穗的纹理特征提取上，为玉米种穗的识别提供了一种新的纹理提取方法。识别结果表明，该方法对玉米种穗的纹理识别具有很好的适应性，并且能够准确地识别出异常玉米种穗。

本研究以杂色、缺粒、虫蛀、籽粒杂乱4种异常玉米种穗为研究对象，针对目前玉米种穗外观缺陷检测处于人工阶段的问题，提出了一种基于HSV颜色和CLBP纹理特征的异常玉米种穗分类识别方法，结合玉米种穗的整体颜色特征和局部纹理特征，并利用匹配得分特征融合算法融合玉米种穗的6个颜色特征和3个纹理特征，利用SVM分类器实现了对异常玉米种穗的自动分类。试验结果表明，该方法对杂色、缺粒、虫蛀、籽粒杂乱玉米种穗的分类识别准确率分别达到了96.0%、94.7%、93.6%和95.3%，在有粘连和无粘连情况下每穗识别速度分别为1.180 s和0.985 s，有效解决了杂色、缺粒、籽粒杂乱玉米种穗难以识别的问题，并弥补了传统人工识别效率低、主观性强的缺点，因此在异常玉米种穗的识别方面该方法有着广阔的应用前景。

参考文献：

[1]刘长青，陈兵旗. 基于机器视觉的玉米果穗参数的图像测量方法[J].农业工程学报，2014，30（6）：131-138.

[2]杜建軍，郭新宇，王传宇，等. 基于分级阈值和多级筛分的玉米果穗穗粒分割方法[J].农业工程学报，2015，31（15）：140-146.

[3]SUN X H， GUO M， MA M， et al. Identification and classification of damaged corn kernels with impact acoustics multi-domain patterns[J]. Computers and Electronics in Agriculture，2018，150：152-161.

[4]张玉荣，王伟宇，周显青，等. 基于外观特征识别玉米不完善粒检测方法[J].河南工业大学学报（自然科学版），2015，36（2）：1-7.

[5]周金辉，马钦，朱德海，等. 基于机器视觉的玉米果穗产量组分性状测量方法[J].农业工程学报，2015，31（3）：221-227.

[6]李伟，胡艳侠，吕岑. 基于HSV空间的玉米果穗性状的检测[J].湖南农业大学学报（自然科学版），2017，43（1）：112-116.

[7]张帆，李绍明，刘哲，等. 基于机器视觉的玉米异常果穗筛分方法[J].农业机械学报，2015，46（S1）：45-49.

[8]王慧慧，孙永海，张婷婷，等. 鲜食玉米果穗外观品质分级的计算机视觉方法[J].农业机械学报，2010，41（8）：156-159.

[9]崔欣，张鹏，赵静，等. 基于机器视觉的玉米种粒破损识别方法研究[J].农机化研究，2019，41（2）：28-33.

[10]ZINEB Y， LARBI B， ABDELHANI B. Human ear recognition based on local multi-scale LBP features withcity-block distance[J]. Multimedia Tools and Applications，2019，78（11）： 14425-14441.

[11]周宇旋，吴秦，梁久祯，等. 判别性完全局部二值模式人脸表情识别[J].计算机工程与应用，2017，53（4）：163-169.

[12]WANG X L， ZHU Q， CUI J R， et al. Sparse representation method based on Gabor and CLBP[J]. Optik-International Journal for Light and Electron Optics，2013，124（22）： 5843-5850.

[13]范朝冬，欧阳红林，肖乐意. 基于空间截面投影的Otsu图像分割算法[J].通信学报，2014，35（5）：70-78.

[14]王小鹏，姚丽娟，文昊天，等. 形态学多尺度重建结合凹点匹配分割枸杞图像[J].农业工程学报，2018，34（2）：212-218.

（责任编辑：张震林）