李运志，Qiang Zhang，陈弘毅，党晓辉，李新岗，胡耀华

(1.西北农林科技大学 a.机械与电子工程学院；b.林学院，陕西 杨凌　712100；2.加拿大曼尼托巴大学 生物系统工程系,温尼伯　R3T 5V6；3.陕西圣华农业科技股份有限公司，西安　710000)



基于机器视觉的半干枣病害和裂纹识别研究

李运志1a，Qiang Zhang2，陈弘毅1a，党晓辉3，李新岗1b，胡耀华1a

(1.西北农林科技大学 a.机械与电子工程学院；b.林学院，陕西 杨凌712100；2.加拿大曼尼托巴大学 生物系统工程系,温尼伯R3T 5V6；3.陕西圣华农业科技股份有限公司，西安710000)

摘要：研究提出了一种基于机器视觉的病害和裂纹的识别方法。在H分量图中，依据半干枣在病害和非病害区域色调值差异提取病害区域，以提取的病害区域与枣表面积的比作为阈值确定较高的病害面积识别精度，可正确识别的感兴趣病害面积为16.87mm2，占枣投影面积的3.3%。为进一步提高在该病害面积识别精度的正确率，依据已确定的病害面积比阈值，将病害面积比值二值化，结合红枣区域颜色特征值H的均值和均方差，用SVM方法建立枣病害的识别模型，训练集和测试集的识别正确率分别为95.77%和95.79%。在I分量图中，对红枣区域进行Otsu’s阈值分割、图像局部属性统计和形态学处理，提取裂纹二值图像，依据裂纹图像不变距方法建立裂纹识别模型，训练集和测试集的识别正确率分别为94.90%和94.55%。

关键词：枣；机器视觉；病害；裂纹；缺陷；支持向量机

0引言

据《中国林业统计年鉴》，2013年全国年产红枣4.315 6×109kg，占世界枣种植面积和产量的98%以上[1]。为提高红枣产品质量和附加值，减少因不能及时、有效的商品化处理带来的损失，应进一步对其黑斑、霉变、裂纹等表面缺陷，以及非正常果形、颜色的红枣进行分级鉴定。目前，主要依靠人工分级，工作量大、生产效率低、分级成本高[2]。因此，迫切需要寻找高效、快速的红枣缺陷检测手段。

基于机器视觉对红枣的分级检测中，国外主要对椰枣形状、裂纹及硬度方面进行了研究[3-6]。国内，杨福增等采用基于小波变换的多尺度边缘检测和数学心态学相结合的方法检测红枣十字裂沟[7]。赵杰文提取H分量的均值和均方差作为红枣的颜色特征值,利用支持向量机识别缺陷红枣[8]。肖爱玲等统计病害枣图像各彩色分量的灰度值、灰度变化范围及标准差，对彩色分量进行筛选，采用自适应阈值法和图像形态学方法，分割出病虫害区域[9]。这些研究的分级效果较好，但对病害区域的分级精度未进行进一步讨论，而裂纹则严重影响到红枣的外观商品性和品质，所以对裂纹红枣的检测剔除非常重要。

本研究根据新疆红枣加工企业对半干枣病害、裂纹的分级自动、快速、准确的需求，研究完熟后的半干枣病害、裂纹的分级鉴别技术，主要研究目标为：1)在HIS颜色空间中，统计红枣正常部分的H值范围，并提取非正常的病害区域，结合H分量的均值和均方差建立红枣病害的识别模型；2)在红枣I分量图中，针对红枣区域阈值提取裂纹区域，对裂纹部分参数量化建立红枣裂纹的识别模型。

1材料与图像采集系统

1.1　实验材料

本研究以新疆红枣的主导品种的骏枣和灰枣为材料。实验材料为清洗后、烘干前由人工分拣的半干骏枣和灰枣，真空包装后从新疆枣区运回实验室，选择病害枣163个、裂纹枣148个、正常枣352个作为样品进行图像采集。

1.2　图像采集系统

图像采集系统由相机、计算机、光源及暗箱等组成，如图1所示。采用维视图像的FT-RD200漫反射圆顶光源，布于相机镜头正下方；暗箱各壁面涂以银白色漆，底面用经磨砂过的白色打印纸覆盖；相机采用维视图像的MV-EM200C工业相机，配以AFT-1214MP工业镜头，像素为1 600×1 200，视场为86.7mm×65mm，帧率为40fps，直接以GigE千兆以太网口与计算机相连。

图1　红枣图像采集系统

2枣病害、裂纹提取及识别方法

2.1　图像预处理

图像预处理过程如图2所示。对获取的原图像进行灰度化，用Otsu’s阈值分割法对枣图像进行分割，find函数寻找枣边界[10]，去除原始图像边界得到枣合适轮廓图；采用中值滤波(10×10算子)的方法对红枣图像进行滤波操作；随后用分割出红枣模版乘以红枣I分量图，并仅在红枣区域内进行Otsu’s阈值，得到红枣外圈光环和其它褶皱反光点并依据图像局部属性标记红枣外圈光环；由第1次红枣分割图减去红枣外圈光环得最后红枣分割图，极大程度上消除了因为光照、果形、底板反射光等因素造成的红枣外圈光环的影响。

图2　 图像预处理

2.2　红枣病害区域及识别参数提取

受黑斑病、炭疽病、缩果病等感染的红枣果肉松软，果皮变褐色、霉变、无光泽，易破裂剥落[11-14]。鉴于病害的颜色特征，本文在HSI颜色空间中，通过实验统计出非病害枣的H值范围来提取出病害区域，然后计算病害区域面积与最后分割红枣面积的比值；提取红枣区域H的均值和均方差作为红枣的颜色特征值；用提取病害区域面积比值、H均值和均方差作为病害枣的识别参数。

从视觉角度而言，颜色包含了HSI(又称HSL)颜色模型中的3个要素：色相(Hue)、饱和度( Saturation )和亮度(Intensity)。色相是一种颜色区别于另一种颜色的要素,如通常所说的红、绿、蓝、黄等；饱和度就是颜色纯度；亮度即光的强度。为了用HSI颜色模型检测红枣颜色，需将摄像机获取图像的R、G、B成分转换为HSI值[15]。

依据HSI颜色模型，非病害红枣的色度覆盖在300°～0°或0°～60°这个大范围区间[15]。为进一步准确确定非病害红枣的色度范围，随机选取20个非病害红枣图像，每张图选取20个大小约为20×20像素的色块，算得每个色块的H均值，提取的单个红枣的20个色块，由400个H均值统计得非病害红枣色度范围，如图3所示。依据这个范围逐行扫描红枣H分量图，提取红枣病害区域，图4显示了3个病害枣的提取病害区域效果；然后，计算病害区域面积与最后分割红枣面积的比值，并提取红枣区域的H分量的均值和均方差。

图3　非病害枣样本块H均值统计

图4　病害区域提取

2.3　红枣病害的识别

病害区域面积与最后分割红枣面积的比值是判断病害有无和严重等级的重要参数。随机选择120个病害枣和353个非病害枣作为训练样本，统计病害面积比如图5所示；然后，找出病害和非病害枣的病害面积比的阈值，再用测试集验证阈值的识别效果。从病害区域提取效果看，虽然在预处理中，第1次红枣分割图减去红枣外圈光环得最后红枣分割图，极大程度上消除了因为光照、果形、底板反射光等因素造成的红枣外圈光环的影响；但部分裂纹、光滑、褶皱等非病害枣的病害区域提取区域仍是极细的光环或是细小噪点，需要确定适当的病害区域面积与最后分割红枣面积的比值来确定是否病害及病害程度。同样，病害面积比也反映着病害程度，依据已确定病害面积比阈值正确识别出病害枣，并进一步逐个对样本由人工提取感兴趣的病害面积，以避免部分病害提取区域的极细光环或细小噪点对结果的影响，求取其真实面积，查看病害的分级精度。为进一步提高由病害面积比阈值确定的分级精度的准确率，将病害面积比值依据病害面积比阈值二值化，并提取红枣区域H的均值和均方差作为红枣的颜色特征值，将该3个值作为病害识别模型的输入量。又因为以红枣色调平均值与色调均方差作为特征值采用普通的线性方法是无法识别正常枣和病害枣[8]，因此需要用非线性模式识别方法来判断枣颜色是否为正常,从而判断是否为病害枣。支持向量机能很好地解决非线性识别的问题[ 16-17]，本研究采用台湾大学林智仁教授等开发的SVM模式识别与回归的软件包LIBSVM，在MatLab2010环境下来识别由病害面积比阈值确定的分级精度下的病害枣[10]。

图5　120个病害和353个非病害枣的缺陷面积比值统计

2.4　红枣裂纹区域及识别参数提取

枣裂纹位置和形状大多为沿枣纵径方向的细长形或环绕枣两端的环形。从颜色上来看，裂纹位置处的红色比正常部位较深；从I分量图上看，裂纹位置处亮度值低于正常部位。因此，可通过I分量图像的阈值分割，将裂纹提取出来，再从提取的裂纹的形态特征获取裂纹的识别参数，如图6所示。

首先将经过上述预处理后的红枣RGB图像转换成HIS图像并获取I分量图；在I分量图中仅对红枣区域进行Otsu’s阈值分割，获得裂纹分割图像，如图6(c)所示。由于受红枣裂纹自身及枣表面光滑程度影响，部分枣的阈值分割图像中的裂纹有断裂和其它噪点，经过对裂纹宽度的数据分析，绝大多裂纹的宽度是10～20像素宽。先以半径为10的圆形结构元素对裂纹分割图像进行闭运算，既能连接裂纹断裂处，又避免把阈值分割图像的噪点连通起来；再计算裂纹分割图像中各单连通区域的局部属性，以单连通区域的长度值最大者为裂纹特征，提取裂纹二值图。图5显示了3个裂纹枣和2个正常褶皱枣的裂纹提取效果。图像旋转不变性对于图像识别很重要，因此采取了不变矩(Invariant Moments)来描述裂纹的形状特征。不变矩是一种高度浓缩的图像特征，具有平移、灰度、尺度、旋转不变形[18-19]。

图6　裂纹区域提取

1副M×N的数字图像f(i,j)，其p+q阶中心矩upq的表达式为

(1)

(2)

为消除图像比例变化带来的影响，定义规格化中心矩为

(3)

利用二阶和三阶规格化中心矩导出7个不变矩组，它们在图像平移、旋转和比例变化时保持不变[18]。

2.5　红枣裂纹的识别

观察图5中提取的裂纹特征，可以将其分为3大类：对于裂纹枣，提取的裂纹多为细长形，中间可能有小的间断；对于褶皱较小或光滑枣，提取的裂纹多为零星几个小点，数目较少，或者什么都提取不到；对于褶皱较厉害枣，提取的裂纹多为分布集中的多个较短细长形。

文中采用了裂纹二值图像的不变距来描述裂纹图像形状特征，具有平移、旋转和缩放的不变性。先由裂纹二值图像获得7个不变矩组，因为7个不变矩组作为特征值采用普通的线性方法无法识别裂纹枣、褶皱和光滑枣，因此需要用非线性模式识别方法来判断是否为裂纹枣。本研究采用台湾大学林智仁教授等开发的SVM模式识别与回归的软件包LIBSVM在MatLab2010环境下来识别裂纹枣。

3实验结果与分析

本实验采用上述方法先对枣病害进行识别检测，将163个病害样本分为训练集120个，测试集43个；将148个裂纹样本和352个正常样本归为非病害样本，并分成训练集353个(裂纹106个，正常247个)及测试集147个(裂纹42个，正常105个)。首先，获取训练集样本的病害面积比，当从病害区域提取图中算得的病害面积比大于设定的阈值时，判定为病害果；若小于设定的阈值时，则判定为非病害果。如图5测试集的120个病害和353个非病害枣的缺陷面积比值统计所示：当病害面积比阈值为0.08±0.01范围内时，对病害枣和非病害枣的正确识别率都在80%以上。取阈值为0.08时，训练集的正确率为 92.6 %，测试集的正确率为91.58 %，如表1所示。同时，在该阈值下，人工逐个提取样本病害枣的感兴趣病害区域，统计感兴趣病害区域像素点，得最小感兴趣区域面积。如图7所示，得到图4第2个病害枣投影面积像素点为174 005像素，统计感兴趣病害区域像素点为5 751像素。由图像采集系统的相机的像素和视场可以得出：每个像素点所占面积为0.002 934mm2，则在该阈值下，病害面积识别精度为 16.87mm2，占枣投影面积的3.3%，满足甚至高于流水线分拣精度要求。而当阈值在0.08～0.09之间时，对非病害枣的识别正确率会有提高，但此时人工提取的感兴趣病害区域面积变大，降低了病害面积识别精度；当阈值在0.07～0.08之间时，对非病害枣的识别正确率会有变小，降低了病害分级准确率。为进一步提高阈值为0.08分级精度下的分级准确率，将病害面积比值依据病害面积比阈值二值化，并提取红枣区域H的均值和均方差作为红枣的颜色特征值，作为支持向量分类模型输入量。支持向量机核函数为多项式函数，错误惩罚参数c=0.16，多项式核函数最高次项数d=3，核函数参数g=3，训练集的回判准确率为95.77 %，预测集的预测准确率为95.79 %，其结果如表1所示。对枣裂纹进行识别检测时，将148个裂纹样本分为训练集106个，测试集42个；将352个正常样本分为训练集247个，测试集105个。基于裂纹不变矩的识别方法将裂纹二值图的7个不变矩组作为支持向量机分类模型输入量。支持向量机的核函数为sigmoid函数，错误惩罚参数c=0.8,核函数参数g=30,训练集的回判准确率为94.90%，预测集的预测准确率为94.55%，如表2所示。

图7　感兴趣病害区域提取图

由表1可知：基于缺陷面积比阈值的分级方法测试集中，对已确定的分级精度下的病害枣的识别率可达100%，而对非病害枣的识别率只有89.12%。其主要误差来源于部分非病害枣边缘部位凹陷、果形异常、颜色轻微褐红，在光照下形成反光引起色调的变化，导致误以为缺陷区域提取出来。而基于支持向量机识别模型，在已确定病害面积比阈值的分级精度下，提取红枣区域H的均值和均方差作为红枣的颜色特征值，从色调的整体趋势和离散程度增强病害和非病害的识别效果。最终实验结果也表明：增加了红枣区域H的均值和均方差两个参量，测试集中病害枣的识别率为97.67%，非病害枣的识别率也达到95.24%，而最终测试集190个红枣的检测正确率达到了95.79%，表明该分级方法不仅保证了较高的分级精度也保证了较高的分级准确率。

由表2可以看出：基于裂纹不变距的分级方法的测试集中，非裂纹枣的识别率为96.19%，高于裂纹枣的识别率90.47%。其误差主要由于采集样本图像时部分枣的裂纹在边缘，因光照原因提取的裂纹不全。这也是后续数据处理的关键，今后可以从光源和机械传到方面对图像采集步骤改进。

表1　红枣病害的识别结果

表2　红枣裂纹的识别结果

4结论

1)对红枣图像中值滤波后，I分量图像中在红枣区域里两次自动阈值，分离出红枣外圈光环，很大程度上消除了光照、果形及底板反射光等因素对红枣图像的影响。

2)在H分量图中，依据病害和正常区域色调值差异提取病害区域，以较高的病害分级精度，结合红枣区域颜色特征值H的均值和均方差，用支持向量机识别模型检测枣的病害，正确率达95.79 %。

3)在I分量图中，对红枣区域进行Otsu’s阈值分割、图像局部属性统计和形态学处理，提取裂纹二值图像，选取裂纹二值图像7个不变矩组为特征参数，分级正确率为94.55%。

4)基于机器视觉的半干枣病害和裂纹识别方法可行，可进一步用在半干枣外部品质的在线检测，将病害和裂纹枣剔除，可减少病害霉变的持续，提高红枣烘干的合格率和品级。

参考文献：

[1]李明利.红枣业:深加工成就大未来[J]. 农产品加工,2014(6):60-61.

[2]张惠,贾首星,郑炫,等. 红枣各阶段分级设备应用现状[J]. 江苏农业科学,2014,42(2):341-343.

[3]Lee D J, Schoenberger R, Archibald J, et al. Development of a machine vision system for automatic date grading using digital reflective near-infrared imaging [J].Journal of Food Engineering,2008,86(3):388-398.

[4]Ohali Y A. Computer vision based date fruit grading system: Design and implementation [J]. Journal of King Saud University - Computer and Information Sciences, 2011, 23(1): 29-36.

[5]Al-Rahbi S, Manickavasagan A, Al-Yahyai R., et al. Detecting Surface Cracks on Dates Using Color Imaging Technique [J]. Food Science and Technology Research, 2013 , 19(5): 795-804.

[6]Manickavasagan A, Al-Mezeini N K, Al-Shekaili H N. RGB color imaging technique for grading of dates [J].Scientia Horticulturae, 2014, 175(15): 87-94.

[7]杨福增,王峥,韩文霆,等.基于小波变换的红枣裂沟的多尺度边缘检测[J].农业工程学报, 2005, 21(6):92-95.

[8]赵杰文,刘少鹏,邹小波,等. 基于支持向量机的缺陷红枣机器视觉识别[J].农业机械学报, 2008,39(3):113-115,147.

[9]肖爱玲,黄新成. 基于彩色分量的骏枣病虫害检测方法[J]. 农机化研究,2014,36(2):142-146.

[10]张铮.精通Matlab数字图像处理与识别[M].北京：人民邮电出版社，2013：197-219.

[11]王兰,冯宏祖,熊仁次,等. 新疆红枣病虫害发生现状及对策[J]. 中国植保导刊, 2014 (6):73-75.

[12]孙兆军. 枣黑腐病的发病症状及防治措施[J]. 烟台果树,2009(1):54-55.

[13]赵素风. 枣缩果病发病规律及防治研究进展[J]. 内蒙古林业调查设计,2010(6):94-96.

[14]王金红，姜秀华，侯军铭，等.枣炭疽病的发生规律与防治技术[J].河北林业科技,2009(3):122-123.

[15]赵海波，周向红. 基于计算机视觉的番茄催熟与正常熟识别[J].农业工程学报，2011，27(2)：355-359.

[16]丁世飞,齐丙娟,谭红艳. 支持向量机理论与算法研究综述[J].电子科技大学学报,2011,40(1):2-10.

[17]王小川.Matlab神经网络43个案例分析[M].北京：北京航空航天大学出版社，2013：102-179.

[18]赵小川.MatLab图像处理—能力提高与应用案例[M].北京：北京航空航天大学出版社，2014：1-17.

[19]孔彦龙,高晓阳,李红玲,等. 基于机器视觉的马铃薯质量和形状分选方法[J].农业工程学报, 2012, 28(17):143-148.

Detection of Diseases and Cracks of Semi-dried Dates Based on Machine Vision

Li Yunzhi1a, Qiang Zhang2, Chen Hongyi1a, Dang Xiaohui3, Li Xingang1b, Hu Yaohua1a

(1.Northwest A&F University a.College of Mechanical and Electronic Engineering； b.College of Forestry,Yangling 712100,China; 2.Department of Biosystems Engineering, University of Manitoba, Winnipeg R3T 5V6, Canada; 3.Xi’an Senwas Agricultural Science & Technology corporation, Xi’an 71000,China)

Abstract：Diseases and cracks are the common defects of red dates and they severely reduce the quality of red dates. The objective of this study was to determine the effectiveness of a computer vision system with RGB color camera in detecting the diseases and surface cracks in red dates. Firstly, on the basis of the difference in the tone value between the diseased and non-diseased areas in the H diagram, diseased area was extracted, and the extracted disease area to total surface area ratio was used as the threshold to achieve a high precision in identifying the diseased area. The test results of 163 diseased red dates and 500 non-diseased dates showed that more than 16.87mm2diseased area could be correctly identified, accounting for 3.3% of the projected area of a red date. The rates of correct recognition for the training set and the test set were 92.60% and 91.58%, respectively. To further improve the accuracy, the extracted diseased area to the surface area ratio was converted to the binary format. Combining with the mean and variance of color features of the red dates, an SVM (support vector machine) model was developed to detect red date diseases. The correct detection rate was 95.77 % for the training data set and 95.79 % for the test data set. In the I diagram, Otsu’s threshold method was firstused to segment the regions on date surface, and then statistical and morphological methods were used to segment the crack regions and generate binary images. Using the invariant of cracks in the crack binary images, a crack recognition model was established. The adequacy of the model was tested on a data set of 500 samples, including 148 cracked dates and 352 non- cracked dates. For training data set, the detection rate was 94.9%. For the test data set, the detection rate was 94.55%. The results showed that it was feasible to use the machine vision for disease and crack identification of semi-dried dates. The method could potentially be used for on-line detection of external quality of semi-dried dates.

Key words：red date; machine vision; disease; crack; defect; support vector machine

中图分类号：S126;TP391.41

文献标识码：A

文章编号：1003-188X(2016)08-0120-06

作者简介：李运志(1991-)，男，湖北黄冈人，硕士研究生，(E-mail)qiaozhi1991@163.com。通讯作者：胡耀华(1973-)，女，江西奉新人，教授，(E-mail)huyaohua@nwsuaf.edu.cn。

基金项目：国家“十二五”科技支撑计划项目(2013BAD20B03)；西安圣华农业科技股份有限公司合作项目(2014)；陕西省科技统筹项目(2013KTZB02-03)；陕西省科技统筹创新工程项目[(2013KT(G01-12)]

收稿日期：2015-07-20