基于计算机视觉的槟榔分级研究
2016-09-28许月明蔡健荣龚莹辉
许月明蔡健荣龚莹辉
(1. 芜湖职业技术学院生物工程学院，安徽 芜湖 241003；2. 安徽师范大学环境科学与工程学院，安徽 芜湖 241002；3. 江苏大学食品与生物工程学院，江苏 镇江 212013)
基于计算机视觉的槟榔分级研究
许月明1，2蔡健荣3龚莹辉3
(1. 芜湖职业技术学院生物工程学院，安徽 芜湖241003；2. 安徽师范大学环境科学与工程学院，安徽 芜湖241002；3. 江苏大学食品与生物工程学院，江苏 镇江212013)
槟榔品种的分级技术目前比较落后，主要靠人工完成分级，因而品种分级的质量难以得到保证。该试验用计算机视觉技术进行品种分级，通过图像获取、预处理等提取其颜色特征、形状特征和纹理特征，通过试验分析，发现由颜色和形状特征参数结合起来即可以获得较好的效果。并对其进行主成分分析后代入支持向量机进行分级，预测集的正确识别率达到90.38%以上。
槟榔；计算机视觉；支持向量机；分级
槟榔[1](Betel Nut)属棕榈科多年生常绿乔木，果实长圆形或卵球形，质地坚硬，系热带珍贵药用植物，其与砂仁、益智仁、巴戟天并称四大南药。槟榔根据其颜色、形态、纹理等外观属性分为4个等级，不同等级间的品质和价格差异较大。目前槟榔的分级主要依靠人工完成，而人工分级易受工作人员当时生理和心理因素影响，很难做到客观、稳定，计算机视觉技术对槟榔进行分级是解决这一问题的有效办法。
槟榔分级主要包括槟榔鲜果分级和槟榔干果分级两类。目前国内外利用计算机视觉技术研究槟榔分级的报道较少，其中干果的研究报道，仅检索到Liu Tong等[2]研究了基于计算机视觉对槟榔的分级，主要采用形状特征构建识别函数，通过阈值法提取区域特征向量，该方法仅仅反应槟榔外形特征，对于发生病变的槟榔容易发生误判，影响整体识别准确率。本研究在文献[2]的基础上进行改进，通过提取槟榔的颜色特征、形状特征和纹理特征，综合分析3种特征参数，结合主成分分析和支持向量机的方法实现槟榔自动分级，以弥补该研究的缺陷。
1 试验材料
试验所用的槟榔样本均由湖南胖哥食品有限责任公司提供，2015年2月生产，产地湖南湘潭。槟榔的级别已由厂家专业人员通过评定来确定等级，分别为极品、金条、泡果、小果，按照品种级别依次分为4个级别。其中：1级果(极品)的特征是有究头，如图2所示，有很深的纹路包括纵向纹和横向纹，长度一般在55 mm以上；2级果(金条)的特征是表面纹路较深且比例较均匀，长度在50 mm以上；3级果(泡果)的特征是其肚子的直径比较大，一般大于25 mm且表面纹路相对较浅、较光滑，长度与2级果类似；4级果(小果)的特征是其长度小于50 mm。
2 图像处理
槟榔图像处理流程见图1。
2.1图像获取
通过预试验发现，用黄色的滚轮和用白纸板做背景时效果最佳。试验过程中，为了消除光线强度等外界试验条件对图像采集的影响，采用了直射加漫反射的光源系统。分别将单个槟榔样本置于光源箱中的样品台上，用工业黑相机进行图像采集。对每个槟榔样本分别采集图像5次，采集后的图像信息以RGB形式存放备用。
2.2图像预处理
首先将获得的原始图像分解为R、G、B 3个单通道图像，比较各分量灰度直方图分布，发现G通道图像的直方图峰谷比较明显，因此选用 G 值作为阈值分割的特征值，在简化运算的同时，又可以较好地提取出槟榔图像[3]。由于果梗对槟榔的分级也有一定影响，所以要将槟榔的果梗去除。利用数学形态学的方法可以提取出槟榔的果梗[4]，即用图像开运算和闭运算等对其进行操作，再将阈值分割后的图像减去果梗图像，即得到去除果梗后的图像(见图2)。再经过一些操作，即可以获得最终用于提取各特征参数的槟榔图像，即感兴趣区域(ROI)。
2.3特征提取
基于计算机视觉获取槟榔的外部特征主要包括颜色特征、形状特征及纹理特征3个方面[5]。
图2 槟榔预处理前后图像
2.3.1颜色特征提取在槟榔分级时，槟榔的颜色是一个重要特征。槟榔的颜色一般以棕褐色为主，有的偏深，有的偏浅，不同等级的槟榔颜色也有所差别。鉴于一种颜色系统很难将不同品种的槟榔区分开来，因此结合RGB颜色模型和HSI颜色模型来提取槟榔的颜色特征[6]。RGB模型没有直观地与颜色概念建立起联系。因此，首先将 RGB 模型转换为HSI(hue-saturation-intensity)颜色模型，HSI模型的特点是I分量与图像的彩色信息无关及H和S分量与人体感受颜色的方式紧密相连，这比较符合人类对颜色的理解[7]。
从预处理后的槟榔图像区域中分别提取出红色、绿色、蓝色及色调、饱和度、强度的平均灰度值(μR、μG、μB、μH、μS、μI)和平均灰度偏差值(δR、δG、δB、δH、δS、δI)，共12个颜色特征参数。
2.3.2外形特征提取根据槟榔的图像特点，求出其最小外接矩形，然后分别计算出槟榔的面积、长度、宽度、周长，再通过特征参数的组合，最后得到槟榔的面积、长度、宽度、周长、长宽比、槟榔面积与最小外接矩形面积的比值、凸性、圆度，共8个形状特征参数。
2.3.3纹理特征提取纹理也是槟榔分级的重要指标之一。不同等级的槟榔表面纹理不同，有的纹理粗，有的纹理细，存在一定的规律性，是一种准规则纹理，因而采用统计分析方法里的灰度共生矩阵法来提取特征参数。由于槟榔的主要纹理是0°方向的，因而选取90°方向的灰度共生矩阵。在提取纹理特征参数时取槟榔的中间一段以减少槟榔头尾纹理对其的影响。最终提取了90°方向的能量、相关性、均匀性、对比度值及图像的平均灰度值、平均灰度偏差值和熵值，共7个纹理特征参数。
3 槟榔分级
本试验采用支持向量机(Support Vector Machine，SVM)模式识别方法来建立模型。SVM是20世纪90年代形成的一种新的模式识别方法，它将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面[9]。SVM算法目前广泛应用于图形分类、图像识别、生物信息采集等领域。本试验数据由HALCON 9.0软件通过编程导出，其中对特征参数数据的主成分分析是基于SPSS软件。
3.1SVM核函数类型及其参量的确定
SVM建立模型时核函数的选择非常重要，目前核函数类型较多，不同种类的核函数对其建立的模型性能影响显著。试验中选择径向基函数得到的拟合效果较好，因为径向基函数可以将非线性样本数据映射到高维特征空间，处理具有非线性关系的样本数据[10]，另外径向基函数取值(0
3.2主成分数的确定
由于所获得到的数据之间存在一定的相关性，因而选取合适的主成分数对模型的建立有着重要的影响。一般情况下，如果选取的主成分数偏少，有可能出现信息损失过多，将大大降低模型识别率；同等条件下，如果选取的主成分数偏多，又会引入过多的冗余信息，这些冗余信息的介入会降低模型的预测性能，造成模型的鲁棒性降低，同时使数据处理的时间加长[11]。因此，通过主成分分析选择合理的主成分是有效提升槟榔预测识别率的重要手段之一。
3.3识别结果
本试验共拍了4类槟榔，第一类共拍了93幅图像，第二类共拍了210幅图像，第三类共拍了186幅图像，第四类共拍了239幅图像，总共728幅图像。现将训练集与预测集按3∶1的比例进行训练预测，并分别测试训练集和预测集中各类槟榔的识别率，用以权衡SVM模型性能指标参数。
3.3.1单一类特征的识别率首先将提取出的颜色特征、形状特征及纹理特征参数分别单独代入支持向量机，以其全部特征参数进行判断识别，比较各个特征对分类的影响，其预测集和训练集的判断结果见图3～5。
由图3～5可知，颜色特征和形状特征对槟榔分级的影响较大，纹理特征对其影响较小，但当它们各自单独作用时不管是预测集，还是训练集的分类的效果都不是很好。因而考虑将各个特征结合来，比较各自的识别率。
图3 在颜色特征参数下各等级槟榔在预测集和训练集中的识别率
Figure 3The recognition rate of Betel Nut of each grade in prediction set and training set which use color feature parameters
图4 在形状特征参数下各等级槟榔在预测集和训练集中的识别率
Figure 4The recognition rate of Betel Nut of each grade in prediction set and training set which use shape feature parameters
图5 在纹理特征参数下各等级槟榔在预测集和训练集中的识别率
Figure 5The recognition rate of Betel Nut of each grade in prediction set and training set which use texture feature parameters
3.3.2各特征组合后的识别率将各个特征参数进行组合，即颜色特征与形状特征结合，颜色特征与纹理特征结合、形状特征与纹理特征结合，比较各全特征参数下各个组合预测集和训练集的识别率，结果见图6～8。
由图6～8可知，图6的预测集和训练集的识别率都达到了比较好的效果，相比之下，图7、8显示的槟榔识别率就略低一点。
结合颜色特征、形状特征与纹理特征，在各全特征参数下，预测集和训练集的识别率结果见图9。
由图9可知，结合颜色特征、形状特征与纹理特征，其预测集和训练集的识别率都达到了比较好的效果。但与图6比较，它们之间的差别却不明显。
图6 在颜色和形状特征参数下各等级槟榔在预测集和训练集中的识别率
Figure 6The recognition rate of Betel Nut of each grade in prediction set and training set which use color and shape feature parameters
图7 在颜色和纹理特征参数下各等级槟榔在预测集和训练集中的识别率
Figure 7The recognition rate of Betel Nut of each grade in prediction set and training set which use color and texture feature parameters
图8 在形状和纹理特征参数下各等级槟榔在预测集和训练集中的识别率
Figure 8The recognition rate of Betel Nut of each grade in prediction set and training set which use shape and texture feature parameters
图9 在所有特征参数下各等级槟榔在预测集和训练集中的识别率
Figure 9The recognition rate of Betel Nut of each grade in prediction set and training set which use all feature parameters
3.3.3最佳特征组合在不同主成分下的识别率综上所述，当选择颜色和形状特征时，预测集和训练集的识别率都较好，再添加纹理特征参数时，对各识别率的提升不大，且会增加运行时间。因而仅将颜色和形状特征参数带入模型进行运算，并对颜色和形状特征参数进行主成分分析，在不降低识别率的情况下简化数据，提高速度。在选择颜色和形状特征下，不同主成分数对模型预测集和训练集的识别率见图10～11。
图10 不同等级的槟榔在不同主成分数下预测集的识别率
Figure 10The recognition rate of different grades Betel Nut in prediction set which is under the different number of principal component
图11 不同等级的槟榔在不同主成分数下训练集的识别率
Figure 11The recognition rate of different grades Betel Nut in training set which is under the different number of principal component
由图10、11可知：随着主成分数的增加，模型的识别率呈现增加趋势，当主成分数达到12后，其识别率基本趋于恒定状态。因为当主成分数达到12时，特征参数的累计方差贡献率为99.745%，这12个主成分几乎能全部反映图像的20个特征变量的原始信息。且综合考虑以1、2等级的识别率高为主，故将主成分数确定为12。
选择槟榔颜色和形状特征共20个参数，分别是RGB和HIS各分量的平均灰度值和平均灰度偏差值及槟榔的面积、长度、宽度、周长、长宽比、槟榔面积与最小外接矩形面积的比值、凸性、圆度。根据上述的主成分分析，图像特征参数的最佳主成分数为12。因此，将12个主成分作为支持向量机的输入因子，并选用径向基函数作为支持向量机的核函数，在核参数gamma为0.02和Nu为0.05的条件下，进行训练建立模型。该模型训练集的识别结果见表1，其平均识别率约为99.86%，模型预测集的识别结果见表2，其平均识别率约为96.14%。
表1 槟榔在训练集中的识别结果
表2 槟榔在预测集中的识别结果
4 结论
本试验应用计算机视觉技术并辅以模式识别对槟榔分级进行识别判断，以4个等级的槟榔为研究对象，对获取的图像提取颜色、形状和纹理特征，通过试验发现有颜色和形状特征即可以获得较好的识别率。再对颜色和形状特征参数进行主成分分析提取相应的主成分输入到支持向量机模型对槟榔进行识别。在模型建立过程中，选取径向基函数(RBF)作为核函数，经过主成分分析发现，主成分数为12时建立的模型最佳，训练集平均识别率约为99.86%，预测集的平均识别率约为96.14%。试验结果表明应用根据槟榔的颜色和形状特征，采用支持向量机的模式识别方法，利用计算机视觉技术将不同等级的槟榔识别出来是可行的。该试验为计算机视觉技术对槟榔的在线分类提供了参考。
[1] 黄丽云, 刘立云, 李艳, 等. 海南主栽槟榔品种鲜果性状评价[J]. 热带作物学报, 2014, 5(2): 313-316.
[2] LIU Tong, XIE Jian-bin, HE Yi-zheng, et al. An automatic classification method for betel nut based on computer vision[C]// Proceedings of the 2009 IEEE International Conference on Robotics and Biomimetics, 19-23 Dec. Guilin: [s. n.], 2009: 1 264-1 267.
[3] 李明, 房俊龙, 乔翊博, 等. 基于机器视觉黄瓜果实自动分级方法[J]. 农机化研究, 2016(11): 229-233.
[4] 刘燕德, 邓清. 高光谱成像技术在水果无损检测中的应用[J]. 农机化研究, 2015(7): 227-231, 235.
[5] 施健, 何建国, 张冬, 等. 基于计算机视觉鲜枣大小分级系统研究[J]. 食品与机械, 2013, 29(5): 134-137.
[6] 纪滨, 许正华, 胡学钢, 等. 基于颜色的食品品质检测技术现状及展望[J]. 食品与机械, 2013, 29(4): 229-232, 236.
[7] 王养廷. 基于SVM的遥感图像自动分类研究[J]. 计算机仿真, 2013, 30(6): 378-381, 385.
[8] LEEMANS V, MAGEIN H, DESTAIN M. Apple shape inspection with computer vision[C]// Proceedings of the FPAC IV Conference. Florida: [s. n.], 1997: 316-327.
[9] 田洪贞. 基于嵌入式系统人脸识别方法的研究[D]. 青岛: 青岛科技大学, 2012: 23-38.
[10] 赵杰文, 呼怀平, 邹小波. 支持向量机在苹果分类的近红外光谱模型中的应用[J]. 农业工程学报, 2007(4): 149-152.
[11] 荆园园, 田源. 基于支持向量机核函数算法的图像分割研究[J]. 红外技术, 2015, 37(3): 234-239.
Study on grading of betel nuts by computer vision
XU Yue-ming1,2CAIJian-rong3GONGYing-hui3
(1.SchoolofBiologicalEngineering,WuhuVocationalTechnicalCollege,Wuhu,Anhui241003,China;2.CollegeofEnvironmentalScienceandEngineering,AnhuiNormalUniversity,Wuhu,Anhui241002,China;3.SchoolofFoodandBiologicalEngineering,JiangsuUniversity,Jiangsu,Zhenjiang212013,China)
Current technologies for grading betel nuts remain rudimentary and heavily rely on manual inspection, which results in no assurance over grading quality. This paper describes a betel nut grading method based on the computer vision technology, which comprises image capture and pre-processing to collect characteristics such as color, shape, and texture. It is observed that combining both color and shape characteristics leads to satisfactory grading results. This method can reach a recognition rate over 90.38% following principle components analysis (PCA) and a support vector machine (SVM) algorithm.
betel nut; computer vision; support vector machine; classification
安徽省自然科学基金重点项目(编号：KJ2016A763)；安徽省高等教育振兴计划重大教学改革研究项目(编号：2014zdjy154)；安徽省质量工程项目食品技术人才实训中心校企合作实践教育基地项目(编号：2013sjjd036)
许月明，女，芜湖职业技术学院副教授，硕士。
蔡健荣(1966—)，男，江苏大学教授，博士，博士生导师。E-mail: jrcai@ujs.edu.cn
2016-05-06
10.13652/j.issn.1003-5788.2016.08.022
