梁晨阳 王川川 丁浩楠 张靖鱼 黄煜桢 王建鹏

摘 要：采用人工分拣的方式对烟叶分级受人为主观经验影响大且费时费力。随着计算机视觉技术的发展与计算机算力的增强，将机器视觉技术用于实现烟叶快速自动分级已成为这一领域研究的主要方向。本研究提出一種基于机器视觉（Machine Vision）与模型融合的烟叶快速分级方法，将烟叶分为五个品级，采用模型融合方案构建多分类模型来提取烟叶残伤与颜色特征，结合支持向量机（Support vector machines，SVM）与综合打分系统评判来实现对烟叶的自动快速分级。采用过程分类准确率、损失值和投票器得分作为评判指标，在自建烟叶数据集上对几种不同烟叶分级方法的效果进行对比。研究结果表明，采用融合方案能够实现对烟叶品级快速判定并有较高的准确率。

关键字：模型融合;机器视觉;烟叶分级;投票打分机制;CNN

中图分类号：TP391.41     文献标志码：A     文章编号：1003-5168（2022）11-0007-06

DOI：10.19968/j.cnki.hnkj.1003-5168.2022.11.001

Research on Rapid Grading System of Tobacco Leaf Based on Machine Vision

LIANG Chenyang    WANG Chuanchuan    DING Haonan    ZHANG Jingyu

HUANG Yuzhen    WANG Jianpeng

（Henan University of Technology， Zhengzhou 450001，China）

Abstract：The manual sorting method has great influence on the subjective experience of tobacco grading，which is time-consuming and laborious.With the progress of machine vision technology and the enhancement of computer computing power，the application of machine vision technology to achieve rapid automatic tobacco grading has become the main research direction in this research field. In this paper，a fast tobacco leaf classification method based on machine vision and model merging was proposed.The tobacco leaves were classified according to five grades.The model merging scheme was used to built a multi-classification model to extract the characteristics of tobacco leaf damage and color，and SVM（Support vector machines） and comprehensive scoring system were combined to evaluate the automatic and rapid tobacco leaf classification.Using the accuracy rate，loss value and voting machine score as evaluation indexes，the effects of different methods on tobacco leaf classification were compared on the self-built tobacco leaf data set.The results showed that the model merging scheme could be used to determine tobacco grade quickly and with high accuracy.

Keywords：model merging;machine vision;tobacco grading;voting scoring mechanism; CNN

0 引言

烟叶的收购价格及销量主要由烟叶的等级来决定。目前，烟叶分级仍然以人工分级为主，这种传统的分级方法不仅存在劳动强度大、工作效率低、人工成本高等缺点，还会受到不同分级人员的经验、感官、主观评价、标准定义等因素的影响，无法保证烟叶分级的客观性，从而影响分级的准确性。随着计算机算力的提升与机器视觉技术的进步，越来越多的研究人员运用机器学习和图像处理技术来对烟叶进行分类分级研究。赵树弥等[1]采用以机器视觉技术为基础的烟叶图像检测方法对烟叶等级进行划分。其中，运用邻域平均和中值滤波组合的方法来对图像的噪点进行区域去噪处理，使用最小误差阈值分割法对烟叶和背景进行分类，随后增强图像信号，对感性区域内的颜色信息进行提取，用烟叶的4个特征信息（RGB颜色值和色调H值）来对烟叶的级别特性进行表征。李海杰[2]提出了一种基于非局部相似性交叉熵的含噪图像阈值分割算法，并将该算法直接应用于含噪点的烟草图像异物检测中，在烟叶图像的HSV空间中定义了含青率、烤红率两个颜色特征，使用Gabor小波对烟叶的纹理特征进行提取，并采用小波支持向量机进行训练，从而实现对烟叶图像分类。王天旺等[3]提出了一种基于改进鲁棒多分类SVM的烟叶颜色等级分类法，通过提取烟叶上、中、下三个区域的一、二、三阶颜色矩作为分类特征，改进SVM分类器对各色组离群训练样本的约束，提高该分类模型对样本分类的精准度。本研究基于对烟叶分级准确度的考虑，借鉴卷积神经网络在图像分类领域中的良好表现，提出一种基于卷积神经网络模型融合的烟叶分级方案。首先，构建三个对烟叶分类的CNN预训练模型，通过“投喂”大量数据改进参数;其次，采用模型融合法对CNN模型的输出结果进行打分评判，将评判结果进行综合提取;最后，依据综合评判结果区分烟叶等级。通过大量试验数据表明，该方法与经典CNN神经网络相比，能够更加快速高效地将烟叶按品级进行初步分类。9B178129-0589-4EEC-87E3-FCDD26843F0E

1 烟叶数据

1.1 烟叶分级标准

烟叶分级的评判对象包括烟叶部位、颜色、成熟度、组织结构、油度、色度、长宽度、残伤以及破损等，将每个因素划分为不同的档次，每个因素按照档次的不同赋予不同分值，对这些因素分别评分然后将总分数作为分级指标，确定各等级的相应价值。本研究采用烟叶的部位、颜色、残伤三个品级要素对烟叶进行分类。烟叶不同部位有着不同的外观特征和内在品质，因品种、土壤、气候条件和栽培措施的不同，其会发生一些变化。烟叶的部位分为下部叶（X）、中部叶（C）、上部叶（B）;烟叶颜色是指烟叶烘烤后的相关色彩、色泽饱和度和色值状态，柠檬黄是“100%的黄色”，橘黄是“70%的黄色+30%的红色”，红棕是“30%的黄色+70%的红色”;残伤是指烟叶组织受到破坏，失去成丝的强度和坚实性，基本无使用价值。比如，过熟烟叶产生的病斑、焦尖、焦边等，以百分数（%）来表示;破损是指烟叶受到机械损伤而失去原有的完整性，每片烟叶的破损面积以百分数来表示。本研究以烟叶完整度95%以上定义为“完整”，将烟叶完整度为80%～95%定义为较完整，将烟叶完整度在80%以下定义不完整。

1.2 训练数据

在烟叶数据采集方面，采用MV-CE013-50GC相机对烟叶进行拍摄，共获取4 358张烟叶图片，按颜色（橘黄、柠檬黄、红棕、未熟的青叶）、位置（上部、中部、下部）、残伤度（15%～19%、20%～24%、25%～30%）进行分类，具体见表1。

烟叶图像在进行训练前经过两种不同预处理，分别提取烟叶的颜色（color）与完整度（integrity）。

在颜色方面，通过RGB颜色空间将图像增强，发现原图像的颜色会被修改，而HSV颜色空间是从色相（Hue）、色饱和度（Chroma）和色调（Value）来描述颜色的。HSV颜色空间是用一个圆锥模型来描述的。这种描述方式比RGB色彩空间更复杂，但能把色相、色调、色饱和度清楚地展现出来。本研究用Image库函数对其饱和度增强1.1倍，更加凸显出空间中的各颜色分量，对比度增强1.3倍，提高了图像的明暗对比以及图像的整体均衡度（见图1）。

烟叶根据颜色分为4类，分别为橘黄、柠檬黄、红棕以及未熟的青叶。

相对于完整度，本研究更关心图像边缘连接的完整平滑性、叶片内的无破损程度及烟叶的内部病变和损伤，所以先用OpenCV将图像进行灰度化处理，剔除颜色等无关特征，将原图片的色彩归到灰度图，增强了其残损及病变的特征。采用Python、OpenCV和Image第三方库将图片进行灰度化处理以及颜色增强，得到烟叶的灰度图像。此图像特征更倾向于叶片的形状完整度及病变程度，也因此更容易使神经网络提取出完整性的特征（见图2）。

2 烟叶分级系统

传统的单一网络模型对分析图像的分类存在不准确和耗时长等问题。基于此，本研究采用Stacking模型融合的方法实现对烟叶图像的分类。

2.1 融合模型

本研究采用的融合模型以三个经典卷积神经网络ResNet、AlexNet和VGG16Net为基学习器，以SVC classifier为元学习器，组成Stacking模型融合。

AlexNet[4]是一种经典的神经网络模型，其由8层神经网络组成，包括5个卷积层和3个全连接层，每一个卷积层后面都加了最大池化层，其使用ReLU函数作为激活函数，提出了LRN局部响应归一化，并对局部神经元建立竞争机制，抑制响应较小的神经元，加强网络的泛化本领，为减少过拟合问题还加入了Dropout层。

VGG16Net[5]模型包含13个卷积层、3个全链接层，其结构相对简单但训练的特征数量非常大，且由于网络中每一个卷积层和池化层中的卷积核大小与池化核大小固定，在训练时能更快达到预期效果，采用ReLU函数作为激活函数，同时也加入了Dropout层。

ResNet[6]是微软研究院在2015年提出的一种神经网络模型。其是由1个卷积（conv1）+3残差块×2个卷积（conv2_x）+4个残差块×2个卷积（conv3_x）+6个残差块×2个卷积（conv4_x）+3个残差块×2个卷积（conv5_x）+最后的1个全连接层=34。该神经网络模型的特点在于网络的性能不会随着深度增加而降低。

2.2 模型融合方案

烟叶定级方案以三种不同卷积神经网络为主要工具，参考国家烤烟分类标准。在完成训练后，首先将输入的烟叶图片进行预处理并分为三组，随后根据烟叶的残伤、颜色、位置三个品级要素分别对不同的烟叶特征进行提取，之后“投喂”给融合网络模型，对三个卷积神经网络进行初步训练。品级要素“残伤”经过AlexNet网络后输出完整、较完整、不完整三类特征对应的概率值向量;品级要素“颜色”经过VGG16Net网络后输出为柠檬黄、橘黄、红棕、未熟的青叶四类特征对应的概率值;品级要素“部位”经过Res34Net网络后输出上部、中部、下部三类特征对应的概率值。接下来对三个模型进行融合，通过对三个品质因素的分类结果进行打分评判，实现最终的产品定级（见图3）。

2.3 模型融合训练

在训练模型前，将Train_data和test_data数据集分成对应的三份，每次将其投入训练时用其中的两份作为训练集，剩余的一份作为测试集，预测结果为predict1、predict2、predict3，由此得到同一个基学习器的三个模型。用同样图片经过不同的预处理后，送入另外两个基学习器进行同样的训练，得到3×3个模型和3×3个predict。

由于卷積神经网络输出的是数字或数组，在对其进行Stacking融合时，将预测图片经过预处理和训练好的feature（特征）层和flatten（展平）层进行输出，而不经过传统神经网络中的classifier，三个模型训练完成后，对test_data进行三分预测后合并为一个predicts作为输出，将三个基学习器的输出平均为一个与test_data大小一致的矩阵作为元学习器的输入，此时的数据为二维tensor格式，称为烟叶图片的特征矩阵，由SVM（支持向量机）作为元学习器以模型融合后的特征矩阵作为训练集进行训练。三个基学习器及元学习器训练完成后，将Val_data（验证集）中的数据先经过预处理后送入3个基学习器，获得特征矩阵，再送入元学习器预测输出。融合模型如图4所示。9B178129-0589-4EEC-87E3-FCDD26843F0E

Stacking网络融合模型的优势在于，对烟叶图像分类问题采用卷积神经网络作为第一层，接收图片信息并进行训练，得到基学习器1、2、3，而后传入元学习器的数据是从展平（flatten）后的数据直接取出，不经过基学习器。这种非常规方法保留了基学习器（CNN）的网络特征，且采用交叉训练，即每次用于训练的数据由Train_data划分出的2/3作为训练集，对每1/3的Test_data分别进行预测输出，之后将三个预测结果进行合并，得到一个基学习器交叉训练的预测结果。在经过这三个基学习器训练完成后，取出各自的预测结果展平数据进行Stacking融合，实现了三维图片的输入到特征矩阵的输入。此过程避免了训练数据的交叉使用，同时也避免了过拟合，且利用多个神经网络提取特征，并与元学习器结合进行二次预测，提升分类的准确度。

本研究三个卷积神经网络中的损失函数均采用交叉熵损失函数（CrossEntropyLoss），见式（1）。

[J=?1N1N1kyi.logpi]     （1）

式中：[yi]是类别i的真实标签;[pi]是softmax函数计算出的类别i的概率值;k是烟叶类别数，N是烟叶样本总数。

2.4 投票赋值与定级

基于ResNet34、Alexnet和VGG16Net三个网络模型的融合，对图片分别在色度、部位、殘伤三个方面进行预测。之后为了量化烟叶品质，采用投票赋值的方式，对同一特征的不同预测结果进行赋值并累加不同特征的终值，对终值再进行区间划分，得到不同品级的烟叶。

投票赋值规则参考国家烟叶分级标准。首先将烟叶部位分为上部、中部和下部;然后根据烟叶残伤度来确定其初始分值，根据叶片残伤度的大致区间，将烟叶赋初始值为{15%～19%：7;20%～24%：5;25%～30%：3};接着再根据叶片的色度分为浓、强、中、弱、淡五级，对其分别投票赋分为[2，3，1，0，-1][3，2，0，-1，-2]和[1，3，2，-1，-2]。通过烟叶的残伤度、色度与烟叶所属部位相结合，来确定烟叶各等级的相应价值。其终值最终落在上限为10、下限为1的区间内，根据分值将烟叶划分为五个等级，见表2。

由表2可知，Ⅰ、Ⅱ级为优，Ⅲ级为良，Ⅳ、Ⅴ级为次。这套系统都可以基于色度、残差和部位对烟叶完成系统的等级划分，达到烟叶快速分级的目的。

3 结果与分析

用融合模型和融合前的三个模型分别对同一批烟叶的不同预处理数据集进行训练，分别迭代训练Alexnet epochs=30、ResNet epochs=3、VGG16Net epochs=30。用测试集进行测试，取各自预测网络预测值中正确预测的个数与测试集总数的比值为准确度衡量，见式（2）。

[AC = CPCP+EP]       （2）

式中：CP（correct prediction）为正确预测个数，EP（error prediction）为错误预测个数;AC（accuracy）为模型准确率。

三个网络的训练过程的损失及准确度见图5、图6。

将经过训练后的三个模型进行Stacking融合后，对验证集进行预测，结果如图7所示。

通过对比发现，模型融合前的三个模型训练在过程中最终准确率：Alexnet为88.96%、VGG16Net为81.27%、ResNet为82.33%，而在融合后经过SVC分类器后，准确率达到了95.10%。

从模型融合的结果来看，经过Stacking融合后的模型，相比之前的三个模型，准确度提升较大。将此模型融合后的模型进行保存，并用其预测验证集烟叶图片经过预测后的图片，根据预测结果，评分系统对其评分，得到烟叶质量分布如图8所示。

通过预处理共得到162个Val_data数据，经过此系统预测后，其各个品质对应数目如表3所示。

4 结语

本研究通过大量试验表明，通过Alexnet、VGGNet16和ResNet模型的融合，有效地降低了过拟合率，实现了对烟叶快速准确定级的目的，最终取得了非常理想的效果。通过自动智能分析处理，提高了分级的准确度，在烟农家中就实现可预检封包，收购场可以直接定级，大幅提高了工作效率，解决了烟农初分环节效率低、等级合格率无法达标的问题，对提升烟叶收购等级纯度、推动烟叶生产高质量发展、保持烟叶生产持续稳定健康发展具有重要作用。同时，也一定程度上推进了农业数字化、产业化，使得农产品加工生产变得智能化、高效化，提高了农业生产效率。

参考文献：

[1] 赵树弥，张龙，徐大勇，等.机器视觉检测鲜烟叶的分级装置设计[J].中国农学通报，2019（16）：133-140.

[2] 李海杰.基于机器视觉的烟草异物检测和烟叶分类分级方法研究[D].南京：南京航空航天大学，2016.

[3] 王天旺，解立明，刘文，等.基于改进鲁棒多分类SVM的烟叶颜色分级分类方法研究[J].机电信息，2021（5）：55-57，60.

[4] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM，2017（60）：84-90.

[5] RODR?GUEZ F J，GARC?A A，PARDO P J，et al.Study and classification of plum v arieties using image analysis and deep lea rning techniques[J].Progress in Artificial In telligence，2018（2）：119-127.

[6] SZEGEDY C，LIU W，JIA Y Q，et al.Going Deeper with Convolutions[J].CoRR，2014.9B178129-0589-4EEC-87E3-FCDD26843F0E