基于深度学习的在线烟叶等级判定研究

2023-03-10齐玥程熊攀攀

安徽农业科学 2023年3期

齐玥程，王燕*，李丽，熊攀攀

(1.云南省烟草烟叶公司，云南昆明 650000；2.上海创和亿电子科技发展有限公司，上海 200082)

烤烟收购和生产过程中最重要的一环就是对烟叶等级进行判定，烟叶等级判定的准确性直接影响烟叶后续的加工和卷烟产品的质量[1]。国内的烟草公司多是人工进行烟叶分级，耗时又耗力。分级人员对于分级知识掌握的多少以及分级人员自身主观性等原因都会影响烟叶成品的质量，进而影响经济效益[2]，这使得烟叶准确分级尤为重要。

随着计算机视觉科技的发达与完善，这门技术越来越多地应用于现实生活的各个领域，也越来越多地运用到烟叶分级当中[3]。张惠民等[4]通过烟叶颜色、纹理、形状和叶脉等特征，构建了烟叶模型库，进行了烟叶分级模型的数学说明；赵世民等[5]提出一种基于烟叶颜色、形状、纹理特征和烟叶外观品质因素结合的烟叶分级方法；刘剑君等[6]发现烟叶的红外光谱信息可以作为烟叶分级的特征，开拓了一条新的烟叶分级研究思路；韩力群等[7]应用人工智能方法开发了一种拟脑智能系统，烟叶分级能力与人工分级相当。以上研究都是基于人工提取烟叶特征，再用机器学习算法进行烟叶识别，这类方法特征提取困难、模型优化复杂，难以适用于不同应用场景。随着深度学习技术的发展，基于卷积神经网络(CNN)的图像识别受到了极大的关注，CNN能够自动提取特征进行学习，并与标签进行拟合，具备分类精度高、鲁棒性好等优点。王士鑫等[8]选取Inception-V3网络，并使用迁移学习训练了烟叶分级模型；鲁梦瑶等[9]改进了LeNet-5网络，使用烟叶近红外光谱特征来训练烟叶分级模型。

基于使用CNN提取烟叶特征并进行烟叶等级判定，笔者提出一种基于深度学习的在线烟叶等级判定方法，采用ResNeXt作为基础网络，引入了注意力机制和特征融合模块[10]，通过融合多尺度烟叶特征，提高烟叶等级分类性能。

1 烟叶图像数据集

1.1 烟叶样本研究对象采用云南省文山市地区2021年初烤后的云烟87烟叶，烟叶由多名经验丰富的高级分选工严格挑选，最后由分级专家进行验证，保证烟叶部位等级的准确性。最终挑选上部橘黄一级烟(B1F)、上部橘黄二级烟(B2F)、上部橘黄三级烟(B3F)、中部橘黄一级烟(C1F)、中部橘黄二级烟(C2F)和中部橘黄三级烟(C3F)共6个等级烟叶，采集图像共4 574张，其中3 433张用作训练集，687张用作验证集，454张用做测试集。训练集中每个等级烟叶图像数量分别为675、576、586、452、463、681张，图像分辨率为2 852*2 700，文件格式为BMP。

1.2 图像采集系统设计并定制了一套图像采集系统，用于获取高质量烟叶图像。通过防光罩将拍摄区域与外界隔离，同时将光源搭建在防光罩内，确保拍摄区域光照稳定。相机采用大恒ME2P-2621-4GM-P型号相机，像素2 600万；镜头为JD1216A；光源为BNS-GSB700-50-HW。采集的图像通过高速以太网传输到计算机。

1.3 图像预处理为了避免传送带反光以及部分残缺小面积烟叶对烟叶等级判定造成影响，需要对图像进行去背景和去除小面积烟叶处理。首先，将原始图像进行去背景处理，在RGB颜色空间，将像素位置的像素值置为0，得到去除皮带背景的图像。然后，将图像转换为灰度图后再转化为二值图，获取所有物体的轮廓边界，去除面积小于图像像素面积20%的部分，这样可以减少不完整的烟叶或者小物体对于烟叶等级判定的影响。最后，将图像resize到尺寸，用于训练模型。预处理过程的图像如图1所示。

图1 预处理过程的图像Fig.1 Images of the pre-processing process

图2 通过数据增广生成的图像Fig.2 Images processed by data augmentation

1.4 数据增广为了防止训练时由于图像数据量不足导致模型过拟合，采用数据增广的方式扩增烟叶图像数据量，以提高模型的泛化能力[11]。考虑到相邻部位等级的烟叶颜色差异小，若强行改变烟叶颜色、亮度、饱和度等参数可能影响烟叶等级判定的准确性，该研究采用随机旋转、平移、镜像的组合方式生成图像，生成的烟叶图像如图2所示。

2 研究方法

2.1 ResNeXt网络ResNeXt[12]是借鉴了Inception[13]网络的思想来对ResNet网络的改进，它使用了分组卷积，先对feature map进行切片操作分成多组特征，然后分别对每组特征再进行卷积操作，相对于普通卷积来说，这样能够减少卷积的参数量。ResNeXt舍弃了人工设计复杂神经网络结构的方式，而是在网络的每个分支中使用同样的拓扑结构，最后再与残差网络结合，表达式为：

(1)

式中，C为分组的个数，Ti是一系列卷积操作。如图3所示。

图3 ResNeXt模块组结构Fig.3 ResNeXt module group structure

2.2 SE(Squeeze-and-Excitation)模块SE[14-15]模块主要包含了2个部分，Squeeze部分和Excitation部分。如图4所示。

Squeeze和Excitation是一个计算单元，适用任何映射Ftr∶X→U，X∈RH′×W′×C′,U∈RH×W×C,以Ftr作为卷积运算符，V=[v1,v2,…,vc]表示卷积核，其中表示第c个卷积核。那么输出U=[u1,u2,…,uc]：

(2)

Squeeze部分实际是使用全局平均池化来实现的，将feature map每个通道上的所有特征全都编码成一个特征，表达式如下：

(3)

Excitation部分实际使用了2个全连接层，一个全连接层的主要作用是为了降维，而后对降维后的特征使用ReLU函数激活，之后再通过一个全连接层将维度进行恢复，表达式如下：

s=Fex(z,W)=σ(g,(z,W))=σ(W2ReLU(W1z))

(4)

图4 SE模块结构Fig.4 SE modular structure

最后将得到的激活值乘以原始特征，表达式如下：

(5)

在ResNeXt网络的残差结构中嵌入SE模块，如图5所示。

图5 嵌入SE模块的残差结构Fig.5 Residual structure of embedded SE module

2.3 FPN+PAN模块在传统CNN中，图像经过多层特征提取后，得到丰富的高级语义特征，但是图像的分辨率变得越来越小，底层细节信息缺失严重，导致对细节的感知能力较差，而低层特征分辨率高，包含更多的细节特征，但噪声多、语义性低。若直接使用这些特征则不利于烟叶图像分类，为了解决这个问题，引入FPN+PAN结构。FPN(Feature Pyramid Networks)[16]呈现金字塔形式，对于不同的CNN特征提取层，将多个尺度的特征进行了合并，并将高层次的语义特征与低层次的高分辨率细节特征进行了融合。而PAN(Path Aggregation Network)[17]更多的是将细节特征进行融合并传递。采用FPN+PAN的双塔结构，使得提取到的烟叶特征更加的充分。

FPN+PAN的双塔结构如图6所示。该结构分为自下而上、横向连接、自上而下、横向连接和自下而上5个路径。左侧自下而上的路径是CNN特征提取的过程，通过卷积和池化逐级提取图像特征。左侧横向连接采用的卷积核改变对应阶段特征的通道数。中间自上而下的路径对高级语义特征采用2倍上采样，然后与对应的横向连接输出逐像素点相加，进行多尺度特征融合。右侧横向连接采用的卷积核对融合后的特征图进行卷积，消除FPN上采样过程中的混叠效应。右侧自下而上路径进一步将细节特征进行了融合，使得特征表达得更加充分。

图6 FPN+PAN结构Fig.6 FPN+PAN structure

2.4 基于FPN-PAN-SE-ResNeXt的烟叶等级判定算法选用ResNeXt50作为基础网络，引入注意力机制SE模块，将各通道特征信息进行融合，增强重要通道的特征信息，采用FPN+PAN对网络提取到的不同层级的特征进行融合，丰富了特征信息，设计了一种基于多尺度特征融合的注意力机制的烟叶等级判定方法，该方法的整体网络结构框架如图7所示。主要分为特征提取模块和分类模块。

图7 烟叶分级算法整体框架Fig.7 Overall framework of tobacco leaf grading algorithm

如图7所示，将烟叶图像缩放到尺寸大小，送入特征提取模块。在特征提取模块中，首先使用嵌入SE模块的ResNeXt50网络逐级提取特征，对应的特征图用L0、L1、L2、L3和L4表示，特征图大小分别为(224×224,64)、(112×112,256)、(56×56,512)、(28×28,1 024)、(14×14,2 048)。随着网络层数的加深，感受野变得越来越大，特征图逐渐变小，浅层细节特征逐渐减少，抽象特征逐渐增强。在一般的CNN分类任务中，由于L4已经具有较高的语义特征，往往会直接作为最后的特征图，进入分类模块，然而L4特征图大小只有14×14，失去了大量的细节特征，用于烟叶图像分类效果不好，故而引入了FPN+PAN结构。FPN通过横向连接和自上而下的链路，将SE-ResNeXt50网络提取到的不同分辨率、不同语义信息的特征进行了融合，得到不同尺度融合后的特征图F1、F2、F3和F4，分别为112×112 256、56×56 256、28×28 256、14×14 256。PAN通过横向连接和自下而上的链路，进一步将FPN得到的多尺度特征进行融合，丰富了特征的表达能力，得到特征图P1、P2、P3和P4，分别为112×112 256、56×56 256、28×28 256、14×14 256。然后，对得到的4个特征图分别进行全局平均池化(Avg pool)后进行Concat得到的特征图，接着经过2个全连接Fc1(1×1×2 048)和Fc2(1×1×6)，完成烟叶图像的特征提取。

在分类模块中，对最终得到的特征使用Softmax分类器进行类别概率映射，得到烟叶分类等级。Softmax分类器公式如下：

(6)

式中，zi为第i个节点的输出值，C为类别总数。

3 试验与结果分析

3.1 试验环境试验模型训练和测试均在Window 10专业版系统下进行，使用GPU版本的Tensorflow 2.4深度学习框架。计算机硬件配置见表1。

表1 计算机硬件配置Table 1 Computer hardware configuration

3.2 模型训练将数据集按照75∶15∶10的比例划分为训练集、验证集和测试集，然后对训练集使用数据增广扩充数据，用以拟合模型。在模型训练的过程中，用验证集监控模型性能，辅助模型参数调整。模型训练结束后，选择准确率最高的模型，在测试集上进行测试，评估模型的泛化能力。

使用迁移学习，加载ImageNet预训练权重进行训练，训练轮数为300，批处理大小为16，全连接层Dropout系数为0.5，学习率最小为1×10-6，最大为1×10-3，随训练轮数呈周期性变化，如图8所示。训练采用交叉熵计算分类损失，使用Adam算法对损失函数进行优化，交叉熵损失函数公式：

(7)

式中，F(p,q)表示交叉熵，p表示真实类别标签的概率分布，q表示网络实际输出的概率分布。

图8 学习率随训练轮数变化Fig.8 Changes of learning rate with training rounds

3.3 评价标准对于训练好的模型，需要采用一种方法去评判模型性能的优劣，从而来选择性能良好的模型。该研究使用分类任务中常用的几种评价指标：准确率、精确率和召回率。

3.3.1准确率(Accuracy)。准确率指的是所有样本中正确分类样本所占的比例，公式如下：

(8)

式中，TP表示真正例，是指分类为正的正样本；FP表示假正例，是指分类为正的负样本；FN表示假负例，是指分类为负的正样本；TN表示正负例，是指分类为负的负样本。

3.3.2精确率(Precision)。精确率是关于估计结果方面的，是指在各种被分类为正的样本中实际类别也为正的样本的概率，公式如下：

(9)

3.3.3召回率(Recall)。召回率是关于原始样本方面的，是指在实际类别为正的样本中被分类为正样本的概率，公式如下：

(10)

3.4 模型结果与分析使用454张烟叶样本图像对模型进行测试，并训练了ResNet50、ResNeXt50和SE-ResNeXt50共3个模型与本文提出的FPN+PAN-SE-ResNeXt50模型进行对比，评价各个模型的性能差异，测试结果如表2所示。

从表2可以看出，ResNeXt50模型在测试集上的表现优于ResNet50模型，准确率高出6.0%，表明ResNeXt50模型具有更强的表达能力，这也是选择ResNeXt50作为基础网络的原因。加入注意力机制SE模块后，模型的分类效果得到显著的提升，准确率相较于无SE模块提升了5.0%。对于烟叶分级这种细粒度分类的任务，SE模块能够加强特征图各个通道之间信息的学习，增强对重要通道信息的感知能力，抑制不重要通道的冗余信息，以此来提高模型的分类能力。

由于传统CNN的特性，特征层级越高表现得越抽象，特征图分辨率降低，丢掉很多细节特征，进而影响分类性能。引入FPN+PAN双塔结构，将高层抽象的语义特征向下传递与低层细节特征进行多尺度融合，再经过PAN将多尺度特征进一步融合，丰富特征的表达能力。从表2可以看出，加入FPN+PAN结构的SE-ResNeXt50模型分类准确度达到了92.8%，相比SE-ResNeXt50模型提高了4.0%，相较于仅采用经典CNN网络ResNet50模型，准确率提高了15.0%，充分证明了FPN+PAN结构特征融合的能力。