吕东，王萍，王宇航，王智文，张灿龙

摘  要：固体金属垃圾具有巨大的回收利用空间和经济再利用价值.在日常生活中，金属垃圾的分类回收主要依靠传统人工分类，费时费力.为此本文提出一种基于深度学习的方法对金属垃圾进行分类：构建一个包含6类共17 804张图片的固体金属垃圾数据集并命名为GX-TrashNet;采用ResNet-101作为分类模型，加入注意力机制模块提升模型的分类准确率;使用卷积核大小为1*1的卷积层代替注意力机制模型中的全连接层，使用全局平均池化层作为分类器.实验结果表明，改进后的模型在GX-TrashNet上的分类准确率为97.00%，在TrashNet上分类准确率为80.87%.

关键词：固体金属垃圾;垃圾分类;深度学习;注意力模块;卷积神经网络

中图分类号：TP391.41          DOI：10.16375/j.cnki.cn45-1395/t.2021.04.016

0    引言

垃圾是放错了位置的资源，相比于生活垃圾分类回收，金属垃圾回收再利用有着巨大的经济效益和社会效益，并且金属垃圾形态相对固定，容易分辨.垃圾分类在计算机视觉中属于图像分类.图像分类是人脸识别[1-2]、目标检测等高级任务的重要基础.随着人工智能技术的发展，越来越多的研究人员开始采用深度学习方法进行垃圾分类.文献[3]构建了一个公开的包括6类共2 527张垃圾图片的数据集TrashNet，在该数据集上有许多研究者进行了一系列实验[4-15]，其中具有代表性的有：Adedeji等[11]将ResNet-101的分类器替换为SVM，在训练中采用ImageNet数据集上预训练好的权重，取得了87.00%的准确率.文献[12]将轻量型网络MobileNet用到该数据集上进行训练，取得87.20%的准确率，并且推出了能用于实际测试的垃圾分类APP.文献[13]提出了一种轻量型垃圾分类模型RecycleNet，在实验中尽管测试速度较慢，但该模型大大减少了模型参数，降低了模型复杂度.Yang等[14]提出了一种轻量型模型WasNet，在实验中对比了AlexNet、VGG-19和Iception-ResNet在该数据集上的分类性能，其中WasNet的分类准确率最佳，为96.10%;此外，该作者还将训练好的模型嵌入移动端进行了测试.文献[15]对比了多种卷积神经网络模型，在训练前加载ImageNet数据集上的预训练权重，在训练时进行参数微调，使用DenseNet-121取得了95.00%的准确率.

虽然TrashNet数据集凭借图像尺寸统一和背景干净的优势使许多学者完成了一系列优秀的实验，但是TrashNet数据量小，分类类别范围模糊，模型训练很容易过拟合.而且现阶段实验研究多为基于生活垃圾的分类，对于固体金属垃圾的分类研究较少，因此，有必要采用深度学习方法对固体金属垃圾进行分类研究.

1    相关内容简介

1.1   数据集简介

在垃圾分类任务中，最常用的数据集是由斯坦福大学Yang等[3]收集构建的包括6类共2 527张垃圾图像数据集TrashNet.TrashNet数据集如图1、表1所示.

通过实际调研发现，目前尚无开源的固体金属垃圾数据集可供使用，因此，参考TrashNet数据集格式，构建了一个包含6类共17 804张固体金属垃圾图片的数据集GX-TrashNet. GX-TrashNet数据集如图2、表2所示.GX-TrashNet主要由手机实地拍摄、网络爬虫和人工手动数据增强3种不同方法构成.在初步收集部分数据集后，随机对部分图像做了旋转、左右翻转、对比度增强和亮度变化数据扩充操作，部分样本数据扩充如图3所示.

1.2    模型的选择及改进

选择ResNet-101作为固体金属垃圾分类模型.在ResNet提出之前，研究人员发现随着神经网络层数的加深，神经网络的训练不可避免地出现了退化问题.而ResNet的提出很好地解决了这一问题，最大的创新点是残差学习单元的提出.残差学习单元在神经网络的输入层和输出层之间建立了一条直接的关联通道，使得底层信息特征与高层信息特征更好地融合.文献[16]证明，对比直接堆叠的网络，残差学习单元的提出将网络计算性质从乘法变为加法，从而让神经网络计算变得更加稳定，可训练的网络层数也大大增加.残差学习单元如图4所示.

在确定了分类模型之后，由于收集的固体金属垃圾数据集在收集完毕后并没有做过多的预处理，因此，数据集内存在很多背景复杂、图像模糊、难以辨认类别的图像.对于卷积神经网络模型来说，图像复杂的背景会干扰模型提取特征并影响分类的正确性.因此，加入注意力机制，忽略图像中无关信息而关注重点信息十分必要.本文对于ResNet-101的改进主要分为3部分：首先，在网络模型中加入注意力模块来提高分类准确率;其次，使用卷積核大小为[1*1]的卷积层替代注意力模块中的全连接层;最后，使用全局平均池化层作为分类器.

2    对比实验与结果分析

本文对比了ResNet-101分别加入SE[17]和CBAM[18]前后在TrashNet和GX-TrashNet数据集上的分类性能指标.将TrashNet数据集和GX-TrashNet数据集按照6∶2∶2划分为训练集、验证集和测试集.数据集划分后的样本数量如表3所示.

在进行ResNet-101加入注意力模块前后对比实验之前，加载了在ImageNet数据集上预训练好的ResNet-101权重，并在TrashNet和GX-TrashNet数据集上进行训练.在训练中冻结ResNet-101中所有卷积层，只训练自定义的分类器.ResNet-101模型改进前的训练细节如表4所示.

为了能够使用在ImageNet上预训练好的模型权重，只在ResNet-101的最后一個卷积块中加入注意力模块.在训练时，不冻结任何层，使用动态学习率，设置最大学习率为1e-4，最小学习率为1e-6，学习率缩放比例设置为0.3，设置Patience 为2，监测指标为验证集损失.ResNet-101模型改进后的训练细节如表5所示.

2.1   评价指标

选择混淆矩阵，将准确率A（Accuracy）、查准率P（Precision）、召回率R（Recall）、特异度S（Specificity）作为评价指标.混淆矩阵如表6所示，其余模型性能评价指标分别如式（1）—式（4）所示.

[A=NTP+NTNNTP+NTN+NFN+NFP×100%]    （1）

[P=NTPNTP+NFP×100%]                   （2）

[R=NTPNTP+NFN×100%]                   （3）

[S=NTNNTN+NFP×100%]                  （4）

其中：[NTP] 表示样本被正确检测出来的个数，[NFP]表示其他样本被误检成本样本的个数，[NFN] 表示误将样本检测出其他样本的个数;[NTN] 表示非本样本检测出非本样本的个数.

2.2   实验结果对比分析

首先进行了ResNet-101在TrashNet数据集和GX-TrashNet数据集上加入SE前后的对比实验，其中空洞率ratio设置为16.为了方便对比分类模型的整体性能指标，将各个类别的Precision、Recall和Specificity求和取得平均值.混淆矩阵如图5所示，各个类别的评价指标如表7和表8所示，模型改进前后的性能指标如表9所示.

通过对比表7—表9，可以看出，加入SE后，在GX-TrashNet数据集上模型准确率由87.01%增长到97.04%，提高了10.03%，查准率提高了8.92%，召回率提高了9.85%，特异度提高了2.00%;在TrashNet数据集上模型准确率提高了1.19%，查准率提高了0.28%，召回率提高了2.97%，特异度提高了0.35%.综上所述，加入SE模块后，ResNet-101_V1在2个数据集上的各项性能指标都有了增长，但TrashNet数据集样本数量较少，增长并不明显.

其次进行了ResNet-101在TrashNet数据集和GX-TrashNet数据集上加入CBAM前后的对比实验，其中空洞率ratio设置为16.同样地，为了方便对比分类模型的整体性能指标，将各个类别的Precision、Recall和Specificity求和取得平均值.混淆矩阵如图6所示，各个类别的评价指标如表10和表11所示，模型改进前后的性能指标如表12所示.

通过对比表10—表12，可以看出，虽然加入SE模块和CBAM模块在GX-TrashNet数据集上取得近似一致的性能指标，但是在TrashNet数据集上并没有明显的提高，反而降低了部分性能指标.可能的原因有：1）TrashNet数据集本身的样本数量少，在训练中出现了过拟合现象，导致模型在训练时没有达到最佳性能指标时就已经早停了;2）CBAM模块较SE模块结构复杂，在通道注意力模块（CAM）和空间注意力模块（SAM）中分别2次使用平均值池化和最大值池化操作，很有可能部分图像特征信息因此被裁剪掉;3）TrashNet数据集的背景较GX-TrashNet数据集的背景干净，图像尺寸统一，因此，特征信息可能会丢失的更多.

3    结论

本文对基于注意力机制的深度学习固体金属垃圾分类进行了研究，获得如下结论：

1）针对固体金属垃圾分类研究实验的不足，收集了6类共17 804张垃圾图像，并命名为GX-TrashNet.选用ResNet-101作为分类模型.为提高分类准确率，加入注意力机制模块，并使用全局平均池化层代替分类器，使用卷积核大小为1*1的卷积层代替注意力机制模块中的全连接层.

2）在加入SE模块后，ResNet-101在2个数据集上的各项性能指标都有了增长，但在TrashNet数据集上增长的并不明显.在加入注意力机制模块SE后，ResNet-101在GX-TrashNet数据集上模型准确率由87.01%增长到97.04%，提高了10.03%，在TrashNet数据集上模型准确率由79.68%增长到80.87%，只提高了1.19%.

3）在加入注意力机制模块CBAM后，ResNet-101在GX-TrashNet数据集上取得了与加入SE模块后类似的分类性能指标，但是在TrashNet数据集上分类准确率下降了1.6%.通过分析，最终选择使用SE模块，并且设置Ratio为16.

参考文献

[1]     王鹏涛，王智文.基于PSO-LDA的人脸识别算法[J].广西科技大学学报，2017，28（1）：85-90.

[2]     安晓宁，王智文，张灿龙，等.基于隐马尔可夫模型的人脸特征标注和识别[J].广西科技大学学报，2020，31（2）：118-125.

[3]     YANG M，THUNG G.Classification of trash for recyclability status[EB/OL].Stanford University Machine Learning Project Report，CS229，2016[2021-01-25].http：//cs229.stanford. edu/ proj2016 /report/ThungYang-Classification Of Trash For RecyclabilityStatus-report.pdf.

[4]     SHI C P，XIA R Y，WANG L G.A novel multi-branch channel expansion Network for garbage image classification[J].IEEE Access，2020，8：154436-154452.

[5]     CHOLLET F.Xception：deep learning with depthwise separable convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Honolulu，HI，USA，2017：1800-1807.

[6]     MENG S S，CHU W T.A study of garbage classification with convolutional neural Networks[C]//2020 Indo-Taiwan 2nd International Conference on Computing，Analytics and Networks（Indo-Taiwan ICAN），Rajpura，India，2020：152-157.

[7]     KANG Z，YANG J，LI G L，et al.An automatic garbage classification system based on deep learning[J].IEEE Access，2020，8：140019-140029.

[8]     AHMAD K，KHAN K，AL-FUQAHA A.Intelligent fusion of deep features for improved waste classification[J].IEEE Access， 2020，8：96495-96504.

[9]     SZEGEDY C，LIU W，JIA Y Q，et al.Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Boston，USA，2015：1-9.

[10]   CHEN Z H，ZOU H B，WANG Y B，et al.A vision-based robotic grasping system using deep learning for garbage sorting[C]//2017 36th Chinese Control Conference（CCC），Dalian，China，2017：11223-11226.

[11]   ADEDEJI O，WANG Z H.Intelligent waste classification system using deep learning convolutional Neural Networks[C]//The 2nd International Conference on Sustainable Materials Processing and Manufacturing （SMPM），Sun city，South Africa，2019，35（5）：607-612.

[12]   RABANO S，CABATUAN M，SYBINGCO E，et al.Common garbage classification using mobileNet[C]//2018 IEEE 10th International Conference on Humanoid Nanotechnology，Information Technology，Communication and Control，Environment and Management（HNICEM），2018：1-4.

[13]   BIRCANO?LU C，ATAY M S，BESER F，et al.RecycleNet：intelligent waste sorting using deep neural Networks[C]//2018 IEEE International Conference on Innovations in Intelligent Systems and Applications（INISTA），Thessaloniki，Greece，2018：1-7.

[14]   YANG Z H，LI D.WasNet：a neural Network-based garbage collection management system[J].IEEE Access，2020，8：103984-103993.

[15]   ARAL R A，KESKIN S R，KAYA M，et al.Classification of trashNet dataset based on deep learning models[C]//2018 IEEE International Conference on Big Data，Seattle，WA，USA，2018，32（5）：2058-2062.

[16]   HE K M，ZHANG X Y，REN S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Las Vegas，USA，2016：770-778.

[17]   HU J，SHEN L，SUN G，et al.Squeeze-and-excitation Networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（8）：2011-2023.

[18]   WOO S，PARK J，LEE J Y，et al.CBAM：convolutional block attention module[C]//2018 European Conference on Computer Vision（ECCV）.Springer，Cham，2018，11211：3-19.

Research on a deep learning method for solid metal waste classification

LYU Dong1， WANG Ping1， WANG Yuhang2， WANG Zhiwen*1，2， ZHANG Canlong2

（1.School of Electric， Electronic and Computer Science， Guangxi University of Science and Technology， Liuzhou 545006， China; 2. School of Computer Science and Informaton Engineering/Software， Guangxi Normal

University， Guilin 541004， China）

Abstract： Solid metal waste has huge recycling space and economic reuse value.However， the