田鑫宇 刘蕾 吴金聪 朱大洲

摘 要：当前社会食品营养安全谣言泛滥，网络平台上发布的虚假哲学极易引发社会恐慌，因此学者们对实现网络平台信息的监测进行了深入研究。在前期对于食品营养安全科普文本进行监测的基础上加入对科普图像的监测。首先利用网络爬虫实现对食品营养安全科普图像的抓取，其次通过卷积神经网络模型中的Resnet18网络实现对图像的二分类，在数据预处理过程中加入Focal Loss实现数据的不平衡处理，并在卷积神经网络中加入注意力机制，同时利用1×1卷积层替换全连接层，最终实现图像分类效果的提升。对带文字的科普类图像及纯图像分类准确率分别由89.7%及68.9%提升至98.3%及75.6%。此研究对食品营养安全科普图像的二分类效果提升明显，为图像二分类问题提供了新方法。

关键词：卷积神经网络；Resnet18；ECA模块

Absrtact： In the current society， rumors about food nutrition safety are rampant， and false philosophies published on online platforms are easy to cause social panic. Therefore， scholars have conducted in-depth research on the realization of information monitoring on online platforms. On the basis of monitoring the popular science text of food nutrition safety in the early stage， the monitoring of popular science image is added. Firstly， web crawler was used to capture popular science images of food nutrition safety. Secondly， Resnet18 network in the convolutional neural network model was used to realize binary classification of images. In the process of data preprocessing， Focal Loss was added to realize data imbalance processing， and attention mechanism was added to the convolutional neural network. At the same time， 1×1 convolution layer is used to replace the full connection layer， and finally the image classification effect is improved. The classification accuracy of the two kinds of image data increased from 89.7% and 68.9% to 98.3% and 75.6%， respectively. This study significantly improved the biclassification effect of popular science images of food nutrition safety providing a new method for image biclassification.

Keywords： convolutional neural network; Resnet18; ECA module

当今社会网络发达，谣言传播的速度和范围远超有关部门的科普力度。例如，之前的“鸿茅药酒”“植脂末”等事件，因有关部门没有及时监测到谣言信息并进行正确科普导致谣言肆意泛滥，造成不良的社会影响。针对此类问题，王辉[1]已基本实现食品营养安全科普信息监测系统的搭建，可以实现对网络公众平台上关于食品营养安全科普文字的抓取和监测，同时生成报告反映给有关部门，供有关部门及时对此类事件进行反映。但当前通过网络爬虫所设计的此类舆情监测系统中，通常只实现了对文本类信息的抓取和监测，但这是远远不够的。当今各媒体市场竞争激烈，人们对知识的需求量增大，但获取知识的时间和热情却在减少，图片的“一目了然”及趣味性让人们趋向于将图像科普作为获取知识的途径，从最开始的“重文轻图”再到如今的“图文并重”，这是科普事业发展的规律，也是日趋激烈的媒体竞争的必然要求。因此，只针对文字进行采集的形式已经不能满足系统的需求，在系统中加入对科普图片的采集是至关重要和迫切的。

本研究在利用网络爬虫进行食品营养安全科普图像抓取的同时，为了剔除不包含科普文字的纯图像，利用深度学习中的卷积网络模型实现对图像的二分类[2]。选用2015年HE等[3]提出的残差网络进行图像的二分类，同时为了提升Resnet18的分类效果，针对图像中文字存在较为分散的问题，在卷积神经网络中引入注意力机制，且为了降低模型的复杂度、实现特征通道的维度改变、增加网络的非线性、减少计算量，利用1×1的卷积层对全連接层进行替换，在降低了模型复杂度的基础上使改进后的Resnet18模型的分类效果显著提升。

1 数据来源与方法

1.1 数据来源与清洗

本研究数据来源采用网络爬虫方式分别从微博、微信公众号以及科普中国这3个网站共获取1 700张食品营养安全科普图像，对图像进行数据清洗、去重等处理后用于实验的数据量为1 678张。其中，带文字的图像为1 456张，纯图像为222张。将两类数据分别以8∶2的比例划分，带文字的图像训练集总数为1 164张，测试集总数为292张，纯图像训练集总数为177张，测试集总数为45张。带文字及不带文字的部分样本数据如图1、图2所示。

1.2 Focal Loss数据预处理

由于网络爬虫爬取食品营养安全科普图像数据质量较高，因此出现了分类任务中常见的数据不平衡的现象，这样会导致对于数量较少的数据集即使出现分类错误也不会对分类结果产生一定影响，因此需要对此类不平衡的数据进行处理。本研究选用Focal Loss进行数据不平衡处理，使模型更专注于数量较少的图像数据。常用的Cross Entropy Loss计算公式为

式中：p为真实的标签值；y为预测概率值。

从式中可以看出对于正样本来说，p与Loss成反比，对于负样本来说p与Loss成正比，但对于正负比例失衡的样本来说，此计算方法并不能准确地展示分类效果，因此需要对少量样本的Loss进行强化，因此引入残差法对Loss进行加强或减弱，Focal Loss的计算公式为

式中：FL（pt）为损失函数值；αt为权重；（1-pt）γ为调节因子；γ为可调节的聚焦参数；pt为模型预测的概率。

从式中可以看出当残差过大时，相应的Loss会做增强，乘以权重后使模型对这部分数据进行加强处理，在一定程度上调节食品营养安全科普图像数据样本不均衡的问题。

1.3 模型的建立与优化

本研究要解决的是图像的二分类问题，对比深度学习分类模型特征后，发现Resnet18网络有着层数少、复杂度低及运算时间短等优点。针对食品营养安全图像数据量适中且分类标准不会过于复杂的特点，Resnet18网络更适用于食品营养安全科普图像的二分类问题。

一个基本的Resnet18网络架构，首先将输入图像分为RGB这3个通道，通道大小为224*224；开始进入第一个卷积层（conv），卷积核大小为77，步长为2；然后经过最大池化层（maxpool），卷积核大小为33，步长为1，不改变通道数但将数据减半，输出数据为64*56*56；之后进入四层卷积结构（conv*4），第一层卷积数据大小及通道数均不改变，输出数据为64*56*56，第二层到第4层都进行升维下采样，即将卷积数据大小减半通道数翻倍，则第二层数据结果为128*28*28，第三层输出结果为256*14*14，第四层输出结果为512*7*7；之后进入平均池化层（avgpool），最终输出结果为512*1*1。输出数据计算公式为

式中：nout为输出通道数；nin为输入通道数；p为填充的大小；k为卷积核的大小；s为步长。

1.3.1 ECA模块

在运用传统Resnet18网络模型进行食品营养安全科普图像数据分类后，发现由于部分图像内可能含有类似文字的图画标志或存在水印等原因，导致模型对于此类图像数据分类错误，因此在Resnet18网络模型中加入注意力机制，以此提高模型分类的准确率。但在研究中发现传统的SENet在卷积块中引入通道注意力机制的分类方法，随着模型精度及复杂度的增高，计算量及计算成本也随之增大，且SE模块中所采用的降维操作会影响通道注意力的预测[4]，因此在Resnet18网络模型中加入WANG等[5]提出的一种针对CNN的ECA模块（Efficient Channel Attention Module），可以实现无需降维的局部跨通道交互策略，在性能稳定的同时对食品营养安全科普图像的分类也有明显的增益效果。ECA模块使用不降维的GAP聚合卷积特征后，首先自适应确定核大小K（局部跨通道交互覆盖范围），然后进行一维卷积，再进行Sigmoid函数学习channel attention。ECA模型架构如图3所示。

1.3.2 全连接层替换

由于食品营养安全科普图像的尺寸不固定，而图像的大小会影响全连接层的参数。用传统方式对图像进行随机剪裁会使图像信息无法完整呈现，会严重影响模型的分类效果。因此，为了突破全连接层对于尺寸的限制，将全连接层节点个数替换为卷积层的channel个数；样本替换为空间上高和宽的元素；特征替换为通道数，完成了1*1卷积层对全连接层的替换，代替了全连接层在卷积神经网络中的将卷积后的特征进行综合的作用[6]，在提升模型对于食品营养安全科普图像分类效果的同时降低了模型复杂度。更新后的网络结构如图4所示。

2 结果与分析

2.1 混淆矩阵对比分析

利用网络爬虫实现食品营养安全科普图像数据的获取，利用Resnet18网络实现食品营养安全科普图像数据的二分类，同时对Resnet18网络模型进行优化，实现对模型分类效果的提升。实验在pycharm平台下，使用python软件进行编程以及模型的优化和改进，实现实验结果的可视化。利用混淆矩阵、分类准确率及损失函数作为判断分类结果的标准。

原Resnet18网络模型分类结果如图5所示，优化后的网络模型分类结果如图6所示。数字越大，对应的混淆矩阵颜色越深，在混淆矩阵中（0，0），（1，1）坐标为两类数据分类准确的个数，其中（0，0）坐标为带文字的图像分类准确的个数，（1，1）坐标为纯图像分类准确的个数；（0，1），（1，0）两个坐标为分类错误的个数，其中（0，1）坐标为带文字的图像分类错误的个数，（1，0）坐标为纯图像分类错误的個数。如图5、6可知，优化前后对于带文字的图像数据分类准确个数由262提升至287，对于纯图像数据分类准确个数由31提升至34。对于带文字的图像数据分类错误个数由30降低至5，对于纯图像数据分类错误个数由14降低至11。说明优化后的模型分类效果优于优化前的模型。

2.2 损失函数对比分析

当预测类别等于真实类别时，Loss为0，否则Loss为1，损失函数L的计算公式为

式中：yi为真实值；f（xi）为预测值，当预测值与真实值相等时，损失函数值为1，否则为0；0ifyi=f（xi）为若（即if）预测值等于真实值时，Loss为0。

优化前后的损失函数的对比如图7所示。Loss值是衡量模型性能的重要指标。由图7可知，改进后的Resnet18模型相较原始Resnet18模型的Loss值低，且更加稳定，随着epochs的增加，损失率逐渐下降并趋于稳定，并保持在0.05以下，说明该模型表现较好。由上述实验结果可以证明，改进后的Resnet18模型针对食物营养科普图像分类任务是可行、有效的。

2.3 准确率对比分析

为了更加直观地展示Resnet18模型与改进后的Resnet18模型对于食品营养安全科普图像数据的分类效果，将模型分类的准确率进行可视化展示，准确率可以直观地反映不同方法的分类效果，通过图8可以看出改进后的Resnet18模型更加稳定且分类效果明显优于原Resnet18模型。

模型优化前对带科普文字的图像数据分类准确率为89.7%（262/292），对不符合要求的少量样本的数据即纯图像分类准确率为68.9%（31/45），全部样本数据分类的准确率为86.9%（293/337）；优化后的模型对符合要求的数据分类准确率为98.3%（287/292），较优化前提升8.6%，对不符合要求的少量样本数据分类准确率为75.6%（34/45），较优化前提升6.7%；对全部样本数据分类的准确率高达95.3%（321/337），较优化前提升8.4%。改进后的模型的分类性能较传统的Resnet18网络模型有了较大提升。

3 结论

本研究使用网络爬虫实现食品营养安全科普图像数据的采集，针对两类食品营养安全图像数据进行了Focal loss数据不平衡处理，使用Resnet18网络实现图像二分类并在传统的Resnet18网络分类模型中加入了ECA注意力机制，使模型性能显著提高，并利用1*1的卷积结构替换了传统模型的全连接层，降低了模型的復杂度的同时提升了模型分类效果。对比实验表明改进后的模型分类的准确率更高，且在每种类别的分类上均有提升。本研究为解决图像中是否包含文字的分类问题提供了新方法。

参考文献

[1]王辉.基于主题爬虫的食物营养科普信息监测系统研究[D].大庆：黑龙江八一农垦大学，2022.

[2]李飞腾.卷积神经网络及其应用[D].大连：大连理工大学，2014.

[3]HE K M，ZHANG X Y，REN S Q，et al.Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition.LasVegas：IEEE，2016：770-778.

[4]郝阿香，贾郭军.结合注意力与批特征擦除的行人重识别模型[J].计算机工程，2022，48（7）：270-276.

[5]WANG Q L，WU B G，ZHU P F，et al.ECA-Net： efficient channel attention for deep convolutional neural networks[EB/OL].（2022-08-11）[2023-05-05].https：//www.doc88.com/p-19939671004363.html.

[6]肖恩.基于深度学习的SAR车辆目标分类与识别[D].西安：西安电子科技大学，2020.