何东宇，朱荣光,2，范彬彬，王世昌，崔晓敏，姚雪东

倒置残差网络结合注意力机制的掺假羊肉分类检测系统构建

何东宇1，朱荣光1,2※，范彬彬1，王世昌1，崔晓敏1，姚雪东1

（1. 石河子大学机械电气工程学院，石河子 832003；2. 农业农村部西北农业装备重点实验室，石河子 832003）

针对羊肉精和染色剂作用下的猪肉掺假羊肉分类检测问题，该研究提出并建立了一种检测速度较快、精度较高的注意力机制结合倒置残差网络模型，同时基于智能手机开发了对应的快速、准确检测应用软件。首先，对羊肉、不同部位猪肉、不同掺假比例下的猪肉掺假羊肉的原始手机图像，使用数据增强方式进行数据扩充；其次，用倒置残差结构替换残差网络框架中的原有残差结构，以减少网络参数量并加快模型收敛速度，同时，引入注意力机制（Convolutional Block Attention Module，CBAM），利用空间和通道特征对特征权重再分配，以强化掺假羊肉和羊肉之间的特征差异；然后，利用提出的注意力机制结合倒置残差网络（CBAM-Invert-ResNet）对样本进行训练并确定模型参数；最后，将训练好的网络模型移植到智能手机，以实现掺假羊肉的移动端检测。研究结果表明：与ResNet50和CBAM-ResNet50相比，Invert-ResNet50、CBAM-Invert-ResNet50模型的参数量分别减少了58.25%和61.64%，模型大小分别减小了58.43%和61.59%；针对背脊、前腿、后腿和混合部位数据集，CBAM-Invert-ResNet50模型验证集的分类准确率分别为95.19%、94.29%、95.81%、92.96%；把建立的网络模型部署到移动端后，每张图片的检测时间约为 0.3 s。该研究可实现对羊肉精和染色剂作用下的不同部位猪肉掺假羊肉的移动端快速、准确分类检测，可为维护市场秩序和保护食品安全提供技术支持。

图像处理；深度学习；羊肉掺假；注意力机制；倒置残差；智能手机；羊肉精；染色剂

0 引 言

羊肉是中国肉类市场的重要组成部分，含有较低的胆固醇和丰富的蛋白质，营养价值高且味道鲜美[1-2]。近年来，羊肉价格不断上涨，远远高于猪肉等肉类价格，市场上部分不法商贩为获取更大经济利益将猪肉掺入羊肉制成掺假羊肉。同时，为了使掺假羊肉从视觉和嗅觉上更接近羊肉，进一步达到“以假乱真”的效果，不法商贩在掺假羊肉中加入羊肉精和染色剂。羊肉精和染色剂作用下的掺假羊肉不仅严重侵害了消费者的经济利益、破坏市场秩序，而且会对消费者的健康造成威胁，进而引发食品安全问题。因此，需要开发一种快速、准确检测技术，对羊肉精和染色剂作用下的掺假羊肉进行检测。

现用于肉类掺假或食品掺假的无损检测手段主要有光谱技术[3-4]、电子鼻和电子舌技术[5]等，这些技术所需仪器昂贵，需要的预处理手段复杂，难以满足快速、准确检测的要求。随着智能手机的普遍应用及其性能的提升，一些研究者逐渐将其应用于肉类品质的检测[6]。孟令峰等[7]和张垚鑫等[8]分别使用智能手机结合机器学习方法和深度学习方法对不同部位羊肉进行分类检测，并开发出相应的手机应用软件。Song等[9]使用智能手机结合偏最小二乘回归模型检测牛肉掺假，Seddaoui等[10]使用智能手机结合免疫分析法检测不同肉类中的掺假猪肉。上述研究表明，智能手机能够实现对不同部位肉类的分类检测和单一部位肉类的掺假检测，但使用智能手机对不同部位肉类掺假研究较少。此外，利用智能手机对羊肉精和染色剂作用下的掺假羊肉检测还未见报道。

卷积神经网络在图像处理方面具有快速，准确的优势[11-14]，现已应用于玉米[15]、哈密瓜[16]、苹果[17]等农产品检测中。人们为了追求更强的网络性能，不断加深卷积神经网络模型层数。然而，随着网络层数的加深，模型开始出现梯度消失和网络退化等问题。而He等[18]提出的ResNet模型使用残差结构有效解决了该问题，ResNet网络模型在图像分类[19-20]、目标检测[21]等很多任务中取得了不错的效果。但是，ResNet网络仍存在网络参数过多，收敛速度慢，不利于移植到移动端等问题。有研究表明，MobileNet[22-23]中的倒置残差结构，可通过减少高维空间计算量，降低内存需求，来提高模型收敛速度，降低模型参数，实现模型结构的轻量化。许帅等[24]在YOLOv5中引入倒置残差结构进行手势识别，模型大小比改进前减小了33 MB。在羊肉精和染色剂等添加剂的作用下，掺假羊肉和羊肉特征差异较小[25]，现有的ResNet模型难以针对掺假羊肉实现高精度分类。有研究表明，注意力机制（Convolutional Block Attention Module，CBAM）[26-27]能利用图像的空间、通道特征，对特征权重再分配，强化图像的特征差异，有效提高模型精度。韩旭等[28]在DenseNet网络基础上引入注意力机制对番茄叶片缺素图像分类，平均准确率比改进前提升了3.04个百分点；林森等[29]基于注意力机制与改进YOLOv5对水下珍品进行检测，平均准确率比改进前提升了4.62个百分点。

因此，为实现基于移动端的羊肉精和染色剂作用下不同部位猪肉掺假羊肉的快速、准确分类检测，本研究通过在ResNet模型的基础上引入注意力机制和倒置残差结构，提出一种轻量级的注意力机制结合倒置残差网络（CBAM-Invert-ResNet），通过试验确定模型参数，并将训练好的模型移植到移动端开发出了一款手机应用软件。本研究提出一种在深度学习网络框架中引入注意力机制和倒置残差的方法，该方法可为其他深度学习网络改进提供参考。

1 材料与方法

1.1 图像采集与预处理

1.1.1 试验材料

本试验以新鲜的羊后腿肉和不同部位的猪肉（背脊、前腿、后腿）以及羊肉精膏、红曲红为研究对象。试验所用的羊肉精膏采购于青岛香海盛食品配料有限公司，红曲红染色剂购于广东科隆生物科技有限公司，肉类材料采购于新疆石河子市友好超市，且均符合检疫标准。肉品用保温箱运至实验室后去除明显的筋膜及组织，并绞碎成3～5mm的肉糜颗粒，用保鲜膜标记密封后，置于-5 ℃的冰箱中保存，以备后续使用。

样品制备过程如下：首先根据羊肉精和红曲红染色剂的食品安全规范，将羊肉精按3 g/kg溶于蒸馏水制成质量浓度为0.05 g/mL的羊肉精溶剂；将红曲红染色剂以0.5 g/kg溶于蒸馏水制成浓度为0.001 g/mL的红曲红溶剂，将两种溶剂以1∶1的比例混合并振荡搅拌10 min，使其颜色混合均匀；然后将混合溶剂掺入到不同部位的猪肉糜中浸泡20 min，待溶剂充分浸入猪肉糜后，去除其表面残余液体；最后将混有羊肉精和染色剂的各部位猪肉糜按不同比例（10%、20%、30%、40%）掺入羊肉糜中制成掺假羊肉样品。制备不同部位、不同比例猪肉掺假羊肉样品各8个（8×4×3=96个），制备不同部位猪肉样品各10个，共30个，制备羊肉样品30个，总计156 个样品。测定156个样品RGB值，并进行归一化，（红）、（绿）、（蓝）均值范围分别为：0.352 0～0.407 1、0.130 7～0.213 4、0.088 1～0.171 3。每个样品质量约30 g、直径为6 cm的圆形或近圆形的饼状肉样。随后将制备好的样品连同培养皿放置在-5 ℃的冰箱中保存以待检测。

1.1.2 数据采集

试验所采用的手机型号为华为P40，相机型号为ANA-AN00，采集图片时，摄像头的感光度为500，光圈值为f/1.9，曝光时间为1/100，焦距7 mm，色温参数为4 500 K，图像分辨率为（6 144×8 192）像素，图像采集高度18 cm。

试验在温度为（26±1）℃，相对湿度为30±5%的环境下进行。将样品置于暗箱中，暗箱顶部置有恒定光源，手机用三脚架固定，调整手机采集高度以及摄像头参数后，进行图像采集，每个样本采集1张图片，共计156张图片。采集过程示意图如图1所示。

图1 手机图像数据采集系统示意图

1.1.3 数据预处理

将数据按掺假部位划分为三个数据集：掺猪背脊的掺假羊肉数据集、掺猪前腿的掺假羊肉数据集和掺猪后腿的掺假羊肉数据集，每个数据集包含三个类别：羊肉、掺单一部位猪肉的掺假羊肉、单一部位猪肉。此外，将上述三个数据集混合作为混合部位数据集，并用于进一步验证所开发模型的泛化性和稳定性，该混合部位数据集包含三个类别：羊肉、掺混合部位猪肉的掺假羊肉、单一部位猪肉。将采集的数据使用霍夫圆形检测法分割，去除样品背景。深度学习的模型训练依赖大量数据，在少量数据上通常表现不好，故采用旋转、偏移、镜像等方法扩充数据量。其数据划分方法如下：首先从数据集中取出1/3数据作为独立验证集并进行数据扩充，扩充后的独立验证集有2 600张图片；然后将剩下的2/3数据集进行数据扩充后，按3∶1划分为训练集和测试集。划分后的数据集中，训练集3 900张图片，测试集1 300张图片。扩充后的训练集原图尺寸较大，若使用原图训练模型耗时较长，为降低卷积神经网络运算量与运算时间，将扩充后的数据压缩为（224×224）像素。

1.2 基于CBAM-Invert-ResNet网络的掺假羊肉分类模型构建

1.2.1 ResNet网络

随着卷积神经网络层数的加深，网络性能会逐渐增强，然而在不断加深网络层数后，会出现梯度消失和网络退化等问题，模型性能并不会提高，反而导致网络收敛更慢，准确率也随之降低。针对上诉问题，He等[18]提出ResNet残差网络，使用恒等映射（Identity Mapping，IM），将原始所需要学习的函数()转换成()，解决梯度消失和网络退化问题，以免在提取特征过程中丢失信息。然而，ResNet网络在进行分类和预测时仍存在准确率不高、网络参数量过多和不便移植到移动等问题。

1.2.2 倒置残差网络

随着网络层数增加，网络的参数量也随之增加，使得网络训练效率逐渐降低。针对此问题，本研究借鉴MobileNet网络中的倒置残差结构，代替ResNet网络中的残差结构以获得更高效的轻量化网络。该结构能显著降低网络参数量，以便将网络模型部署到移动端。倒置残差结构如图2所示。

注：图中的Conv(1×1)为卷积核大小为1×1的卷积，k为卷积核数量，S为步长；BN为批归一化，h-swish为激活函数；表示两个通道特征图上数的相加；F(x)为倒置残差块算子。

倒置残差结构将压缩后的低维特征作为输入，先使用1×1卷积实现升维，再通过3×3的单通道卷积提取特征，最后使用1×1卷积实现降维。图2中，倒置残差结构a和b中的虚线部分为输入的下采样函数，b为下采样添加卷积的倒置残差结构。

该函数利用高度优化的矩阵乘法和卷积算子获得更高的效率。与传统残差结构相比，倒置残差结构交换了降维和升维的顺序，并将标准卷积换为深度卷积，这种呈两头小、中间大的梭形结构，显著降低了内存需求，实现了内存的高效管理，从而能加快模型收敛速度[30]。

1.2.3 注意力机制

ResNet网络在提取特征时，对有效特征和无效特征赋予相同的权重，模型在无效特征上浪费过多计算量，因此，ResNet网络在进行分类时准确率不够高。针对此问题，本研究引入CBAM（Convolutional Block Attention Module）注意力模块对特征进行优化。CBAM注意力机制分为空间注意力和通道注意力两部分。CBAM的结构如图3所示。

特征图输入后，先进入通道注意力模块，基于特征图的宽、高进行全局最大池化和全局平均池化，经过共享感知机得到通道的注意力权重，然后通过Sigmoid激活函数获得归一化注意力权重，最后通过乘法逐通道加权到原始输入特征图上，完成通道注意力对原始特征的重新标定。计算如下所示

为了获得在空间维度的注意力特征，经通道注意力模块输出的特征图同样基于特征图的宽度和高度进行全局最大池化和全局平均池化，将特征维度由×转变成1×1，接着经过卷积核为7×7的卷积和Sigmoid激活函数后降低特征图的维度，最后将经过Sigmoid激活函数标准化处理后的特征图与通道注意力输出的特征图进行合并，从而在空间和通道两个维度上完成对特征图的重标定。计算如下所示

在空间注意力模块中，全局平均池化和全局最大池化获得了空间注意力特征后，通过两个卷积建立了空间特征间的相关性，同时保持了输入输出维度的不变。通过卷积核为7×7的卷积操作，极大地减少了参数和计算量，有利于建立高维度的空间特征相关性。经过CBAM后，新的特征图将得到通道和空间维度上的注意力权重，提高了各个特征在通道和空间上的联系，更有利于提取目标的有效特征。

注：图中的MaxPool表示池化核大小为1×1的全局最大池化，AvgPool表示池化核大小为1×1的全局平均池化；Sigmoid为激活函数；表示两个通道特征图上数的相加；表示特征映射；表示两个通道特征图上数的相乘。

1.2.4 CBAM-Invert-ResNet网络整体框架

本研究提出的CBAM-Invert-ResNet网络是对ResNet网络进行以下2个方面进行改进而获得的。首先，针对ResNet网络对羊肉精和染色剂作用下的掺假羊肉分类结果不理想的问题，引入注意力机制，提高特征在通道和空间上的联系，更有利于区分羊肉与掺假羊肉之间的特征。然后，针对模型网络参数过大、不便移植到移动端等问题，将传统残差网络结构替换为倒置残差结构，降低计算成本，加快模型收敛速度，使模型更加轻量化，有利于移植到移动端。

本研究提出的CBAM-Invert-ResNet网络主要由以下7个部分组成：卷积层、池化层、归一化层、倒置残差结构、CBAM结构、全连接层、Softmax分类层。以ResNet50为例，将ResNet50网络中的残差结构替换为倒置残差结构，并在每一个倒置残差结构后面加上CBAM模块，CBAM-Invert-ResNet50与ResNet50结构对比如表1所示。

1.3 评价指标

在建立分类模型时，将样品划分为三类标签：羊肉样品、掺假羊肉样品和猪肉样品，通过计算模型的准确率评估模型效果，计算公式如（4）所示

其中TP代表真阳性（掺假样品中被正确分为掺假样品的数量），FN代表假阴性（掺假样品中被误分为未掺假样品的数量），TN代表真阴性（未掺假样品中被正确分为未掺假样品的数量），FP代表假阳性（未掺假样品中被误分为掺假样品的数量）。

1.4 试验环境

试验环境：硬件包括Intel®CoreTM i7-10750HCPU @ 2.60 GHz 处理器，16 GB内存和NVIDIA GeForce RTX 2060显卡等，软件包括操作系统Windows 10（64 位）、编程语言 Python3.8、深度学习框架 TensorFlow 2.3.0、通用计算架构CUDA10.1.243 和GPU加速库 CUDNN 7.4.1。手机APP 开发及软件测试的环境：硬件为内存 256 GB的华为手机（P40，华为技术有限公司，中国），软件包括 HarmonyOS 2.0.0 操作系统和Android Studio 安卓应用软件开发环境。

表1 CBAM-Invert-ResNet50和ResNet50网络模型结构比较

注：图中Dwise(3×3)为卷积核大小为3×3的深度卷积，CBAM为注意力模块；在CBAM-Invert-ResNet50中，Conv3_1、Conv4_1、Conv5_1为下采样添加卷积的倒置残差结构，且Dwise(3×3)的步长为2，其余为下采样不添加卷积的倒置残差结构，且步长为1；3-d fc表示3个神经元的全连接层，Softmax为激活函数。

Note: The Dwise (3×3) in the figure indicates the depthwise convolution with kernel size of 3×3,CBAM is the Convolutional Block Attention Module; In the CBAM-Invert-ReNet50, the structure of Conv3_1, Conv4_1and Conv5_1 is inverted residual structure of down-sampling with convolution, and the stride of them is 2, the rest of structure is inverted residual structure of down-sampling without convolution, and the stride of them is 1; The 3-d fc represents the fully-connected layers with 3 neurons, Softmax is the softmax activation function.

2 结果与分析

2.1 倒置残差结构对网络模型复杂度的影响

利用倒置残差结构替换ResNet50网络中的传统残差结构后，模型先在高维空间提取特征，再压缩至低维空间，倒置残差网络在高维空间所用的卷积核数量远少于传统残差网络。为验证倒置残差结构对模型复杂度的影响，本文通过模型大小、参数量来衡量模型的轻量化程度。所设计的CBAM-Invert-ResNet50模型与ResNet50、Invert-ResNet50和CBAM-ResNet50模型的对比如表2所示。

与ResNet50相比，Invert-ResNet50网络模型的参数量由2.359×107降至9.85×106，参数量减少了58.25%；Invert-ResNet50网络模型的大小由44.89 MB缩小至18.66 MB，模型大小减小了58.43%。与CBAM-ResNet50相比，CBAM-Invert-ResNet50网络模型的参数量由2.612×107降至1.002×107，参数量减少了61.64%；CBAM-Invert-ResNet50网络模型的大小由49.75 MB缩小至19.11 MB，模型大小减小了61.59%。

结果表明，与ResNet50和CBAM-ResNet50网络相比，Invert-ResNet50和CBAM-Invert-ResNet50网络参数量明显减少，倒置残差结构能显著地减小模型网络参数量，压缩模型体积，实现模型结构的轻量化，这有利于将模型移植到手机移动端，为后续开发手机移动端应用软件提供基础。

表2 CBAM-Invert-ResNet50与ResNet50、Invert-ResNet50、CBAM-ResNet50模型大小和参数量对比

2.2 倒置残差结构对模型收敛速度的影响

为了进一步验证倒置残差结构对模型收敛速度的影响，分别将本模型与MobileNetV3、ResNet50、Invert-ResNet50和CBAM-ResNet50模型的训练过程进行对比。在训练模型时，采用SGD优化器，学习率设置为0.001，试验过程中的批次样本数为16，最大迭代次数为100次。背脊数据集、前腿数据集、后腿数据集以及混合部位数据集下MobileNetV3、ResNet50、Invert-ResNet50、CBAM-ResNet50、CBAM-Invert-ResNet50网络模型的训练集分类准确率随迭代次数的变化如图4所示。

在背脊数据集中，Invert-ResNet50收敛速度最快，其次是CBAM-Invert-ResNet50；在前腿数据集中，Invert-ResNet50收敛速度最快，其次是CBAM-Invert- ResNet50，在第65次后，5种模型收敛速度趋于一致；在后腿数据集中，Invert-ResNet50收敛速度最快，CBAM-Invert-ResNet50模型和CBAM-ResNet50模型收敛速度基本一致，ResNet50和MobileNetV3明显慢于前三者；在混合部位数据集中，Invert-ResNet50和CBAM-Invert-ResNet50模型收敛速度明显快于其余三种模型。结果表明，与ResNet50网络模型和MobileNetV3网络模型相比，Invert-ResNet50、CBAM-Invert-ResNet50网络模型收敛速度最快。采用倒置残差结构的CBAM-Invert-ResNet50网络利用高度优化的矩阵乘法和卷积算子获得了更高的计算效率。CBAM-Invert-ResNet50网络显著降低了内存需求，实现了内存的高效管理，显著加快了模型训练时的收敛速度。

a. 背脊数据集a. Loin datasetb. 前腿数据集b. Fore shank datasetc. 后腿数据集c. Hind shank datasetd. 混合部位数据集d. Mix parts dataset

2.3 注意力机制对数据特征的影响

为了验证注意力机制对羊肉、不同部位猪肉和不同部位猪肉掺假羊肉特征提取的影响，将各类别具有代表性的样品原始图像输入ResNet50、Invert-ResNet50和CBAM-Invert- ResNet50网络模型中，对比经过3种网络模型提取特征后的最后一层输出特征图。特征图对比如图5所示，其中，第一行为样品原始输入图像；第二行图像是输入图像经过ResNet50网络模型后的输出特征；第三行图像是输入图像经过Invert-ResNet50网络模型后的输出特征；第四行图像是输入图像经过CBAM-Invert-ResNet50网络模型后的输出特征。在样品原始输入图像中，图a为羊肉图像，图b、c、d为不同部位猪肉掺假羊肉图像，图e、f、g为猪肉图像，由图可知，羊肉图像与掺假羊肉图像差异较小，肉眼难以区分，猪肉图像与其余两者差异较大。经过ResNet50和Invert-ResNet50网络模型处理后，羊肉、掺假羊肉和猪肉三类的输出特征可视化结果差异较小。经过CBAM-Invert- ResNet50网络模型处理后，羊肉和掺假羊肉和猪肉的输出特征可视化结果在颜色上具有明显差异，原因是注意力机制可以增大感受野，创建不同通道间的依赖关系，对更重要的特征进行权重分配，强化不同部位猪肉掺假羊肉之间的特征差异。因此，注意力机制能用于羊肉、不同部位猪肉和掺假羊肉的分类。

2.4 模型准确率对比

为了验证本网络模型对背脊数据集、前腿数据集、后腿数据集以及混合部位数据集分类检测的有效性，本文选用MobileNetV3、ResNet50、Invert-ResNet50、CBAM-ResNet50四个模型与本模型进行准确率对比，5个网络模型对4个数据集的验证集分类准确率对比如表3所示。

由表3可知，与ResNet50和Invert-ResNet50网络模型相比，加入CBAM注意力机制后，CBAM-ResNet50与CBAM-Invert-ResNet50网络模型对背脊数据集、前腿数据集、后腿数据集和混合部位数据集的分类准确率均有较大的提升。在四个数据集中，CBAM-ResNet50网络模型比ResNet50网络模型的分类准确率分别提高了5.09、2.18、14.17和1.92个百分点；CBAM-Invert-ResNet50网络模型比Invert-ResNet50网络模型的分类准确率分别提高了6.08、2.62、14.70和4.23个百分点。此外，与目前流行的移动端模型MobileNetV3相比，CBAM-Invert-ResNet50对四个数据集的分类准确率分别提高了12.44、9.6、13.73和4.87个百分点。

注：b、c、d的掺假比例均为20%。

表3 四个数据集下不同模型验证集准确率对比

其中，CBAM-ResNet50、CBAM-Invert-ResNet50对前腿数据集和混合部位数据集的分类准确率较低，其原因在于，CBAM提取的图像特征中，前腿掺假羊肉的核心特征与羊肉较为相似，图5中，CBAM-Invert-ResNet50对羊肉和前腿掺假羊肉的特征可视化结果中，两者核心特征在颜色上较为一致，所以CBAM-ResNet50和CBAM-Invert- ResNet50对前腿数据集的分类准确率较低；混合部位数据集是背脊、前腿和后腿数据集的混合，该数据集包含了前三个数据集的特征，数据集复杂，模型对数据集的分类难度更大，所以准确率有一定程度降低。

CBAM注意力机制能强化不同部位猪肉掺假羊肉之间的特征差异，进而提高分类准确率。引入CBAM注意力机制后，结果表明，与ResNet50和Invert-ResNet50网络模型相比，CBAM-ResNet50和CBAM-Invert-ResNet50网络模型对背脊数据集、前腿数据集、后腿数据集以及混合部位数据集的分类准确率均有较大提升，CBAM-Invert-ResNet50网络模型整体性能均优于ResNet50和MobileNetV3网络模型。

2.5 模型性能评价

混淆矩阵常用来可视化地评估模型的性能优劣。图6给出了四个数据集下三种网络模型对羊肉、掺假羊肉和猪肉三种类别检测准确率的分类混淆矩阵。由图7可知，在背脊数据集中，本模型对羊肉的识别准确率为90.65%，与ResNet50相比，提高了16.42个百分点，对掺假羊肉的识别准确率为95%，与MobileNetV3相比，提高了42.58个百分点；在前腿数据集中，本模型对羊肉的识别准确率为79.97%，与ResNet50和MobileNetV3相比，分别提高了1.32和25.09个百分点；在后腿数据集中，本模型对掺假羊肉的识别准确率为100%，与ResNet50和MobileNetV3相比，分别提高了42.33和36.83个百分点；在混合部位数据集中，本模型对掺假羊肉的识别准确率为97.93%，与ResNet50和MobileNetV3相比，分别提高了8.34和24.08个百分点。以上结果表明，在背脊数据集、前腿数据集、后腿数据集以及混合部位数据集中，与ResNet50、MobileNetV3相比，本模型对羊肉和掺假羊肉的识别率明显提升。

2.6 网络模型的移动端部署

为实现基于智能手机的羊肉精和染色剂作用下不同部位猪肉掺假羊肉的快速、准确分类检测，本研究采用TensorFlow Lite框架将训练好的CBAM-Invert-ResNet50网络模型部署到Android设备中，开发出一款移动端掺假羊肉检测系统如图7所示。

注：M，羊肉；MP，掺假羊肉；P，猪肉。

图7 移动端掺假羊肉检测系统流程图及检测示例

首先，将训练好的CBAM-Invert-ResNet50网络模型保存为.tflite格式，然后，在Android Studio开发环境中开发掺假羊肉检测移动端系统，该系统主要包括前端界面和后端处理。前端界面主要由.xml文件进行布局，通过添加文本和按钮组件实现羊肉图片和检测结果的显示。后端处理通过编写Java语言实现，包括图像获取、图像处理和模型判别功能。输入一张图像，获取的图像被自动裁剪为224像素×224像素，系统获取图像后会调用模型对图像进行分类，检测其是否掺假，并输出其类别以及相应的可信度，检测一张图片耗时约为0.3 s。

3 结 论

1）为实现基于移动端的羊肉精和染色剂作用下不同部位猪肉掺假羊肉的快速分类检测，本研究用倒置残差结构替换ResNet网络框架中的原有残差结构，进行更高层语义特征学习，使模型更加轻量化。与ResNet50和CBAM-ResNet50相比，Invert-ResNet50和CBAM-Invert-ResNet50的参数量分别减少了58.25%和61.64%，模型大小分别减小了58.43%和61.59%。在相同试验条件下，采用倒置残差结构可显著加快模型训练时的收敛速度。

2）使用注意力机制可以强化不同肉类特征差异，提高模型精度，CBAM-Invert-ResNet50模型对羊肉精和染色剂作用下背脊、前腿、后腿数据集和混合部位数据集分类准确率分别为95.19%、94.29%、95.81%、92.97%，与Invert-ResNet50相比，分别提高了6.08、2.62、14.70和4.23个百分点；与MobileNetV3网络模型相比，分别提高了12.44、9.60、13.73、4.87个百分点

3）基于智能手机开发的羊肉精和染色剂作用下猪肉掺假羊肉的移动端检测，检测耗时约为0.3 s，满足对掺假羊肉快速、准确检测的要求。

[1] 王彩霞，王松磊，贺晓光，等. 高光谱图谱融合检测羊肉中饱和脂肪酸含量[J]. 光谱学与光谱分析，2020，40(2)：595-601.

Wang Caixia, Wang Songlei, He Xiaoguang, et al. Detection of saturated fatty acid content in mutton by using the fusion of hyperspectral spectrum and image information[J]. Spectroscopy and Spectral Analysis, 2020, 40(2): 595-601. (in Chinese with English abstract)

[2] 甘春艳，李军，金海. 2021年我国肉羊产业发展概况、未来发展趋势及建议[J]. 中国畜牧杂志，2022，58(3)：258-263.

Gan Chunyan, Li Jun, Jin Hai. Development situation, future development trend and suggestions of mutton sheep industry in China in 2021[J]. Chinese Journal of Animal Husbandry, 2022, 58(3): 258-263. (in Chinese with English abstract)

[3] Vieira L S, Assis C, Queiroz M E L R de, et al. Building robust models for identification of adulteration in olive oil using FT-NIR, PLS-DA and variable selection[J]. Food Chemistry, 2021, 345: 128866.

[4] 白宗秀，朱荣光，王世昌，等. 高光谱图像结合特征变量筛选定量检测羊肉中狐狸肉掺假[J]. 农业工程学报，2021，37(17)：276-284.

Bai Zongxiu, Zhu Rongguang, Wang Shichang, et al. Quantitative detection of fox meat adulteration in mutton by hyper spectral imaging combined with characteristic variables screening[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(17): 276-284. (in Chinese with English abstract)

[5] Wang Q, Li L, Ding W, et al. Adulterant identification in mutton by electronic nose and gas chromatography-mass spectrometer, [J]. Food Control, 2019, 98: 431-438.

[6] 赵鑫龙，彭彦昆，李永玉，等. 基于深度学习的牛肉大理石花纹等级手机评价系统[J]. 农业工程学报，2020，36(13)：250-256.

Zhao Xinlong, Peng Yankun, Li Yongyu, et al. Mobile phone evaluation system for grading beef marbling based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 250-256. (in Chinese with English abstract)

[7] 孟令峰，朱荣光，白宗秀，等. 基于手机图像的不同贮藏时间下冷却羊肉的部位判别_孟令峰[J]. 食品科学，2020，41(23)：21-26.

Meng Lingfeng, Zhu Rongguang, Bai Zongxiu, et al. Discrimination of chilled lamb from different carcass parts at different storage times based on mobile phone images[J]. Food Science, 2020, 41(23): 21-26. (in Chinese with English abstract)

[8] 张垚鑫，朱荣光，孟令峰，等. 改进ResNet18网络模型的羊肉部位分类与移动端应用[J]. 农业工程学报，2021，37(18)：331-338.

Zhang Yaoxin, Zhu Rongguang, Meng Lingfeng, et al. Classification of mutton location on the animal using improved ResNet18 network model and mobile application[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 331-338. (in Chinese with English abstract)

[9] Song W, Yun Y H, Wang H, et al. Smartphone detection of minced beef adulteration[J]. Microchemical Journal, 2021, 164: 106088.

[10] Seddaoui N, Amine A. Smartphone-based competitive immunoassay for quantitative on-site[J]. Talanta, 2021, 230: 122346.

[11] Li D, Wang R J, Xie C J, et al. A recognition method for rice plant diseases and pests video detection based on deep convolutional neural network[J]. Sensors, 2020, 20(3): 578.

[12] He Y. Brown rice planthopper (Nilaparvata lugens Stal) detection based on deep learning[J]. Precision Agriculture, 2020, 21(6): 1385-1402.

[13] Cecotti H, Rivera A, Farhadloo M, et al, Grape detection with convolutional neural networks[J]. Expert Systems with Applications, 2020, 159: 113588

[14] 李云霞，马浚诚，刘红杰，等. 基于RGB图像与深度学习的冬小麦田间长势参数估算系统[J]. 农业工程学报，2021，37(24)：189-198.

Li Yunxia, Ma Juncheng, Liu Hongjie, et al. Field growth parameter estimation system of winter wheat using RGB digital images and deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(24): 189-198. (in Chinese with English abstract)

[15] 孙红，乔金博，李松，等. 基于深度学习的玉米拔节期冠层识别[J]. 农业工程学报，2021，37(21)：53-61.

Sun Hong, Qiao Jinbo, Li Song, et al. Recognition of the maize canopy at the jointing stage based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 53-61. (in Chinese with English abstract)

[16] 李小占，马本学，喻国威，等. 基于深度学习与图像处理的哈密瓜表面缺陷检测[J]. 农业工程学报，2021，37(1)：223-232.

Li Xiaozhan, Ma Benxue, Yu Guowei, et al. Surface defect detection of Hami melon using deep learning and image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(1): 223-232. (in Chinese with English abstract)

[17] 高芳芳，武振超，索睿，等. 基于深度学习与目标跟踪的苹果检测与视频计数方法[J]. 农业工程学报，2021，37(21)：217-224.

Gao Fangfang, Wu Zhenchao, Suo Rui, et al. Apple detection and counting using real-time video based on deep learning and object tracking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 217-224. (in Chinese with English abstract)

[18] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016.

[19] 徐建鹏，王杰，徐祥，等. 基于RAdam卷积神经网络的水稻生育期图像识别[J]. 农业工程学报，2021，37(8)：143-150.

Xu Jianpeng, Wang Jie, Xu Xiang, et al. Image recognition for different developmental stages of rice by RAdam deep convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(8): 143-150. (in Chinese with English abstract)

[20] 万鹏，赵竣威，朱明，等. 基于改进Res Net50模型的大宗淡水鱼种类识别方法[J]. 农业工程学报，2021，37(12)：159-168.

Wan Peng, Zhao Junwei, Zhu Ming, et al. Freshwater fish species identification method based on improved Res Net50 model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(12): 159-168. (in Chinese with English abstract)

[21] Mukti I Z, Dipayan B. Transfer learning based plant diseases detection using ResNet50[C]. 2019 4th International Conference on Electrical Information and Communication Technology (EICT), Khulna, Bangladesh 2019.

[22] Howard A, Sandler M, Chu G, et al. Searching for MobileNetV3[C]. International Conference on Computer Vision (ICCV), Seoul, Korea ,2019.

[23] Sandler M, Howard A, Zhu M L, et al. MobileNetV2: Inverted Residuals and Linear Bottlenecks[C]. 31st IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, USA, 2018.

[24] 许帅，姜俊厚，高伟，等. 适用于移动设备的轻量化手势识别算法[J]. 青岛大学学报（自然科学版），2022，35(2)：51-56.

Xu Shuai, Jiang Junhou, Gao Wei, et al. Lightweight gesture recognition algorithm for mobile devices[J]. Journal of Qingdao University (Natural Science Edition), 2022, 35(2): 51-56. (in Chinese with English abstract)

[25] Fan B B, Zhu R G, He D Y et al. Evaluation of mutton adulteration under the effect of mutton flavour essence using hyperspectral imaging combined with machine learning and sparrow search algorithm[J]. Foods, 2022, 11: 2278.

[26] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional Block Attention Module[C]. Computer Vision - ECCV 2018, Springer, 2018: 3-19.

[27] Zhu X Y, Zhang X W, Sun Z, et al. Identification of oil tea (era) cultivars using EfficientNet-B4 CNN Model with attention mechanism[J]. Forests, 2022, 13(1): 1.

[28] 韩旭，赵春江，吴华瑞，等. 基于注意力机制及多尺度特征融合的番茄叶片缺素图像分类方法[J]. 农业工程学报，2021，37(17)：177-188.

Han Xu, Zhao Chunjiang, Wu Huarui, et al. Image classification method for tomato leaf deficient nutrient elements based on attention mechanism and multi-scale feature fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(17): 177-188. (in Chinese with English abstract)

[29] 林森，刘美怡，陶志勇. 采用注意力机制与改进YOLOv5的水下珍品检测[J]. 农业工程学报，2021，37(18)：307-314.

Lin Sen, Liu Meiyi, Tao Zhiyong, et al. Detection of underwater treasures using attention mechanism and improved YOLOv5[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 307-314. (in Chinese with English abstract)

[30] Li Y Y, Zhang D, Lee D J. IIRNet: A lightweight deep neural network using intensely inverted residuals for image recognition[J]. Image and Vision Computing, 2019, 92: 103819.

Construction of the detection system for mutton adulteration classification based on inverted residual network and convolutional block attention module

He Dongyu1, Zhu Rongguang1,2※, Fan Binbin1, Wang Shichang1, Cui Xiaomin1,Yao Xuedong1

(1.,,832003,; 2.,,832003,)

Accurate and real-time detection of meat adulteration has been an ever-increasing high demand in the food industry in recent years. However, the presence of mutton flavor essence and dye can make the detection more difficult than before. In this study, a residual network (ResNet) model was proposed to classify the mutton adulteration using Convolutional Block Attention Module (CBAM) combined with the inverted residual (Invert). Meanwhile, an application software was also developed to realize the rapid and accurate classification using smart phones. Firstly, the original images were collected from the mutton, three parts pork, and adulterated mutton using a mobile phone. Hough circle detection was then used to remove the background of the images. Data augmentation (such as rotation, offset, and mirroring) was used to expand the sample images. 6800 images were acquired, two-thirds of which were used as the training and testing dataset. Furthermore, the training dataset was three times larger than the testing one. The rest was then used as the independent validation dataset. Secondly, the original residual structure of the ResNet framework was replaced by the Invert structure, in order to reduce the number of network parameters for the high convergence speed. At the same time, the CBAM was introduced into the Invert structure. As such, the feature difference was strengthened to redistribute the feature weights in the spatial and channel. The convolution neural network (CBAM-Invert-ResNet) was then developed using the sample data. Furthermore, the MobileNet and resnet50 were also developed using the same data to compare the convergence speed and accuracy of the model. Finally, the CBAM-Invert-ResNet network model was transplanted to mobile phones by the TensorFlow Lite framework and AndroidStudio development environment. The mobile terminal classification was realized in real time. The results showed that the CBAM greatly enhanced the feature difference among categories, whereas, the Invert significantly reduced the parameters and size of the network, indicating the accelerated convergence speed. The parameters of Invert-ResNet50 model are 9.85×106, and the model size is 18.66 MB, which were reduced by 58.25% and 58.43% compared with the ResNet50 model. Specifically, the parameters of the CBAM-Invert-ResNet50 model were 1.002×107with a model size of 19.11MB, which were reduced by 61.64% and 61.59% compared with the CBAM-ResNet50 model, respectively, compared with the ResNet50 model. The convergence speed of the CBAM-Invert-ResNet50 model was much faster than that of the ResNet50 one. There were also many more outstanding differences in color during feature visualization of the mutton, adulterated mutton, and pork using the CBAM-Invert-ResNet50 model. The classification accuracies of the CBAM-Invert-ResNet50 model for the pork adulteration with the loin, hind shank, fore shank and mix parts datasets were 95.19 %, 94.29 %, 95.81 %, and 92.96% in validation dataset, which were improved by 6.08、2.62、14.70 and 4.23 percentage points compared with the Invert-ResNet50 model, respectively, compared with the ResNet50 model. Furthermore, the classification accuracies of the CBAM-Invert-ResNet50 model were improved by 12.44, 9.6, 13.73, and 4.87 percentage points, respectively, compared with the MobileNet. Moreover, the application software with the CBAM-Invert-ResNet50 model was developed to quickly and accurately classified mutton, pork, and mutton adulterationwith the different ratios of porkingredients. The detection time of each image was about 0.3 s in the mobile terminal. The rapid and accurate classification was realized for the mutton adulteration with the pork under the effect of mutton flavor essence and dye. The finding can provide technical support to maintain the market order in food safety.

image processing; deep learning; mutton adulteration; attention mechanism; inverted residual; mobile terminal; mutton flavor essence; dyeing agents

10.11975/j.issn.1002-6819.2022.20.030

TP391.41; TS251.53

A

1002-6819(2022)-20-0266-10

何东宇，朱荣光，范彬彬，等. 倒置残差网络结合注意力机制的掺假羊肉分类检测系统构建[J]. 农业工程学报，2022，38(20)：266-275.doi：10.11975/j.issn.1002-6819.2022.20.030 http://www.tcsae.org

He Dongyu, Zhu Rongguang, Fan Binbin, et al. Construction of the detection system for mutton adulteration classification based on inverted residual network and convolutional block attention module[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(20): 266-275. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.20.030 http://www.tcsae.org

2022-07-15

2022-09-18

国家自然科学基金地区科学基金项目（31860465）；兵团中青年科技创新领军人才计划项目（2020CB016）

何东宇，研究方向为图像处理，机器学习。Email：hedy_1221@163.com

朱荣光，博士，教授，博士生导师，研究方向为农畜产品无损检测与装备研发。Email：rgzh_jd@163.com