王 政，许兴时，华志新，尚钰莹，段援朝，宋怀波

融合YOLO v5n与通道剪枝算法的轻量化奶牛发情行为识别

王 政，许兴时，华志新，尚钰莹，段援朝，宋怀波※

（1. 西北农林科技大学机械与电子工程学院，杨凌 712100；2. 农业农村部农业物联网重点实验室，杨凌 712100；3. 陕西省农业信息感知与智能服务重点实验室，杨凌 712100）

及时、准确地监测奶牛发情行为是现代化奶牛养殖的必然要求。针对人工监测奶牛发情不及时、效率低等问题，该研究提出了一种融合YOLO v5n与通道剪枝算法的轻量化奶牛发情行为识别方法。在保证模型检测精度的基础上，基于通道剪枝算法，对包括CSPDarknet53主干特征提取网络等在内的模块进行了修剪，以期压缩模型结构与参数量并提高检测速度。为了验证算法的有效性，在2 239幅奶牛爬跨行为数据集上进行测试，并与Faster R-CNN、SSD、YOLOX-Nano和YOLOv5-Nano模型进行了对比。试验结果表明，剪枝后模型均值平均精度（mean Average Precision, mAP）为97.70%，参数量（Params）为0.72 M，浮点计算量（Floating Point operations, FLOPs）为0.68 G，检测速度为50.26 帧/s，与原始模型YOLOv5-Nano相比，剪枝后模型mAP不变的情况下，参数量和计算量分别减少了59.32%和49.63%，检测速度提高了33.71%，表明该剪枝操作可有效提升模型性能。与Faster R-CNN、SSD、YOLOX-Nano模型相比，该研究模型的mAP在与之相近的基础上，参数量分别减少了135.97、22.89和0.18 M，FLOPs分别减少了153.69、86.73和0.14 G，检测速度分别提高了36.04、13.22和23.02 帧/s。此外，对模型在不同光照、不同遮挡、多尺度目标等复杂环境以及新环境下的检测结果表明，夜间环境下mAP为99.50%，轻度、中度、重度3种遮挡情况下平均mAP为93.53%，中等尺寸目标和小目标情况下平均mAP为98.77%，泛化性试验中奶牛爬跨行为检出率为84.62%，误检率为7.69%。综上，该模型具有轻量化、高精度、实时性、鲁棒性强、泛化性高等优点，可为复杂养殖环境、全天候条件下奶牛发情行为的准确、实时监测提供借鉴。

图像识别；行为；模型；发情检测；通道剪枝；YOLO v5n；奶牛爬跨行为；复杂环境

0 引 言

及时、准确地监测奶牛发情信息，有利于在合适的时间对奶牛进行配种，降低产犊间隔，提高牛场效益[1]。人工监测方法因效率低下、准确率难以保证等原因已无法满足养殖要求[2]。奶牛发情期仅持续4～26 h，平均为14 h[3]，爬跨行为作为其显著的外部表现，却往往因爬跨次数较少、持续时间较短等原因难以被及时发现，导致发情奶牛无法及时配种[4]。因此，研究奶牛发情行为的实时、准确监测对现代化奶牛养殖具有重要意义。

针对奶牛发情行为的多种特征，研究者提出了基于多类别传感器及大数据挖掘技术的奶牛发情行为监测方法[5-6]。田富洋等[7]根据奶牛发情期间活动量增加、体温升高和躺卧时间变短等生理特征变化情况，建立了学习矢量量化神经网络预测模型，对奶牛发情行为预测的准确率在70%以上。尹令等[8]在奶牛颈部安装三维加速度传感器，通过K-Means聚类算法对奶牛各方向运动加速度输出值进行分类，可有效判定奶牛发情期。

随着计算机视觉技术的发展，诸多学者开始研究基于视频图像分析的奶牛发情行为监测方法，早期奶牛发情行为监测方法以传统图像分析方法为主。Tsai等[9]基于奶牛爬跨过程中包围2头牛的边界框长度发生的规律性变化，提出了一种视频监测奶牛爬跨行为的方法，假阳性率为0.33%。顾静秋等[10]利用图像熵方法对奶牛目标进行识别，针对奶牛爬跨时两头奶牛最小包围盒之间的相交面积判断是否发情，识别准确率超过80%，漏检率最低为3.28%。Guo等[11]采用基于颜色和纹理特征的背景减除法检测奶牛区域，提取目标区域几何和光流特征，利用支持向量机（Support Vector Machine, SVM）识别奶牛爬跨行为，平均识别准确率和假阳性率分别为90.9%和4.2%。谢忠红等[12]采集奶牛爬跨行为侧面视频，根据两头奶牛最小外接矩形连通域随爬跨过程的规律性变化，利用K-最近邻算法对奶牛爬跨行为进行识别，准确率为99.21%。

近年来，大数据及硬件加速设备迅速发展，一些学者将深度学习技术应用于奶牛发情行为识别任务。王少华[13]提出了一种基于改进YOLOv3模型的奶牛发情行为识别方法，模型准确率为99.15%，召回率为97.62%。刘忠超[14]采集了包括爬跨行为在内的奶牛日常活动视频，将爬跨行为视频作为正样本，其余视频作为负样本，在LeNet-5网络基础上，构建卷积神经网络（Convolutional Neural Networks, CNN）进行训练，该模型对奶牛爬跨行为识别准确率为98.25%，单幅图像平均识别时间为0.257 s。Wang等[15]对YOLOv5l模型增加空洞空间金字塔池化、通道注意力机制以及深度非对称瓶颈等模块，并利用 K-Means聚类得到新的锚框，对自然场景下奶牛发情行为进行检测，模型均值平均精度为94.3%。

上述方法虽能有效对奶牛发情行为进行识别，但也存在如下问题：1）基于穿戴式设备的奶牛发情行为监测方法准确率高，但使用复杂、易损坏，且对奶牛具有一定的应激作用；2）传统视频图像分析方法需要手工进行特征提取，效率较低；3）部分基于深度学习的方法其模型较大，耗费大量计算资源，难以满足实时性及模型部署等要求[16-17]。

为解决上述问题，本研究拟利用YOLO v5n（You Only Look Once v5 nano）模型[18-19]检测精度高、对多尺度目标检测效果好的优点，提出一种基于YOLO v5n的奶牛发情行为检测方法，并采用通道剪枝算法[20]进行轻量化处理，解决YOLO v5n模型对单类别目标检测时冗余通道较多、检测速度不高等缺点，以期构建一种轻量化、高精度、实时性、鲁棒性强、泛化性高的奶牛发情行为识别方法。

1 材料与方法

1.1 材料

1.1.1 数据来源

本研究视频数据采集自宁夏回族自治区臻牛牧业奶牛养殖场和五里牛园牧业奶牛养殖场，通过实地考察，发现奶牛爬跨行为主要发生在养殖区的室外运动场，故本研究选择对室外运动场进行视频采集。单个奶牛运动场长约60 m，宽约20 m，每个运动场的棚舍角落位置各安装2个网络摄像机（DS-2CD3626FWD-LPTZ（2.7～12 mm），杭州海康威视有限公司），摄像机安装高度约3.6 m，向下倾斜角度约25°，摄像机安装位置如图1所示。视频记录时间为2021年10月至2022年10月，对6个奶牛运动场的视频进行采集。

图1 摄像机安装示意图

1.1.2 样本集构建

人工筛选包含奶牛爬跨行为的视频片段199段，其中采集自臻牛牧业奶牛养殖场186段，五里牛园牧业奶牛养殖场13段，每段时长3～15 s不等，帧率25 帧/s，本研究对采集自臻牛牧业奶牛养殖场的186段视频利用视频分帧技术，每5帧取1帧，得到视频图像3 681幅，采集自五里牛园牧业奶牛养殖场的13段视频用于验证模型的泛化性，为减少训练时间，将图像分辨率调整为1 280 像素（水平）×720像素（垂直）。

为避免相邻帧图像相似，本研究采用结构相似性（Structural Similarity, SSIM）算法[21]，将奶牛爬跨片段中每幅爬跨图像与后续的图像进行差异比较，剔除冗余图像，计算式如式（1）所示。

式中SSIM为度量图像的相似度指标，μ，μ分别表示图像、的均值，δ，δ为其标准差，δ为其协方差，1，2为任意常数。

去除冗余图像后，由西北农林科技大学兽医专家辨认筛选，最终得到2 239幅包含奶牛爬跨行为的图像。为避免划分训练集、测试集时测试集的样本图像与训练集的样本图像属于同一爬跨片段，导致模型过拟合，因此随机选取总视频片段的1/5，即37段不同运动场、不同环境下的奶牛爬跨片段作为测试集样本，按上述方法得到518幅图像构建测试集，其余图像作为训练集，最终得到训练集样本1 721幅、测试集样本518幅，训练集与测试集之比约为3∶1，各类样本集间无数据重叠。通过LabelImg 标注工具对数据集进行标注，标注框为两头奶牛爬跨行为的最小外接矩形，标记标签为“Mounting”，标注文件保存为视觉目标分类（Visual Object Classes, VOC）格式。

由于奶牛养殖场环境复杂多样，存在光线复杂、天气恶劣等影响；此外也存在牛只遮挡、背景相似等问题。本研究按光照情况、遮挡情况、目标尺寸情况对所有数据进行分类。如图2所示，光照情况分为白天及夜间，其中包括逆光等影响因素。

图2 不同光照示意图

图3为奶牛爬跨时不同遮挡程度示意图。如图3所示，蓝色区域为奶牛爬跨行为被前景遮挡区域，根据遮挡比例划分为无遮挡（0），轻度遮挡（0～20%），中度遮挡（＞20%～45%）和重度遮挡（45%以上）。

图3 不同遮挡示意图

图4为奶牛爬跨时不同尺寸目标示意图。如图4所示，根据2头奶牛爬跨行为最小外接矩形在图像中所占比例，分为小目标（宽：0～100像素，高：0～80像素），中目标（宽：100～300像素，高：80～150像素）和大目标（宽：300～800像素，高：150～500像素）。

图4 不同尺寸目标示例图

数据集图像具体信息如表1所示，可以看出：训练集和测试集中均包含了光照、遮挡和目标尺寸3种影响因素下各个场景的奶牛爬跨图像；各影响因素下不同场景的图像数量与实际观察经验相符；训练集和测试集的比例在各场景下基本保持一致。说明本研究数据集样本采集充分，训练集和测试集划分合理。

表1 拍摄图像详细信息

1.1.3 试验平台

试验过程在Win10操作系统下进行，处理器型号为Intel(R) Core(TM) i7-10700K CPU @ 3.80GHz 3.79 GHz，显卡型号为Nvidia GeForce RTX 2080Ti。深度学习框架为PyTorch1.7，编程平台为PyCharm，编程语言为Python3.7，所有对比算法均在相同环境下运行。

1.1.4 评价指标

为验证该剪枝模型性能，本研究采用均值平均精度（mean Average Precision, mAP），精确率（Precision,），召回率（Recall,），参数量（Params），浮点计算量（Floating Point operations, FLOPs）共5个指标对模型进行评价，考虑到实际应用需求，对检测速度（帧/s）也进行评价，模型经非极大值抑制（NMS）后，选取置信度大于 0.6的预测框为正例，反之为负例。其中、和mAP的计算如式（2）～（4）所示。

式中TP表示实际为正例且被划分为正例的个数，FP表示实际为负例但被划分为正例的个数，FN表示实际为正例但被划分为负例的个数，表示检测类别数，本研究中=1。

在对模型泛化性进行分析时，以视频片段为单位，SD表示检测出奶牛爬跨行为的视频个数，MD表示漏检奶牛爬跨行为的视频个数，FD表示将其他目标误检为奶牛爬跨行为的视频个数。检出率DR和误检率FDR计算公式如式（5）～（6）所示。

1.2 基于YOLO v5n通道剪枝算法的奶牛发情行为检测

1.2.1 总体技术路线

本研究算法总体技术路线如图5所示。将标注完成的奶牛爬跨行为图像送入YOLO v5n网络模型中进行训练，实现对奶牛爬跨行为的准确检测；利用通道剪枝算法对模型中冗余的通道和权重参数进行修剪，在保证精度的情况下对模型结构、参数量进行压缩，从而获得精度高、体积小、速度快、鲁棒性高、泛化性强的奶牛爬跨行为检测模型[22-23]。

1.2.2 基于YOLO v5n的奶牛发情行为检测

YOLO v5系列模型兼顾识别精度与检测速度，是一种实时高效的单阶段目标检测算法。Nano版本是YOLO v5系列中结构较小，精度较高的目标检测模型，相比YOLO v5系列其他模型，其在保证一定识别精度的前提下极大地减少了模型参数量与计算量，适用于类别较少、特征简单的目标检测任务。本研究所使用的YOLO v5n v6.0模型主要由以下模块构成：

1）Input：包含Mosaic数据增强、自适应锚框计算及自适应图像缩放三部分。Mosaic数据增强采用随机缩放、裁剪、排布等方式进行拼接；自适应锚框计算可根据训练集目标大小自动调整至最佳锚框值，确保对多尺度目标的准确预测；自适应图像缩放可对原始图像填充最少的黑边，提高推理速度。

2）Backbone：主干特征提取网络采用CSPDarknet53结构，可以在网络加深的情况下有效解决梯度消失等问题；将空间金字塔池化（Spatial Pyramid Pooling, SPP）替换为快速空间金字塔池化（Spatial Pyramid Pooling-Fast, SPPF），SPPF结构将输入串行通过多个大小为5×5的MaxPool层，可显著提高推理速度。

3）Neck：采用特征金字塔网络（Feature Pyramid Networks, FPN）+路径聚合网络（Path Aggregation Network, PAN）结构，并在PAN结构引入CSP结构，加强网络特征融合能力。

4）Head：包括3个不同尺寸的检测分支，通过加权非极大值抑制获得最优目标框。

本研究设定模型图像输入大小为512像素×512像素，为加快收敛速度，采用模型在VOC数据集上的预训练权重，初始学习率为0.003 2，权重衰减系数为0.000 36，共训练200轮次。

YOLO v5n模型的损失值由置信度损失obj、边界框位置损失box和类别损失cls组成，本研究中类别只有“Mounting”一类，故cls=0，式(7)为损失值计算公式。

=obj+box（7）

图6为训练过程损失函数变化，在模型训练初期，学习率较高，Loss曲线在前35轮迅速收敛，随着迭代的进行，Loss曲线逐渐变缓并于150轮次左右达到收敛，Loss值在0.02附近波动，模型达到稳定状态。

注：CBS为Conv2d+BN+SiLU，Conv2d为卷积操作，BN为批归一化操作，SiLU为非线性激活函数，Upsample为上采样操作，Concat为通道堆叠操作，add为特征图相加操作， MaxPool为最大池化操作，SPPF为快速空间金字塔池化操作，Bottleneck为2个CBS模块堆叠后与输入融合操作，Bottleneck_F为2个CBS模块堆叠操作，C3_x为包含x个Bottleneck结构的卷积模块，C3_x_F为包含x个Bottleneck_F结构的卷积模块，Cin为网络第i层中第n个通道的输出。

图6 模型训练损失值变化曲线

本文所采用的YOLO v5n模型的检测效果如图7所示，可以看出，该模型在夜间环境、栏杆遮挡、小目标及背景相似等多种复杂环境下均可准确识别奶牛爬跨行为，可以有效完成本研究识别任务，为模型剪枝提供基础。

1.2.3 基于YOLO v5n通道剪枝的奶牛发情行为检测

本文所建立的YOLO v5n模型虽能实现奶牛发情行为的高效检测，但其计算耗时较长，模型的结构和参数量未达到最优效果，占用较多计算资源，为提高模型的实用性、降低计算量，有必要对模型进行修剪。

1）剪枝原理

大多数现代卷积神经网络均采用批归一化（Batch Normalization, BN）作为标准方法，以实现快速收敛及更好的泛化性能[24]。如式（8）～（9）所示，通道剪枝时，in和out表示BN层的输入和输出，μ和σ表示每个批次的均值和标准差，为避免除数为0而使用的微小正数，并为每个通道的BN层引入缩放因子和偏置，对通道数据进行归一化处理。

在训练过程中，缩放因子作为通道选择的代理，利用L1正则化对其进行稀疏，损失函数如式（10）所示：

式中第一项为正常训练损失函数，和表示训练的输入与输出，表示可训练权重，第二项为正则化项，()是对缩放因子的惩罚函数，本文选择L1范数：()= ||，权重系数是两项的平衡因子[20]。

如图5所示，稀疏化后接近于0的因子所代表的通道对模型的贡献率较低，因此可以对这些通道及其输入、输出进行修剪，在不影响模型性能的前提下达到压缩模型结构、提高运算速度的效果。

注：“Mounting”为两头奶牛之间爬跨行为；“Mounting”后数值为置信度。

2）模型剪枝步骤

① 稀疏化训练

稀疏训练通过设置不同的稀疏率对通道进行选择，若值过小，稀疏过程太慢，区分不出通道重要性；若值过大，往往会造成精度下降过快。为确定最佳稀疏率，结合文献[20,22-23]的参数设置及预试验数据，将值分别设置为0.000 1，0.001，0.005及0.01后对原始模型进行稀疏化训练。图8为不同稀疏率对应的系数变化趋势图，可以看出，系数随着训练的进行逐渐趋近于0，并且稀疏率越大，系数趋近于0的速度越快。对稀疏训练后的模型均进行50%的剪枝[20]，表2为剪枝后模型的参数对比，可见当稀疏率为0.005时，剪枝后模型mAP最高，因此本研究稀疏率取0.005。

图8 不同稀疏率（sr）下BN层γ系数

表2 不同稀疏率下模型性能

② 剪枝及微调处理

在确定稀疏率后，本文对YOLO v5n模型进行不同比例的剪枝，通过模型效果选择最佳剪枝率。图9为稀疏率为0.005时，以不同剪枝率进行剪枝并进行微调后的模型参数变化。

图9 不同剪枝率下模型参数变化趋势

由图9可知，通过不同比例的剪枝，YOLO v5n模型的参数量和计算量均有不同程度的下降。模型性能方面，当剪枝率在0.5以下时，模型的mAP变化趋势不大，当剪枝率大于0.5时，mAP下降较快；检测速度方面，原始模型的检测速度为37.59帧/s，当剪枝率大于0.3时，模型的检测速度有较大提升。综合以上方面，在保证检测精度的前提下，选择剪枝率为0.5，可有效压缩模型参数、减少计算量，并较大幅度提高检测速度。

以0.5剪枝率进行剪枝后，模型各卷积层通道数变化如图10所示，可以看出，多数卷积层通道数量大幅降低，平均每层被剪枝约32通道，表明该剪枝算法有效。

图10 剪枝前后通道数量对比

2 结果与分析

2.1 训练结果

本研究对YOLO v5n模型以0.005的稀疏率训练200轮次，对稀疏后的模型剪枝50%后进行微调，将剪枝、微调后的模型命名为YOLOv5n-Pruned，该模型在测试集中mAP为97.70%，值为97.80%，值为95.80%，参数量为0.72 M，计算量为0.68 G，检测速度为50.26帧/s。

2.2 检测效果

本研究对多种场景下的奶牛爬跨图像进行了检测，测试集共包含37段不同场景下的奶牛爬跨视频，YOLOv5n-Pruned模型成功检测出其中35段视频中的奶牛爬跨行为，奶牛爬跨行为检出率为94.59%。检测效果如图11所示，可以看出，该模型对夜间光照较弱、牛只遮挡、目标尺寸较小及干扰因素叠加等各种复杂场景下的奶牛爬跨行为均有较好的识别效果。

图11 YOLOv5n-Pruned模型检测效果

2.3 不同目标检测算法的比较

为评价本文模型对奶牛爬跨行为的检测效果，本文在与YOLOv5n-Pruned模型相同的训练集及测试集上对Faster R-CNN[25]、SSD[26]、YOLOX-Nano[27]以及YOLOv5-Nano[18]4种模型进行性能评估，结果如表3所示。由表3可知，与剪枝前原始模型YOLOv5-Nano相比，YOLOv5n-Pruned模型在mAP保持不变的情况下，值提高0.3个百分点，值降低0.7个百分点，参数量和计算量在原始模型的基础上分别减少59.32%和49.63%，检测速度提高33.71%。与其余3种模型相比，YOLOv5n-Pruned模型的mAP分别高于Faster R-CNN和YOLOX-Nano模型 2.43和1.62个百分点，虽然比SSD低1.68个百分点，但在参数量、计算量和检测速度方面YOLOv5n-Pruned模型在5种模型中表现效果最佳，其参数量分别比Faster R-CNN、SSD和YOLOX-Nano减少135.97、22.89和0.18 M，计算量分别减少153.69、86.73和0.14 G，检测速度分别提高36.04、13.22和23.02帧/s。综上所述，YOLOv5n-Pruned模型在mAP与其他4种模型相近的情况下，表现出在参数量、计算量以及检测速度等方面的优势，证明本研究模型切实可行，在占用较小硬件及计算资源的前提下，为养殖场奶牛发情行为的实时、准确监测及移动端部署提供了技术支持。

表3 5种目标检测模型的试验结果

3 讨 论

3.1 奶牛爬跨行为漏检、误检分析

本研究模型虽能较好地识别奶牛发情爬跨行为，但由于养殖场环境复杂多样，常有逆光、遮挡、沙尘和小目标等干扰因素叠加，导致部分图像出现漏检、误检等情况。

如图12a所示，此时奶牛处于逆光环境，背景区域过度曝光，目标奶牛区域较暗，且在沙尘天气下与背景颜色较为接近，干扰了模型的判断，加之存在牛只遮挡，减少了模型提取到的奶牛爬跨行为特征，以上干扰因素叠加导致了模型漏检；如图12b所示，发情奶牛处于牛群中间，存在重度遮挡，且奶牛花斑黑白相间，在牛只密集时模型难以准确区分牛只个体，从而无法检测出爬跨行为。

图12 漏检示例

如图13所示，模型共输出2个检测框，其中左侧检测框为误检，分析其原因：此时光照较弱，牛只距离摄像机较远，且空间上异面的两头奶牛在平面图像上相互重叠，与爬跨动作相似，多种因素叠加导致了模型误检。但从置信度分析，误检框的置信度为0.69，正确检测框的置信度为0.90，可以看出模型对于干扰情况下的误检目标仍具有一定的区分度。

图13 误检示例

为定量分析干扰因素对检测模型的影响，本研究将测试集中的518幅图像按照光照情况、遮挡情况和目标尺寸情况进行分类，利用上述5种算法分别对不同场景下奶牛爬跨图像进行测试，并以1值和mAP作为评价指标，其中1值计算式如式（11）所示。

3.1.1 遮挡程度对模型效果的影响

由于奶牛是群居动物，喜聚群[28]，奶牛爬跨行为常被其余牛只遮挡，模型获取到的奶牛爬跨行为特征减少，导致无法准确识别出奶牛爬跨行为。表4为不同遮挡程度下5种模型的试验结果。无遮挡情况下YOLOv5n-Pruned模型1值为97.75%，在5种模型中最高，其mAP为98.50%，分别比Faster R-CNN、YOLOX-Nano和YOLOv5-Nano高0.78、0.47和1.1个百分点，比SSD低1.22个百分点；轻度、中度、重度3种遮挡情况下YOLOv5n-Pruned模型平均mAP为93.53%，其中轻度遮挡情况下，YOLOv5n-Pruned模型的1值和mAP低于SSD、YOLOv5-Nano和YOLOX-Nano，但高于Faster R-CNN；中度遮挡情况下，YOLOv5n-Pruned模型的1值分别比Faster R-CNN、YOLOX-Nano和YOLOv5-Nano高1.44、19.22和7.72个百分点，低于SSD模型2.73个百分点，其mAP分别高于Faster R-CNN和YOLOX-Nano模型7.5和35.5个百分点，低于SSD模型0.5个百分点，与YOLOv5-Nano相等；重度遮挡情况下，YOLOv5n-Pruned模型的1值为97.92%，在5种模型中最高，其mAP分别比SSD和YOLOv5-Nano低4.93和8.30个百分点，但比Faster R-CNN和YOLOX-Nano分别高28.68和4.02个百分点。同时，在重度遮挡环境下，5种模型的识别效果均有所下降。

表4 不同遮挡程度下5种模型试验结果

3.1.2 光照条件对模型效果的影响

奶牛夜间发情比例达62.1%[29]，因此夜间低光照环境下奶牛发情行为监测效果是衡量模型的重要指标。表5为不同光照条件下5种模型试验结果。

表5 不同光照条件下5种模型试验结果

可以看出，白天环境下，YOLOv5n-Pruned模型的1值为97.33%，分别比Faster R-CNN、YOLOX-Nano和YOLOv5-Nano高5.18、0.36和1.03个百分点，比SSD低2.08个百分点，其mAP值为97.80%，分别比Faster R-CNN、YOLOX-Nano和YOLOv5-Nano高2.7、3.18和0.3个百分点，比SSD低1.6个百分点；白天(逆光)环境下，YOLOv5n-Pruned模型的1值和mAP值低于SSD、YOLOX-Nano和YOLOv5-Nano，但高于Faster R-CNN；夜间环境下，YOLOv5n-Pruned模型的1值为99.41%，mAP为99.50%，在5种模型中表现最优。

3.1.3 目标尺寸对模型效果的影响

由于奶牛运动场大小不一，摄像头安装角度不一，因此奶牛爬跨行为的目标尺寸也存在较大差异。为进一步分析不同模型对不同尺寸目标的检测性能，本研究对5种算法进行了对比，结果如表6所示。

表6 不同目标尺寸下5种模型试验结果

试验结果表明，得益于模型输入端采用自适应锚框计算，使得网络具有较强的多尺度目标检测能力，YOLOv5n-Pruned模型对3种尺寸目标均有较好的检测效果。对于大目标，SSD、YOLOX-Nano、YOLOv5-Nano和YOLOv5n-Pruned 共4种模型性能相当，1值均为100%，mAP均为99.50%以上，Faster R-CNN模型出现粗大误差，数据不予讨论；中等尺寸目标和小目标情况下YOLOv5n-Pruned模型平均mAP为98.77%，对于中等尺寸目标，YOLOv5n-Pruned模型1值和mAP分别为98.12%和98.23%，均高于Faster R-CNN、YOLOX-Nano和YOLOv5-Nano，分别比SSD低1.62和1.5个百分点；对于小目标，YOLOv5n-Pruned模型1值和mAP分别为100.00%和99.30%，在5种模型中均表现最佳。

综上所述，本研究所提出的YOLOv5n-Pruned目标检测模型可以实现奶牛发情爬跨行为的快速、准确检测，在各场景下1值和mAP均高于Faster R-CNN，虽然SSD、YOLOX-Nano和YOLOv5-Nano的1值和mAP在部分场景略高于本研究模型，但YOLOv5n-Pruned模型在参数量、计算量及检测速度等方面具有绝对优势，更有利于模型的部署应用。

3.2 泛化性分析

泛化性是衡量模型性能的标准之一，也是模型落地的必然要求。为验证YOLOv5n-Pruned模型的泛化性能，本研究对采集自宁夏五里牛园牧业奶牛养殖场的13段不同场景下的奶牛爬跨视频片段进行测试，该养殖场奶牛运动场较小，牛只更为密集且背景更为复杂，识别难度有所提高。经过测试，最终成功检测出其中11段视频中的奶牛爬跨行为，检出率84.62%，检测效果如图14所示，本模型在其他牛场的不同场景下，对奶牛爬跨行为也具有较好的检测效果，为模型的实际应用及迁移学习提供了基础。

图14 YOLOv5n-Pruned模型泛化性试验效果

表7为5种模型的泛化性试验结果，Faster R-CNN共检测出12段视频中的奶牛爬跨行为，SSD和YOLOv5n-Pruned均检测出11段，YOLOX-Nano和YOLOv5-Nano分别检测出9段和8段。从误检情况分析，Faster R-CNN检出率虽较高，但其误检数量为9段，误检率达69.23%，而YOLOv5n-Pruned仅误检1段，误检率为7.69%，其余模型误检数量从3到6段不等。

表7 5种模型泛化性试验结果

图15为5种模型检测效果，Faster R-CNN和SSD虽检测出奶牛爬跨行为，但出现误检情况，YOLOv5-Nano未检测出爬跨行为，YOLOX-Nano和YOLOv5n-Pruned正确检测爬跨行为且未出现误检。综上可得，YOLOv5n-Pruned在检出率较高的情况下，误检率低于其余4种模型，因此其泛化性能在5种模型中最好。

图15 不同模型泛化性检测效果

4 结 论

1）本研究将YOLOv5-Nano算法与通道剪枝算法融合，提出了一种轻量化奶牛发情行为检测模型，在保证较高mAP的基础上，减少了模型参数量、计算量，提高了检测速度，实现了奶牛发情爬跨行为的准确、实时检测，为模型部署于边缘计算设备提供了技术基础。

2）通过探究不同稀疏率及剪枝率对模型性能的影响，发现当稀疏率为0.005，剪枝率为0.5时，剪枝后模型性能最佳，模型mAP为97.70%，参数量为0.72 M，计算量为0.68 G，检测速度为50.26 帧/s。与Faster R-CNN、SSD、YOLOX-Nano和YOLOv5-Nano共4种模型相比，该研究模型的mAP在与之相近的基础上，参数量、计算量大幅降低，检测速度显著提高，表明该剪枝操作可有效提升模型性能。

本研究模型在逆光、遮挡、沙尘天气、小目标等干扰因素叠加情况下会对奶牛爬跨行为存在漏检和误检，后续可考虑采用红外相机、利用图像增强算法进行预处理、融合时空上下文信息等方法，以期提高复杂环境下奶牛爬跨行为的检测效果。

[1] Van Vliet J H, Van Eerdenburg F. Sexual activities and oestrus detection in lactating Holstein cows[J]. Applied Animal Behaviour Science, 1996, 50(1): 57-69.

[2] Reith S, Hoy S. Behavioral signs of estrus and the potential of fully automated systems for detection of estrus in dairy cattle[J]. Animal, 2018, 12(2): 398-407.

[3] Silper B F, Robles I, Madureira A M L, et al. Automated and visual measurements of estrous behavior and their sources of variation in Holstein heifers. I: Walking activity and behavior frequency[J]. Theriogenology, 2015, 84(2): 312-320.

[4] Roelofs J, Lopez-Gatius F, Hunter R H F, et al. When is a cow in estrus? Clinical and practical aspects[J]. Theriogenology, 2010, 74(3): 327-344.

[5] Stevenson J S. A review of oestrous behaviour and detection in dairy cows[J]. BSAP Occasional Publication, 2001, 26(1): 43-62.

[6] 汪开英，赵晓洋，何勇. 畜禽行为及生理信息的无损监测技术研究进展[J]. 农业工程学报，2017，33(20)：197-209.

Wang Kaiying, Zhao Xiaoyang, He Yong. Review on noninvasive monitoring technology of poultry behavior and physiological information[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(20): 197-209. (in Chinese with English abstract)

[7] 田富洋，王冉冉，刘莫尘，等. 基于神经网络的奶牛发情行为辨识与预测研究[J]. 农业机械学报，2013(S1)：277-281.

Tian Fuyang, Wang Ranran, Liu Mochen, et al. Oestrus detection and prediction in dairy cows based on neural networks[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013(S1): 277-281. (in Chinese with English abstract)

[8] 尹令，刘财兴，洪添胜，等. 基于无线传感器网络的奶牛行为特征监测系统设计[J]. 农业工程学报，2010，26(3)：203-208.

Yin Ling, Liu Caixing, Hong Tiansheng, et al. Design of system for monitoring dairy cattle's behavioral features based on wireless sensor networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(3): 203-208. (in Chinese with English abstract)

[9] Tsai D M, Huang C Y. A motion and image analysis method for automatic detection of estrus and mating behavior in cattle[J]. Computers and Electronics in Agriculture, 2014, 104: 25-31.

[10] 顾静秋，王志海，高荣华，等. 基于融合图像与运动量的奶牛行为识别方法[J]. 农业机械学报，2017，48(6)：145-151.

Gu Jingqiu, Wang Zhihai, Gao Ronghua, et al. Recognition method of cow behavior based on combination of image and activities[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(6): 145-151. (in Chinese with English abstract)

[11] Guo Y, Zhang Z, He D, et al. Detection of cow mounting behavior using region geometry and optical flow characteristics[J]. Computers and Electronics in Agriculture, 2019, 163: 104828.

[12] 谢忠红，刘悦怡，宋子阳，等. 基于时序运动特征的奶牛爬跨行为识别研究[J]. 南京农业大学学报，2021，44(1)：194-200.

Xie Zhonghong, Liu Yueyi, Song Ziyang, et al. Research on recognition of crawling behavior of cows based on temporal motion features[J]. Journal of Nanjing Agricultural University, 2021, 44(1): 194-200. (in Chinese with English abstract)

[13] 王少华. 基于视频分析和深度学习的奶牛爬跨行为检测方法研究[D]. 杨凌：西北农林科技大学，2021.

Wang Shaohua. Detection Methods of Cow Mounting Behavior Based on Video Analysis and Deep Learning[D]. Yangling: Northwest A&F University, 2021. (in Chinese with English abstract)

[14] 刘忠超. 奶牛发情体征及行为智能检测技术研究[D]. 杨凌：西北农林科技大学，2019.

Liu Zhongchao. Intelligent Detection Technology of Estrus Signs and Behavior in Dairy Cows[D]. Yangling: Northwest A&F University, 2019. (in Chinese with English abstract)

[15] Wang R, Gao Z, Li Q, et al. Detection method of cow estrus behavior in natural scenes based on improved YOLOv5[J]. Agriculture, 2022, 12(9): 1339.

[16] Wu D, Wang Y, Han M, et al. Using a CNN-LSTM for basic behaviors detection of a single dairy cow in a complex environment[J]. Computers and Electronics in Agriculture, 2021, 182: 106016.

[17] 王政，宋怀波，王云飞，等. 奶牛运动行为智能监测研究进展与技术趋势[J]. 智慧农业（中英文），2022，4(2)：36-52.

Wang Zheng, Song Huaibo, Wang Yunfei, et al. Research progress and technology trend of intelligent morning of dairy cow motion behavior[J]. Smart Agriculture, 2022, 4(2): 36-52. (in Chinese with English abstract)

[18] Jocher G. YOLOv5 release v6.0[EB/OL]. 2021-10-12 [2022-08-10]. https://github.com/ultralytics/yolov5/releases/ tag/v6.0.

[19] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 779-788.

[20] Liu Z, Li J, Shen Z, et al. Learning efficient convolutional networks through network slimming[C]//Proceedings of the IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 2736-2744.

[21] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[22] Wu D, Lv S, Jiang M, et al. Using channel pruning-based YOLO v4 deep learning algorithm for the real-time and accurate detection of apple flowers in natural environments[J]. Computers and Electronics in Agriculture, 2020, 178: 105742.

[23] 梁晓婷，庞琦，杨一，等. 基于YOLOv4模型剪枝的番茄缺陷在线检测[J]. 农业工程学报，2022，38(6)：283-292.

Liang Xiaoting, Pang Qi, Yang Yi, et al. Online detection of tomato defects based on YOLOv4 model pruning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(6): 283-292. (in Chinese with English abstract)

[24] Bjorck J, Gomes C, Selman B, et al. Understanding Batch Normalization[C]//Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2018: 7705-7716.

[25] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 39(6): 1137-1149.

[26] Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multiBox detector[C]//European Conference on Computer Vision. Amsterdam, Netherlands: Springer, 2016: 21-37.

[27] Ge Z, Liu S, Wang F, et al. YOLOX: Exceeding YOLO series in 2021[EB/OL]. 2021-07-18[2022-08-04]. https://arxiv.org/abs/2107.08430.

[28] 赵新明，魏国华. 奶牛标准化健康养殖的研究[J]. 中国乳业，2021(6)：53-57.

Zhao Xinming, Wei Guohua. Standardized healthy breeding of dairy cows[J]. China Dairy, 2021(6): 53-57.

[29] Mwaanga E S, Janowski T. Anoestrus in dairy cows: Causes, prevalence and clinical forms[J]. Reproduction in Domestic Animals, 2000, 35(5): 193-200.

Lightweight recognition for the oestrus behavior of dairy cows combining YOLO v5n and channel pruning

Wang Zheng, Xu Xingshi, Hua Zhixin, Shang Yuying, Duan Yuanchao, Song Huaibo※

(1.,,712100,;2.,712100; 3.,712100,)

An accurate and timely monitoring is a high demand for the oestrus behavior of dairy cows in modern dairy farming. In this research, a lightweight recognition was proposed to detect the oestrus behavior of cows using the combined YOLO v5n and channel pruning. The high precision of the network was established before that. Firstly, the model was sparsely trained, according to different sparsity rates. The best sparsity effect of the model was obtained at the sparsity rate of 0.005. Then, the channel pruning was utilized to prune the modules, including the CSPDarknet53 backbone feature extraction network, in order to compress the model structure and parameters for the high detection speed. 2 239 images of cows’ mounting behavior were also collected, including 1 473 images in the daytime, 88 images in the daytime (backlight), and 160 images in the nighttime. Four occlusion situations were considered, including 1 045 images without occlusion, as well as 397, 184, and 95 images with the slight, moderate, and heavy occlusion, respectively. Three target sizes were also considered, including 46, 1 191, and 484 images with the large, medium, and small targets, respectively. The pruned model was veried on the test set, and then to compare with the Faster R-CNN, SSD, YOLOX-Nano, and YOLOv5-Nano. The test results showed that the mean average precision (mAP) of the model after pruning was 97.70%, the Params were 0.72 M, the Floating Point operations (FLOPs) were 0.68 G, and the detection speed was 50.26 fps. Furthermore, the Params and FLOPs were reduced by 59.32%, and 49.63%, respectively, under the condition of constant mAP, and the detection speed increased by 33.71%, compared with the original model YOLOv5-Nano. Consequently, the pruning operation was effectively improved the performance of the model. The mAP of the model was close to the Faster R-CNN, SSD, YOLOX-Nano, but the Params were reduced by 135.97, 22.89, and 0.18 M, respectively, the FLOPs were reduced by 153.69, 86.73, and 0.14 G, respectively, and the detection speed increased by 36.04, 13.22, and 23.02 fps, respectively. In addition, the detection performance of the model was tested in the complex environments, such as different lighting, different occlusion, multi-scale targets, and new environments. The results showed that the mAP was 99.50% in the nighttime environment, the average mAP was 93.53% under the three occlusion conditions, the average mAP was 98.77% under the medium and small targets, the detection rate was 84.62% in the generalization test, and the false detection rate was 7.69%. To sum up, the improved model can fully meet the high requirements for the accurate and real-time monitoring of cows' oestrus behavior under complex breeding environments and all-weather conditions, due to the lightweight, high precision, robust, and high generalization.

image recognition; behavior; model; oestrus detection; channel pruning; YOLO v5n; cows’ mounting behavior; complex environment

10.11975/j.issn.1002-6819.2022.23.014

TP391.4

A

1002-6819(2022)-23-0130-11

王政，许兴时，华志新，等. 融合YOLO v5n与通道剪枝算法的轻量化奶牛发情行为识别[J]. 农业工程学报，2022，38(23)：130-140.doi：10.11975/j.issn.1002-6819.2022.23.014 http://www.tcsae.org

Wang Zheng, Xu Xingshi, Hua Zhixin, et al. Lightweight recognition for the oestrus behavior of dairy cows combining YOLO v5n and channel pruning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(23): 130-140. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.23.014 http://www.tcsae.org

2022-09-28

2022-11-07

国家自然科学基金项目（32272931）；陕西省技术创新引导计划（2022QFY11-02）

王政，研究方向为智能化检测与技术。Email：wang_zheng@nwafu.edu.cn

宋怀波，博士，教授，研究方向为图像处理。Email：songhuaibo@nwafu.edu.cn

农业工程学会高级会员：宋怀波（E041201025S）