武宇平，刘海旭，吴劲芳，贾洪岩，刁嘉，朱董军

摘要：为了解决YOLOv3-Tiny对无人机采集的风机叶片图像损伤检测精度不高的问题，提出一种基于深度学习的风机叶片图像损伤检测方法。首先提出一种跨越式特征联合网络结构，由卷积层和拼接层构成，将不同深度的特征信息进行融合再学习，提取目标多层级特征信息;其次引入Inception模块结构，其中4个平行通道的多个卷积核对输入的特征图进行组合和压缩，在减少网络的学习参数的同时更好地表征图像特征信息，提高小目标的检测精度。实验表明，改进后算法的检测精度提高了2.69%，在自制的数据集中mAP可以达到88.58%，并且模型的参数缩小了4倍。因此，改进的方法比传统的YOLOv3-Tiny网络具有更好的检测效果。研究结果可为基于图像的损伤检测和风机叶片损伤智能识别提供参考。

关键词：计算机神经网络;缺陷检测;深度学习;风机叶片;YOLOv3-Tiny

中图分类号：TP391文献标识码：ADOI： 10.7535/hbgykj.2021yx05008

Application of improved YOLOv3-Tiny network

in fan blade damage detection

WU Yuping，LIU Haixu，WU Jinfang，JIA Hongyan，DIAO Jia，ZHU Dongjun

（Zhangjiakou Wind and Solar Power Energy Demonstration Station Company Limited.，State Grid Xin Yuan Company，Equipment Maintenance Center，Zhangjiakou，Hebei 075000，China）

Abstract：In order to solve the low precision of damage detection using YOLOv3-Tiny network for UAV collected fan blade images，a deep learning-based damage detection algorithm was proposed.Firstly，a leaping feature joint network structure was proposed，which was composed of a convolutional layer and a splicing layer.The feature information of different depths was fused and learned to extract the information of the target multi-level feature.Secondly，the inception module structure was introduced，and the input feature maps were compressed by multiple convolution kernels with 4 parallel channels，which reduced the learning parameters of the network and better characterized the image feature information.Then the detection accuracy of small targets was improved.Experiments show that the detection accuracy of the improved algorithm is increased by 2.69%，the mAP reaches 88.58% in the self-made dataset，and the parameters of the model are reduced by 4 times.The detect precision of this method is better than that of YOLOv3-Tiny network in the task of wind turbine blade damage detection.The results provide reference for image-based damage detection and intelligent identification work of fan blade damage.

Keywords：computer neural network;defect detection;deep learning;fan blade;YOLOv3-Tiny

隨着风能等清洁能源的发展，风力发电设备越来越普遍，但是由于风机设备所处的环境复杂、变化多样，以及风机自身的应力耦合作用，极易发生故障和损坏[1]。为了保障风机叶片的正常运行，提高经济效益，风机叶片缺陷检测的质量越来越受到重视。随着人工智能的发展，智能化检测更加快速、便捷。利用无人机采集风机叶片的影像信息，并对采集到的信息进行算法检测，可以快速有效地识别叶片的损伤部位，达到节省人力、物力、财力的效果。

要想精准地检测到风机叶片损伤部位，首先必须了解风机叶片的缺陷成因以及损伤种类。除了生产叶片过程中的质量损伤外，引发风机叶片缺陷的外部因素还有很多。例如，在安装风机叶片的过程中，由于其体积大、结构复杂，易受到外力挤压而损坏;另外，风机叶片所处的外部环境复杂且变化多样，受风沙、雨水、结冰[2]的侵蚀，以及外力的冲击，导致风机叶片出现裂缝缺陷、断裂和老化[3]等损坏形式。

顾桂梅等[4]利用果蝇优化算法结合SVM进行损伤识别，但是对环境的鲁棒性较差;张超等[5]提出一种改进的Mask R-CNN方法，在提高检测精度的同时也提高了检测速度，但是仍然存在检测速度较慢的问题;曹锦纲等[6]提出一种利用RPCA和视觉显著性方法，考虑超像素的空间关系，检测叶片表面缺陷，但是超像素对于微小缺陷的分割效果欠佳;刘艳霞等[7]提出一种利用迁移学习的方法进行裂缝识别，虽然提高了训练速度，但是需要大量的裂缝图片进行预先训练;顾桂梅等[8]采用深度信念网络提取风机叶片结构模态参数来识别叶片结构损伤，但是该方法不适用于户外复杂环境的检测;毛希玮等[9]提出一种利用无人机技术结合彩色阈值处理技术和形态学方法进行缺陷检测，但是该方法对环境的鲁棒性较差;贺斌等[10]、赵春溢等 [11]介绍了无人机在风机叶片检测中具有操作简单、维修方便、效率高等优点。

基于深度学习的方法在图像目标检测中越来越受欢迎，利用深度学习的目标检测技术一般分为2种：一种是Two-stage方法，先生成目标的候选框，再对候选框进行分类;另一种是One-stage方法，即直接检测到目标并进行识别分类[12]。

Two-stage的目标检测算法通常识别错误率低，漏识别率也较低，但是由于网络层数的加深以及Two-stage作用，导致测试图片的速度较低。R-CNN[13]，Fast R-CNN[14]，以及Faster R-CNN[15]均不能达到实时检测要求。One-stage的目标检测算法以YOLO系列和SSD为代表，One-stage的算法经过单次检测就可以直接产生物体的坐标位置和类别概率值，得到最终的结果，因此One-stage算法有着更快的检测速度。YOLO算法从YOLOv1到YOLOv4[16-19]，模型越来越小，在公开数据集coco上的mAP值也依次提升。SSD网络采取One-stage的思想[20]，网络中融入了Faster R-CNN中的anchors思想，并且对特征进行分层提取由此可以适应多种尺度目标的训练和检测任务。

传统的风机叶片检测方法对于实际场景中多变的复杂环境检测的鲁棒性较差，现有的深度学习算法通常对环境具有良好的鲁棒性，目标检测效果较好[21]，但是随着网络深度的加深其检测速度也会降低。本文针对原YOLOv3-Tiny检测精度不高的问题，提出一种新的骨干网络，旨在利用较少的参数达到更高的检测精度，在提升模型精度的同时提高检测速度。

1YOLOv3-Tiny网络检测原理

YOLOv3-Tiny是YOLOv3网络的简化版本[18]，相比于YOLOv3具有参数少、速度快的特点。YOLOv3-Tiny網络的输入图片的大小是固定的，一般为416×416，经过主干网络对输入图片进行深度特征提取，获得图像信息深层次的多尺度特征，在13×13和26×26的特征图上进行多尺度预测。YOLOv3-Tiny的网络结构比较简单同时速度也快，易于移植到嵌入式设备中，但其缺点是网络的识别精度也相应下降。

YOLOv3-Tiny利用卷积神经网络来进行端到端的检测，将整个图片分成S×S个区域并逐区域检测。每次检测时有4个坐标参数，分别是预测框中心坐标（x，y）、宽度w、高度h和一个置信度。图1中每个边界框用（x，y）表示选框中心相对于单元格的坐标，w和h分别表示边界框的宽度和高度，IoU表示算法预测框与真实框的交并比，用式（1）来表示。其中Bop表示预测框，Bgt表示真实框，IoU的值就相当于预测框区域与真实框区域重叠的部分除以2个部分集合得出的结果。

IoU=area（Bop∩Bgt）area（Bop∪Bgt）。（1）

算法得出一个目标的边界框通常有很多，需要经过过滤。假设YOLO有M个检测层，每个检测层有B个anchor box（图1中为3个），每个检测层都要对每个网格进行检测，最终一幅图片会得到S×S×M×B个检测框。但是通常希望最后看到一个目标只对应一个检测框，于是YOLOv3使用了非极大值抑制算法来抑制多余的检测框，用式（2）表示，使得每个检测目标只显示一个检测框。

Si=Si， IoU（M，bi）

0， IoU（M，bi）≥Nt。（2）

式中：Si表示候选框i的得分;M表示所有生成的候选框的最高得分;IoU（M，bi）表示候选框bi与M的交并比，当交并比大于等于超参数设定的重叠阈值Nt时，候选框i的得分便直接设定为0，就相当于直接删除。这样同一个目标得到多个多余的检测框就得到了抑制。

YOLOv3-Tiny的损失函数由3个部分组成，分别是坐标误差、置信度误差和分类误差。坐标误差如式（3）所示，Iobjij表示第i个网络的第j先验框是否负责这个目标物体，如果负责，Iobjij的值为1，否则为0。当负责这个目标时，这个先验框所产生的检测框与真实框进行比较，计算中心坐标误差和宽高误差。loss1=λcoord∑s2i=0∑Bj=0Iobjijxi-x-ji2+yi-y-ji2+

λcoord∑s2i=0∑Bj=0Iobjijwi-w-ji2+hi-h-ji2。（3）

置信度误差如式（4）所示，置信度参数C-ji表示网格的检测框有没有负责预测某个对象决定，若负责该对象，C-ji的值为1否则为0。不论先验框是否负责某个物体，都会计算置信度。loss2=-∑s2i=0∑Bj=0IobjijC-jilog（Cji）+（1-C-ji）log（1-C-ji）-

λnoobj∑s2i=0∑Bj=0Inoobjij[C-jilog（Cji）+（1-C-ji）log（1-C-ji）]。（4）

分类误差如式（5）所示，当Iobjij的值为1时，先验框所产生的检测框才会计算分类误差。loss3=-∑s2i=0Iobjij∑C∈classP-jilog（P-ji）+（1+P-ji）log（1-P-ji）。（5）

总的损失函数为

loss=loss1+loss2+loss3。（6）

2基于YOLOv3-Tiny的网络结构改进

为了提高风机叶片的检测精度，主要对网络结构进行改进，提出了一种跨越式特征联合网络结构，提取深层次的特征，为了扩大卷积核的感受野，增强较小目标的检测精度，引入Inception模块，实验结果表明改进后的算法精度更高并且模型参数更少。

2.1改进后的网络整体结构

如图2所示，提出一種全新的YOLO骨干网络结构。主要包括跨越式特征联合网络模块和Inception模块。跨越式特征联合网络模块可以提取输入图像的深层次特征，Inception模块中尺寸不同的卷积核可以增强图片的感受野大小，有利于对较小目标的探测和识别。

2.2跨越式特征联合网络结构

本文提出一种跨越式特征联合网络结构，该结构主要包括卷积层和拼接层。卷积层每层都由若干个卷积单元组成，卷积运算的目的是提取输入的不同特征，拼接层是将指定的不同卷积层进行维度相加，以获得不同卷积层更丰富的语义特征，有利于下一卷积层重复学习不同卷积层的深度特征。卷积层跨越式的拼接方式，分别取用5×5和3×3不同大小的卷积核，将不同深度的特征信息进行融合再学习，如图3中的拼接层1和拼接层2，分别是对前向卷积层的特征拼接，最后拼接层3对原始卷积层和

拼接层2再进行拼接。第一层中的base layer可以是网络中的任意层，该结构可以连接到网络中的任意层之后，是一种即插即用的结构。

跨越式特征联合网络结构通过对前向卷积层的多个拼接，使网络在前向传播的过程中多个层次的特征被多次联合使用，在反向传播的过程中多级特征被重复性学习，同时尽量减少每层网络的卷积核的数量，使网络尽量用更少的参数达到更高的精度。这样一方面可以加强特征图的学习效率，另一方面能够减少网络的参数，减少网络的计算量。

2.3Inception模块结构

Inception首次提出于GoogleNet中[22]，GoogleNet在2014年ImageNet竞赛上获得冠军。文献[23]在Inception中加入了BN层，精度得到了提高。文献[24]提出了Inception v3，n×n的卷积核被拆分成n×1和1×n两种卷积核，降低了网络的参数量。Inception的提出与改进大大提升了深度网络的识别性能。

本文用到的Inception模块结构由4个平行的通道共同输入到下一级的特征组，4个平行的通道分别包括1×1的卷积和其他尺度大小的卷积核相结合[21]。1×1的卷积核不能很好地学习到特征图中的临近像素的信息，但是1×1的卷积核可以将输入的特征图压缩成较少的特征图组合，再经过3×3或者5×5不同的感受野卷积对特征图信息进一步进行学习，获得更丰富的特征信息组合。

Inception结构的1×1卷积核的加入可以大大减少网络的学习参数，同时不同通道中具有丰富感受野的图像信息最终汇聚成一组，可以得到更好的图像表征信息。Inception模块结构如图4所示。

3实验结果与分析

3.1实验数据集与实验环境

针对山地中的风机叶片的裂纹、裂缝、断裂、老化等缺陷进行检测，本文使用的数据集全部通过实地采集获得，主要包括裂缝的风机叶片图片和有磨损、老化现象的风机叶片图片约450张。由于含有缺陷的真实数据较少，在输入检测网络之前首先对图片进行数据增广，主要包括加噪声、图像旋转、亮度变化等，得到最终的数据集为1 500张，其中1 000张作为训练集，200张作为验证集，300张用于测试。由于风机叶片不同类型的损伤在图像上差异较大，因此将损伤类型分成2种。一是以裂缝、裂纹为代表的较小目标的缺陷，二是以磨损、老化为代表的较大目标的缺陷。

使用开源标注工具LabelImg对缺陷部位进行标注，将数据集中的图像标注为.xml文件，标注结果会保存图像中每个目标的类别、大小和位置信息。

所有的实验均在配置为i7-9750H@2.60 GHz CPU，16 GB RAM，G5 5590的PC上实现训练和测试，以保证结果的公平性。

软件环境：操作系统为64位的Windows 10;深度学习框架：Darknet，CUDA 10.0，Cudnn 7.6;可视化软件：OpenCV。

本次实验迭代次数均设置为10 000次，学习率设置为0.001，输入图像大小设置为416×416，batch设置为64，subdivisions设置为8，每训练1 000次保存一次权重并筛选出最佳权重保存。

3.2模型结果比较

3.2.1模型精度

在NIVIDIA RTX2070的显卡上对数据集进行训练。本文训练所得到的模型采用mAP（mean average precision）进行目标检测精度的描述。mAP的计算是通过精确率P与召回率R计算得到的。如式（7）所示，精确率P是指检测结果中检测正确的样本数所占的比例，Tp表示检测正确的个数，Fp表示未被检测出的个数，Fn表示检测错误的个数。召回率R是指检测正确的样本数占待检测样本总数的比例。计算出所有类别的AP值，取得平均值即为mAP。mAP的值越大表示该算法的精度越高。

P=TpFp+Tp，（7）

R=TpFp+Fn。（8）

本文改进的YOLOv3-Tiny算法的mAP相比于原来的YOLOv3-Tiny提高了2.69%，如表1所示，改进的YOLOv3-Tiny中较小目标的裂纹、裂缝的精度提升明显，磨损、老化的检测也有提升。改进1表示YOLOv3-Tiny的骨干网络只引入跨越式特征联合网络结构，相比于改进的YOLOv3-Tiny（同时引入跨越式特征联合网络结构和Inception模块结构）精度低1.33%，相比于YOLOv3-Tiny精度高1.36%，此外改进的YOLOv3-Tiny比YOLOv4-Tiny的精度高0.26%。

3.2.2损失曲线

如图5所示，改进后的YOLOv3-Tiny的损失函数曲线与原YOLOv3-Tiny的损失函数曲线相似，都是收敛的，说明改进后的模型训练稳定。

3.2.3模型速度与模型参数

本文提出的跨越式特征联合网络结构能够重复学习不同级层的网络结构，因此需要较少的参数就能达到更高的精度。如表2所示，改进后的YOLOv3-Tiny模型大小只有7.34 MB，相比于原YOLOv3-Tiny参数量缩小了4倍，同时精度却高于原YOLOv3-Tiny。

在模型速度上，在NIVIDIA RTX2070的显卡上对数据集进行测试，由表2可知，平均检测一幅图像YOLOv3-Tiny用时最短为4.32 ms，改进1用时4.51 ms，YOLOv4-Tiny用时3.56 ms，而提出的改进的YOLOv3-Tiny用时5.01 ms，由于网络的宽度增加，虽然改进后的模型参数较少但是速度略有降低。平均一幅图像的检测时间与YOLOv3-Tiny相差仅0.69 ms，本模型在基本不影响检测速度的同时提高了检测精度。

3.3检测结果与分析

通过训练得到3种模型，YOLOv2-Tiny，YOLOv3-Tiny和改进的YOLOv3-Tiny，使用相同的测试集进行测试对比，结果如图6所示。由图6中a1）—c1）可知，对于风机叶片中较大的磨损、老化缺陷，3种模型均能达到较好的检测效果。由a2）—c2）可以看出，对于目标較小的磨损、老化，改进后的YOLOv3-Tiny检测效果最佳，其他则存在漏检测现象。由图6中a3）—c3）可以看出，风机叶片上的裂缝、裂纹，改进后的YOLOv3-Tiny检测效果好于其他2个模型。

由上可知，跨越式特征联合网络结构连同Inception模块结构作为YOLOv3-Tiny新的骨干网络起到了较好的作用，使整个模型用更少的参数就能得到更好的效果。

4结语

提出了一种改进的YOLOv3-Tiny风机叶片损伤检测算法，提出跨越式特征联合网络结构并引入Inception模块结构，扩大感受野并提升较小损伤的检测能力，实验结果表明改进后的算法精度更高并且模型参数更少，对于较小目标的缺陷检测效果更加出色。

本文提出的跨越式特征联合网络结构与YOLOv3-Tiny相比，其精度提升了1.36%，引入的Inception模块结构提升精度1.33%。算法相较于YOLOv3-Tiny，在不影响速度的情况下精度提高了2.69%，达到88.58%。利用深度学习的方法进行目标检测，比传统方法的鲁棒性更强，更能适应外部复杂环境的变化。该方法在风机叶片损伤检测中的应用可以及时快速发现叶片损伤问题，有效提升叶片检修效率。此外，本文提出的算法模型较小，也适用于对实时性要求较高和需要微型计算平台的应用场景。

本文算法模型未开展在NVIDIA Jetson TX2等微型嵌入式深度学习平台中应用的研究。未来可将本算法模型进一步优化，开展模型裁剪研究，将其应用于微型嵌入式深度学习平台，并集成在多旋翼无人机中，实现风机叶片的无人机在线智能识别作业。

参考文献/References：

[1]杨家欢，宗哲英，王祯，等.风机叶片检测的研究现状及进展[J].复合材料科学与工程，2020（6）：109-113.

YANG Jiahuan，ZONG Zheying，WANG Zhen，et al.Areview of research on detecting the wind turbine blades[J].Composites Science and Engineering，2020（6）：109-113.

[2]程杰，来永斌，王龙，等.典型风力机翼型结冰特性分析[J].河北科技大学学报，2019，40（1）：9-14.

CHENG Jie，LAI Yongbin，WANG Long，et al.Study on the icing characteristics of typical wind turbine[J].Journal of Hebei University of Science and Technology，2019，40（1）：9-14.

[3]刘双，胡斌，贺铸，等.风机叶片缺陷的无损检测方法比较与评价[J].无损检测，2015，37（3）：47-51.

LIU Shuang，HU Bin，HE Zhu，et al.Comparison and evaluation on the non-destructive testing methods for the wind turbine blades defects[J].Nondestructive Testing，2015，37（3）：47-51.

[4]顾桂梅，胡让，李远远.果蝇优化算法融合SVM的风机叶片损伤识别研究[J].自动化仪表，2016，37（2）：9-12.

GU Guimei，HU Rang，LI Yuanyuan.Study on identification of damage for wind turbine blade by fusing FOA and SVM[J].Process Automation Instrumentation，2016，37（2）：9-12.

[5]张超，文传博.基于改进Mask R-CNN的风机叶片缺陷检测[J].可再生能源，2020，38（9）：1181-1186.

ZHANG Chao，WEN Chuanbo.Fault detection of wind turbine blade based on improved Mask R-CNN[J].Renewable Energy Resources，2020，38（9）：1181-1186.

[6]曹锦纲，杨国田，杨锡运.基于RPCA和视觉显著性的风机叶片表面缺陷检测[J].图学学报，2019，40（4）：704-710.

CAO Jingang，YANG Guotian，YANG Xiyun.Surface defect detection of wind turbine blades based on RPCA and visual saliency[J].Journal of Graphics，2019，40（4）：704-710.

[7]刘艳霞，丁小燕，方建军.基于迁移学习的风力发电机叶片裂缝识别[J].传感器与微系统，2019，38（8）：107-110.

LIU Yanxia，DING Xiaoyan，FANG Jianjun.Wind turbine blade crack identification based on migration learning[J].Transducer and Microsystem Technologies，2019，38（8）：107-110.

[8]顾桂梅，张鑫.基于深度信念网络的风机叶片结构损伤识别研究[J].甘肃农业大学学报，2016，51（4）：134-138.

GU Guimei，ZHANG Xin.Structural damage identification of wind turbine blade based on deep belief networks[J].Journal of Gansu Agricultural University，2016，51（4）：134-138.

[9]毛希玮，徐莹莹.基于无人机的风机叶片缺陷自动检测技术[J].复合材料科学与工程，2020（9）：85-89.

MAO Xiwei，XU Yingying.Automatic defect detection of wind blade surface via UAV[J].Composites Science and Engineering，2020（9）：85-89.

[10]贺斌，贾建华，赵峰，等.无人机在风机叶片检测中的应用[J].电工技术，2019（13）：64-65.

HE Bin，JIA Jianhua，ZHAO Feng，et al.Application of UAV in detection of wind turbine blades[J].Electric Engineering，2019（13）：64-65.

[11]赵春溢，郭洪涛，郭涛，等.一种风机叶片图像采集及缺陷检测系统[J].红外技术，2020，42（12）：1203-1210.

ZHAO Chunyi，GUO Hongtao，GUO Tao，et al.Defect detection system based on UAV images for wind turbine blades[J].Infrared Technology，2020，42（12）：1203-1210.

[12]趙永强，饶元，董世鹏，等.深度学习目标检测方法综述[J].中国图象图形学报，2020，25（4）：629-654.

ZHAO Yongqiang，RAO Yuan，DONG Shipeng，et al.Survey on deep learning object detection[J].Journal of Image and Graphics，2020，25（4）：629-654.

[13]GIRSHICK R，DONAHUE J，DARRELL T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus：IEEE，2014：580-587.

[14]GIRSHICK R.Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision （ICCV）.Santiago：IEEE，2015：1440-1448.

[15]REN Shaoqing，HE Kaiming，GIRSHICK R，et al.Faster R-CNN：Towardsreal-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[16]REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：Unified，real-timeobject detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：779-788.

[17]REDMON J，FARHADI A.YOLO9000：Better，faster，stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Honolulu：IEEE，2017：6517-6525.

[18]REDMON J，FARHADI A.YOLOv3：An incremental improvement[EB/OL].[2018-04-08].http：//arxiv.org/pdf/1804.02767.pdf.

[19]BOCHKOVSKIY A，WANG C Y，LIAO H Y M.Yolov4：Optimal speed and accuracy of object detection[EB/OL].[2020-04-23].http：//arxiv.org/pdf/2004.10934.pdf.

[20]LIU Wei，ANGUELOV D，ERHAN D，et al.SSD：Single shot MultiBox detector[C]//Computer Vision-ECCV 2016.Cham：Springer International Publishing，2016：21-37.

[21]ZENG Yiliang，ZHANG Lihao，ZHAO Jiahong，et al.JRL-YOLO：A novel jump-join repetitious learning structure for real-time dangerous object detection[J].Computational Intelligence and Neuroscience，2021：5536152.

[22]SZEGEDY C，LIU Wei，JIA Yangqing，et al.Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Boston：IEEE，2015：1-9.

[23]IOFFE S，SZEGEDY C.Batchnormalization：Accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the 32nd International Conference on International Conference on Machine Learning.Lille：PMLR，2015：448-456.

[24]SZEGEDY C，VANHOUCKE V，IOFFE S，et al.Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：2818-2826.