APP下载

基于图像切片的移动端输电线路鸟类检测算法研究*

2021-10-09姜海波王永强孙凌卿张永泽王敏鉴李渊博

计算机与数字工程 2021年4期
关键词:原图残差切片

吴 鹏 姜海波 王永强 高 超 孙凌卿 张永泽 王敏鉴 李渊博

(江苏电力信息技术有限公司 南京 210000)

1 引言

输电线路作为电力系统输电模块的载体,是供电、用电之间的桥梁[1],其运转的高效、安全与否直接决定着电力系统是否能够稳定运行[2]。随着生态环境的不断改善以及人们对野生动物保护意识的增强,鸟类数量逐渐增加,鸟类活动也更加频繁,而且输电线路大部分架设在野外环境,因此由鸟类引发的输电线路跳闸事故也在不断增加[3~4]。据统计资料表明,由于鸟类活动引起的线路故障仅次于雷害和外力破坏,占线路故障总数的第三位,已经严重危害了输电线路的安全运行[5~6]。因此,输电线路鸟害问题亟待解决。

传统的驱鸟方式多采用安装防鸟刺、防鸟挡板,使用驱鸟剂等方法[7~8],这些方法不仅需要大量的人力物力,而且效果并不是很好。随着深度学习的兴起,研究人员将其思想应用于目标检测,由于深度学习提取的深度特征更加准确并且表达能力更强,因而取得了很好的检测效果[9]。因此,采用深度学习的方法对输电线路鸟类进行检测,根据检测结果启动驱鸟器,在节省人力成本的同时又能精准、高效地解决输电线路的鸟害问题。

但是输电线路鸟类检测是一个典型的实时小目标检测任务,为了减少图像传输到中央服务器过程中因网络问题带来的不可靠性和时延性,本文的鸟类检测任务在移动终端内实现。目前针对小目标检测问题,深度学习大多是通过结合不同层级特征的方式来实现[10~11],但是该方法会额外增加大量的计算资源,与任务的实时检测目的相违背,此外,目标检测任务包括检测框预测和检测框分类,其深度学习模型结构较大,需要大量的计算资源,很难在移动端进行应用[12~13]。然而对于输电线路驱鸟任务来说,任务的关键是检测输电线路是否存在鸟,并根据检测结果启动驱鸟器。因此,本文将输电线路鸟类检测任务转化为分类任务,减少模型计算量,从而可将其应用于移动端。基于此,本文提出了一种基于图像切片的移动端输电线路鸟类检测算法,该算法首先对采集到的输电线路图像进行切片,然后采用ResNet18识别每张切片是否有鸟,并根据检测结果启动驱鸟器。与直接采用原图进行ResNet18识别相比,切片会增加小目标即鸟类的语义信息,可以有效提高识别的精度。本算法可实现在检测到有一定数目鸟类活动时启动驱鸟器对输电线路上的鸟进行驱赶,节约能源的同时实时、高效地解决了输电线路的鸟害问题,具有良好的应用前景。

2 研究内容

2.1 基于图像切片的移动端鸟类检测模型介绍

本文提出的基于图像切片的移动端输电线路鸟类检测模型的总体流程如图1所示。

由图1可看出,本算法的具体步骤如下:

图1 鸟类检测模型总体流程图

1)建立比对模板库。比对模板库是特定场景特定时间不存在鸟的现场图片,因为用于监控鸟类的摄像头是安装在不同线路杆塔上的,因此每个摄像头都需要维护一套独立的模板库。此外,由于从早晨到晚上的光照变化,反映在图像上是图像色彩、亮度的变化,因此需要在不同的时间段设置不同的对比模板。同时,由于本算法的主要思想是对图片进行切片,然后针对切片进行鸟类识别,因此不仅原图需要对比模板,而且切片也应该设置对应的对比模板。综上所述,比对模板库包括两类模板:原图比对模版和切片比对模版,每类模板还应根据光照变化设置不同的模板图片。

2)图像采集。由安装在不同杆塔的固定位置的摄像头以固定时间间隔拍摄现场图像,每次采集的图像作为鸟类检测算法的输入信息,以判断该图像中是否存在鸟。

3)原图对比。图像采集完成后,为了加快鸟类检测中无鸟的识别效率,首先通过编码标识在比对模板库中查询到该时段的模板原图,将采集到的实时图像与模板原图进行对比,两张图像差值计算的方法是计算所有像素点的像素值差值的均值,经实验得出,差值阈值为0.1时效果最好,如果两者的差值大于阈值0.1,则进行步骤4),否则,认为该时间段输电线路上没有鸟,不启动驱鸟器。

4)原图切片。由于移动端计算资源较少,因此本文采用对切片进行图像分类代替对原图的目标检测,因此该步骤需要对图像进行切片,即把原图划分成更小的区域。当原图和模板的差值小于阈值时,则可认为原图中可能存在鸟,为了定位引起相似度变化的区域,将实时图像按n×n等分进行切片处理。经实验验证,将实时图像按6×6等分进行切片处理时,实验效果最好。输电线路实时图像切片处理的结果如图2所示。

图2 经切片处理的输电线路实时图像

5)选择分块。用滑动窗口的方式,以切片为单位,逐个选取每个切片进行步骤6)的处理。如果所有切片都已选择完成,则认为该图像没有鸟,不启动驱鸟器。

6)分块对比。以切片为单位,查询对应的模板原图切片,进行切片之间的差值计算,计算方式和步骤3)保持一致,如果两者的差值大于阈值0.1,则认为该切片变化明显,进行步骤7),反之进行步骤5)。

7)鸟类识别。若切片与模板的差值大于阈值,则该切片中包含鸟类的可能性很高,需要采用深度学习算法对该切片进一步识别。本文采用轻量级的训练好的深度学习分类模型ResNet18对该切片进行类别预测,如果分类结果为存在鸟类,则启动驱鸟器,如果分类结果为没鸟,则进行步骤5)。

2.2 轻量级分类模型ResNet18介绍

ResNet分类网络始提于2015年,是当前应用最为广泛的CNN特征提取网络,其主要思想是在网络中增加了直连通道,即Highway Network的思想[14]。此前的网络结构是对输入直接进行非线性变换,而Highway Network则允许保留之前网络层的一定比例的输出[15]。

ResNet又称为“残差网络”,其主要是在网络中使用了大量的残差模块作为网络的基本组成部分,残差模块如图3所示。

图3 ResNet的残差学习模块

由图3可以看到,残差网络与传统的网络相比,最大的变化是加入了一个恒等映射层y=x层,其最主要的作用是使得网络随着深度的增加不会产生权重衰减和梯度衰减或者消失这些问题。上图中,F(x)表示的是残差,F(x)+x是最终的映射输出,设深度网络中某隐含层为H(x)-x→F(x),如果假设多个非线性组合可以近似于一个复杂函数,那么也同样可以假设隐含层的残差近似于某个复杂函数。因此可以得到网络的最终输出为H(x)=F(x)+x,而由于网络框架中有两个卷积层和两个ReLU函数,因此最终的输出结果可以表示为

其中H1(x)是第一层的输出,H2(x)是第二层的输出。

ResNet网络一经提出,就因其巧妙的网络结构设计以及极高的识别精度吸引了众多学者的注意,因此很多实验都开始采用ResNet作为backbone network,例如Faster rcnn[16]、Mask rcnn[17]等,其已成为在高性能服务器上进行特征提取的标杆网络。但是,由于ResNet的网络层数很深,计算量很大,因此无法在移动端直接使用。不过ResNet论文也提出了一种轻量级的模型ResNet18,其有自己独特的残差结构,可以在损失一定精度的情况下运行在移动端,因此本文使用训练好的深度学习分类模型ResNet18对输电线路图像的切片进行类别预测,其具体的残差学习模块如图4所示。

图4 ResNet18的残差学习模块

ResNet18的结构组成如表1所示。

表1 ResNet18结构组成

3 实验与分析

3.1 数据集及实验环境

本文采用的数据集由安装在江苏地区输电线路杆塔上固定位置的摄像头进行采集,共8000张来自8个不同位置的摄像头采集的图像,图像分辨率为1920×1080像素。在实际场景中雨天、雾天、雪天等特殊天气、太阳日照情况及四季变化等自然因素会对模型训练和检测效果产生一定影响,因此在制作数据集时,需要考虑上述自然条件的变化,因此按照不同时间段、不同季节、不同天气情况以及不同地点合理地制作数据集,同时为了训练模型具有较好的鲁棒性,在数据集中加入一些来自网络的鸟类图像。

实验所使用的硬件环境如表2所示,此外软件环境为Ubuntu16.04、Python、TensorFlow、TFrecords等。

表2 实验硬件环境配置

3.2 模型训练

在进行模型训练前,需要对数据集进行预处理,在模型中进行识别图像为切片后图像,因此将每张1920×1080像素的图像用6×6的网格划分为36张像素为320×180像素的图像,共得到288000张图像,再从中随机等比例的选出正负样本图片8000张,按7∶1的比例划分为训练集和测试集,即7000张训练集,1000张测试集,同时对图片进行标注。

在模型训练中,超参数的设置对模型效果有着很大的影响,在经过多次调整后,设置批次大小为64,初始学习率为0.001,为了防止网络陷入局部最小,学习率随着训练逐步减少,学习率最终值是0.0001,迭代次数为10000次,训练过程中loss值的变化如图5所示。

图5 loss值变化曲线图

由图5可知,模型迭代到4000次时开始收敛,在6000次左右loss值稳定在0.3左右,不再有明显的变化,所以本实验选取迭代次数为6000次的模型进行测试。

3.3 模型测试及效果

为了进一步验证模型的性能,本实验中用精确率(Precision)和召回率(Recall)作为模型评价指标。从测试集中随机抽取500张图片进行10次测试,并计算精确率和召回率,结果如表3所示。

表3 测试实验结果

从测试结果可知,该模型具有较好的稳定性、实时性及准确性,精确率在97%左右小幅波动,综上所述该模型达到了应用于输电线路鸟类检测任务的准确性要求。

最后,对输电线路鸟类检测模型进行测试,该模型部署在驱鸟器嵌入式主板上,硬件参数为CPU:联发科MT6750CT 8核心ARM A53 1.5Hz,内存:4GB LPDDR3 667MHz,存储:16GB eMMC5.1,操作系统:Android 7.0。在实验中,采用来自8个不同位置的摄像头在实际场景中采集的视频数据进行测试,图像抽取间隔为2min,经测试模型平均精度达到85%,一张分辨率为1920×1080像素的图片的平均检测时间为9.7s,其中精度降低主要是由于数据集的内容及图像差值计算算法的影响。由实验可知,本文提出的输电线路鸟类检测模型,可以满足输电线路鸟类检测任务所需的准确性和实时性要求。

4 结语

针对输电线路的鸟害问题,本文提出了一种基于图像切片的移动端鸟类检测算法。为了实现移动端的鸟类识别,首先采用对比算法筛选出可能包含鸟的图像,然后对这些图像进行切片,对切片先采用对比算法筛选可能有鸟的切片,然后再对这些切片采用ResNet18进行识别,降低了检测时间,提高了检测精度,从实验结果可知,ResNet18分类模型在输电线路鸟类检测任务中有着较好的准确性和稳定性。同时,本文提出的输电线路鸟类检测模型可运行在移动端嵌入式主板中,实现了鸟的实时检测,避免了数据传输带来的时延影响,具有较好的准确性和实时性,满足输电线路鸟类检测任务所需的基本要求。

猜你喜欢

原图残差切片
多级计分测验中基于残差统计量的被试拟合研究*
基于残差-注意力和LSTM的心律失常心拍分类方法研究
用于处理不努力作答的标准化残差系列方法和混合多层模型法的比较*
融合上下文的残差门卷积实体抽取
新局势下5G网络切片技术的强化思考
5G网络切片技术增强研究
网络切片标准分析与发展现状
完形:打乱的拼图
浅析5G网络切片安全
找一找