APP下载

基于计算机视觉与物联网的驱鸟器改进设计

2023-01-10强,青,2*

林业机械与木工设备 2022年12期
关键词:驱鸟服务器端声波

于 强, 陈 青,2*

(1.南京林业大学机械电子工程学院,江苏 南京 210037;2.南京林业大学林业资源高效加工利用协同创新中心,江苏 南京 210037)

我国是水果生产大国,苹果、梨、柑橘等水果产量居全球前列。然而,随着生态环境的改善,鸟类数量增多,果园鸟害问题日益突出。2020年,四川广安市鸟害发生面积7.54 万hm2,损失经济作物436 t[1]。2021年,冀西北地区的鲜食葡萄鸟害受灾率达产量的15%[2]。被麻雀、喜鹊等鸟啄食后的水果表面会留下疤痕,非常不利于水果的品质化发展,鸟喙中的病菌也可能通过果实传染果树甚至整个果园[3]。因此,鸟害防治对于保持林果经济健康、高质量发展具有关键作用。

目前,人们根据鸟的视觉、听觉等生理特点研发出多款驱鸟产品。Brown[4]等设计了一种直径14 mm的激光器,并在农田防治害鸟入侵试验中效果良好。Glahn[5]等研发了一种波长632.8 nm的激光器,发现对驱赶鱼塘附近的鸬鹚、大雁效果显著。Wong[6]等设计了一款驱鸟无人机,扬声器中不断播放鸟类间的求救叫声,一架不断移动的无人机能保护0.25 hm2的葡萄园。激光驱鸟器使用效果容易受天气干扰,在果园中使用也容易被遮挡,因此果园中常用的驱鸟器为声波驱鸟器,相较于其他驱鸟方法具有不受地域、时间限制的特点。当前声波驱鸟器大多按固定程序循环工作,一段时间后容易被鸟类适应,在没有害鸟时也一直工作,能源利用率低。

本文将计算机视觉技术、物联网技术、声波技术结合,设计了一款声波驱鸟器,可以实现有鸟即驱,驱鸟更有针对性且节约能源,为果园鸟害防治提供参考。

1 声波驱鸟器工作原理

大部分鸟类对16~25 kHz频率间的声波极度敏感,利用这一特点人们制作出声波驱鸟器(如图1所示),从听觉刺激鸟类,使其感到恐惧远离,对鸟没有生命危害[7]。

图1 声波驱鸟器

声波驱鸟器由信号发生模块、功率放大模块、电源管理模块、输出模块等构成。信号发生模块为NE555芯片组成的多谐振荡器,振荡器输出频率为f的方波,f可由外部引脚连接的可变电阻改变。功率放大模块为LM386音频放大器,工作电压3.3~5.3 V,具有功耗低、谐波失真小等优点。NE555振荡器输出16~25 kHz的方波,经过LM386放大以后通过高频压电陶瓷喇叭发出高强度刺激性声波。

2 声波驱鸟器改进设计

鸟类具有极强的适应能力,研究表明,驱鸟器工作时间过长,会导致驱鸟效果变差。因此,驱鸟器使用时应尽量设置工作间歇,合理减少工作时间[8]。然而市场上的驱鸟器大多只能按照固定程序执行,如果设置成隔一段时间工作就会存在驱鸟真空期,就会出现有害鸟却没工作的情况[9]。针对这一问题,一系列主动监测式驱鸟器被发开出来。柯杨[10]等设计了一款基于红外感应的智能驱鸟器,红外感应器接收鸟类身体反射回的红外线,根据波长判断识别鸟类控制驱鸟器运行。杨敏[11]等设计了一款基于多普勒微波探测的智能驱鸟器,监测区域有移动物体时,探测器接收微波并根据微波特征识别鸟类。上述学者利用红外感应器、多普勒微波探测器检测鸟类的方法存在不足,误识别情况较严重,在果园复杂环境中实际使用效果差。

本设计利用计算机视觉技术取代红外以及微波探测器,直接对图像中的鸟类进行识别,具有鲁棒性好、识别准确等优点。目标识别技术计算量较大,因此摄像头监视的果园画面先输入到服务器端的目标检测算法模型中,经服务器运算识别害鸟后,通过物联网技术实现驱鸟器与服务器之间的通信和控制。建立物联网通信时,服务器端与客户端具有一对多的特点。因此,多个物联网驱鸟器可以同时与服务器间建立通信,当识别害鸟时可以同时工作,增加驱鸟器之间的协同工作能力。基于计算机视觉与物联网的驱鸟器具体工作示意图如图2所示。

图2 基于计算机视觉与物联网的驱鸟器工作示意图

2.1 计算机视觉模块

选用大华P40A2-WT摄像机作为驱鸟器的视频输入,使用乐橙APP对其配网,记录设备IP地址与端口号。服务器端的目标识别算法为YOLOv5神经网络框架,它将目标检测问题转变为数学回归问题。相较于SSD、RCNN、FasterRCNN等算法,YOLOv5具有明显的速度和精度优势。图3为YOLOv5的网络结构图,主要包括输入层(input)、骨干网络(backbone)、颈部网络(neck)和检测头(head)四部分,支持端到端的检测[12]。输入层包含数据增强、自适应锚框计算和图片自适应缩放三部分。骨干网络负责图像特征的提取;颈部网络使用FPN+PAN结构,接收自上而下的强语义信息和自下而上的强空间信息,负责图像特征的融合;检测层根据损失函数(loss)估算检测目标矩形框的识别损失值,对目标进行定位和识别。

图3 YOLOv5的网络结构图

将加州理工学院发布的CUB200-2011鸟类数据集、阿里云天池实验室的bird species classification_datasets鸟类数据集组合成新的鸟类数据集,对YOLOv5训练。该数据集中的部分图片如图4所示,数据集中包含多种不同种类的鸟类照片,且鸟类姿态、环境、光照均有差异。对数据集中的所有图片使用双边滤波、改变亮度等数据增强方法,增强模型的泛化能力。

图4 数据集中的部分图片

预处理后的图片导入labelImg中,对图片中所有鸟类做目标标记,最终保存为XML格式文件。将所有图片、XML文件放入YOLOv5相应文件夹下,按照9∶1划分训练集与验证集,训练批量大小(batchsize)为32,用最小的s网络共训练800训练周期(epoch)。

图5 labelImg标记目标

为强化YOLOv5目标识别算法对于远处小目标鸟类和复杂环境下鸟类的识别能力,对YOLOv5原算法进行改进。将YOLOv5颈部网络中特征融合金字塔结构进行修改,在17层C3模块得到的80×80尺度的特征图2倍上采样并与浅层160×160尺度的特征图融合,充分利用浅层特征图中的丰富位置信息[13]。同时,使用卷积块注意力模块(CBAM)替换网络原结构中第1、3层conv模块,使整个目标识别网络更关注于感兴趣特征,弱化不相干特征对模型识别鸟类目标能力的影响[14]。改进后的YOLOv5训练过程Loss如图6所示。

图6 YOLOv5训练过程Loss图

2.2 物联网模块

物联网模块选用ESP8266-01s模组,体积小、价格便宜。ESP8266-01s支持三种工作模式,分别为STA、AP、STA/AP,工作电压5 V,使用LM7812电源稳压模块为其供电。使用arduino软件烧录源程序,工作模式设置为STA。图7为搭载ESP8266-01s模组的继电器,当wifi模组收到控制信号时,变换其GPIO0引脚为低电平,继电器收到低电平信号后触发。继电器在驱鸟器电路的COM公共端、NO常开端与电源串联,控制电路通断。

图7 ESP8266-01s继电器

服务器端调用Socket库,并从路由器连接设备中找到继电器的IP地址,将其与服务器IP地址及端口号绑定,实现互相通信。Socket又称套接字,它的功能函数是从TCP、UDP两个传输层协议中抽象出来的,是实现网络通信的重要工具[15]。将绑定了通信的Socket代码嵌入到YOLOv5目标识别模型的detect.py文件中,即可实现对果园视频中的鸟类识别并控制继电器工作。

3 测试与结果

经过800个epoch训练后,YOLOv5的平均精度(AP)达到92%,权重文件大小15 MB。用训练集之外的鸟类图片对训练好的目标识别模型测试,识别测试结果如图8所示。

图8 识别测试

改进后的YOLOv5算法在面对树枝遮挡、重合的鸟类时,依然能准确识别,且单张图片的预测时间仅为0.016 ms,满足实时性要求,兼具识别速度与精度,能够满足果园实际使用需求。

经过软硬件的最终调试,最后实现了计算机视觉技术与物联网技术对驱鸟器的改进,如图9所示。服务器端的代码开始运行时,首先自动接入局域网内的所有可接入的物联网驱鸟器,之后开始进行鸟类识别和控制。

图9 物联网驱鸟器接入服务器

4 总结

本研究增加了声波驱鸟器主动识别果园害鸟的功能,实时性好且识别率高,只有当害鸟出现时才会工作,节约能源且不易被鸟类适应。采用ESP8266-01s物联网芯片实现局域网内与服务器即时通信,且支持多个驱鸟器同时接入,增加了驱鸟器间的协同工作能力,提高驱鸟器覆盖面积和驱鸟效率。该设计具有较好的实用性和应用前景,能够满足实际使用需求。

猜你喜欢

驱鸟服务器端声波
“绣球”来驱鸟
绣球驱鸟器
Linux环境下基于Socket的数据传输软件设计
基于声波检测的地下防盗终端
用于机场驱鸟的扑翼无人机
声波杀手
声波实验
驱鸟兵的故事(小品)
基于Qt的安全即时通讯软件服务器端设计
基于Qt的网络聊天软件服务器端设计