袁永宁， 宋利明， 高德伟， 王 杰， 王 正

(1.南京林业大学机械电子工程学院，江苏 南京 210037；2.江苏金迪木业股份有限公司，江苏 泗阳 2237000；3.南京林业大学材料科学与工程学院，江苏 南京 210037)

林业害虫的治理可促进森林健康及人与自然的和谐发展，也是当代林业发展的时代重任。培育和保护森林可取得木材和其他林产品、利用林木的自然特性可发挥生态防护作用，林业是国民经济的重要组成部分之一[1-4]。多年来，我国森林病虫害频繁发生，由于受自然环境或地域等因素的影响，在对森林虫害的治理和预防上依然存在诸多问题[5，6]，导致森林资源损失依旧严重，使我国成为受到有害昆虫危害最为严重的国家之一[7-9]。为确保我国林业可持续发展，对森林虫害的有效治理工作显得尤为重要[10，11]。要具体深入分析森林虫害发生的原因，需从害虫的自身行为出发，通过研究害虫的行为特征对森林虫害进行有效防治与灾害预测。如药物防治、生物防治、自灭防治等方法都是通过观察有害昆虫的行为，根据害虫的活动时间、发育周期、生态行为可有效治理虫害。防治森林病虫害是国家减灾工程中必不可少的一部分。只有准确地掌握昆虫行为和习性，才能采用正确方法和有效措施对森林虫害进行防治[12-14]。目前国内外机器视觉系统研究较为成熟，国外早在20世纪70年代就将机器视觉广泛应用于半导体行业，机器视觉也被广泛应用于质量检测方面，此类产品在生活与生产中均具有至关重要的用途[15]；我国机器视觉的应用始于20世纪90年代初期[16]，目前已在机器视觉领域发展为世界最活跃的国家之一，技术亦在不断成熟。在昆虫学方面，机器视觉主要用来自动识别昆虫[17]，基于机器视觉的害虫监测由害虫诱捕、图像获取、图像传输、图像处理、害虫识别与计数等部分组成[18-20]。机器视觉在害虫自动检测上具有高效、无接触、简便以及识别精度高等优点，可简便有效地满足昆虫学研究方面的需求[21，22]。为了有效治理森林虫害，将机器视觉技术与昆虫学和林学相结合，利用OpenCV和基于camshift、meanshift等跟踪算法，本文设计与制作了一套昆虫行为跟踪记录仪，实现了对花绒寄甲活体爬行昆虫的自动跟踪观察，可为我国开展林业森林病虫害的有效防治工作提供有益借鉴。

1 系统组成与总体设计

本跟踪记录系统采用高倍摄像头对准昆虫进行实时跟踪，时刻让昆虫的虫体显示在计算机视频中，无需通过手动调节，只需将昆虫置于球体载物台即可。在观察活体昆虫同时还实时记录并显示活体昆虫行为等一系列数据，如：实时坐标、实时偏移、实时速度等。系统还设有一键录制视频功能，可在无人操作情况下对活体昆虫进行持续运行观察，并可对近期观察结果进行对比研究。

图1为昆虫行为跟踪记录系统，主要包括：高倍摄像头、步进电机、球体载物台、控制箱和软件操作界面等。该系统主要实施步骤为：首先，当摄像头捕获目标并将视频传入计算机中，通过灰度化、二值化等预处理可获得图像的基本信息；然后，进一步提取目标轮廓，求出目标实时的中心点坐标和质心坐标，并根据坐标信息获得前一帧与后一帧的位移偏差，进而得到目标的速度、加速度和方向等；最后，通过PI控制将运动方向的偏差转化为频率，并发送至单片机中使其精确地控制步进电机转动，从而抵消昆虫爬行产生的位移偏差。

图1 昆虫行为跟踪记录系统

本系统整体构思方案是通过摄像头来捕捉活体昆虫画面并传输到计算机中，并通过单片机驱动X-Y方向的两路步进电机来控制球体滚动，让昆虫始终保持在球体的中心点。

2 系统硬件设计

为了使观察昆虫行为的效果变得更为明晰，本系统采用HVS430W高倍摄像头，最高放大倍数为20倍，其整个装置结构如图2所示。

图2 装置结构图

利用3D打印技术打印出装置的支撑与底座，图2中的蓝色圆环为球体载物台的周边支撑，上面三等分放置三个万向球以起到支撑球体载物台作用，同时也可尽量减少球体与支撑间的摩擦力，使球体转动时更为流畅，从而减少系统可能产生的误差。另外，对于摄像头模块中，光源可能对跟踪系统产生影响，本设计从物理学的角度为装置设计了一个遮光罩(图3)，阻止外界光源的干扰。

图3 遮光罩

3 系统软件设计

当摄像头将采集的视频流传入计算机后，程序将通过灰度化、帧差法等对每一帧图像预处理，将处理后的图像进行轮廓提取后，再进一步筛选，然后求出轮廓实时的中心点坐标，本次试验中还求出了实时的中心坐标从而使目标跟踪更加准确。通过以上方式初步实现对目标的跟踪与识别。系统软件执行的流程依次为：载入视频流→灰度化→帧差处理→二值化→腐蚀→膨胀→形态学处理→轮廓提取→轮廓筛选→实时获取中心坐标→实现跟踪。而单目标跟踪流程为：输入初始化目标框→候选框→提取候选框特征→候选框评分→预测目标。

该系统软件设计的两个最重要算法有Meanshift算法和 Camshift算法。Meanshift算法又被称为“均值漂移”，在聚类、图像平滑、图像切割和跟踪方面具有广泛的应用。

首先，meanshift目标模型的数学公式如式(1)：

q={qu}，u∈[1，……，m]

i∈[1，……，n]

(1)

式中：X0表示窗口中心点的向量值(可以是RGB向量或灰度值)，Xi表示窗口内第i点的向量值。C表示归一化常数，保证q1+q2+q3+…+qm=1，其中，H表示核函数的带宽向量。m表示特征值的数量，其可以被理解为对应于图像处理灰度等级划分的数量，使得特征值u表示对应的灰度级。b函数表示脉冲函数，确保只具有u特征值的像素有助于概率分步。

其次，Meanshift匹配对象的数学公式如式(2)所示。

i∈[1，……，nh]

(2)

式中：Y表示匹配对象的中心，Xi表示匹配窗口内第i点的向量值，Hh表示匹配窗口的核函数带宽向量。Ch表示匹配窗口特征向量的归一化常数。

匹配对象与目标模型具有相似性，相似的函数可采用Bhattacharyya函数，如式(3)：

(3)

匹配过程就是找到相似函数最大值的优化过程，Meanshift算法利用梯度下降法。首先将ρ(Y)在ρ(Y0)附近通过泰勒级数进行展开，取前两项，如式(4)：

(4)

定义：

(5)

从而：

(6)

因此：

(7)

为了让ρ(Y)向最大值迭代，Y的梯度方向和搜索方向需要一致，Y0的梯度方向可通过求导获得，如式(8)：

(8)

权值为：

(9)

上述为Meanshift算法的数学原理。Meanshift算法相对于粒子滤波器来说具有更好的实时性，其本质就是通过对应的模板来确定目标的下一个位置，再通过迭代找寻新的中心点。

Camshift算法是由Meanshift算法作为基础演变而来的一种新的算法。基本过程就是将视频上每一帧的图像结果作为下一帧Meanshift算法的Search Window的初始值，再进行迭代。Camshift流程为：初始目标→计算H通道分量的直方图→根据直方图计算反向投影图→MeanShif算法→迭代搜索→将上一帧结果作为下一帧初始窗口。

4 系统功能测试

本设计中主控制芯片采用的是STC15W4K 48S4，使用KEIL开发环境，上位机部分使用VS(Visual Stdio)开发环境，需配置OpenCV库。本系统功能测试主要针对各模块硬件是否契合，能否实现自动跟踪，步进电机能否在接收到反馈量后成功运转，上位机界面上能否正常显示视频，界面上能否实现基本功能，从而达到设计要求。

当按下参数调整按钮时，出现参数设置窗口。在此窗口可对阈值、图像轮廓的长宽以及X、Y轴的偏移进行设置。默认参数不用进行修改。当参数设置完成后，点击启动跟踪按钮，跟踪系统开启。

图4 运动前状态

图4为所需观察的活体昆虫-花绒寄甲运动前状态。本文将所需观察的活体昆虫-花绒寄甲放置于球体载物台，其平均爬行速度为0.005 m/s。图4(a)显示的是昆虫实时的运动状况，图4(b)显示的是昆虫实时的轮廓状况。昆虫运动后状态如图5所示。

图5 运动后状态

由调试结果得知，当爬行昆虫花绒寄甲运动后，其坐标、偏移和速度均发生明显变化。通过10 s测试过程，得其x轴方向和y轴方向的期望位置和实际位置。

图6 X轴方向期望位置与实际位置

图7 Y轴方向期望位置与实际位置

x轴方向的期望位置为320，y轴方向的期望位置为240。由图7可知，y轴方向的实际位置与期望位置偏差均不超过30个像素点。其偏差较小，可趋于期望位置，系统跟踪稳定。当花绒寄甲活体昆虫产生明显偏移后，本系统使其与下位机建立协议，将偏移量转化为调校反馈量发送至下位机。当下位机接收到反馈调校量后，驱动X-Y轴两路步进电机进行精确转动，从而抵消爬行昆虫的运动量，使其始终在视野中央运动。显然，本系统设计功能满足其使用要求。

5 结论与展望

我国森林面积广阔，各种病虫害和复杂的环境给防治工作带来了诸多困扰。本文通过基于机器视觉的森林有害昆虫行为自动跟踪记录系统的设计与测试研发，实现了对不具备飞行能力与跳跃能力的活体昆虫的行为跟踪观察和实时录制，且能实时显示昆虫的位置坐标、偏移距离以及速度等参数功能，可对森林有害昆虫进行有效的防治或对有益昆虫进行保护。

与此同时，随着系统的不断完善，以期可研究其他动物的行为，为研究自然，调节自然生态，保护动物和地球资源提供行之有效的解决途径和方法。