孟海涛，王 闯，王 越

（盐城工学院信息工程学院，江苏盐城 224051）

0 引言

随着人工智能专业的开设，相应实验与开发平台也越来越多［1-2］。但人工智能演示实验是人工智能专业学生接触的第1 个专业实验，要尽可能向学生直观展示人工智能在行业中应用，将学生引导入门。结合我国林业养护工人虫害知识相对缺乏，害虫的诊断方法主要是依靠人工识别、主观因素大、实时性差，因此利用先进的百度AI人工智能技术自制了集专业性、实用性与趣味性的树木虫害识别的人工智能实验演示系统。实验演示系统涉及人工智能、自动化控制、机械制造等多学科，集图像采集、智能识别、精确定位一体，能够正确直观地显示出树木虫害信息。

1 机械装置及控制系统

实验系统由机械装置、控制系统、树木虫害识别系统组成，如图1 所示。其中机械装置部分主要由C 形环、履带式底盘和垂直升降机构组成。垂直升降机构由步进电动机、滑块、丝杠和丝杠螺母组成。机械控制系统由工控机、垂直步进电动机驱动器、C环驱动电动机伺服驱动器、履带直流电动机伺服驱动器组成。机械控制系统在控制垂直升降机构由下向上运动的同时，还控制C 形环旋转，使得C 形环上的高速摄像机对树干做螺旋上升匀速运动。控制系统采用伺服闭环控制系统，通过对伺服电动机的速度反馈控制［3-5］，实现对旋转图像采集动态及稳态的控制要求，实现实时采集树干表面图像信息，精准确定虫害位置。

图1 实验系统示意图

2 树木虫害识别系统

为了避免苦涩难懂的人工智能算法，识别系统核心使用了百度AI 的EasyDL 定制化训练和服务平台［6-8］，通过上传树木虫害图谱训练模型获取树木虫害，人工标注学习获取虫害识别模型，系统通过云端Rest API调用模型实现虫害图像智能识别。系统作业的主要流程：首先通过360°旋转图像采集获取树干表面原始图像，经过WiFi送至主机进行图像拼接和虫斑虫洞分割；其次将分割后虫斑虫洞图像送至树木虫害图像识别系统识别；保存识别后的虫害信息、位置信息，并在工控机屏幕显示，实现树木虫害监测、防治。树木虫害识别系统方案如图2 所示。

图2 树木虫害识别系统工作方案

2.1 图像采集及拼接

（1）图像采集。360°旋转图像采集原理示意图如图3 所示，图像采集使用带WiFi的高速高清运动摄像头，30 帧/s 图像，即旋转12°拍照一次。图4 为旋转60°所采集的5 张树木表面图像。由于镜头视角是135°，因此相邻图像有重叠现象。

图3 360°旋转图像采集原理

图4 旋转60°所采集的5张树木表面图像

（2）图像拼接。图像配准的精确度是图像拼接质量好坏的关键要点。拼接算法的设计思想是在配准精度高的前提下确保计算量不宜过大。基于特征点匹配的图像拼接算法主要由特征点检测、特征点匹配、空间变换3 个模块构成［9］，如图5 所示。利用特征点匹配方法找到图像间的重叠之处，角点是特征点的提取重点，作品采用成熟的Harris 角点检测算法提取角点［10-11］。然后在重叠区域内提取特征点取代全副图像查找特征点，最终实现图像拼接，图像拼接原理示意图如图6 所示。

图5 基于特征点匹配的图像拼接算法框图

图6 图像拼接原理示意图

2.2 树木虫害识别

（1）百度EasyDL定制化图像识别平台。EasyDL基于Paddle Paddle飞桨深度学习框架构建而成，内置丰富百度用户百亿级大数据训练的成熟预训练模型，底层结合百度自研的AutoDL/AutoML技术，基于少量数据就能获得出色效果和性能的模型［5］。用户上传自己的图片进行训练，训练完成的模型存储在云端，可通过独立云端Rest API 调用模型，实现图像识别。目前，Easy DL 平台企业总注册用户数超过70 万名，应用企业覆盖20 多个行业［6-8］。

（2）定制EasyDL 训练机器学习模型。定制EasyDL训练机器学习模型的流程，如图7 所示，其详细步骤如下：

图7 EasyDL训练机器学习模型

Step 0选择模型。在EasyDL 图像识别页面选择【图像分类】模型训练。

Step 1创建模型。在导航【创建模型】中，填写模型名称虫害识别系统、联系方式、功能描述等信息，即可创建模型。模型创建成功后，可以在【我的模型】中看到刚刚创建的虫害识别系统模型。

Step 2上传并标注数据。在训练之前需要在数据中心【创建数据集】，图像分类【数据集准备与提交】，如图8 所示。

①设计分类：首先设计分类，每个分类为希望系统识别出的一种结果，选择悬铃木常见树干虫害“天牛”“方翅网蝽”“黄刺蛾”［12-15］等分别作为一个分类。

②准备数据：基于设计好的分类准备图片，一共3种分类，每个分类需要准备30 张，共90 张，如图8所示。

图8 悬铃木天牛幼虫蛀害图片分类

③上传数据：将所有准备好的图片按分类顺序放在不同的文件夹里，同时将所有文件夹压缩为zip 格式，在【创建数据集】页面直接上传即可。

④上传和标注图片：（a）先在【创建数据集】页面创建数据集；（b）再进入【数据标注/上传】；（c）选择数据集；（d）上传已准备好的图片；（e）在标注区域内进行标注。

以“检测图片中的虫害”为例，首先在标注框上方找到工具栏，点击标注按钮在图片中拖动画框，圈出要识别的目标如图9 所示。然后在右侧的标签栏中，增加新标签，或选择已有标签。

图9 数据标注

Step 3训练模型。将待训练数据上传后，可以在导航中找到【训练模型】，启动模型训练。①选择此次训练的模型；②勾选应用类型，可选择在线云服务和离线识别SDK；③选择算法，以图像分类为例，可以选择通用算法或AutoDL Transfer，可以选择训练方式，并进一步调节参数；④添加训练数据，先选择数据集，再按分类选择数据集里的图片。可从多个数据集选择图片（相同分类的训练图片会被合并）。

Step 4校验模型效果。可通过模型评估报告或模型校验了解模型效果，如果对模型效果不满意，可以通过扩充数据、调整标注等方法进行模型迭代。

Step 5发布模型。在线API，训练完毕后就可以在左侧导航栏中找到【发布模型】，如图10 所示，发布模型表单页面需要自定义接口地址后缀、服务名称，即可申请发布。

图10 发布模型

在正式使用之前，还需要做的一项工作为接口赋权，需要登录Easy DL控制台中创建一个应用，获得由一串数字组成的appid，然后就可以参考接口文档正式使用了，同时支持在EasyDL 控制台-云服务权限管理中为第三方用户配置权限。

3 虫害识别测试

通过采集200 张悬铃木、杨树和香樟树树干原始表面图像，其中虫害图片50 张，如图11、表1 所示。设置不同置信度，计算查全率r和查准率p：

表1 测试数据汇总 棵

图11 部分测试图片

式中：FN表示在判定虫害图像中误判张数；TP表示在判定虫害图像中正确张数；FP表示在判定非虫害图像中误判张数；TN表示在判定非虫害图像中正确张数。

（1）将系统识别置信度设置为50%，输入系统后测试结果，系统检测出虫害图片78 张，其中50 张有蛀干害虫图片全部检出，误判28 张，如表2 所示。判定虫害图像78 张，其中FN=28 张误判，TP=50 张正判；判定非虫害图像122 张，其中FP=0 张误判，TN=122 张正判。

表2 置信度为50%测试结果 棵

（2）将系统识别置信度设置为75%，输入系统后测试结果，系统检测出虫害图片58 张，其中误判11张，如表3 所示。判定虫害图像58 张，其中FN=11张误判，TP=47 张正判；判定非虫害图像142 张，其中FP=3 张误判，TN=139 张正判。

表3 置信度为75%测试结果 棵

（3）将系统识别置信度设置为85%，输入系统后测试结果，系统检测出虫害图片39 张，其中50 张有蛀干害虫图片检出39 张，误判0 张，如表4 所示。判定虫害图像39 张，其中FN=0 张误判，TP=39 张正判；判定非虫害图像161 张，其中FP=11 张误判，TN=150 张正判。

表4 置信度为85%测试结果 棵

由上检测结果分析可以得出不同识别置信度的设置直接影响系统的虫害识别率，如表5 所示。综合考虑，设置置信度为75%，可得到系统的查全率为94%和查准率为81%。

表5 检测结果分析表 %

4 树木虫害识别实验演示系统样机

树木虫害识别实验演示样机如图12 所示，样机可以实现获取树木位置、树木胸径、树干虫害等信息。

图12 实验演示系统样机

（1）树木地理位置信息采集。树木地理位置信息是利用北斗模块采集树木坐落的经纬度来实现。树木地理位置可用可视化树木地图显示，并且结合树木虫害信息、生长情况，实现数据关联挖掘，可进行树木虫害预测、树种选择等。

（2）树干直径测算及表面图像采集拼接。根据每周采集30 帧图像，利用特征点，实现360°的树干表面图像拼接。根据树干图像可测算树木直径。

（3）虫害图像识别。利用在百度EasyDL 平台训练得到的识别模型appid，系统通过API可实现云端调用模型，实现虫害图像精准识别、定位虫害位置，同时显示该树木的名称、经纬度位置、树木胸径、树龄预测等信息。界面如图13 所示。

图13 树木虫害识别界面

5 结语

本文开发基于百度EasyDL 平台的树木虫害智能识别系统实验装置，通过校内树木虫害现场测试验证了本实验装置的有效性。在新生专业介绍中，利用本实验装置向2020 级人工智能专业学生展示了多学科交叉的人工智能应用场景，激发了学生强烈的学习兴趣，对学生深入学习人工智能专业开启了良好的开端。