李亚东，曹明兰，金红玉，姚树军，李亚昆，贾树华

（1.北京工业职业技术学院 北京市城市空间信息工程重点实验室，北京 100042；2.国家林业和草原局森林资源管理司，北京 100013；3.内蒙古乌兰坝国家级自然保护区管理局，内蒙古 赤峰 025450；4.内蒙古大杨树林业局，内蒙古 呼伦贝尔 165456）

造林工程是林业资源可持续利用的重要保障，我国更新造林潜力巨大，可用来植树造林的面积比欧洲大26倍，比美国大11倍，比前苏联大3倍[1]。造林成活率是指造林后3个月单位面积成活株数与造林总株数之比[2]，是衡量造林工程质量的首要指标，更是造林工程及时补植与重新造林的重要依据。为更好地落实和监督造林工程质量，国有林区和省级林业厅通常对造林成活率实行多级检查验收制度。以内蒙古大兴安岭国有林区为例，造林质量检查实行林场普查、林业局复查、林业管理局抽查的三级检查验收制度。目前采用的造林成活率人工检查方法存在以下几点问题：1）劳动成本高。造林地块分布偏远分散、交通条件差，而且造林窗口期短、造林成活率检查的季节性强，需要很多人同时参与，劳动成本较高；2）效率低，受主观因素和偶然因素影响较大。由于造林面积大，往往采用抽样检查方法，检查人员需对样地进行逐行逐株计数统计，效率低。无论是抽样检查还是全面检查，在不同检查人员之间存在主观差异；3）没有可复查的过程资料。人工检查的统计成果为结论性数值记录，没有可复查核实的过程资料。近年来，微小型民用多旋翼无人机以其价格低、操作简单、快速获取林地影像和视频信息等优势，已广泛应用于林业场地踏勘、火灾与病虫害巡视等业务[3-4]。李玉荣等[5]概述了人工智能理论与算法在苗木质量的形态、生理和活力指标3个方面的无损检测应用现状；针对传统检测指标单一、效率低和主观误差大的问题,指出综合应用图像采集、数字图像处理和机器学习技术的人工智能算法与理论在苗木质量评价指标检测领域具有明显优势,并从检测技术融合、提升检测算法和多源数据融合等方面进行展望,旨在为苗木质量快速精准评价提供参考。王成翰[6]构建了以Res Net101-FPN为特征提取层的Mask RCNN云杉实例分割模型，为苗木的数量统计问题提供了一种基于深度学习图像分割的解决方案。朱学岩等[7]出了一种基于引入贝叶斯损失函数，以人工标注的点标签数据作为监督信号的，对粘连苗木具有良好稳定性的，以CSRNet模型为基础的云杉计数方法。实现了无人机航拍图像内苗木数量的自动、准确、快速统计。陈锋军等[8]以无人机航拍云杉图像和拼接后完整地块云杉图像为数据源，基于改进的YOLOv3模型，在云杉计数试验中，在精确率P、召回率R、平均精度AP、平均计数准确率MCA和平均检测时间ADT这5个评价指标上达到96.81%、93.53%、94.26%、98.49%和0.351s的效果。但以上研究都以静态图片为数据源进行了苗木目标检测，随着人工智能技术的日益成熟，极大提升了在复杂场景下对象检测的精度和自动化水平，尤其是YOLOV5s等高精度，高帧率，小体积的深度学习模型的出现，以及多目标跟踪技术的发展，使得基于无人机造林地实时视频进行造林成活率统计成为了可能。

本研究利用无人机获取的视频信息，探索一种基于深度学习的无人机造林成活率自动检测方法，实现自动、高效、实时地统计造林成活率，以解决传统人工检查中存在的不足。

1 原理与方法

YOLO（You Only Look Once）模型是UltralyticsLLC公司的开源产品，是一种基于深度学习的目标检测方法[9]。它利用CNN将输入图像分割成S×S大小的正方形格网（Grid cells），然后用每个格子去检测落入其中的目标，一次性预测格子所包含的各类别目标的边界框、置信度及所有类别的概率[10]。YOLOv5版本在速度、精度和模型大小方面均有大幅优化，使其更适合应用于嵌入式设备的实时对象检测任务[11]。YOLOv5目标检测算法的基本原理是将输入图像分成7×7的网格，每个网格负责预测以该网格单元为中心的目标边界框及其置信度值，生成预测框后按非极大值抑制（Non-maximum suppression，NMS）算法筛选得到检测结果[12]。DeepSort算法是在Sort基础上引入重识别模型，通过外观信息与运动信息增强匈牙利算法的匹配效果，减少ID切换的数量[13]。通过卡尔曼滤波器和匈牙利算法，分别处理跟踪问题的运动预测和数据关联部分。检测到物体后，通过卡尔曼滤波器预测物体的轨迹，再使用匈牙利算法将预测帧的轨迹数据与当前帧的轨迹组合匹配，最后更新卡尔曼滤波器[14]。

本研究采用无人机搭载的摄像机获取造林地苗木视频，采用YOLOv5作为目标识别器识别苗木，DeepSORT算法将YOLO算法得到的目标检测框与之前预测得到的目标跟踪框的交互比作为组合传入匈牙利算法，对每一株苗木进行全局整体位置最优优化，通过线性分配关联不同帧之间的ID，将不同ID苗木的外观和相对位置信息加入帧间匹配的计算中，减少了目标苗木ID的频繁跳动，完成持续跟踪目的，最终实现了全局多苗木跟踪计数（图1）。

2 结果与分析

2.1 试验区概况

内蒙古大兴安岭林区是中国五大重点国有林区之一，是全球寒温带天然针叶林生态系统的重要组成部分，在我国生态文明建设中具有重要的战略地位。1998—2018年实施“天保工程”以来，20年间累计完成人工造林约17.78万hm2，补植补造约11.83万hm2。内蒙古大杨树林业局曾被评为全国造林绿化先进单位，是内蒙古大兴安岭南部林区的造林工程实施单位的典型代表。试验区位于内蒙古大兴安岭大杨树林业局乌鲁布铁林场（123°25′～124°30′E，49°50′～50°20′N），地处大兴安岭东坡南部，主营森林管护造林基地抚育补植。

2.2 仪器设备及参数

试验数据采集设备采用大疆Mavic2四旋翼无人机，其镜头视场角77°、全高清（Full high definition，FHD）模式下视频最大分辨率1 920×1 080像素、帧率120 p。软件方面，针对大疆DB-M24G图传模块，在华为平板电脑安卓11.0系统平台上，基于YOLOv5和DeepSort开源算法对图传视频进行了造林苗木视频动态检测与计数功能的二次开发。

2.3 样本采集与模型训练

乌鲁布铁林场2022年春季造林树种为云杉、整地方式为全面整地，使用同一架四旋翼无人机从5.0、6.4、8.0 m的不同飞行高度和10:00、12:00、14:00不同光照条件下，共获取了8 873张照片。标注样本时按照航线ID和照片ID间隔抽取得到2 195张照片，并按3∶1∶1比例划分为训练集、验证集和测试集。利用Labelimg工具[15]对训练集和验证集的照片进行样本标注，损失函数采用了回归效果更好的CIOU_Loss[16]。其计算公式如式（1）所示：

式中：IOU是交并比（Intersection-over-Union），Distance_2是预测框与真实框中心点的欧式距离，Distance_C是预测框与真实框并集的最小外接矩形对角线距离。

在开源Python机器学习库训练时，为识别速度模型选用了YOLO v5s[17-18]，训练过程损失值变化及平均精度指标（mAP）如图2所示，其中x轴为训练次数，y轴为损失值；模型识别精度为98.7%，召回率为94.1%，mAP@0.5为92.6%，mAP@0.5∶0.95为89.3%。

图2 模型训练结果Fig.2 Model training results

利用训练好的YOLOv5s和DeepSort开源代码，在无人机安卓平板电脑地面站上进行二次开发，通过整合无人机4G图传设备，将无人机拍摄的视频实时回传到地面站平板，利用YOLOv5s+ DeepSort实现了实时苗木检测与动态多目标追踪。

2.4 试验与结果

内蒙古大兴安岭林区更新造林单个小班面积不超过20 hm2，整地方式以全面整地为主，云杉针叶容器苗的造林密度为2 700～3 000株/hm2，栽植株行距为2 m×2 m。试验飞行高度设置为6.4 m，单航线覆盖宽度为16 m，旁向重叠3 m，单次有效检测苗木7行飞行速度8～12 m/s，数据采集示意如图3所示。

图3 数据采集示意Fig.3 Schematic diagram of data acquisition

本次试验采用大疆Mavic2四旋翼无人机，相机镜头视场角a为75°，树种为云杉、整地方式为全面整地，苗木株行距W1为2 m，单幅照片地面有效拍摄宽度W2为10 m，采集4、6、8 m三种高度和10:00、12:00和14:00这3个时段，含苗木数量多于3 500株，采集照片共900张作为数据集。将上述数据集按3∶1∶1划分为训练集、验证集和测试集，利用Labelimg样本标注工具对训练集和测试集进行成活苗和死亡苗两类正样本标注。对全面整地的云杉这种造林树种和整地方式的搭配组合，进行深度学习的目标检测（Object detection）模型训练。模型选用了YOLOv5s，训练时将标注好的训练集和验证集作为输入进行YOLOv5s模型训练。利用测试集进行评价合格后，将其权重文件作为苗木对象检测模型使用。

外业数据采集时，由无人机操作员通过遥控器控制多旋翼无人机，对造林地苗木进行视频拍摄，并将视频实时回传到图传接收器平板。操作人员按照预先设定的航线控制无人机飞行，同时根据现场软件识别效果，可对飞行高度和飞行速度做微调。通过无线图传设备获取的视图如图4所示，黄色和红色标识线是OSD（On screen display）技术[19]在图传显示屏中叠加的识别区范围标识线，其中实线框表示苗木有效识别区域，虚线框是用于对准的辅助框，有效识别区域之外的苗木不被统计识别。

图4 图传屏幕中苗木识别区示意Fig.4 Schematic diagram of seedlings identification zone in the image transmission screen

根据待检查小班的边界形状，利用大疆无人机地面站进行航线规划。由于苗木栽植株行距为2 m，摄像机视场角为75°，因此每条航线设计为有效扫描5行苗木，视频单幅画面中有效地面宽度为10 m。考虑到安卓平台的性能，本试验将苗木实时检测帧率设置成了较低水平的FPS=15。根据苗木株行距和FPS，可确定无人机视频采集的水平前进速度为30 m/s、视频拍摄高度为6.4 m、轨迹旁向重叠宽度为3 m，如图5所示。

图5 无人机作业航线规划示意Fig.5 Schematic of unmanned aerial vehicles operation route planning

本试验将YOLOv5s和DeepSort开源代码在无人机地面站安卓平板电脑上进行了二次开发，通过整合无人机4G图传，将无人机所拍摄的视频实时回传到无人机地面站安卓平板电脑。利用YOLOv5s对象检测模型结合DeepSort目标追踪算法，实现了实时苗木检测与动态多目标追踪。实际作业时，工作人员只需根据整地方式与造林树种，选择预先训练好的YOLOv5s模型，根据相机镜头参数和造林株行距，合理规划飞行线路和设置飞行速度，成活率统计任务由部署在无人机地面站安卓平板电脑上的应用程序自动完成。

实际作业时无人机按规划好的飞行路线进行视频采集，程序实时利用YOLOv5s+DeepSort对苗木动态追踪，实时识别出视频中的每一株苗木对象，进行唯一ID标识，分类出成活苗木与死亡苗木的类别，并自动汇总成活苗木株，再按式（2）计算出造林小班成活率c：

式中：n为小班成活苗木株数，N为小班总设计造林苗木株数，最终将成活率结果报告和标识有苗木动态追踪信息的视频一起保存输出。

程序内部根据苗木识别情况，给出飞行速度调整建议的提示。操作员可根据程序识别情况，微调并选择合适的前进速度，使得程序实时识别效果达到最佳。苗木检测与动态多目标追踪前后对比效果如图6所示，图6a、b分别为追踪前的原始视频画面和多目标追踪后的苗木检测结果画面。

图6 多目标追踪前后效果对比Fig.6 Comparison diagram of effects before and after multi-target tracking

图7a、b分别为云杉成活苗和死亡苗的标识效果示例。图中26、29为苗木在整个视频中的唯一标识ID；图中A、B为苗木类别代码，苗木26为成活苗、苗木29为死亡苗；图中0.96和0.98分别为苗木26和苗木29的被识别为A类别和B类别的识别精度。造林成活率检测的本文方法与传统人工检查法的对比分析，如表1所示。

表1 2种方法的云杉造林成活率检测对比†Table 1 Detection comparison of survival rate of spruce forestation by two methods

图7 不同健康类别苗木追踪效果对比Fig.7 Comparison diagram of tracking effects of different health categories of seedling

3 讨 论

从图2的模型训练结果可知，YOLOv5S模型对大量的造林地苗木样本照片的训练效果较好，所得模型的识别精度为98.7%，召回率为94.1%，mAP@0.5为92.6%，mAP@0.5∶0.95为89.3%，训练结果好于COCO数据集。这是因为大型国有林区的更新造林普遍采用容器苗法，同一造林小班栽植的苗木大小相近、形状类似、整地方式统一、苗木栽植距离均匀，而且苗木正样本与整地后的造林地背景负样本的差异明显，在视频中苗木之间不会发生重叠等因素有关。因此，要提高苗木检测模型的训练精度可从以下几方面入手：1）根据整地方式与造林树种的搭配类型不同单独训练模型；2）减少前景与背景的复杂程度可提升训练速度和精度；3）对容器苗造林而言，在苗圃采集样本可提升样本采集效率，降低成本。

从本研究表1云杉造林地7个小班的方法与人工检查法对比统计结果可知，7个小班总体平均相对误差为0.38%，平均相对识别精度为99.62%，总体上本研究方法对成活苗木的判定数量略低于人工检查法，这是由于将一些长势不好的苗木判定为死亡苗木导致。为了提升识别精度，可在造林小班增加采集死亡苗木的正样本数量、增加采集杂草和萌条等负样本的数量。除了本研究设计的不同飞行高度和不同时间段等因素外，还可考虑不同季节对不同造林树种成活苗和死亡苗的颜色、形状等方面的影响。本研究方法与传统人工检查法相比，工作效率平均提升了50.94%，效率提升率与小班面积存在正相关，但不是线性关系。这是因为采用无人机采集视频时，航线规划方式会影响视频采集效率，因此在小班面积相同情况下，小班的边界形状也会影响航线规划方式，进而影响检查效率。

本研究在无人机地面站安卓平板电脑上，基于YOLOv5s和DeepSort开源代码实现了基于视频的造林成活率自动检测程序，单帧视频苗木检测时间平均0.015 s，与陈锋军等[8]的结果相比，平均精度提高了2.81%，平均检测时间方面提升了95.7%。

随着YOLOv5s和DeepSort算法的升级和安卓平板电脑性能的提升，未来基于视频的苗木成活率检测效率还有很大的提升空间。另外，对大型国有林区而言，采用无人机平台实现本研究提出的基于视频的苗木成活率检测方法无疑是非常适合的。但针对非国有林区的小面积的造林检查，现有方法和系统在成本和体积方面还有改进空间。例如，利用安卓手机平台搭配带云台（稳定器）的自拍杆等方式，实现本文提出的基于视频的苗木成活率检测方法，会使该方法的灵活性和可推广性进一步加以提升。

本研究基于深度学习目标检测模型和多目标追踪提出的无人机造林成活率自动检测方法，不仅能够自动、快速、准确地统计成活率，还能将标记有成活或死亡苗木分类标签的检查过程视频保存为过程性永久存档数字资料。与传统方法比较具有以下优势：

1）采用了基于无人机的实时视频检测方式，有效提高了检测效率，降低了人力、时间、交通成本，实现了对所有造林地块的全面检测，减少了随机抽样方法导致的随机误差。

2）利用YOLOv5s模型和DeepSort算法，实现了基于视频检测的自动成活率统计，实现统一检测标准，避免了不同人员之间或同一检查人员在不同检查时期的判定标准不统一导致的主观误差。

3）直接在检测视频中标注苗木所属类别的概率标签，有效地保留了造林成活率检测的过程资料，有利于对检查结果进行验证与复核，对造林工程管理的数字化、精准化建设具有重要意义。

4 结 论

本研究将人工智能领域的深度学习目标检测模型和多目标追踪应用于造林成活率检查实际。基于大疆Mavic2四旋翼无人机平台实时采集视频，针对具体整地方式与造林树种的搭配类型进行样本训练，所得YOLOv5s苗木对象检测模型的识别精度为98.7%，召回率为94.1%。在大疆御2无人机地面站安卓平板电脑上，对YOLOv5s和DeepSort开源代码进行二次开发，借助4G图传实现了从实时视频中自动检测出造林成活率的方法与系统。

在内蒙古大兴安岭大杨树林业局乌鲁布铁林场2022年春季造林地块中随机抽取了7个造林小班进行试验，结果表明本研究方法的平均相对识别精度为99.62%，与传统的人工检查方法相比，在效率方面提高了50.94%；实现了基于无人机实时视频的成活率自动统计，同时将苗木动态追踪信息中的苗木ID和苗木分类信息标记到检查视频中，得到了数字化可保存的过程性资料，便于核实复核造林成活率检查结果；有效解决了人工检查法的人工成本高、受主观性因素影响大、缺乏过程性记录资料、不利于核实复核检查结果等问题。

本研究尝试将基于人工智能领域的视频检测算法应用于林业造林成活率检查，有效避免了传统摄影测量方法的外业布设控制点、内业专业繁杂的数据处理弊端，有效提升了检查效率，对无人机普及应用具有一定推动意义。同时对人工智能算法应用于林业实际生产具有一定参考价值，但仍有一定的改进和提高空间。例如下一步可对安卓手机平台搭配带云台稳定器的自拍杆等方向进行深入研究，将该方法与系统进一步小型化、降低应用成本，从而进一步提升研究的实用性和可推广性。