基于无人机多传感吊舱系统的火点实时定位方法
2022-05-24李兴东陈显东张时雨刘九庆
李兴东，肖 旭，陈显东，张时雨，刘九庆,2
(1.东北林业大学机电工程学院，哈尔滨，150006；2.国家林业草原人工智能与装备工程技术研究中心，哈尔滨，150006)
0 引言
森林火灾一直是各个国家重点预防的灾害之一，它的危害是全球性的、毁灭性的。2021年7月，加拿大不列颠哥伦比亚省因高温干燥天气发生山火，火场达200多个，火场面积约450公顷。2021年6月，美国加利福尼亚州北部山火肆虐，燃起的“熔岩”山火过火面积约9800公顷，为加州迄今为止最严重的山火之一。为了减小森林火灾造成的损失，及时发现火点在林火防控中至关重要。
传统的林火监测方案主要是在地面铺设温度、湿度、气体或烟雾等多传感器网络[1,2]，但这种方案容易导致数据冗余，而且监测范围有限，难以大面积覆盖。如果将来自多个传感器的信息进行数据融合[3]，不仅能减少数据量，还能提高监测信息的准确性。随着计算机技术和数字成像技术的快速发展，利用计算机视觉组成的地面传感器网络有效提高了检测精度和覆盖范围。文献[4]提出了一个基于红外图像探测野火的多传感器网络系统，扩大了系统的监测范围。文献[5]提出了一种基于实时视频的火灾烟雾探测方法，该方法与多传感器网络系统相结合，能实时反馈火灾烟雾位置。基于地面视觉传感器网络的林火检测方案虽然提高了检测精度和监测范围，但是一般林区地形复杂，不可避免地存在视觉盲区。
无人机与计算机视觉相结合形成的无人机影像[6,7]在林火监测领域具有很好的应用前景，文献[8]先通过地面端的摄像机进行初步判断，然后用一架装有气体传感器和热成像摄像机的遥控无人机进行验证，减少了误报的情况。该方法用无人机对烟雾进行判断时，不可避免地需要飞到离火区距离较近的地方，对无人机设备存在威胁。文献[9]使用地面站与机载红外和可视摄像机进行森林火灾监测，实现了对火锋的位置、形状、火基宽度和火焰高度的测量。该方案地面端的红外和可视摄像机在野外复杂环境下工作时容易存在视觉盲区，如果失去了地面端数据的支持，仅靠无人机携带的红外和可视摄像机难以实现对火点的全局定位。文献[10]提出了IMU (Inertial Measurement Unit)与计算机视觉相结合的火灾探测系统，并与地面站通信实现了火场的建图与火点的定位。但IMU会产生累积误差，且在林火监测中依靠单个可见光摄像机具有一定局限性。
为此，本文提出了一个通过卫星-惯导定位系统与计算机视觉相结合的林火监测方案，相比文献[9]它直接获取卫星信号定位无人机位置，减小了对地面视觉传感器的依赖；相比文献[10]它融合了GPS(Global Positioning System)与IMU信息，减小了累积误差；相比仅采用视觉的林火监测方案，本文可以利用激光雷达直接获取到火场的空间三维信息[11,12]；同时本文利用红外图像识别林火，有效结合了文献[4]的优点；与利用卫星遥感技术的林火定位方案[13]相比，本文方案时间分辨率更高，即使在林火蔓延初始阶段，燃烧面积较小，也容易监测到。
1 火点定位方法
1.1 无人机吊舱系统设计
本文搭建了一个无人机吊舱系统，它包括无人机端和地面接收端。无人机端由硬件系统和软件系统组成，硬件系统包括传感器模块、数据处理中心、数据传输模块；软件系统包括传感器驱动节点、点云拼接节点、火点识别节点、数据融合节点和数据传输节点。地面接收端用于控制吊舱设备、查看传感器数据和在地图中显示无人机及火点信息。
传感器模块包括激光雷达(Velodyne公司研制的VLP-16激光雷达)、红外热像仪(国产ZX-IRV氧化钒红外热像仪)、组合惯导系统(法国SBG Ellipse-E组合惯导系统)和可见光相机(大恒图像研发的MER2-G系列的GigE接口相机)，负责数据采集；数据处理中心是指吊舱系统上搭载的工控机(英特尔NUC8i5)，负责数据处理和计算；数据传输模块包括无线路由器、无线网桥和无线数传电台，负责数据传输。在数据传输模块中，由路由器建立一个局域网，在局域网内实现机载系统与地面终端间的数据交互，其中无线数传电台负责火点和无人机位置信息的传输，无线网桥负责图像的传输。本系统的硬件组成如图1所示。
(1.工控机；2.无线路由器；3.激光雷达；4.可见光相机；5.红外热像仪；6.组合惯导系统；7.无线数传电台；8.无线网桥)图1 系统硬件Fig. 1 The hardware structure
软件系统的控制程序基于ROS(Robot Operating System)开发，以节点为单位。本系统工作时先由传感器驱动节点将激光雷达、组合惯导系统、红外热像仪和可见光相机启动；然后将激光雷达采集到的点云数据和组合惯导系统采集到的位姿数据在点云拼接节点进行数据融合，获得密集点云；同时在火点识别节点处理红外热像仪采集的图像数据，并由火点识别算法检测是否存在火点；如果存在火点，则启动数据融合节点将该帧红外图像与对应时间戳的密集点云进行融合，并定位出火点在地理坐标系下的位置；最后由数据传输节点将无人机和火点的位置信息、可见光相机与红外热像仪采集到的图像信息及点云信息传输到地面接收端。
地面接收端连接无线数传电台和无线网桥，无线数传电台用于接收无人机和火点位置信息，无线网桥用于接收可见光相机与红外热像仪采集到的图像信息及点云信息。
1.2 传感器标定
激光雷达、红外热像仪与组合惯导系统等传感器多数据融合之前，需要知道其相对位姿关系。本系统将激光雷达与红外热像仪数据融合、激光雷达与组合惯导数据融合，所以需要标定出激光雷达与红外热像仪、激光雷达与组合惯导的位姿关系。
将三维点云投影到成像平面时需要左乘红外热像仪的内参矩阵，本文采用张正友标定法解算红外热像仪的内参矩阵，并利用材料的导热性制作了一张可被红外热像仪识别的棋盘格标定板[14,15]。相机内参矩阵由ROS的相机标定工具包解算，并用M表示。
红外热像仪、激光雷达与组合惯导系统的位姿关系如图2所示，图2中的四个坐标系分别为世界坐标系oW-xWyWzW、惯导坐标系oI-xIyIzI、雷达坐标系oL-xLyLzL，红外热像仪坐标系oC-xCyCzC。其中世界坐标系以正东方为x轴，以正北方为y轴，z轴竖直向上。雷达坐标系与红外热像仪坐标系间的旋转矩阵用RCL表示，平移向量用TCL表示，雷达与组合惯导间的旋转矩阵用RIL表示，平移向量用TIL表示，惯导坐标系到世界坐标系的旋转矩阵用RWI表示、平移向量用TWI表示。
图2 传感器位姿关系Fig. 2 The pose relationship of sensors
本文采用OpenCV里的PNP算法求解出红外热像仪到激光雷达的旋转矩阵RCL、平移向量TCL：用红外热像仪和激光雷达拍摄同一标定板，分别记录标定板中同一角点在点云和红外图像中对应的坐标，获得多组点对(至少4组点对)，然后带入PNP算法求解出RCL、TCL。
求解组合惯导到激光雷达的旋转矩阵RIL和平移向量TIL时，平移向量TIL可以直接测量，为[0.18，0，0.24]T，但是标记点在惯导坐标系中的位置并不能直接获得[16]，所以本文采用手眼标定法。吊舱系统分别在a、b两个位置采集地面静止的箱体，此时手眼标定的表达式为：
RIaIb·RIL=RIL·RLaLb
(1)
式中RIaIb表示吊舱系统从a位置到b位置时惯导坐标系的位姿变化，可通过组合惯导读取的数据获得；RLaLb表示吊舱系统从a位置到b位置时雷达坐标系的位姿变化，可通过ICP匹配两帧点云数据解出。由此可以通过Tsai[17]解算出RIL：
(2)
在1.3节的图3中能直观地看出通过RIL、TIL的点云拼接效果。
1.3 点云密集化
VLP-16激光雷达扫描得到的单帧点云中只有16条点云线，分辨率低，所以本文基于组合惯导输出的四元数和GPS数据将多帧点云拼接到一起得到密集点云。
点云拼接的具体实现过程：获取第一帧点云时，在此刻无人机所在的世界坐标系oW-xWyWzW位置建立一个局部坐标系oJ-xJyJzJ，该坐标系x轴指向正北方，该坐标系y轴指向正东方，并记录该坐标系原点所在的GPS位置。
然后将采集到的每一帧点云及对应时间戳的无人机位姿(组合惯导输出的四元数)与GPS记录下来，通过四元数计算出拼接第i帧点云对应时刻戳惯导坐标系oIi-xIiyIizIi相对局部坐标系的旋转矩阵RJIi。
将局部坐标系原点的GPS表示为[Jlon,Jlat,Jalt]T，拼接第i帧点云对应时刻惯导坐标系的GPS表示为 [Iilon,Iilat,Iialt]T，经墨卡托投影计算出惯导坐标系oIi-xIiyIizIi相对局部坐标系的平移向量TJIi：
TJIi=
(3)
其中D为赤道的周长，大约40 075 020 m。
根据惯导坐标系到雷达坐标系的旋转矩阵RIL和平移向量TIL计算出此时雷达坐标系中的某一点Pl(xl,yl,zl)在局部坐标系中的位置Pj(xj,yj,zj)：
(4)
通过式4将每帧雷达坐标系下的点云变换到局部坐标系下得到点云地图，然后将离散点云滤除：先滤除点云中存在的噪音点[18]，然后根据激光雷达的扫描特性，用直通滤波将局部坐标系中y轴正负40 m范围外的离散点云去除。根据经验可知，本文所选红外热像仪的水平视角范围小于激光雷达，无人机在最大飞行高度30 m时，保留y轴正负40 m范围的点云数据能将整个图像包含在点云范围内，足以满足融合所需的点云。如图3所示。
图3 点云拼接效果图Fig. 3 The figure of point cloud splicing
本系统中点云拼接是实时进行的，为了方便点云与红外图像融合，需要将获得的点云地图转到雷达坐标系下。根据激光雷达与红外热像仪的视野范围及无人机飞行速度，本文将局部坐标系中每连续5帧点云通过式4的逆运算将其转换到该5帧点云中第一帧点云所在的雷达坐标系，获得密集点云。
1.4 火点全局定位
通过计算机视觉识别火点主要分为三种方案：颜色特征识别[19,20]、动态特征识别[21]以及结合颜色和动态特征识别[22-24]。在实际监测过程中，考虑到林火形成初期，火焰较小，无人机在高空拍摄时火焰特征并不明显，通过火焰动态特征来识别火点的方法具有一定的不足；利用颜色特征与动态特征相结合的方案识别火点时，如通过深度学习模型识别复杂环境中的火焰[25]，计算量较大，容易影响实时性。所以本文根据红外图像中火点的颜色特征识别火点，红外图像中温度越高的位置像素值越高、颜色越白，在红外图像中颜色特征越明显。
红外热像仪拍摄到火点后，用直方图统计各像素值出现的频率，火点像素值集中在233～255，非火点像素值集中在0～35，因此本文火点识别方案分为两个步骤：
第一步，判断是否监测到火点：记红外图像像素总个数为S，并统计像素值在233～255的像素个数，用s1表示，像素值在0～35的像素个数，用s2表示；当s1与s2的和大于红外图像像素总个数的百分之85的时候，表示监测到火点，如式5所示：
(s1+s2)>S×85%
(5)
第二步，如果监测到火点，则进行火点识别：用最大类间方差法确定最佳阈值，并用thr表示；红外图像中像素值大于这个阈值的像素集合为火点集合，用φ表示；最后将火点集合的边缘标记为红色。火点的集合表示为：
φ={a(i,j)>thr,1≤i≤m,1≤j≤n}
(6)
式中m、n表示图像的大小，a(i,j)表示像素(i,j)处的像素值。
火线识别效果如图4所示。
图4 火线识别效果图Fig. 4 The figure of fire line identification
红外图像中火点特征明显，容易识别，但无法确定火点的空间位置；激光雷达无法直接识别到火点，但容易获取火场三维信息。因此，本文将红外图像与密集点云融合，从而确定出火点的空间位置。
设密集点云中某一点h的坐标为(xh,yh,zh)，其在红外图像中的像素坐标用(uh,vh)，则有：
(7)
其中矩阵M是红外热像仪内参矩阵，RCL、TCL是红外热像仪坐标系到雷达坐标系间的旋转矩阵和平移向量。
红外图像与密集点云的融合过程：获取密集点云与红外图像数据，并将时间戳对齐；结合公式7将密集点云投影到红外图像上，并将超出部分的点云去除；记录投影到红外图像上的点云对应的红外图像像素坐标的颜色信息，然后将点云增加三个通道用于储存投影后对应像素的颜色信息，获得带有红外图像颜色信息的红外三维点云；最后根据火点的颜色信息提取出红外三维点云中火点的空间信息。
红外图像与密集点云融合的伪代码如下：
Algorithm: 红外图像与密集点云融合Input: 红外图像:img, 密集点云:cloud_in, 红外热像仪内参:M, 红外热像仪到激光雷达坐标系的旋转、平移:R、T. 1 新建 pointcolor类型点云colorpoints 2 for i←0 to (点云个数) by i++ do 3 P←cloud_in 4 newpoint←M×(R×P +T) 5 If (Z >0) then do 6 归一化处理得到像素坐标(u,v) 7 if (像素坐标在图像范围内) then do 8 colorpoints←cloud_in 9 colorpoints←img.at
其中P是由输入点云的坐标表示的向量。
红外图像与密集点云融合效果如图5所示。
图5 红外图像与密集点云融合效果图 Fig. 5 The figure of infrared image and dense point cloud fusion
获得火点在雷达坐标系下的位置后，本文将其变换到地理坐标系下获得火点在全局坐标系下的GPS位置。组合惯导安装在无人机中心位置，本文将它作为导航坐标系中心。当识别到火点时，在无人机位置建立一个局部坐标系oJi-xJiyJizJi，该坐标系x轴与世界坐标系y轴方向一致，该坐标系y轴与世界坐标系x轴方向一致，则世界坐标系到该坐标系的旋转矩阵RWJi为：
(8)
设此时的无人机旋转矩阵为RJiI、平移向量为TJiI，其中RJiI通过组合惯导获得，TJiI据式1获得。设某个火点在雷达坐标系中的坐标为[xlf,ylf,zlf]T。据式4，火点在局部坐标系下的坐标[xjf,yjf,zjf]T表示为：
(9)
然后将局部坐标系原点的GPS进行墨卡托投影：设局部坐标系oJi-xJiyJizJi原点的GPS为此时惯导坐标系的GPS，表示为[Iilon,Iilat,Iialt]T，则火点在世界坐标系下的位置[xWf,yWf,zWf]T表示为：
(10)
最后将火点在世界坐标系下的坐标通过式10转到WGS-84坐标系下，获得火点的GPS位置[Flon,Flat,Falt]T：
(11)
2 实验
本文试验用的无人机为大疆T16，卸掉无人机自带的药筒和喷洒装置，并将设计的吊舱系统搭载到药筒位置，如图6所示。
图6 搭载在无人机上的吊舱系统Fig. 6 The system mounted on UAV
为了获得本系统的定位精度与可靠性，本文设计了一场试验：在空旷地面铺设5 m×7 m的樟子松树叶，在其中一个斜对角两端各放置一盆炭火，并记录这两盆炭火的地理位置；然后将吊舱系统搭载在无人机上以不同速度、不同高度、不同飞行方向定位火点，并记录系统定位出的火点GPS位置；最后分析两个火点的经度、纬度和高程的最大误差、平均误差及标准化残差，获得火点的定位精度与系统的可靠性。
试验现场如图7所示。
图7 试验现场Fig. 7 Testing field
火点实际位置如表1所示。
表1 火点的实际位置
本文选用的无人机为大疆T16，其最大飞行高度为30 m，最大飞行速度为8 m·s-1，且平时工作速度为3 m·s-1、工作高度为20 m。在实际监测过程中，主要的变化因素为飞行高度、飞行速度和飞行方向。为了获得火点定位的精度并验证系统的可靠性，在相同试验条件下，仅改变无人机飞行高度、飞行速度或飞行方向，设计了12组实验，各组参数如表2所示。
表2 无人机飞行参数
本系统对两个火点的定位结果如图8所示。
图8 系统定位误差图Fig. 8 The error of system positioning
通过图8可以看出无人机吊舱系统定位出的火点位置基本上都在火点实际位置附近波动，说明无人机在最大飞行高度30 m以内、最大飞行速度8 m·s-1以内的试验条件下系统工作较为稳定。图8(b)、图8(d)、图8(f)表示的是每组实验的误差，具体数值如表3所示。
表3 实验误差
通过表3可以看出试验中本系统定位火点1时的经度最大误差为1.84×10-5°，经度平均误差为8.00×10-6°；纬度最大误差为1.79×10-5°，纬度平均误差为8.80×10-6°；高程最大误差为0.926 1 m，高程平均误差为0.415 5 m。本系统定位火点2时的经度最大误差为2.36×10-5°，经度平均误差为6.50×10-6°；纬度最大误差为1.84×10-5°，纬度平均误差为8.20×10-6°；高程最大误差为0.672 3 m，高程平均误差为0.388 4 m。
为了验证本系统定位的可靠性，本文分析了系统定位出的火点经度、纬度和高程的标准化残差，如图9所示。
图9(a)第6组试验中火点2经度标准化残差超出[-2，2]范围，火点2经度标准化残差在[-2，2]范围内的概率为91.67%，但火点1和火点2总体经度标准化残差在[-2，2]范围内的概率为95.83%；图9(b)两个火点的纬度标准化残差均在[-2，2]范围内，概率为100%；图9(c)第5组试验中火点1高程标准化残差超出[-2，2]范围，火点1高程标准化残差在[-2，2]范围内的概率为91.67%，但火点1和火点2总体高程标准化残差在[-2，2]范围内的概率为95.83%。综上，两个火点总体的经度、纬度和高程的标准化残差在[-2，2]范围内的概率均在95%以上，服从正态分布，因此本系统的定位结果可靠。
图9 火点定位标准化残差Fig. 9 The standardized residual of fire point positioning
3 结论
火点实时、精准定位在林火防控中至关重要。本文设计的可实时全局定位火点的无人机多传感吊舱系统，在工作高度30 m内、飞行速度8 m·s-1内，且没有地面传感器网络支持的试验条件下，改变飞行高度、飞行速度或飞行方向，得到该系统的定位误差：经度最大误差为2.36×10-5°，纬度最大误差为1.84×10-5°，高程最大误差为0.926 1 m。同时，分析经度、纬度和高程的标准化残差：试验中火点的经度、纬度和高程的标准化残差在[-2，2]范围内的概率均在95%以上，服从正态分布，说明本系统的定位结果可靠。未来，该系统可以结合林火蔓延预测模型，提前预测出林火位置，保障消防员及时撤离危险地区，在林火防控中具有较高的应用价值。
