刘智博,杨景宏,刘思宇,冯立辉,∗,闫 磊

(1.东北大学秦皇岛分校 计算机与通信工程学院,河北 秦皇岛 066004;2.北京理工大学 光电学院,北京 100081)

0 引言

近年来,随着社会和经济的快速发展,城市各类建筑物规模愈加宏大且布局复杂,为火灾救援增加了压力与难度。据统计,2012年至2021年这10年间,全国共发生132.4 万起住场所火灾,造成11 634 人遇难、6 738 人受伤,财产损失达77.7 亿元[1]。根据国家消防救援局数据,2021年全年共接报大型高层建筑火灾4 057 起、造成168 人死亡,死亡人数比上年增加了22.6%,主要集中于居住场所[2]。同时,学校、医院、商场市场、宾馆饭店、文化娱乐、交通枢纽、大型综合体都是火灾频发的重点。大型高层建筑物分布集中且结构复杂以及人群密集,为消防救援带来了诸多不便。同时,复杂的火场环境对救援人员的生命安全造成了极大威胁。2001年,美国“911”事件中343 名消防员丧生,主要原因是消防救援人员无法获知自己确切的位置,导致无法从即将倒塌的大楼内逃生[3]。在我国,2007年至2014年,已经有633 名消防救援人员在火场救援行动中牺牲,中国消防救援人员由于窒息和中毒原因造成殉职占比15.9%[4]。火灾环境复杂多变,通信中断,消防救援人员与后台指挥人员均无法在短时间内清晰地了解救援现场,很难及时掌握室内结构布局及自身所处具体位置,从而降低了救援与自救的效率,很大程度上导致了上述事故的发生。

在室内火场救援过程中,由于全球卫星导航系统(Global Positioning System,GPS) 失效,消防救援人员或后台指挥人员均无法在短时间内及时完成对于消防救援人员位置信息的获取,这给消防救援人员的救援及自救造成了障碍。如果可获得实时获取消防救援人员室内作业时的位置信息,一方面消防救援人员能将位置所搜集的信息与后台指挥人员共享,根据实时情况,指定最优方案,减少盲目搜寻的时间,进而能够提高救援效率;另一方面,消防救援人员一旦遇到危险,其他救援人员可根据其位置信息迅速开展救援,进而为救援人员自身安全提供了进一步保障。针对以上问题,本文中给出了可穿戴式消防救援人员室内作业定位系统的整体方案,并对系统中的重要模块和关键技术进行了介绍。在无法使用GPS 的室内火场环境中,该定位系统仍可提供消防救援人员的精确位置信息,提高救援效率,并为救援人员提供安全保障。

1 相关研究

目前国内外研究的应急救援定位系统中主要采用GPS、外置信源室内定位及天然信源室内定位等技术实现对于人员(或者设备)的辅助定位导航与安全保护。

GPS 能够提供全天候的实时定位,且设备款式多、灵活性强,但由于GPS 易受环境因素的影响,例如在地下停车场、复杂建筑物内部等地方,信号易被建筑墙壁遮挡,导致信号急剧衰减,从而无法收到信号实现有效定位[5]。因此,该技术目前主要应用于室外开阔场景应急救援中,在室内火灾应急救援中并不适用。

外置信源室内定位技术得到了广泛的应用,例如,文献[6]提出了基于超宽带(Ultra Wide Band, UWB)的室内定位技术,文献[7]提出了基于建筑物内可见光源的室内无线定位技术,与此同时,基于Wi-Fi 设备的无线定位感知技术[8]也得到了广泛应用。以上述外置信源设备作为架构基础的定位系统在各种室内应用场景中取得了良好的应用效果,满足了多种不同应用的位置服务需求。然而,在室内火灾现场救援过程中,火灾和建筑物坍塌对于上述被动定位设备极大可能造成损坏,导致定位系统无法继续正常工作,不能为消防救援人员提供准确的位置信息。

相比于外置信源定位技术,天然信源室内定位技术主要是通过人员(或者设备)佩戴(或者安装)相关装备,利用某些与位置相关的天然信源之间的映射关系,以获得自身位置信息的定位技术。目前应用较多的天然信源室内技术主要包括:视觉同步定位与地图构建技术定位(Simultaneous Localization And Mapping, SLAM)[9-10]、激光SLAM定位[11-12]和惯性定位[13-14]。视觉SLAM 技术利用相机获取环境信息,并将场景信息投影成为二维图像,利用计算机视觉技术,提取二维图像的视觉特征,初始化导航系统,通过帧与帧之间的几何约束关系,推算获得当前帧的位置。在由地震、海啸等灾害引起的房屋塌陷等应急救援场景中,视觉SLAM 技术可以获得较好的应用效果,但是对于室内火灾救援环境,由于浓烟、浓雾的影响,基于视觉SLAM 获取位置信息的效果将受到较大的影响。与之相比,激光SLAM 技术利用激光雷达设备对作业环境进行扫描,通过进行点云匹配,实现高精度定位并获得二维或者三维的空间地图,激光雷达对于周围环境的探测基本不会受到光照变化和尺度的影响,可以实现对于周围大框架结构环境的成像。但是,激光雷达不利于处理激进的移动或重复的结构,容易出现失效情况,因此,单独使用激光SLAM 对于消防救援人员室内作业定位鲁棒性不强。

随着微机电技术(Micro-Electro-Mechanical Systems, MEMS)的发展,惯性测量单元 (Inertial Measurement Unit, IMU)的尺寸可以大幅度较小,从而满足可穿戴化室内定位的需求,IMU 可以输出加速度、角速度等信息,一般通过二次积分获得速度、位置、航向,或者根据步长模型计算得到步长,进而推算下时刻位置。经实验测试与消防救援人员反馈,佩戴小尺寸的IMU 装备方便灵活,对于救援作业不会产生额外的负担。对于佩戴人员IMU 可以满足平稳步行室内定位的需求,但是在室内复杂火场环境救援过程中采用不同姿态、不同步速完成搜救任务时,将会产生较为严重的惯性导航累计误差。

对于IMU 室内定位导航误差,目前主要可以采用IMU 自身信号处理和多模态感知信息融合两种补偿与校正方案。前者主要是采用姿态识别[15]、零速修正[16]等技术对于IMU 输出的信息进行进一步的分析与处理,根据不同应用场景,设计相应的处理机制实现对于定位误差的补偿与校正,保障实时定位精度。后者则是采用多IMU 或者IMU 与其他定位技术进行组合,实现感知信息融合,提高定位信息输出的准确性,例如基于IMU与Wi-Fi 或UWB 定位技术的信息融合定位方案,可以有效发挥外置信源定位和天然信源定位各自的优势,但是如上文所述,外置信源定位技术在室内火灾救援中应用存在较大的局限性。同时,文献[17]提出了采用SLAM 辅助GPS 定位,提供双天然信源信息融合定位方案,文献[18]提出采用SLAM 和IMU 两种室内天然信源定位系统进行信息融合,实现对于煤矿井下移动机器人的定位服务,结合IMU 与SLAM 的优势,并在矿井环境中取得了良好的定位效果。然而,相对于机器人定位,消防救援人员的运动姿态与活动规律会使IMU 产生更大的累积误差,如果仅采用SLAM 进行融合信息校正,仍会产生较大的定位误差。在室内消防救援中,通常需要采用自身信号处理进行补偿与校正,进而根据不同应用需求,选择合适的辅助方式,通过多模态感知信息融合补偿与校正方案,实现对于IMU 惯性导航性能的提升。因此,本文将对基于IMU 的消防救援人员室内作业定位系统进行论述,针对多房间大型高层建筑火场环境救援给出了激光SLAM 辅助IMU 以提高位置服务精度的方案,并对于其中采用的姿态识别和信息融合技术进行重点论述。

2 定位系统总体与关键模块设计

2.1 总体方案设计

如图1 所示,定位系统由硬件系统、软件系统、管理平台部分构成,硬件设备采用本实验室自研的小型化MEMS IMU 器件和激光雷达,基于IMU 定位信息与采集系统、激光雷达三维建模系统实现对于初始位置信息的采集与处理,并基于腕带个人数字助理(Personal Digital Assistant,PDA)应用系统为消防救援人员提供可视化位置服务。同时,通过无线通讯技术可将消防救援人员位置信息回传至定位服务后方管理平台,方便于指挥团队根据相关信息进行任务部署。其中,足部捆绑式惯性导航模块和激光雷达辅助模块为实现多房间大型高层建筑火场消防救援人员定位的关键模块。

图1 消防救援人员室内作业定位系统总体设计图Fig.1 Overall design of indoor rescue positioning system for firefighters

图2 激光雷达成像效果图Fig.2 LiDAR imaging rendering

2.2 关键模块设计

通常情况下,惯性导航模块通过传感器内部的加速度计与陀螺仪能够迅速捕捉到消防救援人员的运动状态。惯导系统的定位结果由多次积分获得,运动误差与时间的三次方呈正比。因此,系统中有必要对误差进行修正。随着零速修正技术在惯导系统中的应用,导航定位精度提高了两个数量级,有效降低了误差的累计。

本系统采用足部绑定的方式,固定惯性导航模块,将IMU 安装于足部,利用本实验室研究的改进零速修正算法,可大幅减小积分后的定位误差,获得较高的定位精度[16]。根据不同场景与装备需求,可以采用单足捆绑模式或者双足捆绑模式。

与其他室内定位不同,火场环境更加混乱复杂,尤其是对于多房间大型建筑,相关测试表明:如果采用纯IMU 定位方式,很有可能在较小惯性定位误差的情况下,由于房间结构的原因,消防救援人员仍会出现“进错门”的情况,未能进入目标房间。因此,结合一线消防救援人员反馈意见与建议,本研究借助激光雷达辅助惯性导航,获取火灾房屋内各房间的准确绝对位置,降低误入房间的可能性,并且可以利用房屋的结构特性有效校正IMU 在定位过程中积累误差。

在激光雷达进行辅助过程中,其主要作用在于通过对门窗等室内建筑中局部特征结构的识别获取局部的绝对结构。因此,需要确定门窗的点云特征,然后进行在线识别,以辨识复杂火场环境中的门窗结果。对于门窗结构的识别可以采用深度学习的方法,通过线下数据集标注,根据相关的网络模型进行训练。但是,由于火灾会对建筑物内结构产生一定的影响,而火灾后的建筑环境激光雷达数据集相对不易获取,因此,针对严重火灾建筑物中的门窗结构识别,需要采用迁移学习[19]的方式进行研究。

3 定位系统关键技术设计

如上所述,需采用姿态识别和信息融合技术对于IMU 惯性定位进行误差校正与补偿,因此如何实现有效可靠的姿态识别和信息融合技术直接影响到整个定位系统的性能,是消防救援人员室内作业定位系统中两大关键技术。本节中将对基于改进支持向量机(Support Vector Machine,SVM)方法的姿态分类与识别和基于卡尔曼滤波的信息融合算法进行论述。

3.1 基于改进SVM 方法的姿态分类与识别

消防救援人员在作业过程中的各种动作会为IMU 带来较多的累积误差。通过姿态识别分类,对如快走、慢走、慢跑、快跑、上下楼、匍匐等姿态进行分类,然后根据不同姿态识别进行位置信息解算输出,则可以大幅度减少IMU 误差累积,即可以通过提供物体实时方向估计来补偿这些误差,提高估计方向的准确性。同时,姿态识别也便于后台指挥人员实时掌握消防救援人员的工作状态。因此,姿态分类与识别是实现消防救援人员室内作业精确定位的关键技术之一。姿态分类与识别算法的过程实质是将待识别的姿态序列与标注样本已知的序列进行匹配,通过一定的判别算法和依据,决定它所属的类别[20]。在姿态识别中,可以基于IMU 加速度输出,通过提取平均值、标准差、步频、四分位距、步速等时频域信息以表征姿态特征。特征姿态识别算法的准确性以及实用性与整个系统的设计有着密切的关系,在本文系统设计中采用了SVM 类方法进行分类判别。

传统SVM 是一种建立在统计机器学习基础上的在线监督学习线性分类器,其算法通过构建凸优化问题,获得全局最优解,因此可以避免神经网络分类器、遗传算法分类器等其他机器学习分类器中存在的过度学习和陷入局部最优值等问题。但是在进行大规模非线性分类训练的情况下,传统SVM 需通过核函数将样本从原始空间映射到一个更高维的特征空间以满足样本的线性可分,由于映射函数无法显式表示,将导致特征空间的维度无法控制,甚至出现无穷维度,提高了算法的时间复杂度。然而,消防救援人员在火场救援作业中,需要对于运动姿态进行快速识别以保证后续位置服务信息的实时性。同时,消防救援人员经常会采用一些与日常运动姿态有差异的运动姿态以保证在复杂的火场环境中开展救援工作,采用传统SVM 也会因为样本集封闭的原因,导致鲁棒性较差,进而产生一定的姿态识别偏差。因此,传统SVM 并不适合直接应用于消防救援人员室内作业姿态分类与识别。

针对上述问题,本文采用了随机傅里叶特征变换,通过找到合适的映射函数z(·)来近似原先的映射函数,其表达式为[21]

式中:ai为d维输入特征集A中的数据;hu为d×1维服从高斯分布且相互独立的随机生成的矩阵,其中u=1,2,…,dRF,dRF为随机傅里叶特征变换的维度;σ为核带宽;z(ai)为ai在输出特征集Z中的映射。显然,与原先的SVM 的映射函数相比,z(·)维度可控,在新的特征空间中训练线性学习器,平均时间复杂度将会有效降低,在线识别速度可以大幅度降低。

因此,在本文设计的姿态识别算法中(如图3所示)首先在离线训练和在应用过程中基于式(1)将姿态特征集进行随机傅里叶变换,将特征数据转换至Z域后,进行训练与姿态识别。在训练过程中,通过黄金分割线搜索与梯度下降方式对分类器权重W与其分离间隔ρ进行寻优,通过多次迭代学习,最终生成姿态识别分类器。在实际应用过程中,系统中采用了串行匹配的方式进行姿态识别,基于单类SVM 模式实现对于姿态动作的判断,实时输出姿态类型。在姿态配过程中,为了进一步提高识别速率,可以采用多臂老虎机框架[22],构建价值函数实现对于姿态匹配顺序进行实时排序,进一步缩短串行搜索时间,提高识别效率。

图3 基于改进SVM 实现姿态识别计算流程Fig.3 Calculation flow chart of themodified SVM-based posture recognition

3.2 基于卡尔曼滤波的信息融合算法

本文主要针对多房间大型高层建筑火场环境救援进行分析,在系统设计中采用激光SLAM 辅助IMU,基于多模态信息融合方式,提高定位系统在辨识房间结构时的能力,降低“走错门”的概率,提高定位精度。信息融合技术是根据不同需求实现对于两(多)类信息的融合输出,该输出决定了位置信息的最终结果,多模态信息融合是实现消防救援人员室内作业精确定位的另一关键技术。目前,卡尔曼滤波被广泛应用于多模态信息融合技术,其原理可解释为基于贝叶斯定理,通过状态方程与观测方程迭代实现的一种观测噪声去除方式,即在信息融合算法中通过降低测量噪声,以降低对于IMU 误差。常见的离散型卡尔曼滤波框架[23]由运动方程和观测方程组成,其具体形式为

其中:Xt和Xt-1分别为两个不同连续时刻的状态向量;Zt为系统在t时刻的观测向量;Ft,t-1是系统从t-1 到t时刻的状态转移矩阵;Gt,t-1为系统从t-1 到t时刻的噪声输入矩阵;Ht为系统在t时刻的观测矩阵;Wt-1和Vt分别为系统在t-1 时刻的运动噪声和t时刻的观测噪声,两者假设为互不相关、均值为零的高斯随机白噪声。传统的卡尔曼滤波只适用于线性系统,即如式(2)所示。t-1 和t时刻的状态向量之间以及t时刻的状态向量与观测向量之间均呈线性关系。然而,由于消防救援人员在火场中的采用IMU 进行位置解算时存在很大程度的非线性特性。因此,本文在系统设计过程中采用了扩展卡尔曼滤波算法以实现非线性系统下的信息融合,即将t时刻的位置信息输出表示为

式中,f(·)和h(·)分别表示t-1 时刻状态和t时刻的状态向量之间以及t时刻的状态向量与观测向量之间非线性关系。本文中定位系统提供的位置信息包括位置、速度、欧拉角9 维向量,并采用直接式扩展卡尔曼滤波框架。在扩展卡尔曼滤波算法中,利用泰勒展开将非线性关系转化为近似的线性化关系,在实际应用中可利用雅可比矩阵以表示扩展卡尔曼滤波中参数的更新,基于扩展卡尔曼滤波的IMU 与激光雷达输出信息融合定位信息获取可简述为如下步骤。

步骤1:获得t时刻的状态向量的估计值,预测方程表示为

式中,f(·)根据IMU 运动关系进行表征,具体表征方式详见文献[24]。

步骤2:获得t时刻预测系统误差协方差矩阵,预测方程表示为

式中,F为f(·)的雅可比矩阵,Qt为系统噪声Wt的方差矩阵。

步骤3:更新t时刻卡尔曼滤波增益矩阵Kt,对应表达式为

其中,H为激光雷达观测量Zt和状态向量Xt间关系函数h(·)的雅可比矩阵,Rt为激光雷达观测误差方差矩阵。

步骤4:更新t时刻状态向量Xt,对应的表达式为

其中,在使用零速检测环节的情况下,如果检测到消防救援人员处于静止状态,则令

式中,Zvt表示激光雷达的速度观测子向量。

步骤5:更新t时刻系统误差协方差矩阵,对应表达式为

4 应用测试及结果分析

本文研究的消防救援人员室内作业定位系统在东北大学秦皇岛分校基础楼进行了相应的测试,如图4 所示。实验采用实验室自主开发的MEMS IMU,该IMU 集成了三轴加速度计和三轴陀螺仪[16],捆绑于消防救援人员左足,同时选用低成本RPLIDAR A1 激光雷达进行辅助。

图4 实验场景图Fig.4 Experimental scene

如图5 所示,实验路线中由直线轨迹、弧形轨迹、直线往返轨迹、弧形闭合轨迹等组成,并在期间进入3 个独立房间,由图中可以看出,从运动开始到走出1 号门之前,在相对宽敞的环境下,单独的IMU 在复杂运动轨迹跟踪方面表现出了很好的性能。但是,由于未使用激光雷达进行辅助,在走出1 号门后,只使用IMU 的提供轨迹信息便出现了与参考轨迹间的较大偏差。而对于激光雷达辅助IMU 进行信息融合定位而言,在初期激光雷达失效时并未对行动轨迹产生较大影响,同时在激光雷达起效时,通过激光雷达的辅助,消防救援人员可以有效避免“走错门”现象的出现,并且融合轨迹在依次进入3 个房间后,仍与参考轨迹基本重合,体现出很好的定位精度。

图5 实验测试轨迹图Fig.5 Experimental test trajectory

从整体实验过程来看,存在多种运动轨迹且需要进出房间的情况下,单独IMU 的整体运动绝对定位误差为1.294 2 m,相对定位误差为3.042%。与之相比,激光雷达辅助IMU 的整体运动绝对定位误差为0.222 m,相对定位误差为0.522%,可以满足实际中的定位需求。

5 结论

本文设计了一种适用于室内火场救援的定位系统,为消防求援人员与后台指挥人员提供准确的位置服务。重点针对多房间大型建筑救援场景,采用改进SVM 方法进行姿态识别,结合卡尔曼滤波技术实现考虑零速检测的信息融合,实现了激光雷达辅助IMU 定位方案,从而提高了多房间大型建筑中消防人员定位精度,并有效降低救援人员“走错门”的概率。实验结果表明,所设计的定位系统可以基本满足实际中的定位需求。在今后研究中,本课题将对低复杂度的分布式多模态信息融合方法进行研究,以实现多模态融合定位,满足更多和更复杂室内火场救援场景实际应用需求,并对其效果在消防救援演练中进行相关测试验证。