朱鹏浩， 张世义， 李军

(1.重庆交通大学机电与车辆工程学院， 重庆 400074； 2.重庆交通大学航运与船舶工程学院， 重庆 400074)

近年来随着隧道建设技术的不断突破，中国已成为世界上隧道数量最多、建设发展速度最快、规模长度最大的国家。截至2020年底， 中国公路隧道数量已达21 316座、总长可达2 199.9万延米，特长隧道1 394座、623.55万延米，长隧道5 541座、963.32万延米[1]。无论是已建或在建公路隧道都呈现出填埋深度大、隧道断面广、隧道规模长等特点;如四川锦屏山隧道最大埋深可达2 375 m、陕西秦岭终南山隧道长度可达18.02 km，最大填埋深度1 640 m，在建的新疆天山胜利隧道长度可达22.035 km、重庆城开隧道最大填埋深度为1 337 m[2]。由于公路隧道特殊的结构特点，一旦隧道内部发生火灾、水灾等险情时，灾险规模将会迅速扩大，若隧道内行驶人员不能及时撤离，不仅将严重威胁其内部人员的生命财产安全，而且极大可能造成二次灾险事故。如晋城岩后隧道“3.1”特大事故[3]、郑州快速路京广隧道事故等。大规模公路隧道的紧急救援是中国公路安全可持续发展战略的重中之重。

当前，运用多传感器数据检测技术及基于深度学习的智能图像识别技术对隧道内环境实时监测已成为主流研究方向，如邓实强等[4]利用Vibe算法模型检测图像的火焰运动区域，然后在YUV(Luminance，Chrominance，Chroma)色彩空间中提取出疑似烟雾区域，最后利用提取的颜色矩、均匀局部二进制模式(uniform local binary patterns，ULBP)和灰度共生矩阵(gray-level co-occurrence matrix，GLCM)特征，通过BP神经网络分类器算法识别火灾烟雾。王伟峰等[5]在光照分布不均匀的情况下，将采集的火焰图像通过结合改进后的K-means算法与暗通道图像去雾算法进行去雾处理，采用帧差法与混合高斯模型融合算法提取动态演化的火焰图像特征，并将提取的体征输入YOLOv5算法模型中进行火焰识别，但由于受光照强度影响及内部特殊烟雾的影响，不能及时发现火情。Sekkas[6]设计了一种基于多级方案数据融合的火灾检测方法，第一级通过使用D-S证据理论融合各传感器数据，并赋予每个传感器数据火灾发生概率；第二级结合上级各传感器数据火灾发生概率，添加图像技术进一步确认。Fogue等[7]提出一种基于大数据及知识推理技术的事故检测智能报警系统，通过采集车速和安全气囊状态等特征确定事故的严重程度。Liang[8]提出一种基于物联网和支持向量机的交通事故检测方法，利用蚁群算法优化的支持向量机模型对物联网平台上的数据进行分析，从而有效的检测交通事故。Chaturvedi[9]提出一种基于全球移动通信系统(global system for mobile communications，GSM)和全球定位系统(global positioning system，GPS)的车辆事故自动检测报警系统，通过振动传感器及微机电系统(microe-lectro mechanical systems，MEMS)传感器检测车辆行驶状态信息，从而判断是否发生交通事故，并利用GSM发送报警信号。

因上述研究内容主要针对隧道内某一特定灾险检测，各灾险检测系统相对独立、融合性不强、误报率高且报警不及时等问题，极易造成二次交通事故。因此，现提出一种基于多传感器融合的隧道智能巡检系统，该系统将基于粒子群优化前馈神经网络(particle swarm optimization，back propagation， PSO-BP)的多传感器融合火灾检测技术及帧差法交通事故图像识别技术集成在隧道挂轨运行的智能巡检小车上，以解决隧道灾险信息获取不及时等问题。通过巡检小车在隧道内的循环运动，实时对隧道内的环境进行检测，可及时察觉隧道内火灾及交通事故等异常情况，为隧道灾险处理及预防二次事故的发生提供及时有效的技术支持。

1 系统总体设计

隧道智能巡检系统框架如图1所示，主要由主控模块、在轨运行模块、环境感知与模拟数字转换模块、通信及信息处理模块及灾险报警模块构成。其中，在轨运行模块负责使巡检系统在隧道上方循

环移动，并利用其环境感知模块对隧道内的信息进行采集，通过信息处理模块对接收的信息进行处理后，由通信模块将数据传递给主控模块实现对隧道内情况的识别判断，及时通过灾险报警模块将隧道内发生的灾险信息传递给相关人员。因针对公路交通隧道，为避免系统运行过程中影响隧道内行车安全，特在隧道顶部设置系统运行轨道。

1.1 火灾数据采集

因火灾早期多表现为烟雾较多的暗燃状态，为及时检测到隧道内早期火灾险情，故对隧道内烟雾及有害气体的检测选用性能优良的MQ-2烟雾及MQ-7一氧化碳(CO)传感器。该类传感器在与烟雾接触后，随着烟雾浓度升高，使半导体表面的氧负离子数量变少，导电率将会变大，输出电阻变小，从而导致输出的模拟信号变大。其检测浓度范围在125～12 500 mg/m3，具有较高的灵敏性和长期的稳定性等特点，原理图如图2所示。

对隧道内火灾的明火检测利用火焰本身向外发射特定波长范围的光线这一特征，通过运用五路器的探测范围较窄，采用此传感器可以将探测范围提升到120°以上，能够有效地检测到波段范围为700～1 100 nm的短波近红外光线，其原理图如图3所示。

1～6为引脚标号图2 烟雾传感器原理图Fig.2 Schematic diagram of smoke sensor

VRI为可变电阻1；DO为数字量输出；AO为模拟量输出图3 近红外火焰传感器原理图Fig.3 Schematic diagram of the near-infrared flame sensor

1.2 交通事故数据采集

对隧道内车辆状态信息的采集，采用搭载在云台上的无线远程摄像头(图4)。利用巡检机器人移动实时对隧道内的车辆行驶状态进行监控，并将视频图像通过通信系统传递给图像处理识别模块，实现对隧道内交通事故的识别报警。

图4 云台及无线远程摄像头Fig.4 PTZ and wireless remote camera

1.3 隧道巡检模块

为实现巡检过程不影响隧道内车辆正常行驶，通过在隧道上方搭设轨道，并设计将小车运动机构倒置，使巡检小车倒挂在轨道上，实现小车在隧道顶部灵活移动，从而实时准确地采集隧道内的环境信息，巡检小车样机如图5所示。巡检模块主要包括日常在轨巡视、异常检测定位及远程救援指导三大功能。其中，日常在轨巡视功能主要实现使巡检小车自动在轨道上循环往复运行，使其搭载的信息采集模块可以有效地采集隧道内的环境信息。异常检测定位功能主要实现通过信息采集模块及灾险检测模块迅速确定灾险发生位置，并将巡检小车停靠在合适信息采集位置，发送灾险位置信息。远程救援指导功能主要实现将灾险现场图像及CO、烟雾浓度等实时信息传递给救援指挥部，使救援人员可以指定合适的救援计划，快速有效地完成救援任务。

图5 巡检机器人Fig.5 Inspection robot

2 算法设计

2.1 火灾检测的融合算法

隧道火灾的及时有效检测报警对事故后续救援工作的开展具有重要意义。将火焰、烟雾及CO传感器节点采集的信息数据滤波去噪后进行归一化处理，并作为输入层数据输入到BP神经网络中，通过对火灾检测数据进行特征提取识别[10]，从而及时精准地判断隧道内是否发生火灾。该神经网络由隐含神经元层、输入神经元层及输出神经元层3层网络构成[11]，其结构原理图如图6所示。

2.1.1 BP神经网络融合算法

(1)输入层。图5中CO传感器、火焰传感器及烟雾传感器所采集的数据作为输入参数输入到网络模型中，因此，BP神经网络的输入层为3个神经元。为提高模型的识别效率及精度，需将所采集数据进行滤波去噪和归一化处理[12]，即

(1)

式(1)中：Xi为CO、烟雾及火焰传感器所采集的第i位数据；Yi为第i位数据归一化的值；Xmax、Xmin为所采集数据的最大和最小输入值。

图6 BP神经网络结构原理图Fig.6 Schematic diagram of BP neural network structure

(2)输出层。火灾检测模型的输出参数为明火概率、暗燃概率及无火概率，故输出层神经元个数为3个，用于确定隧道内是否发生火灾。在模型正向传播的过程中，输出层第j个输入节点的输出zj计算公式为

(2)

式(2)中：ωjo、ωjb为隐含层和输出层、隐含层和输入层之间的权值；φjb、φjo为隐含层和输入层、隐含层和输出层之间的阈值[13]；xj为第j个特征，j取值为1～3。

(3)隐含层。隐含层神经元的设计对整个模型的性能起着至关重要的作用，通过各神经元的权值在训练样本中精准确定输入与输出之间的潜在规则。本文隐含层的传递函数采用Sigmoid函数[14]，其神经元个数一般根据经验公式确定大致范围，再通过试测法确定具体数值。其经验公式为

(3)

式(3)中：n为隐含层神经元个数；a、b为输入和输出层神经元个数；c为[0，10]的整数。则n的取值范围为[3，13]，结合模型的测试结果确定隐含层神经元个数为8[15]。

(4)权值和阈值。在输出层通过将模型的期望输出和实际输出作差，计算得到各节点的输出误差，随后通过梯度下降的方法将输出误差反向传递调节阈值和权值[16]。其平均绝对误差Em计算公式如式(4)所示。利用梯度下降的方法反向传播对权值和阈值进行调整，其调整公式如式(5)所示。

(4)

式(4)中：tmj、zmj分别为第j节点的期望输出、实际输出。

(5)

式(5)中：μ为BP神经网络的学习率，当误差满足设定要求时，训练模型停止对阈值和权值进行更新。

2.1.2 粒子群优化算法

随机设定的BP神经网络的初始权值和阈值，容易使网络模型陷入局部最优解，从而影响模型的检测精度。因此利用PSO(particle swarm optimization)算法对BP神经网络的权值和阈值进行粒子寻优赋值，可以消除随机阈值和权值对模型带来的缺陷[16]。其PSO-BP优化算法步骤如下，其流程图如图7所示。

(1)将BP神经网络及PSO优化算法的参数进行初始化。设定PSO算法的学习因子、最大迭代次数及种群规模等。确定BP神经网络权值和阈值与粒子群算法中粒子维数的关系，设定粒子群解码方案。

(2)当实际输出与期望输出近似相等时，算法模型达到最优。则适应度函数为网络的实际输出与期望输出均方误差的平方和[17]，计算适应度F(x)，其公式为

(6)

式(6)中：tmj、zmj分别为第j节点的期望输出、实际输出。

(3)利用适应度函数将粒子与上个适应度相比较，更新个体和全局极值。并根据粒子群算法的设计更新粒子位置和速度。

(4)当PSO算法达到初始设定最大迭代次数或误差小于设定误差时，将最优解赋值给BP神经网络的权值和阈值[18-19]。如未达到，返回第(2)步。

图7 PSO-BP优化算法流程图Fig.7 Flow chart of PSO-BP optimization algorithm

(5)根据PSO算法优化的权值和阈值，利用数据集训练火灾检测模型，从而准确检测隧道内火灾情况。

2.2 交通事故检测算法

采用图像分类与目标检测算法相结合的方法，以缩短交通事故检测推理时间，提高检测效率。首先用图像分类模型判断所采集图像中是否包含行驶车辆，再利用目标检测模型对筛选出的图像进行事故检测与定位。其算法流程图如图8所示。

当隧道内车流量较小时，视频图像中会有较多没有车辆的空白区域。如果将这些空白图像输入目标检测模型中，将会严重影响模型的识别效率，且图像分类模型的推理时间远小于目标检测模型的推理时间，因此，在将图像输入到目标检测模型前，先通过Resnet50[20]图像分类模型对视频图片进行筛选，再将含有车辆的图像输入到目标检测模型中进行事故甄别，这样可以极大地提高检测系统整体效率，对隧道内的交通事故及时报警处理。

ResNet50作为由多个残差块构建而成的残差卷积神经网络，其重要的残差块结构如图9所示。图9中F(X)为将X输入权重层后的实际输出，通过跳转将X连接到权重层输出结果F(X)中，使卷积层的输出转换为F(X)+X。通过跳转连接X，使网络进行反向传播时，缓解网络层加深所导致的梯度消失问题，实现对目标车辆图像及无车辆图像的准确有效区分。通过将ResNet50神经网络模型筛选得到的待检测视频图像输入基于帧差法及模式匹配算法的事故检测模型中。首先利用帧差法将待检测视频图像进行预处理，获取理想背景图片，通过将视频图像中当前检测图像与背景图像进行差分运算，求得差分图像[21]。

图8 交通事故检测流程图Fig.8 Flow chart of traffic accident detection

图9 残差块结构Fig.9 Residual block structure

差分图像各坐标灰度值的运算公式为

Dt(x，y)=|It(x，y)-Bt(x，y)|

(7)

式(7)中：B(x，y)为背景图像灰度值；I(x，y)为当前图像的灰度值。

其检测模型灰度阈值α计算公式为

(8)

式(8)中：Ai为交通事故现场图像灰度值集合；s为交通事故现场图像面积；n为环境干扰因素；t为车祸事件。

通过将当前检测帧图像的灰度值与设定阈值进行对比。如果小于设定的阈值，则说明当前帧图像中检测车辆在运动，当大于等于阈值时，则表示检测车辆当前是静止状态，判断发生事故。

3 样机及实验仿真分析

为验证该系统的可靠性，根据隧道结构建立了一套隧道测试模型及检测样机(图10)，其测试模型截面结构图如图11所示。搭载检测系统的巡检机器人通过隧道顶部轨道往返运动，从而实现对隧道内异常情况的检测。

通过对隧道火灾明火、暗燃及无火情况的模拟与实验，共收集传感器样本数据500组，选取70%为训练数据，15%为测试数据，15%为验证数据。归一化后的部分数据如表1所示。将PSO-BP神经网络火灾检测模型进行MATLAB实验仿真，设定目标误差为0.01，最大迭代次数1 000，学习率为0.01。将归一化后样本数据输入到模型中，对BP神经网络模型与改进后的PSO-BP神经网络火灾检测模型训练结果的均方误差对比。其均方误差曲线对比如图12所示。

图10 隧道测试模型图Fig.10 Tunnel test model diagram

图11 测试模型截面结构图Fig.11 Cross-sectional structure diagram of the test model

表1 部分样本数据Table 1 Part of sample data

根据两类神经网络均方误差图(图2)对比分析得出，BP神经网络在迭代24次左右时均方误差不再降低，所能达到的最小均方误差为0.027。PSO-BP神经网络在迭代8次时均方误差不再降低，所达到的最小均方误差为0.019，其收敛速度和检测效果均优于BP神经网络模型。

通过对PSO-BP神经网络火灾检测模型仿真验证后，为进一步证明该系统在实际应用中的可靠性，特设计火灾模拟实验。经10次火灾模拟测试，对比单类传感器对早期火灾误报或漏报的情况，该系统均精准检测到隧道内火灾险情，并及时通过通信系统进行报警(图13)。

图12 神经网络均方误差对比Fig.12 Neural network mean square error comparison

事故检测模型的验证通过从UA-DETRAC数据集中选取100个视频片段，另外收集400张隧道内火灾图像数据，组成共计500张隧道交通事故数据集。使用编程语言python，在PyCharm上完成神经网络模型程序的编写搭建，并进行测试实验。根据检测任务要求，本文选择识别精度和每秒传输帧数(frame per second，FPS)作为模型的评价指标，其检测结果为：交通事故检测系统的检测精度可达92%，并且FPS可以达到112。证明事故检测网络能够实时有效的检测隧道内交通事故火灾，可以实现对隧道内的事故进行及时报警定位，避免二次事故的发生。

为验证该系统在实际隧道环境中的运行可靠性，在某未通车隧道进行实验测试，自动巡检小车倒挂在隧道顶部轨道上运行，其自身重量增加了小车轮胎的摩擦力，使其在轨道上往复运动更加可靠，搭载的环境感知等模块均可正常运作，自动巡检功能配合隧道固定环境感知模块可以及时有效地对隧道内事故进行自主检测，其实际隧道环境车辆火灾事故检测结果如图14所示。从图14可知，在实际场景中该系统可以准确的识别车辆火灾事故，与其他检测模型相比，不存在将车辆本身的灯光识别为火灾，其误检率得到的大幅度的降低。

图13 隧道火灾模拟实验Fig.13 Tunnel fire simulation experiment

图14 车辆火灾事故检测结果Fig.14 Vehicle fire accident detection results

4 结论

为解决当前交通隧道内各灾险检测系统相对独立、融合性不强及灾险报警处理不及时容易造成二次交通事故等问题，设计了一种基于多传感器融合的隧道智能巡检系统。该系统利用设计的多传感器信息融合火灾检测模块及帧差法交通事故图像识别模块对隧道内的火灾及交通事故进行检测，得出以下结论。

(1)通过将火灾检测及事故检测模块集成在同一个系统中，降低了隧道安全检测复杂度及前后期调试和维护成本。

(2)将火焰传感器及CO、烟雾传感器信息融合，提高了隧道内火灾检测的精度，尤其对隧道内早期暗燃火灾的识别准确率可达93%，能够及时进行报警，为火灾的及时救援提供强大的技术支持。

(3)通过卷积神经网络及帧差法图像处理识别技术对隧道内交通事故进行检测，其交通事故识别精度可达92%，FPS可达112，能够及时有效地对隧道内的事故进行检测预警，避免隧道内二次交通事故的发生，极大的降低人员和财产损失。