张世玉, 高德欣

(青岛科技大学自动化与电子工程学院, 青岛 266061)

新能源汽车极大地改变了全球汽车行业发展,是未来汽车行业发展的主要方向[1]。截至2022年6月底,中国新能源汽车保有量达1 001×104辆。电动汽车充电引发火灾事故呈现逐年高发态势,充电桩和车载电池在运行过程中存在线路过载、短路、接触不良、充电操作不当和高温条件下散热故障等问题,导致电池温度过高引发火灾事故。随着新能源汽车进一步市场化,充电安全问题成为新能源汽车推广的主要障碍[2]。

早期基于火焰和烟雾的纹理、小波、颜色、边缘方向直方图等静态特征提出火灾烟雾检测方法[3-6],此类算法存在计算量大、难以实现实时检测的问题。近年来,深度学习算法逐渐应用于火灾检测中[7-10]。轻量级YOLO网络模型易于部署在低算力平台,成为目前研究的主流方向[11-14]。YOLOv4-Tiny是轻量化模型,在农作物检测[15-18]、工业电子器件检测[19]等领域得到广泛的应用。Lin等[20]提出了一种改进的YOLOv4-Tiny目标检测方法,根据检测目标特点,在原算法中加入K-means聚类算法和通道注意力机制模块(SE),取得良好的检测效果。卢迪等[21]提出了一种改进YOLOv4-Tiny的手势识别算法,引入空间金字塔池化(SPP)模块和K-means++算法,部署在安卓(Android)移动端,实现了移动端实时的手势检测与识别,对人机交互的发展有很大的研究意义。

鉴于此,针对火焰烟雾颜色和形状特征具有复杂多变的特点,提出一种基于改进YOLOv4-Tiny-CBAM电动汽车充电站火焰烟雾多目标实时检测与预警算法,在原算法中引入K-means聚类算法[22]、遗传算法[23](genetic algorithm,GA)和卷积注意力机制(convolutional block attention module, CBAM)模块[24-26],通过火灾和烟雾数据集训练改进神经网络模型,基于充电站已有的监控设备实时检测火灾信息,对充电设备实施动态预警监测。选用轻量级YOLOv4-Tiny模型进行实时目标检测,在保证检测精度的同时,缩短检测时间,提升检测效率;原算法中引入K-means-GA聚类算法和CBAM模块,加强火焰和烟雾特征提取能力,提升训练效率和检测结果的精度,改善模型的泛化能力和鲁棒性;将电动汽车充电站监控视频作为神经网络模型检测输入视频源,以实现对多个充电站同时监控,缩短火灾应急响应时间。该网络模型可部署在低算力平台如巡检机器人等,在基于视频流的移动端目标检测应用中,具有良好的应用前景。

1 火灾检测模型设计

1.1 基于YOLOv4-Tiny火灾检测模型设计

由于目标检测算法在消防应用中需满足在低算力移动平台实时检测的要求,因此需选用轻量化模型。YOLOv4-Tiny是YOLOv4的简化版本,以输入图像大小为608×608为例,图1为YOLOv4-Tiny的网络结构图。

Max Pooling表示最大值池化;Conv表示卷积;DOWNSAMPLE表示下采样;CBL表示卷积模块;Concat表示连接;CSP表示CSP网络结构,其主干网络高度简化,使用特征金字塔网络进行32次下采样和16次下采样得到两种不同大小的特征图,通过回归和分类算法实现目标的检测和定位,提高检测速度图1 YOLOv4-Tiny网络结构示意图Fig.1 YOLOv4-Tiny network structure schematic

YOLOv4-Tiny的主干网络由堆叠的CBL结构和Resblock结构组成,与Darknet53相比,主要变化是替换Mish函数为Leaky-Relu激活函数,简化模型参数,提高计算速度。Resblock结构是CBL模块和CSP结构的组合,为了限制模型大小和参数个数,CSP结构只通过了一次残差结构的堆叠。在预测方面,YOLOv4-Tiny采用YOLOv4预测模块,使用K-means聚类算法找到锚框,考虑尺度、距离、惩罚项和锚点之间的重叠率对损失函数的影响,引入CIOU(complete-IoU)来代替交并比(IOU),目标框回归变得更加稳定,如图2所示。

blue为蓝色;red为红色;greeen为绿色;c为真实框和预测框两框中最小的边界矩形的对角线长度;d为真实框的中点和预测框中点的直线距离;A表示检测区域(预测框);B表示目标区域(真实框);C表示包含A和B的最小区域;D表示A和B重合区域图2 CIOU示意图Fig.2 CIOU diagram

CIOU损失函数的计算公式为

(1)

式(1)中:dgt为真实框中点的位置;α为注意力机制中设定的权重系数;v为真实框和预测框两框的纵横比距离;d为预测框(A)和真实框(B)的中心点的欧式距离;c为能够同时包含预测框和真实框的最小包闭区域(C)的对角线距离;α和v的表达式分别为

(2)

(3)

式(3)中:wgt、hgt分别为真实框的宽度和高度,w、h分别为预测框的宽度和高度。

在YOLOv4-Tiny基础上进行改进:首先,原网络中锚框值不适用于火焰烟雾目标,需要重新计算;其次,原网络模型使用了大量的最大池化并减少了卷积层的使用,导致模型的主干特征提取中高级语义信息严重丢失,小目标的特征点在网络特征提取过程中容易被跳过,导致检测模型对火灾发生初期的小火焰烟雾目标不敏感。针对这两个问题,在原网络模型中引入K-means-GA聚类算法重新筛选锚框,在主干特征提取层和加强特征融合层中引入CBAM模块,提升火焰烟雾特征提取能力以提高模型的准确率,同时保持较高的检测速度,改进后的网络结构示意图如图3所示。

DarknetConv2D_BN_Leaky为卷积层-批归一化层-Leaky激活层这三层网络结构;Resblock_body通常由多个Residual Block组成,每个Residual Block 包含多个层(卷积层、批归一化层和激活函数层等),通过跨层连接将输入特征与输出特征相加,从而实现信息的残差传递;CBAM为CBAM注意力机制;YOLO Head为YOLOv4-tiny的预测头;Conv+Upsampling为卷积层和上采样层这两个层;Input为输入的特征图图3 改进YOLOv4-Tiny网络结构图Fig.3 Improved YOLOv4-Tiny network structure diagram

1.2 基于K-means-GA的锚框优化

在目标检测任务中,首先在图片上生成一系列锚框,将这些锚框当成可能的候选区域,模型对这些候选区域是否包含物体进行预测。检测不规则物体时,微调模型的锚框有助于提升检测性能。电动汽车充电站发生火灾时,火焰和烟雾在短时间内受外界因素影响导致形状复杂多变,不宜使用原锚框参数值,因此需使用K-means算法重新对数据集进行聚类,得到基于火焰烟雾数据集的锚框值并用于检测。

K-means算法的目的是将对象划分为使同一簇内对象之间的距离最小化的簇,以识别相似的对象,如图4所示。但其缺乏选择合适初始种子的能力,随机选择初始种子可能会导致局部最优解远远低于全局最优值,即在同一数据集上运行的不同初始种子可能会产生不同的分区结果,导致分类不准确。

不同颜色的点表示锚框的大小;×表示聚类中心图4 K-means示意图Fig.4 K-means diagram

为了克服上述限制,避免K-means聚类的过早收敛,采用GA算法作为优化工具,将GA与K-means均值聚类过程合并,在K-means聚类过程的第一步中进化初始种子,提高指定k(聚类簇数)周围的分类质量。

GA算法是一种具有全局搜索能力的随机算法,主要步骤是将待解空间中的可能值编码为染色体,建立初始种群,然后按适应度(fit)进行遗传选择,按一定概率进行交叉和变异。循环执行遗传选择、交叉、变异操作,直到满足结束条件。

(4)

式(4)中:JB为符合条件的个体;JE为全部个体。

交叉和变异操作会产生新的个体,但种群规模应当始终控制为固定大小m,遗传选择操作首先计算当前所有个体的适应度fitness,将适应度按降序进行排序,然后按照以下策略进行遗传选择。

(1)最优个体保留。适应度前10%的个体直接选入下一代。最优个体的保留确保了在进化过程中种群已得到的最优解不会被淘汰,使得进化不会发生倒退。

(2)剩余个体轮盘赌。对剩余的个体使用轮盘赌方式的方式决定是否能进入下一代。剩余个体i对应的适应度为fi,对应的轮盘赌概率ρi可表示为

(5)

式(5)中:ui为符合条件的个体;u为全部个体。

(3)循环考察剩余个体,产生随机数r,若ρix=ρi,则将个体ix选入下一代。如此循环,直到下一代种群的规模达到预设m。

使用改进K-means-GA聚类算法对火焰烟雾数据集进行重新聚类,fit=0.752 6,锚框(anchor)参数如表1所示。

表1 anchor参数值Table 1 Parameter value of anchor

1.3 基于CBAM算法的特征提取网络优化

注意力机制是深度学习算法中常用优化算法,可以分为通道注意力机制(SENet、ECANet)、空间注意力机制(SAM)、以及二者的结合体卷积注意力机制(CBAM)。注意力机制通过给不同部分的特征图赋予权重或硬性选择部分特征图,抑制无用信息,以达到选择更优特征的目的。

CBAM由输入模块F∈RC×H×W、通道注意力模块Mc∈RC×1×1、空间注意力模块Ms∈R1×H×W和输出模块F2组成,如图5所示。

MaxPool为最大池化层;AvgPool为平均池化层;Shared MLP为多层感知机;Conv Layer为卷积层图5 混合注意力机制Fig.5 Convolutional block attention module

CBAM用函数形式可表示为

F′1=Mc(F)⊗F

(6)

式(6)中:F′1为通道重定义特征,即特征图已经CAM注意力模块后生成的一种特征图;⊗为卷积运算。

F2=Ms(F′1)⊗F′1

(7)

CBAM将空间注意力和通道注意力结合起来,实现双机制结合。注意力模块不再采用单一的最大池化或平均池化,而是采用最大池化和平均池化的相加或堆叠,即通道注意力模块采用相加,空间注意力模块采用堆叠方式,能显著提高图像分类和目标检测的准确率。

由于将注意力机制模块放置在主干网络会导致网络的预训练权重无法用且降低预测准确性,在主干网络提取出来的两个有效特征层上增加CBAM模块,同时对上采样后的结果增加CBAM模块,如图6所示。CBAM模块是一个轻量级的通用模块,包含CAM和SAM两个独立的子模块,分别进行通道与空间上的处理,能够节约参数和计算力,保证其能够作为即插即用的模块集成到卷积神经网络架构中,改善特征提取能力,提升卷积神经网络的性能。

CSPDarknet53-tiny为改进后的YOLOv4-Tiny的特征提取网络;FPN为特征金字塔网络,其能够对输入的多尺度特征图进行特征融合,并且产生新的特征图图6 特征提取网络改进示意图Fig.6 Schematic diagram of feature extraction network improvement

2 实验平台构建

2.1 实验数据集构建

电动汽车发生火灾时,初期燃烧温度可达500 ℃以上,随着高温烟气持续聚集,有限空间内部温度将急剧上升,形成扩散趋势,横向蔓延至周边车辆及其他可燃物。电气设备燃烧时会产生大量烟雾,部分烟雾与火焰相融合影响火焰的亮度和形状,火焰和烟雾易受外界因素影响导致特征复杂多变。因此,在数据集选取和构建过程中,要扩大数据集图片数量,尽可能多的标注不同状态下的动态目标特征信息,提升检测精确度。

数据集在构建过程中,为保证图片质量,选取图片的宽度或高度应不小于600像素,去除重复、模糊、光污染的图像,最终得到3 371幅图像,部分数据集如图7所示。LabelImg软件用于对实验图像中的火焰烟雾图进行标注,生成包含火焰和烟雾坐标的XML文件,并按照VOC数据集格式进行划分,训练集、验证集和验证集划分比例为8∶1∶1。

2.2 实验环境配置

实验环境为win10系统,CPU为Intel i7-11800H,ROM为16 GB,GPU为RTX3060(6 GB),模型均使用PyTorch编写,具体配置如表2所示。训练参数设置:置信度(confident)为0.5,训练轮数(epoch)为300,前100个epoch的学习率为1×10-3,训练批次(batch size)为8;后200个epochs的学习率为1×10-5,batch size为4,输入图像尺寸统一设置为416×416。

表2 本地计算机的基本配置Table 2 Basic configuration of the local computer

电动汽车充电站多目标监测主要可以分为模型搭建,模型训练和实时检测3个阶段,依据检测目标对YOLOv4-Tiny网络模型进行改进,完成网络模型搭建;训练集用于模型训练;测试集用于对火灾烟雾视频进行检测,具体流程如图8所示。

图8 实验流程图Fig.8 Experimental flow chart

2.3 模型性能评价指标

在二元分类问题中,根据样本的真实类别和模型的预测类别的组合,可以分为4类:真正例(TP)、假正例(FP)、真负例(TN)、假负例(FN),如图9所示。机器学习(ML),自然语言处理(NLP),信息检索(IR)等领域,评估(Evaluation)是一个必要的工作,而其评价指标包含AP、mAP、Pr、Re和F1-Measure(F1),其中,Pr为所有预测为阳性的样本中真阳性样本的比例;Re为在真阳性样本中预测为阳性的样本的比例;每个类的AP为Pr和Re形成的Pr-Re曲线下的面积;mAP为所有类的AP值的平均值;F1为基于Pr和Re的调和平均值。

图9 评估参数示意图Fig.9 Schematic diagram of evaluation parameters

3 实验验证与分析

3.1 实验结果分析

为验证YOLOv4-Tiny-CBAM模型检测性能,随机筛选400张图片在该改进算法进行测试评估,实验测试结果如表3、图10所示。损失曲线显示了训练期间训练集上的误差,在前10次训练迭代期间,误差急剧下降。迭代10次之后,损失曲线趋向于稳定,最终误差在0.05附近波动。测试结果数据如表3所示。

表3 YOLOv4-Tiny-CBAM测试结果Table 3 YOLOv4-Tiny-CBAM test results

trainloss为训练集损失函数值;val loss为验证集损失函数值;smooth train loss、smooth val loss分别为将训练集和验证集的损失函数值平滑化,用于保证目标图像的梯度不能过大,进而保证看起来更加平滑;class为目标检测识别出来的目标类别;score_threhold为极大值抑制的阈值,当预测框的置信度小于score_threhold时会被直接去除掉,从而防止重复框;smoke F1为烟的 F1值;fire F1指的是火的 F1值图10 YOLOv4-Tiny-CBAM测试结果示意图Fig.10 Schematic diagram of YOLOV4-Tiny-CBAM test results

为了验证上述改进模型的实时检测性能,选取部分车辆着火图片至YOLOv4-Tiny-CBAM算法模型进行实时检测,检测结果如图11所示,火焰和烟雾预测框贴合目标所在区域,烟雾和单火焰目标预测准确性均大于0.8,多火焰目标准确性均大于0.7,达到了实验预期要求。

图11 模拟监控视频检测结果图Fig.11 Analog surveillance video detection results chart

选取某电动汽车充电站着火视频作为模拟监控设备视频输入YOLOv4-Tiny-CBAM算法模型进行实时检测,检测结果如图11所示,该模型检测速度足以进行43 FPS(video)的连续实时检测,具有较高的精确率和较强的连续跟踪能力,可应用于远程动态视频监控,满足对电动汽车充电站实现实时监控需求。

3.2 模型对比分析

为了验证提出的YOLOv4-Tiny-CBAM模型的优越性,将其与Faster R-CNN(faster-regions with CNN features)、SSD(single shot multibox detector)、YOLOv4和YOLOv4-Tiny算法进行比较分析。实验过程中选取同一份测试数据集且各项参数保持相同,不同模型评价指标参数如表4所示。

表4 不同模型评价指标参数对比Table 4 Comparison of evaluation index parameters of different models

从表4中可以得出,YOLOv4-Tiny模型的参数量为6.057 M,是原YOLOv4模型参数量(Pa)的9.41%,网络模型得到大幅度精简,mAP值下降4.75%。改进后的YOLOv4-Tiny-CBAM模型与原YOLOv4-Tiny模型相比,模型参数量增加1.42%,mAP值提升7.33%,火焰目标检测AP值提升9.36%最为显著。实验结果表明,K-means-GA聚类算法和CBAM算法对烟雾特征提取具有优化作用。

选取部分电动汽车着火图片输入至YOLOv4-Tiny-CBAM、YOLOv4和Faster R-CNN模型进行横向对比,图片输入尺寸为608×608,confidence设置为0.5,检测结果如图12所示。可以看出,改进后的算法在检测精度上全面领先于YOLOv4算法,YOLOv4算法中存在的漏检问题得到了解决,如图12(d)、图12(f)、图12(g)、图12(i)所示。Faster R-CNN模型虽然具有极高的检测精度,但是存在误检行为,将绿色树叶误检测为火焰如图12(h)所示,与Faster R-CNN模型相比,提出的改进模型在精度上稍有下降,但在检测速度上领先于Faster R-CNN模型,易于部署在移动平台上实现实时检测。

4 结论

(1)针对电动汽车充电站得安全监测与预警问题,提出一种轻量级目标检测算法,实现了对电动汽车充电站这一复杂场景的实时火焰烟雾多目标检测。经实验对比分析表明,改进后的YOLOv4-Tiny-CBAM模型mAP为86.76%,模型参数量为6.143M,综合性能优于当前流行的SSD模型、YOLOv4模型,以及具有ResNet 结构的Faster R-CNN模型,FPSvideo值为43,可应用于低算力移动端平台实现实时火灾检测,有助于电动汽车充电站安全运行。

(2)今后工作可进行以下改进:首先根据电动汽车充电站火灾特定场景构建数据集,增加电动汽车和充电桩着火图片数量,提升火灾场景复杂程度,提升检测精度;进一步优化网络模型,根据火焰和烟雾特征对CSPDarknet53-Tiny网络进行通道修剪并引入先进的优化算法,提升检测精度和召回率,使改进模型更符合特定场景火灾检测需求,提升检测效率。