钟铭恩, 谭佳威, 袁彬淦, 吴志华, 冯妍, 朱程林

(1. 厦门理工学院 机械与汽车工程学院, 福建 厦门 361024;2. 厦门大学 航空航天学院, 福建 厦门 361104)

路口等复杂交通环境下的二轮机动车违法行为是政府部门提升通行安全的一大障碍.数据表明,一半以上的交通死亡发生在弱势道路使用者中,包括摩托车、电动车载乘人员等,而未规范佩戴头盔正是二轮机动车载乘人员发生事故后死亡的重要原因[1].相较于宣传教育,行政治理由于其威慑作用而更加直接有效.目前,交管部门主要采用人工拦检的方式在路口查处此类行为,需耗用大量的人力资源,且易因驾驶员的危险逃窜行为及执法人员可能实施的不文明执法而阻碍交通,甚至诱发严重事故.因此,如何在目标密集和随机遮挡频发的复杂路口环境下更科学、高效地检测和治理二轮机动车乘员不规范佩戴头盔的行为,一直是社会各界积极探索的课题.

得益于数字图像处理、模式识别等技术的不断发展,机器视觉在交通管理和智能交通系统中扮演着越来越重要的角色.近年来,相关研究主要集中于数据集制备[2-3]和头盔佩戴检测算法[4-8]等方面.然而,现有数据集的场景较为单一且对应算法的泛化能力不足.因此,有必要进一步提出更为复杂、多样的二轮机动车交通图像数据集,以充分体现我国的交通现状和特点,并探讨在该交通条件下提升算法的头盔佩戴综合检测性能的方法.基于此,本文提出一种复杂交通环境下二轮机动车乘员头盔检测算法.

1 数据集的制备

数据集是研究的前提,鉴于当前公开的二轮机动车交通数据集的场景相对简单、交通密度较低、摄像头视野角度不够多样、乘员头盔较少出现重叠和遮挡等不足,拟自行构建数据集以增强检测算法的适应能力.通过运动相机分别采用固定和移动拍摄模式(图1)在福建省厦门市各路口实景多角度拍摄二轮机动车的交通视频图像.通过调整三脚架和自行车上金属立杆的高度和拍摄角度,充分利用运动相机的防抖和高帧率摄像功能,较好地模拟了交管部门部署于道路上方的监控探头固定视角和警用车辆(警用汽车、警用摩托车)行车记录仪的移动视角,采集的数据有利于算法在实际交通场景的大规模应用.

(a) 固定 (b) 移动

重点考虑在劳动力集中型工业区路口进行数据采集,以提高密集、混合交通图像数据的占比,并在不同时段(白天、早高峰、晚高峰和夜间)、不同天气(晴天、阴天、雨天和雾天)、不同光照(逆光、平光和顺光)条件下进行采集,以提高图像的复杂性和多样性.拍摄后将图像分辨率统一调整为800 px×600 px,并使用开源工具Labelimg进行手动标注,标签为helmet和helmetless.最终构建1个包含5 381张图像的、能够较好体现交通目标密集分布和随机遮挡特点的二轮机动车乘员头盔佩戴数据集,并将其命名为XMUT-HELMET.XMUT-HELMET数据示例,如图2所示.

图2 XMUT-HELMET数据示例

该数据集中的头盔多为小目标,且像素尺寸变化范围较大.采用深度学习技术进行目标检测时,为使模型先验框尺寸更加符合数据特点,加快网络回归,降低目标漏检率,使用K-means++算法对头盔目标的真实标注框进行聚类.聚类后的先验框尺寸,如表1所示.

表1 聚类后的先验框尺寸

2 算法模型的设计

目前,学术界和工业界已涌现诸多经典的算法模型,例如,基于锚框的Faster R-CNN系列、SSD系列和YOLO系列和无需锚框的CenterNet,RetinaNet,以及从属于不同架构的Vision transformer等[9-16].对比评价这些模型的性能时,更多的是在COCO,PASCAL VOC等大型开源数据集上进行.然而,针对不同的检测任务时,不同算法模型的检测性能很可能发生变化.

主流算法模型在XMUT-HELMET数据集上的检测指标,如图3所示.图3中:Pma为平均准确率;Q为模型的参数量[17].由图3可知:YOLOv4,YOLOv7的平均准确率明显优于其他算法,对图片中密集分布和随机遮挡的小尺度头盔目标的检测效果较好;YOLOv7的平均准确率比YOLOv4略低,但参数量却减少了约50%,故选取YOLOv7作为基线参考模型,进一步对特征提取主干网络、特征融合结构和检测头等3个模型组成部分进行替换或改进,以提高平均准确率,使其在XMUT-HELMET数据集上达到最高水平(SOTA).

图3 主流算法模型在XMUT-HELMET数据集上的检测指标

2.1 主干网络的替换

YOLOv7主干网络由CBS,ELANB,MPConv和SPPCSPC等模块堆叠而成,这一复杂的结构对于多个类别的公共数据集目标检测任务的适应能力较强,但对仅有两个类别的二轮机动车头盔检测任务则存在大量冗余参数和运算量.为了便于在边缘设备上进行部署,使用轻量级网络进行替换(改进1),以压缩整体资源占用量.

EfficientNet[17]是一种轻量级网络,具有特征提取能力强、浮点运算量(FLOPs)和参数量较小的特点[18].该网络共有EfficientNet-B0～EfficientNet-B7等8种结构,这些结构是类似的,但参数量和浮点运算量存在较大差异.EfficientNet的参数量和浮点运算量[19],如表2所示.由表2可知:EfficientNet系列模型的参数量和浮点运算量从EfficientNet-B4开始大幅增加,导致网络的训练和调用难度也随之增加.因此,选择具有优良特征抽取能力的EfficientNet-B3作为主干网络,可有效降低模型参数量,满足交管部门在警用车辆、监控探头等设备上的部署需求.

表2 EfficientNet的参数量和浮点运算量[19]

2.2 特征融合结构的改进

YOLOv7的特征融合结构通过拼接等多种操作,可充分利用二轮机动车附近区域的高低维语义信息,但也易使感受野过小,从而忽略头盔底层边缘信息,造成模型在密集、遮挡等不利条件下漏检小目标头盔.为了提高模型对复杂交通场景小目标头盔的检测能力,降低漏检率,在特征融合结构中引入增大感受野模块(RFB)[20](改进2).不同层数的感受野RFn+1为

(1)

式(1)中:n为层数;k为卷积核尺寸;s为步长.

RFB从卷积核尺寸着手,使用不同膨胀率的多分支空洞卷积,有效地增大卷积核,从而达到模拟人类视觉,增大感受野的目的.RFB结构,如图4所示.将RFB引入模型第1个负责小尺寸头盔检测的低维特征分支,防止细粒度特征(如头盔颜色、椭圆形边缘等)语义信息的丢失.

2.3 检测头的改进

YOLOv7中的检测头先使用RepConv对特征融合结构的输出进行提炼,再进行头盔目标框的特征解码.鉴于二轮车头盔检测场景的复杂性和强干扰性,若能在特征解码前使用注意力机制纠正网络感兴趣区域偏差,从大量全局信息中获取头盔重点关注区域,则能进一步降低模型漏检率和误检率.

常用的注意力机制有高效的通道注意力(ECA)[21]等,它们大多是单一地对通道或空间的神经元进行权重学习,进行权值分配时往往会缺失某些必要特征(如头盔轮廓信息等),而SimAM[22]机制能更好地模拟视觉信号处理过程,使通道和空间注意力协同工作,从而对乘员头盔主要特征区域进行强调,对马路、红绿灯和公交站台等背景次要干扰特征进行抑制,且SimAM机制不会引入额外的参数,有利于实际部署.SimAM机制的操作主要由能量值计算(CEV)和特征加权(WF)两部分组成,首先,通过CEV操作获取单个通道中神经元的能量值,再基于该能量值使用WF操作,对输入的图像特征进行加权,CEV操作的描述为

(2)

WF操作的描述为

(3)

2.4 算法模型的整体结构

综合上述参考模型和改进内容,提出二轮机动车乘员头盔检测算法(文中算法),用于实现密集目标和随机遮挡情况下的二轮机动车乘员头盔佩戴检测.二轮机动车头盔检测算法模型的整体结构,如图5所示.该模型分为主干网络、特征融合结构和检测头3个部分.主干网络EfficientNet-B3通过多个模块的堆叠不断提取输入图像特征,首先,是一个包含BN和Swish激活函数的3×3卷积层,然后,是7个重复堆叠的MBConv结构,最后,是1个由1×1卷积层和1个平均池化层组成的CP模块.特征融合结构中沿用了YOLO系列模型的FPN和PANet结构思想,先进行上采样扩大特征图尺寸,再使用池化的方式提炼上、下文特征,并通过跨层连接将它们合并,最后得到用于预测的有效特征.检测头基于预先设定好的交并比(IoU)阈值和置信度阈值进行非极大值抑制,以得到较好的头盔检测结果.

图5 二轮机动车乘员头盔检测算法的整体结构

3 实验结果与分析

3.1 评价指标

考虑到交管部门的应用需求,选择准确率(P)、召回率(R)、Pma(IoU=0.5)、参数量、浮点运算量和帧率作为模型性能的评估指标. 准确率表示预测样本中实际正样本数占所有正样本数的比例;召回率表示预测样本中实际正样本数占所有预测的样本数的比例;参数量和浮点运算量反映模型占用资源的大小;帧率反映模型推理速度.Pma的计算原理为

(4)

(5)

(6)

式(4)～(6)中:Pa为单个类别的平均精度;TP为真正例,表示实际为正例且被分类器划分为正例的样本数;FP为假正例,表示实际为负例,但被分类器划分为正例的样本数;FN为假反例,表示实际为正例,但被分类器划分为负例的实例数.

3.2 模型训练

实验基于Windows 10×64平台,且通过Python语言编程实现,使用深度学习框架Pytorch 1.8.0搭建网络模型.CPU为Intel(R) Core(TM) i7-10700K CPU@3.80 GHz,内存为32 GB,GPU为NVIDIA RTX3090,显存为24 GB.

模型训练时,设置批尺寸为12,初始学习率为0.001,使用EfficientNet-B3预训练权重进行迁移学习.训练的平均准确率和损失(l)曲线,如图6所示.经过100个轮次(e)的训练后,YOLOv7的平均准确率为87.10%,而文中算法的平均准确率达到90.36%,提升了3.26%,损失降至3.92.

(a) 平均准确率曲线 (b) 损失曲线

3.3 实验结果分析

在相同的训练设备和参数配置下,使用XMUT-HELMET数据集分别对YOLOv7和文中算法进行训练,训练后使用测试集中的图片进行推理.YOLOv7和文中算法检测结果对比,如图7所示.

(a) 图片1 (b) 图片2 (c) 图片3

由图7可知:在交通密集和随机遮挡场景下,通过YOLOv7进行头盔检测的效果不甚理想,鲁棒性较差,如图7(a)中间有一个佩戴黄色头盔的骑行人员被部分遮挡,导致漏检,图7(b)左侧有一个正常佩戴头盔的骑行人员被座位后方人员遮挡,导致其被误检,图7(c)的左侧有一个未佩戴头盔的骑行人员被立柱式红绿灯部分遮挡,右侧有一个正常佩戴头盔的人员被密集分布的其他人员遮挡,这均被YOLOv7忽略,而文中算法在这些情况下依然具备优良的检测能力.

为了分析改进1～改进3对模型检测效果的影响,进行消融实验(实验A～实验C),结果如表3所示.由表3可知以下3个结论:1) 采用EfficientNet-B3作为主干特征提取网络后,准确率、召回率、平均准确率分别提升了1.69%,0.29%,1.98%,最主要的是模型的参数量和浮点运算量分别减少了26.55 MB和34.45×109,帧率提升了17.54 F·s-1;2) 在特征融合结构中引入RFB后,准确率提升较少,仅为0.28%,但召回率增加了1.67%,说明模块对小尺度、部分被遮挡的头盔的检测效果较好,降低了漏检率;3) 在检测头部分引入SimAM机制后,准确率、召回率和平均准确率分别增加了0.87%,0.30%和0.61%,算法排除无关干扰的能力有所提升.

表3 消融实验结果

综合这3项改进,文中算法实现了提升目标检测效果、降低参数量和运算量的目的,这有利于将该算法部署于智能交通设施等边缘设备中.

为进一步验证文中算法的先进性,选用Faster R-CNN,SSD,YOLOv3,YOLOv4,YOLOv5,YOLOv7,CenterNet,RetinaNet,Vision transformer-DETR,Swin Transformer-Mask RCNN[24]等算法与文中算法进行对比实验,结果如表4所示.由表4可知:文中算法在准确率、召回率、平均准确率、浮点运算量和帧率上都达到了当前最佳值,仅在模型参数量上为次优(12.330 MB),比其他算法更具有优越性;文中算法的参数量和浮点运算量分别为YOLOv7的33.1%,23.5%,相较于YOLOv7,准确率、召回率、平均准确率分别提高了2.84%,2.26%,3.26%.

表4 各模型检测性能对比

此外,为验证文中算法在边缘设备上的部署能力,在NVIDIA Jetson Nano开发板上进行实验.该开发板采用4核64位ARM CPU和128核集成NVIDIA GPU,提供每秒浮点运算量为472×109的计算性能.结果显示,文中模型的平均准确率为90.24%,帧率达到47.58 F·s-1,而同等情况下YOLOv7的平均准确率为86.98%,帧率为18.05 F·s-1,说明文中算法能在计算资源有限的情况下实现较为准确、快速的推理,具备优良的轻量化部署能力.

4 结束语

为了实现密集目标和随机遮挡下头盔佩戴情况快速、准确的检测,制作二轮机动车在复杂交通环境下的图像数据集,并以此为基础参考YOLOv7提出一种轻量级的二轮机动车乘员头盔检测算法.实验结果表明,在该数据集上的头盔佩戴检测任务中,文中算法在准确率、召回率、平均准确率、浮点运算量和帧率上都达到了当前最佳,并在边缘设备上有更好的部署能力,有利于在现有智能交通设施或警用车辆上应用推广.然而,从实验结果来看,文中模型的参数量仍高于YOLOv5,存在进一步优化的空间.未来将采取模型剪枝、量化和蒸馏等措施,进一步缩减参数量.此外,文中模型对检出目标的置信度不高,这可能是因为稠密交通环境下二轮机动车背景对模型推理过程仍存在较大干扰,今后将借助CAM热力图等手段,探究模型推理过程的可解释性,并使用其他有效策略对模型进行进一步优化.