陈 畅，刘鉴栋，闫云凤，齐冬莲

（1.广东电网有限责任公司广州供电局，广州 510050；2.浙江大学 电气工程学院，杭州 310027）

0 引言

电力建筑工地的智能化管理对于保障人员和财产安全，规范工地管理秩序，降低工地监管成本等具有重要意义。然而，电力建筑工地待测区域存在车辆频繁出入、人员行走随意、区域范围较大、数据采集缺失等问题，亟需实现施工现场的全范围多角度智能监控。

为提升电力工地区域智能监测水平，在建立完善的基于摄像集群与数据处理设备的工地监控网络基础上［1-2］，国内外学者针对工地内的人员和车辆的检测进行了相关研究。文献［3］利用多尺度训练、增加锚点数量、在线困难样本挖掘对Faster R-CNN特征区域进行改进，提高了安全帽检测的鲁棒性。文献［4］基于Tensorflow 框架对Faster R-CNN 进行优化，提高了安全帽检测速度。文献［5］则采用成熟且高效的YOLOv3实现了安全帽检测的工业化应用。针对车辆（包括小汽车和卡车）的智能识别问题，文献［6］基于YOLOv4框架和深度残差网络对复杂环境中的车辆进行有效检测。文献［7］利用深度学习方法解决车辆检测问题，其检测效果比传统的机器学习算法在精度和速度上更具优势；但目前仍然缺少施工现场车辆检测成果，需继续结合工地的特定场景进行车辆检测研究。

针对工地区域的人员与车辆融合检测问题，本文提出一种智慧工地区域监测与定位模型。综合考虑人员、车辆的相对位置关系，基于目标关联性的定位模型，同时完成人员和车辆的同步精准定位，提升了区域监测系统的检测效率。通过修正IoU（并集交点）计算方式，提高人员和车辆的检测精度。利用施工现场图片进行实验，对本文所提方法的检测准确率进行验证。

1 基于目标关联性的人车融合定位模型

现有的人车定位方法大部分为单任务学习，训练出的模型需要进行繁琐的后期处理以获得人车同步定位，效率低下，且无法同时运用多目标的关联性提升定位准确性。为了更好地提高定位精度，提出一种基于目标关联性的人车融合定位模型，在提升模型预测速度的同时，更好地结合多目标位置的关联性，提高人车同步检测的准确性。

1.1 定位模型网络结构

本文设计的人车融合定位网络结构如图1 所示，其主干网络参考HRNet（高分辨率网络）［8-10］进行人车多目标特征的改进。与现有的网络相比，HRNet 在每一阶段均同时保留高分辨率的特征层与低分辨率的特征层，并对多种分辨率的特征层进行融合，更好地学习图像局部特征与全局特征，大幅提升了模型的学习效果。

图1 人车融合定位网络结构

结合人车特征与工地区域监测需求，对传统的HRNet 进行改进，在主干网络中保留3 种分辨率的特征层，并增加关联性融合模块，实现多目标的位置关联性自主学习。同时，在定位模型中增加人员局部定位模块、车辆定位模块、人车融合定位模块，保证人车独立与同步精准定位。

分别将人车局部定位模块置于第一、第二阶段，使人车独立与同步识别扩大至区域的整体动态监测过程，从而增大视频感知区域以实现监测递进。在网络前两个阶段进行人车的定位，相当于对网络模型引入中间监督模块，在提升网络多目标预测能力的同时，也提升了人车融合定位与分类的准确率。

根据网络模型的训练需求，基于目标关联性的人车融合定位模型的损失函数L定义为：

式中：L1、L2、L3分别为人员定位模块、车辆定位模块、人车融合定位模块的损失函数；λ1、λ2、λ3为对应模块的权重。

需要说明的是，图1所示网络结构的作用是定位并提取图片，以便于后续对这些图片进行识别。

1.2 人车局部定位模块

为了加快后续人车融合的定位与识别速度，分别增加人局部定位模块和车局部定位模块，这两个模块结构相同。相比于传统的目标检测，人车局部定位的难点在于没有绝对准确的目标框位置，因此本文采用固定大小的候选框进行定位，并设计了一种针对人车局部模块的新的IoU 计算方法：

式中：I*为新方法计算得到的IoU；Sa为候选框的面积；Si为人或车局部的第i个真值框与候选框的重合面积。

人车局部定位模块输出大小为h×w×2（h和w分别为输入图像高和宽的25%），分别预测前景和背景两个类别。考虑到该模块仅需要进行分类，因此采用交叉熵计算局部损失函数。该方法考虑到了人车在图像中的大小以及计算效率两方面因素，同时可实现整个监控区域的全方位覆盖。

1.3 人车本体定位模块

人车局部定位模块与人车本体定位模块均包含分类和边框回归两个子模块，分类模块输出大小为h×w×（c+1）k（k为每个中心点包含的候选框个数，c为识别的类别数目），边框回归模块输出大小为h×w×4k。本文的边框回归计算方式如下：

式中：x和y为候选框的中心坐标；含下标a 的变量为候选框数值，含上标*的变量为真值框数值；tj为网络预测坐标值；为坐标真实值；λj为缩放参数，j∈{x，y，w，h}。

在实际使用模型预测时，为了提高边框回归损失的比重，模型采用：

根据上述定义，可得人车融合定位模块的损失函数L为：

式中：Nc为分类样本数；Nr为回归样本数；Lc（·）为交叉熵损失函数；Lr（·）为smooth L1 Loss函数；pi为模型预测的第i个模块类别的得分，pi*为pi对应的真值；ti为模型预测的对应模块类别的边框回归数值，ti*为ti对应的真值。在进行损失计算时，边框回归部分仅考虑人车图片中设定为前景的候选框与前景框的回归数值。

1.4 关联性融合模块

关联性融合模块的结构如图2所示，该模块能够将主干网络中不同阶段的特征层使用3×3 的卷积层进行再学习，随后对其进行拼接，因此可以更好地学习并融合人车各自特征以及人车融合特征，有利于增强网络对人车从局部至整体的把握，从而提升网络模型对人车独立与融合的预测效果。

图2 关联性融合模块

2 人车融合识别模型

2.1 网络结构

本文设计的人车融合识别模型结构如图3 所示。当人车图像通过定位网络进行局部定位后，将其输入选择的判断模块进行类别判断，并根据对应类别输入相应模型进行定位识别。其中，人车融合识别通过ResNet-50分类网络实现。

图3 人车融合识别模型

2.2 选择判断模块

选择判断模块如图4所示，其作用是根据多目标的关联性进行人车类别判断，并最终输入分类网络以进行人车分类识别。通过选择判断模块的分类，可以降低网络模型的学习复杂度，有效提高网络模型的识别效果。

图4 选择判断模块

由于工地人员之间、工地各类车辆之间的本体特征极为相似，直接使用网络模型进行分类效果较差，而人车之间的差别则极为明显，因此本文利用人车图片进行分类识别可以有效提高分类准确率。具体而言，对于定位模型输出的人员或车辆的本体预测框，将其与人车融合预测框的IoU数值进行综合计算，并根据IoU 数值分类为人员本体和车辆本体。对于人车局部图像，计算其与定位网络模型预测的人车本体的IoU 数值，若数值大于0则保留。

3 实验分析

为了验证本文所提方法在电力工地人车融合检测中的有效性，进行了相关实验。本文共使用6 000张电力工地图片进行实验，其中只含人员的图片2 500 张，只含车辆的图片2 500 张，同时含有人员和车辆的图片1 000 张。考虑到图片的数量，训练样本与检验样本的比例为4∶1。本文模型训练与预测的实验环境为NVIDIA Titan X GPU，系统为Ubuntu 16.04。

在进行人车融合识别模型的训练前，先在COCO 数据集上进行预训练，并将其作为模型初始参数。在使用工地人车图像数据集进行训练时，模型训练优化器采用随机梯度下降，初始学习率为0.001。在前15 000 迭代次数使用初始学习率，并在第15 000 次与第40 000 次迭代时将学习率分别降低为当前学习率的0.1倍。模型训练迭代总次数为60 000。

图5为工地人员单独识别结果。由实验结果可知，无论是人员稀少还是人员较多，本文算法都可以实现人员的准确定位与识别，每个人员图片的识别置信度也在实验结果中进行了展示，置信度越高，代表识别算法判定图像中的物体为人员的准确概率越高。

图6为工地车辆单独识别结果。由实验结果可知，与人员单独识别类似，无论是车辆稀少还是较多，本文算法都可以实现车辆的识别与分类，进而实现车辆信息的完整记录与车辆动态的准确跟踪，为电力智慧安全工地的建设提供技术支撑。

图7为工地人车同步识别结果。由实验结果可知，当人员和车辆同时出现在监控区域内时，本文算法可以同时精准、快速地完成人员与车辆的分类识别，从而为人员和车辆的有序管理提供参考。

为了量化本文所提算法的识别效果，采用召回率R与准确率Q进行评估，计算公式如下：

式中：TP为预测正确的预测框数目；FN为漏报的真值框数目；FP为误报的预测框数目。

人车融合检测模型的两个指标见表1。由表1可知，本文算法可以实现人员单独检测、车辆单独检测和人车同步检测，检测精度高，完全可以满足电力施工现场的智能监控和管理要求。

4 结语

针对工地人员和车辆分类与识别问题，提出一种基于目标关联性的人车融合检测方法，并利用电力施工现场拍摄的图像对本文所提的方法进行测试与验证。实验结果表明，本文方法检测精度高、误检率低，可实现人车单独与同步识别。将本文所提方法并入电力建筑工地的后台监控系统，可以明显提升电力工地的智能化管理水平，实现智慧工地的区域监测，对于提高人员和财产安全、维护工地整场管理秩序具有重要作用，工程应用价值较高。