孔德龙 蒲 凡

(中南民族大学计算机科学学院， 430074，武汉 ∥ 第一作者，讲师)

为防止乘客不慎跌落站台造成安全事故，大部分地铁在车站站台都设置了站台门。但由于站台门与列车门之间存在宽20～30 cm的间隙，因而在客运高峰期容易发生乘客被夹情况[1]。国内地铁线路已发生过数起因乘客夹在空隙中而产生的运营安全事故。现有对该空隙的异物检测主要依赖司机人工目视，或采用红外、激光等辅助方法。但人工目视容易因疏忽产生漏判，而红外、激光等方法由于站台环境复杂会出现准确度差、误报率高的问题，不利于列车的行车安全[2-3]。随着地铁无人驾驶技术的迅速发展，针对无人值守列车更加需要一种准确度高、实时性好的站台自动异物检测方法。

随着人工智能技术的迅速发展，以深度学习为代表的人工智能图像识别技术已广泛应用于医疗、军事等领域中，并取得了良好的应用效果[4]。残差神经网络模型是一种性能优异的神经网络模型，相比于传统的神经网络模型具有训练时间短、图像识别准确率高、实时性好等优点[5]。因此，本文提出构建基于深度残差神经网络ResNet50模型的空隙自动异物检测系统，通过获取并处理站台闭路电视监控系统传输给发车指示器的站台门与列车门视频帧信息，完成对站台门与列车门之间异物的自动检测。

1 深度残差神经网络图像识别

1.1 基于深度学习的图像识别原理

深度残差神经网络是卷积神经网络的一种，其结构主要由卷积层、池化层和全连接层组成[6]。其典型结构是由卷积层和池化层交替排列组成多组特征提取网络，并在网络尾部设置全连接层。当系统中输入一个大小为W(长)×H(宽)×C(通道数)的张量T，首先在网络卷积层中利用卷积函数计算系统输入张量与卷积核的卷积结果，再使用激活函数以张量的形式输出卷积层的特征图。设张量Tc为张量T在通道c上的分量，定义卷积函数为Conv，则可以得到张量T与第n个卷积核张量Kn的卷积结果To为：

Mc∈Tc,Tc∈T,mw,h,c∈Mc,kw,h∈Kn

(1)

其中，张量Mc为张量T在卷积窗口内的子张量M在通道c上的分量。Tc的卷积计算原理如图1所示。

图1 卷积的计算原理

将卷积结果To作为激活函数的输入量，遍历张量To的每一个像素点To,w′,h′,c′。令b为偏置变量，可得到非线性激活函数在卷积核Kn上的输出张量T1为：

(2)

将卷积层的输出张量T1输入池化层进行降采样处理，从而降低输出张量的维度并在减少计算量的同时不丢失图像特征。池化层通过利用Mc中的最大像素点取代卷积计算中的Mc·Kc，其中，卷积核张量Kc为在通道c上的分量。设最大池化函数为Pool，则T的最大池化结果为：

(3)

将To输入到非线性激活函数中，可得到池化层的输出结果。系统输入在经过多个由卷积层与池化层交替排列的特征提取网络后进入全连接层中进行处理。设全连接函数为Full，则T的全连接计算结果可以表示为：

Tc∈T,tc1,w,h,c∈Tc,kw,h∈K

(4)

1.2 深度残差神经网络

提出深度残差神经网络是为了解决传统卷积神经网络模型在结构向深层化发展时，由于发生梯度弥散而出现测试与训练误差比浅层网络模型大的问题[7]。通过在网络模型中引入残差学习的概念，可以有效地解决传统多层卷积神经网络中梯度弥散的问题。一个基本的残差学习模块如图2所示。

图2 残差学习模块

图2中，x为系统输入，H(x)为系统目标映射，F(x)为求和前的网络映射。其核心思想为：由于系统很难直接实现由x至H(x)的映射，因此不直接通过堆叠卷积网络来实现一个理想目标映射H(x)的学习，而是使网络去学习残差函数F(x)=H(x)-x。深度残差神经网络就是由多个残差块堆叠组成的。由于残差学习突出学习过程中的微小变化，自动消除了隐含层中的部分冗余层，相对于传统的映射方式，残差映射更容易实现优化，从而解决了深层网络性能退化的问题。为了进一步提升系统性能，本文采用bottleneck结构建立残差学习模型，其基本原理如图3所示。

图3 Bottleneck残差学习模块

该残差学习模块包括了3个卷积层。其中，第一个1×1的卷积层主要用于降维处理，降维后再由第二个3×3卷积层处理，最后由第三个1×1卷积层实现升维恢复。通过这两个1×1的卷积层的设置减少了网络中的参数数量，同时增加了网络深度，相比基本模型有更好的性能。

2 基于深度残差神经网络图像识别的异物检测系统

2.1 异物检测系统总体设计

2.1.1 站台空隙异物定义

由于地铁站台门与列车门都包含机械式防夹设备，当列车门或站台门由于异物存在而无法关闭时，会向列车控制系统进行报警。因此，本文的主要研究对象为站台门与列车门间隙处的异物检测。该处异物的定义为：当站台门与列车门完全关闭时，间隙处存在威胁行车与乘客安全的人体或物品。通过查阅相关文献并实际试验，该处异物的外形尺寸不小于30 mm(长)×12 mm(宽)×20 mm(高)。

2.1.2 异物检测系统总体设计与流程

利用深度残差神经网络来实现地铁站台车门与站台门间的异物自动检测。首先，要建立图像数据集，通过在训练站站台模拟多种异物入侵与乘客被夹方式，并对所模拟图像进行处理，建立残差神经网络训练集与测试集；其次，利用所建网络训练集对深度残差神经网络ResNet50模型进行迭代训练并完成对测试集的识别；最后将真实站台图像数据输入已训练完成的残差神经网络中，给出检测结果以实现自动异物检测。其流程如图4所示。

图4 自动异物检测系统检测流程图

2.2 基于残差神经网络图像识别的异物检测方法

2.2.1 系统特征集的建立

由于安全原因，无法直接在真实地铁车站中获取站台门与列车门间存在的异物图像数据。因此，采用在地铁训练站模拟多种实际上、下客状况并采集图像信息，共得大小为224 mm×224 mm的1 906张图像数据。通过样本扩充处理，最终得到12 245张图像数据。并按8…2 的比例划分为训练集与测试集，共得到训练集数据9 796张，验证集数据2 449张。

2.2.2 模型验证与结果分析

本文采用目前较为先进的ResNet50(残差50)模型。该模型是由多个残差网络堆叠而成的深层卷积神经网络，总计有152层。在图像识别领域有较为成熟的应用，共进行了1 000类常见物体的训练，取得了不错的成绩[8]。因此,基于迁移学习原理借助已成熟的训练模型，针对本文图像分类问题的特殊情况，只对该模型中的140～152层进行针对性训练。

模型采用2 个节点的Softmax层，使用非线性Sigmoid激活函数，Dropout概率p设置为0.25，学习率a设置为0.1；系统训练最大迭代次数设置为100次。通过训练集数据训练使该模型最终实现优化。对该模型进行100 次迭代训练后，训练集与验证集准确率与数据集损失值如图5～6所示。

由图5～6可得，在初始阶段训练集准确率为98.38%，损失值为0.046 6；而验证集的准确率为98.98%，损失值为0.051 3。随着训练次数的增加，模型趋于收敛。最终训练集准确率达到100%、损失值为4.39×10-7，验证集准确率达到99.9%，损失值为6.04×10-6，证明该模型具有较强的泛化能力，满足检测需要。重复多次试验该模型皆能收敛，且相对误差很小，并在容许范围内。

图5 系统准确率

图6 系统数据损失值

特征提取的能力决定了系统对验证集数据的识别准确率。因此，对系统输入层、浅层卷积层、深层卷积层的输出进行可视化处理。通过对输出通道进行遍历得出Channel个大小为Size×Size的图像，并将其拼接为一张图片。输入层的输出维度为224×224×3，对第三维遍历得到3 张分辨率为224像素×224像素的特征图，将其拼接后如图7所示。

图7 输入层特征图

浅层卷积层输出维度为112×112×64，对第三维遍历得到64张分辨率为112像素×112像素的特征图，将其拼接后如图8所示。

图8 浅层卷积层特征图

深层卷积层输出维度为14×14×256，对第三维遍历得到256 张分辨率为14像素×14像素的特征图，将其拼接后如图9所示。

图9 深层卷积层特征图

从图7～9可以看出，系统准确的提取出了输入数据中的特征，达到了预期的识别目的。由于地铁安全运营要求该异物识别系统应具有较强的实时处理能力，因此对1 000张数据集的读取和预测耗时进行统计。其中，处理平台环境：操作系统为Windows 10系统，处理器为Core i7-6700，内存为双通道16 GB，显卡为NVIDIA GTX 1050Ti(4 GB显存)。系统总耗时统计结果如图10所示。

图10 系统总耗时

从图10中可以得出，该模型对单张数据集的预测总耗时不超过47 ms。由于帧率是1 s可以处理的图片数量，系统处理一张图不超过47 ms。因此系统的处理帧率不低于21帧/s，具有良好的实时处理能力，能够满足实际应用需求。利用该自动异物检测系统对武汉地铁某车站中间位置站台门与列车门1周视频数据进行处理验证。以线路运行过程中每小时模型预测准确性与单张视频帧总耗时的最低值为统计目标，取1周内的平均值进行统计，可得表1。

表1 实际预测准确率与单张视频帧总耗时统计

由表1可以得出，在线路早、晚高峰时段，系统的预测准确率与处理总耗时有部分下降。产生该现象的原因主要为在早、晚高峰时段车站上、下客人数增多，乘客在站台门前的候车与拥挤行为导致测试环境变为复杂，导致系统预测性能相对下降。但系统全时段最低准确率仍不低于98.7%，最高单张视频帧总耗时不超过64 ms，处理帧率不低于15帧/s，总体性能优良满足地铁线路正常运营的需求。

3 结语

由于现有地铁站台门与列车门间空隙异物检测方法存在检测精度差、误报率高，有一定的安全隐患，影响了列车的安全运营。本文通过模拟地铁正常运营中上、下客方式建立图像数据集，搭建并训练基于深度残差神经网络ResNet50模型的自动异物检测系统，利用真实车站发车指示器视频帧数据对自动异物检测系统进行测试。测试结果表明，利用该方法实现对地铁站台门与列车门间空隙的异物自动检测是可行的，且具有较高的检测精度与实时能力。