欧阳惠卿 舒文华 李杨 祝瑞男 张瑞

摘要：为了降低因为乘客危险行为导致的自动扶梯安全事故/伤人事件，基于三维视觉和人工智能技术，提出了一种自动扶梯乘客危险行为识别和预警技术，并详细介绍了该系统主要硬件和现场布置方案。为了对该系统进行科学评价，还提出了准确率、查全率、误报率、响应时间等综合性能评价指标，并分别在实际现场和实验室模拟条件下对该系统进行了大量的测试，测试结果表明，所构建的系统在不同光照、不同客流强度环境下，均能有效识别自动扶梯乘客携带婴儿车、摔倒、逆行、出入口逗留、出入口拥堵、探头等多种危险行为。

关键词：自动扶梯;乘客行为;三维视觉

中图分类号：TU857文献标志码：A文章编号：1009-9492（2021）11-0059-04

Application of 3D Machine Vision in Escalator Passenger Dangerous Behavior Recognition and Early Warning

Ouyang Huiqing1，Shu Wenhua1，Li Yang2，Zhu Ruinan 3， Zhang Rui4

（1. Shanghai Institute of Special Equipment Inspection and Technical Research， Shanghai 200062， China;2. School of Electronic Science andEngineering， Nanjing University， Nanjing 210023， China;3. Beijing Metro Operation Co.， Ltd.， Electromechanical Branch， Beijing 100044，

China;4. Beijing Metro Technology Development Co.， Ltd.， Beijing 100044， China）

Abstract： In order to reduce the escalator safety accidents/injuries caused by passengers′dangerous behaviors， based on three-dimensional vision and artificial intelligence technology， a kind of escalator passengers′dangerous behavior recognition and early warning technology was proposed， and the main hardware and layout scheme of the system was introduced in detail. In order to evaluate the system scientifically， also the comprehensive performance evaluation indexes were put forward， such as precision， recall， false alarm rate， average response time， etc.， and a lot of tests under the actual field and laboratory simulation conditions were carried out respectively. The test results show that the system constructed has good performance under different lighting and different passenger flow intensity environments. It can effectively identify a variety of dangerous behaviors of escalator passengers， such as carrying baby carriage， falling， retrograde， staying at the entrance or exit， congestion， head out of handrail and so on.

Key words： escalators; passenger behavior;3D vision

0 引言

截止2020年底，我國在用电梯数量已达786.55万台[1]，稳居世界第一，其中自动扶梯和自动人行道约85万台，且主要应用于轨道交通枢纽、商场等人流量大的场所。以北京轨道交通为例，轨道交通总里程达到727 km，自动扶梯数量近4000部，自动扶梯已经成为公共安全的重要组成部分，每天客流量超过1000万人次。近年来，自动扶梯安全事故/伤人事件偶有发生，往往造成严重的人身伤害和恶劣的社会影响。除了设备的不安全状态，人的不安全行为也是导致事故的重要原因，比如乘客在自动扶梯上逆行、出入口滞留等，特别是在近几年，儿童在自动扶梯上玩耍造成的事故呈现高发趋势。

为了提高自动扶梯的安全水平，电梯行业一直致力于通过增加各种安全保护装置来提高设备的本质安全水平。但是，针对自动扶梯乘客危险行为导致的故事，传统技术手段有很大的局限性。近年来，随着机器视觉和人工智能等新一代信息技术的发展，机器视觉已经具备了对乘客的行为、姿态进行智能识别的可能性，特别是三维机器视觉，优势特别明显，为自动扶梯的乘客危险行为识别和预警带来新的解决思路，从而提高自动扶梯的事故预防和应急能力，降低事故率[2]。

双目立体视觉（Binocular Stereo Vision）是计算视觉中一种重要的三维感知手段，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。

本文将基于三维视觉和人工智能技术，开发自动扶梯乘客危险行为识别与预警技术研究及应用，该技术采用三维视觉和人工智能技术对电梯乘客行为进行识别和预警，一旦识别到乘客危险行为或状态，根据预先设定的方案，通过声光报警或及时停止扶梯运行，防止事故的发生或扩大。

1 三维视觉行为分析的研究背景

人体姿态估计通过检测图像中人体的关键点（如头部、肩部、髋部、四肢等）得到人的姿态，根据其输出信息维度，可以分为二维（2D）和三维（3D）的人体姿态估计，而根据输入图片的目标人体数量，又可以分为单人和多人的姿态估计。对于2D 的人体姿态估计有较长的研究历史，目前基于深度学习人体姿态估计在精度方面取得了很大的突破，CPM[3]基于热图、Hourglass[4]基于堆叠 U 型神经网络网络层都得到了很好的效果。

检测人体关键点的3D 的姿态估计主要有两类。一类是先采用2D 姿态估计方法获取2D 关键点，再映射到3D 。如 Deva Ramenan等[5]提出“3D人体姿态估计=2D姿态估计+匹配”的策略，采用 CPM的方法估计出图像中人体的2D关节点，选择最相近的2D关节点骨架对应的3D关节点骨架作为测试数据的3D关节点。Martinez 等[6]首先基于 Hourglass做一个2D关节点的姿态估计，然后根据获得的2D关节点，在神经网络后面接入两个全连接层，直接回归3D坐标点，将2D到3D关节点的估计问题转化为2D 到3D 坐标的求映射关系问题。 Li C 等[7]于2019年提出混合密度模型，提出了多峰混合密度网络预测多个可能的3D关节点骨架，选取其中权重最高的作为最终估计的3D关节点骨架。另一类3D姿态估计则将3D 的估计认为是一个整体。如 Sun X等[8]将2D 以及3D 的关节点骨架估计问题结合来做优化，训练模型前背景点分割能力，然后只需要关注前景的3D骨架估计。L Zhao等[9]根据2D人体关节点的图连接结构提出使用图卷积的方法生成3D 的姿态坐标。

一些研究者尝试通过将人体模型如 SMPL[10]作为先验信息，获得更准确稠密的3D人体姿态。Bogo F等[11]提出了SMPLify方法，采用DeepCut检测出2D 骨骼关键点，优化使得 SMPL模型投影到图像后关节点与 CNN检测出的关节点之间的距离最小，从而最终获得一组 SMPL模型的参数。Kanazawa A 等[12]提出 HMR 方法，实现了由图像直接得到 SMPL模型参数的端到端的估计方法，输入图像经过编码器提取图像特征，然后通过回归器获得 SMPL模型参数。

在实际场景中，往往面临多人的姿态估计，往往存在多个人关键点靠的很近或互相重叠。OpenPose[13]采取自底向上的策略，基于 CPM首先找到所有关键点，并基于 Part Affinity Field （ PAF）进行人体的拼接，将相邻且可靠的关键点组装成一个完整的人，从而实现对多人场景下的人体姿态检测。AlphaPose[14]则采取自顶向下的方式，先进行目标检测，并对每个检测到的人进行单人的姿态估计。

2基于三维机器视觉的扶梯乘客危险行为识别与预警系统

本文所述方法采用的双目视觉传感器（Visual Sens- ing Module ，VSM）本质上是一个双目深度传感器，通过两个存在视差的帧同步图像信号计算场景的深度信息，运用双目立体匹配算法获取视差图并输出深度图，实时测量三维环境中的目标，具体参数如表1所述，外观如图1所示。

本文介绍的系统如图2所示，其核心硬件部分包括一个双目深度传感器（Visual Sensing Module， VSM）、行为分析模组（Visual Processing Module， VPM）、声光报警，该系统可以进一步拓展，将相关系统传输至控制服务器，融入扶梯物联网系统。VSM 用于捕捉环境内的 RGB-D 数据信息（彩色图像与深度信息），传输到 VPM 上进行处理。VPM 接收数据后进行计算和处理，实时检测是否有异常行为，并对异常行为进行声光报警或传输到网络平台（中控室），也可以接入自动扶梯控制系统，在紧急情况下制停自动扶梯。该系统既能实现边缘计算，也可以将数据通过网络传送至远程服务器，实现云端处理。

双目深度传感器的布置和覆盖范围如图2所示。 VSM安装在自动扶梯入口梳齿板上方约3 m处，单个传感器能够有效监测距离梳齿板前后共3～5 m的范围，该范围也是乘客最容易发生伤害的地方。该方案的最大优点是避免了人员相互遮挡，能适应大流量的人群。

3 测试结果分析

3.1 评价指标

本文采用准确率（ Precision ）、查全率（Recall）、误报率（False Alarm Rate）、平均响应时间（Average Re- sponding Time）等对系统的识别水平进行评价。系统识别到相关事件，并发出报警，视为检出。事件定义如表2所示。

（1） 準确率： P =

（2） 误报率： F =

（3） 查全率： R =

（4） 平均响应时间为事件发生时间至系统检测出来并做出响应的时间。

3.2 实际应用现场测试

本文介绍的系统在北京地铁某车站上行扶梯进行了长期测试。项目组在实际场景通过实际客流可模拟测试两种形式对系统进行了测试，测试结果如表3～4所示。表3所示为实际客流测试条件下的测试结果。测试选取了连续3036 h的测试数据，系统检测到443822人次乘客通行。为了分析客流统计精度，人工选取了10000人次客流进行人工复查核验，得到表4中的结果。

此外，为了进一步验证不安全行为的性能，项目组还对系统进行了模拟客流测试，模拟测试还在不同的光照、客流强度等情况下进行测试，由测试人员对主要功能进行了测试，结果如表4所示。

从测试结果来看，本项目的研究成果具有很高的准确性，而且具有很好的环境适用能力。

4 结束语

本文介绍了一种基于三维视觉与人工智能相结合的、自动扶梯和自动人行道乘客危险行为识别与预警技术。该方法通过三维视觉对人体进行精确的测量，基于人体的深度信息和彩色信息，结合人体姿态的语义分析和深度学习，能对人的行为做出精确的识别和判断。现场和实验室测试结果表明，本文介绍的方法具有很高的识别准确度和很好的环境适应能力，将为提高自动扶梯和自动人行道的事故预防能力和应急能力、降低电梯事故/伤人事件概率提供新的有效解决方案。

对于新技术的应用，还需要思考以下问题：一方面，新技术的应用如何融合自动扶梯的整体安全。自动扶梯属于特种设备，其安全性是产品生产和使用中最重要的关注点。基于机器视觉和人工智能技术，为乘客危险行为识别和实现自动扶梯自主管理提供了新的思路和解决方案，但是也应思考新技术的应用带来新的风险，包括新技术的可靠性、信息的安全、科技伦理等。另一方面，自动扶梯本身的设计（包括标准）如何适应新的技术发展。基于机器视觉和人工智能技术，为乘客危险行为识别和实现自动扶梯自主管理提供了新的解决方案，但是紧急情况下的停梯会产生新的风险，可以引入“缓停”的策略，既可以在紧急情况下及时制停扶梯，又可以避免过大的减速度，造成其他乘客摔倒。

参考文献：

[1]市场监管总局.关于2020年全國特种设备安全状况的通告[Z].2020.

[2]何成， 史熙，欧阳惠卿.基于 AI 图像识别与功能安全的自动扶梯智能监控系统及相关安全标准要求[J].中国电梯，2019，30（15）：6-8.

[3] Wei S E ， Ramakrishna V ， Kanade T ， et al. Convolutional Pose Machines[C]//CVPR. IEEE， 2016.

[4] Newell A ， Yang K ， Deng J . Stacked Hourglass Networks for Hu- man Pose Estimation[C]//European Conference on Computer Vi- sion. Springer International Publishing， 2016.

[5] Chen C H ， Ramanan D .3D Human Pose Estimation =2D Pose Estimation + Matching[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2017.

[6] Martinez J ，Hossain R ，Romero J ， et al. A Simple Yet Effective Baseline for 3d Human Pose Estimation[C]//2017 IEEE In- ternational Conference on Computer Vision （ICCV）. IEEE， 2017.

[7] Li C ，Lee G H . Generating Multiple Hypotheses for 3D Human PoseEstimationwithMixtureDensityNetwork[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019.

[8] Sun X ， Shang J ， Liang S ， et al. Compositional Human Pose Re- gression[C]//Computer Vision and Image Understanding， 2017.

[9] L Zhao， X Peng， Y Tian， et al. Metaxas， Semantic graph convolu- tional networks for 3D human pose regression[J]. Proc. IEEEComput. Soc. Conf. Comput. Vis. Pattern Recognit.，2019（6）：3420–3430.

[10] Loper， Matthew， Mahmood， et al. SMPL： a skinned multi-per- son linear model[J]. Acm Transactions on Graphics， 2015.

[11] FBogo，Kanazawa A ，Lassner C ， et al. Keep It SMPL： Auto- matic Estimation of 3D Human Pose and Shape from a Single Image[J]. European Conference on Computer Vision， 2016.

[12] Kanazawa A ， Black M J ， Jacobs D W ， et al. End-to-End Re- covery of Human Shape and Pose[C]//2018 IEEE/CVF Confer- enceonComputerVisionandPatternRecognition （CVPR）. IEEE， 2018.

[13] Z Cao， T Simon， S Wei， et al. Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields[C]//2017 IEEE Confer- ence on Computer Vision and Pattern Recognition （CVPR）， Ho- nolulu， HI， 2017.

[14] Fang H S ，Xie S ， Tai Y W ， et al. RMPE： Regional Multi-per- son PoseEstimation[C]//2017 IEEEInternationalConference on Computer Vision （ICCV）， 2017.

第一作者简介：欧阳惠卿（1979-），男，湖南衡南县人，正高级工程师，研究领域为电梯技术研发及其标准化。

（编辑：刁少华）