周 敏

（深圳市智云诚品科技有限公司，广东深圳 518000）

城市化进程的加快使得我国的交通基础设施逐步实现了全面覆盖，尽管近年来铁路安全形势大幅向好，但铁路安全仍是铁路运输管理的重中之重。当今中国机车的规模日益巨大，带来的交通安全性问题也日益受到关注，传统单一的监督模式已经无法满足需求。针对这种情况，结合视频检测技术，构建交通安全预警系统，对于改善道路交通安全状况意义重大。如何准确高效地监控机车乘务员行驶中的精神状态，对不规范值乘行为做出合理监测与警示，是减少事故、保护行车安全的重要手段。

1 系统的意义

随着铁路运输企业管理水平的进步，对安全监管日益重视，铁路安全形势大幅向好。2021年，全国（不含港澳台，下同）铁路交通事故死亡人数同比大幅下降23.1%，全年未发生铁路交通特别重大、重大事故，发生较大事故仅1件，比上年减少12件。国家铁路局自2013年成立以来，共发布了7次“铁路安全情况公告”（2020年后不再发布）。全国铁路交通事故死亡人数从2013年的1336人，下降至2021年的518人，9年间下降了61.23%，运输安全形势持续向好。但对安全监管并不能放松，仍需进一步提升，特别是依托新技术对乘务员进行强化管理势在必行，可持续推动现有的安全管理体系的进一步提升。随着技术的进步，传统的干部监督和下载车载音视频方法已经不能对机车乘务员做出合理监测与警示，因此怎样合理监测机车乘务员行为，从而减少严重事故的发生成为当前亟待解决的主要问题。

机车乘务员值乘行为数据语音视频同步分析预警报警系统，通过特制的摄像机，采用人脸特征及动态识别，即时监测机车乘务员在行车过程中的状况，同时采取动态评估并进行语言警告提醒。机车乘务员值乘行为数据语音视频同步分析预警报警系统投入使用后，监测更加精准，并能实时开启自动提醒功能。如果发现仍有机车乘务员不规范的行为，将反复播放语音提醒，促使乘务员及时加以纠正，提高乘务员主动规范行为的自觉性。本系统主要具备如下价值：①提前提醒和指导，减轻乘务员作业压力；②实时检查和预警，督促乘务员标准化作业；③实时回传和打分，对乘务员一次值乘行为进行评估；④持续统计和分析，建立乘务员安全作业数据库。

2 系统结构及工作原理

复杂运动目标辨识技术由于具有极其广泛的应用前景，目前一直是计算机视觉、模式识别、人机感知交互等众多研究领域的热点和难点。对于复杂运动目标物的检测和辨识，常用的技术主要有基于图像数据的方法，以及基于色彩分布、运动规律、对称性的知识模型方法等。

由于人脸改变十分复杂，这给对人脸的特点描绘和特点提炼都带来了重重困难。机车乘务员工作是在一个复杂的环境中，线路、光照方向和光源的变化以及得到的机车乘务员脸部图像并不是正面对的（由于机车乘务员面前的各种操作仪表和设备是已经固定了的不可能在正面安装摄像机并且工作中机车乘务员的头不要摆动），这些都给机车乘务员的工作状态识别造成了困难。机车乘务员值乘状态预警提醒装置包括人脸检测、人脸识别和语音报警三部分。

2.1 图像采集系统

这部分主要包含了特制的镜头和图片采集卡。摄像头对机车乘务员影像进行现场收集，并进行光电变换，将模拟信号传送给图像采集卡，进行模数转换。

2.2 DSP图像预处理系统与FPGA识别系统

摄像机采集的视频流通过图像处理卡转换成数字信息，然后通过DSP 电路进行预处理。预处理工作主要完成人脸和眼睛的图像定位和分割，分离出的图像信息交给FPGA 识别系统进行识别。一旦确定处于间歇观看状态（判断间歇观看状态有两个标准，一个是闭眼或明显减退的持续时间超过阈值时间，第二个是面部朝向非运行方向时间超过阈值时间），即引发电子报警系统告警，否则提交反馈信息给DSP 图像预处理控制系统，以完成下一帧处理。

2.3 车载乘务员值乘行为实时分析装置

车载乘务员值乘行为实时分析装置由车载边缘计算主机和机车乘务员室前端、机车乘务员室右后、侧后方等位置的数字高清摄像头组成。其中前视视频采集装置主要采集机车乘务员面部表情、行为姿势视频，前视摄像头采集视频的算法主要集中于值乘状态检测、行为动作分析。由于前视摄像头安装位置距离机车乘务员较近，从侧后方摄像头采集的图像可以弥补前视摄像头视场不足，能够采集整个机车乘务员室的图像，供视频分析主机分析。视频主机分析后，对违规行为、精神不振行为，通过车载显示终端进行语音提醒。车载智能视频主机本身带4G 无线传输功能，可以将实时检测结果以及对应的音视频文件同步至地面管理系统。

2.4 提示、报警系统

实时提示当前报警的机车信号，并以声、光、电告警引起执勤工作人员注意，同时也在荧屏上展示出该机车的有关资料，包含机车编号、驾驶员个人信息、机车状况（行车定位运行速度、持续时间）等信息内容，以协助执勤工作人员进行处理。

2.5 软件程序部分

2.5.1 车载软件部分

先由图像采集卡读一帧图片，由时间序列预测计算（帧间关系），依据前几帧眼球的情况对当前帧眼球情况做出估计，来定位目标人眼，进而判别定位目标后的图片是否为人眼。判定通过3种方法协同完成：①对定位目标的眼球做出轮廓提取，依据几何特征判定是否为眼球；②将人眼图片输入已训练好的人工神经网络判定机器，完成判定；③利用人眼虹膜的反射特性做出诊断。因为采用了主动式红外线照射系统，且人眼虹膜反射特性非常明显，所以系统对眼部的诊断十分精确。

2.5.2 地面软件部分

（1）信息检索软件通过数据导入功能把每天值乘时产成的报警数据保存到数据库里，可以通过日期、车次检索找到关心的数据。可以显示和打印具体一趟列车运行时的全程记录。

（2）记录导入把"数据记录传送装置"里生成的报警数据记录转储到U 盘后，用导入全程记录的功能导入到软件数据库中。

（3）统计分析统计值乘人员的报警记录，可以列出机务段内每个车间的所有机车乘务员的报警记录次数。

3 系统研制创新

本系统基于既有车载无线传输装置和行车安全数据终端，部署车载乘务员值乘行为实时分析装置，包含边缘计算主机+乘务员状态摄像机+手势摄像机，利用人工智能算法和深度学习技术，实现对机车乘务员室音视频的自动化分析。

3.1 理论创新

（1）采用近红外窄带或非可见光主动照明光源照明，以减少外部光源的影响，从而能够全天候获取亮度平稳的视频流图像，同时能够得到较强的眼部虹膜反射特征，极大改善了眼球位置与辨认过程，提高了鉴定的准确性，错误率低于1%。由于墨镜主要阻断紫外线波段，所以通过主动红外线等照明光源照射时，对墨镜的通透度超过了80%，因此能够有效降低墨镜的干扰。

（2）一定的摄影焦距，能够得到理想宽度的视场，可以有效减少背景物影响，并增加了后期图像处理的速度与稳定性。

3.2 应用创新

机车乘务员值乘行为数据语音视频同步分析预警报警系统装置很好地解决了制约人员疲劳状况及现场监测技术研发与推广中的3个关键问题。①当车内环境光照变化过大，怎样即时获取真实、清晰的脸部特点；②无须预先完成图像注册，就能够准确定位人脸和眼球，即时地获取人脸的各项动态参数并予以正确识别；③识别率非常精确。这是一个全新的解决机车行车问题与嘹望状况的特殊的检测方式。通过非可见光源，能全天候收集机车乘务员面部状态的视频流影像，比应用传统非接触式检测方法更为人性化。

3.3 技术综合创新

音频、视频、LKJ 三合一智能分析：利用深度学习技术，实现了音视频分析的智能化和自动化，在传统音视频整合的基础上跨越式地实现了视频的行为分析、音频的内容分析。实现了AI 产业在铁路行业的落地应用。机车乘务员值乘行为数据语音视频同步分析预警报警系统利用了人脸特征与眼神识别技术，增强了系统的准确性；对视觉特征和眼神状况的判定，采用了三个并行判定方式（虹膜特点判定、几何特征判定、神经网络判定），有效降低了误警概率，预警成功率达95%以上，对眼部特点的定位成功率也达到了100%；通过帧之间联系对眼睛进行定向，极大缩短了系统工作的时间，收集和处理视觉图像的速率超过了15帧/s。并且还可以保存提醒时间的视频数据，同时具备机车乘务员间断嘹望图像的跟踪分析等功能。

3.4 工艺创新

3.4.1 图像采集器

使用整体屏蔽技术，很好地解决了抗干扰能力问题；摄像头的安全防护罩使用导电玻璃，克服了镜头端电气屏障的技术难点；电缆屏蔽层和收集器外壳连接使用了双层压接，提高了连接的安全性。

3.4.2 主机

高度电磁兼容性，不与其他装置相互影响。抗振设计，抗振功能较强。在上下机箱连接使用铜箔嵌入方式，有效克服了机箱接缝处的电气遮蔽问题。对全部信号引出线路设有双磁芯电感，对电源设置了双重滤波器，大大增强了系统抗干扰、防破坏的能力。

3.5 结构形式创新

（1）收集器使用全屏蔽构造。

（2）收集器的调节轴使用齿牙咬合构造。

（3）主机散热片为金属材料机壳和导热单元紧密配合的构造，使整体机箱具有良好散热效应。使用的全金属外壳，内在构造稳固简洁；容积小、体重轻，安置和使用都方便。

3.6 指标创新

（1）设备自查：设备接通后即进行自查，时限20～30s。

（2）嘹望监控：设备自检后自动进入监控、警报状态。

（3）监控速度：以15帧/s 即时监控。

（4）预警提示：当机车乘务员发生间断嘹望状况时，发出提醒话音，只要机车乘务员不能回复投入嘹望状况，则警告声便继续不停，警告声音强度超过100 db。

（5）警报解除：机车乘务员在收到提醒，回复正视行驶方向，告警声自行解除。

（6）机车乘务员值乘行为数据语音视频同步分析预警报警系统的辨识率：95%。

4 系统功能特点

（1）对机车乘务员值乘行为实时监视，根据车载设备技术标准，完成车载乘务员值乘行为实时分析装置开发。

（2）对前方线路周围情况进行实时监视录像，为事故分析提供视频资料。

（3）对机车乘务员操纵情况进行实时监视录像，针对乘务员语音进行算法研究，研究行车过程中是否进行语音对话。

（4）开发乘务员值乘行为人工智能算法数据库，智能识别违规行为实时报警，自动发出报警信号，并传送到机车乘务员室，及时发现事故、减小事故损失。

（5）机车乘务员室监视器可同时显示各种监视画面，也可以分别放大显示。

（6）监控录像实时保存。

（7）具备回放电气间录像和机车乘务员室、前方线路周围情况录像的功能。

（8）系统设备抗干扰性强、抗振性好。

（9）设备供电采用独立供电电路和安全低电压，不影响机车设备的正常工作。

（10）建立地面管理系统，可实现高效管理。

5 结束语

综上所述，本文提供了一个基于铁路机车乘务员值乘行为数据语音视频同步分析的交通安全预警系统方法，能够运用无线通信技术、图像识别技术以及视频监测技术等，进行机车与路面信号的实施收集，并利用信号交换，从而实现了机车与路面的智能协调和配合，从而能够在较大程度上提高了机车乘务员行驶的稳定性，从而降低了交通安全事故产生的概率，达到了道路自主管理，进而改善了铁路网的交通能力，促进了机车安全行驶。