谢崇彬 中国铁路上海局集团有限公司机务部

1 概述

机车视频监控预警系统可以实现机车动态在线预览、机车视频实时/回调预览、工作状态智能报警、运行项点实时分析、运行记录在线提取、机车数据综合同步分析、运行状态掌上移动式监控、系统数据统一分析，汇总检索，全方位管控机车运行状态，对机车乘务员起到预警提醒作用，确保行车安全。

机车视频监控预警系统操作方便、自动化程度高、安全可靠，通过对视频、音频文件与LKJ运行记录文件进行关联分析、同步播放，实现关键项点的分析，对LKJ运行记录文件中的事件信息 (如进出站、色灯变化等)进行直接定位，提高了分析人员的工作效率，降低了劳动强度，为铁路安全工作带来巨大效益。

2 总体设计方案

系统在设计时，分析比较了传统的基于通用PC的视频监控系统和目前新兴的基于嵌入式系统的视频监控系统的各自的优缺点，考虑到本系统需要安装在机车上使用，对体积和稳定性等方面均有要求，所以最终选择了嵌入式技术与通用PC技术相结合的开发方案。系统的车载部分，采用嵌入式技术来完成，地面监控部分采用计算机技术来完成，互相之间通过互联网连接。车载和地面部分均通过服务器来搭建实现互联互通。本系统主要设计为三部分组成，分别是车载视频监控预警系统、在线预警分析系统、地面综合分析系统。其中车载视频监控预警系统一端由一个机车视频监控预警装置、六个网络摄像机、一个图像采集器、TAX箱信息隔离板等组成。这三部分通过内外网相互连接，车载视频监控预警系统通过3G/WIFI等网络随车移动运行。

2.1 车载视频监控预警系统

系统安装于列车中，主要完成任务：进行录像采集，图像分析，数据U盘转储等相关功能，能够对各通道视频进行全程录像，支持远程视频点播预览，行车数据自动上传等功能。该系统由：机车视频监控预警装置主机，网络摄像机，图像采集器，TAX箱信息隔离板等组成。

2.1.1 机车视频监控预警装置主机

视频监控装置部分具有视频和音频信号实时采集压缩、硬盘记录、实时音视频预览、音视频信号切换、本地录像文件回放、实时无线网络传输、远程文件回放、录像数据备份和录像下载等功能。

预警部分主要功能是图像分析和存储报警音视频信息、无线上传机车运行信息和报警信息、在线预览、机车定位、获取机车运行信息、系统实时自检、报警信息人工转储等功能。

系统主机将采集的图像信息输入到图像加速处理器进行预处理，然后由数字媒体处理器进行图像识别、分割。图像识别算法根据红外光在瞳孔形成的反射光线对眼睛进行定位，在无法定位时采用目标跟踪算法进行跟踪检测，可以准确计算司机视网膜瞳孔图像的大小和位置，结合眼睛视网膜瞳孔状态及嘴部特征，然后进行状态模板匹配，融合多门学科算法，深入分析计算出乘务员疲劳驾驶的数学模型，根据PERCLOS原理和霍思道夫距离算法，使用神经网络判断算法，实现机车乘务员在不同驾驶姿态、不同照明环境以及戴眼镜、墨镜等情况下的工作状态实时准确检测。可以实时精准分辨出脸部和眼睛状态信息，从而能准确判断乘务员驾驶状态。

2.1.2 图像采集器

采用红外主动补光和红外滤光法，可以有效滤除环境光线和背景图像干扰。通过高灵敏度红外摄像头采集乘务员面部特征信息，将图像信息输入到装置主机进行处理分析。

2.1.3 网络摄像机

路况摄像机一般安装于司机操作台侧前方靠近窗玻璃的位置，采集机车前方线路情况并记录，同时在显示屏上显示对应通道的图像信息，前方摄像机拍摄范围为机车前方50 m～100 m内物体要清晰可见，可视距离达200 m以上。

司机室内球型防爆红外摄像机可以安装在司机室顶棚，俯瞰司机室，将司机室内标准化作业等情况拍摄下来存入车载主机硬盘内，同时在显示屏上显示对应通道的图像信息，调整好位置，将摄像头正对着司机，以便摄录司机标准化作业的情况。室内摄像机拍摄范围涵盖正司机侧的整个门窗、前方操纵台玻璃和副司机坐凳位置，能看到司机的整个作业范围。

机械间半球型红外摄像机可以安装在机械间顶棚，俯瞰机械间，将机械间室内情况拍摄下来存入车载主机硬盘内，同时可送监视屏显示画面，乘务员可及时了解机械间情况。

2.2 在线预警分析系统

该系统考虑由在线预警分析平台网站和移动APP客户端组成。通过在线预警分析平台网站或者移动APP客户端能够进行查询监视。

2.3 地面综合分析系统

该系统考虑由音视频综合分析台、数据转储上传装置组成。列车入段后能够将车载数据通过数据转储上传装置上传到服务器中，然后由相关分析人员，通过音视频综合分析台，对列车视频数据，运行数据，录音数据等进行同步关联播放显示，对运行数据进行立体化分析。

3 系统功能实现

机车视频监控预警系统实现功能考虑从三部分实现，分别为车载视频监控预警系统、在线预警分析系统和地面综合分析系统。软件功能模块如图1所示。

图1 软件功能模块

3.1 车载视频监控预警系统

3.1.1 值乘报警

通过图像采集设备，对司机室情况进行自动扫描分析，能够识别司机面部特征，如是否正常了望，是否盹睡等，如果发现异常后，系统能够自动进行语音提醒，并产生对应的报警记录。如图2所示。

图2 车载视频监控预警系统工作流程

3.1.2 车况报警

系统通过烟雾传感器以及温度传感器，如果发现烟雾过浓或者温度过高，将会自动产生烟雾报警或者高温告警，再将报警时间、工作端自动上传至服务器，可通过在线预警分析平台或者地面综合分析系统中能够进行查看，并能够将对应时间段的时间进行定位回放。

3.1.3 项点分析

通过TAX分析运行数据，自动将运行过程中的一些项点进行判定，包括：“进站、出站、区间停车、站内停车、管压为零、信号降级、调车启动、列车启动、信号故障、站内非正常停车”，项点数据，能够自动上传至数据服务器，通过在线预警分析系统，能够实时查看该机车本趟运行的项点信息。

3.1.4 数据实时上传

考虑实现数据实时上传功能，将设备各项状态，以及所有相关数据，实时的上传至数据服务器，包括设备硬件状态，如：SD卡状态、内部存储状态、北斗状态、TAX连接状态、各摄像头状态、温度、烟雾数据等等。

3.2 在线预警分析系统

3.2.1 实时监控（见图3）

图3 实时监控

考虑实现实时显示全部在线机车，能够根据车次、车号来进行查询定位。机车在电子地图中，能够显示列车前进方向，能够将铁路线路用加亮颜色显示。能够点击机车查看详细信息，如：车次、司机、速度、限速、管压、色灯、交路、车站等等。能够实时播放该机车各个通道的视频，例如司机室、机械间、车顶、路况等。还能够查看该机车的运行记录、报警记录、运行事件、运行曲线以及设备状态等信息，通过运行记录、报警记录、运行事件、运行曲线来将视频定位到特定的时间点，查看分析指定时间的视频内容。还能够进行运行回放，能够选择指定的时间段，回放该时间段的视频，运行记录进行查看分析。

3.2.2 在线报警

实现在线报警功能，能够实时刷新显示当前所有机车的报警记录，通过颜色来区别严重程度，能够根据分类来筛选报警记录，如值乘报警、LKJ报警、车况报警灯。相关管理人员能够播放报警视频（如果是烟雾或者高温报警，能够调取对应时间的视频，能够切换不同的通道来查看）。管理人员能够根据报警情况，做出判断，比如如果属于违章，能够直接添加两违登记，以便日后统计查询。

3.2.3 手机APP终端

考虑通过收集APP来让管理人员可以查看接收各种信息。管理人员的手机通过移动终端、或手机连接网络，并进行身份验证登录，就能够接收到各种事件报警通知，可以查询相关报警信息信息，点击后查看机车服务器可向各手机终端推送报警信息，查看本机收到的所有的报警通知，就像短信一样，明显区别已读和未读的报警通知，可以直接在线点播查看报警视频。能够查看在线机车的运的实时运行情况以及报警、运行记录，包括运行情况、司机副司机信息、运行记录、报警记录等。如图4所示。

图4 手机APP终端

3.3 地面综合分析系统

3.3.1 数据转储上传

通过自动快速转储装置，支持6个U盘同时转储，转储速度每秒200 M以上，能够自动让U盘中的视频、报警数据上传至路网服务器，操作简单，插入U盘进行转储，转储完毕后拔出U盘即可。

3.3.2 三合一同步分析

考虑以LKJ运行记录为中心，实现机车乘务员作业LKJ运行记录文件和音视频文件的自动关联检索功能，同步定位播放；实现运行记录和LKJ监控显示器的同步还原显示；能够通过多种记录数据的综合分析，完成关键项点作业情况分析，提高分析效率和真实程度，立体还原现场作业实际情况。如图5所示。

图5 三合一同步

运行曲线和LKJ监控显示器同步回放定位。根据LKJ运行记录文件，同步还原显示LKJ运行曲线和LKJ监控显示器界面，监控数据跟随时间进度自动移动，播放分析视频的时候能够有效直观地进行显示。如图6所示。

图6 运行曲线和LKJ监控显示器同步回放定位

LKJ运行记录项点和LKJ运行事件同步定位。自动与LKJ运行记录分析系统连接，自动获取LKJ运行记录分析软件中的各类分析项点(紧急制动、管压为0)，并支持用户根据需要自定各种事件，例如开车事件、停车事件、进站、出站事件等。选择指定事件后，会自动定位播放对应的音视频信息。

运行揭示同步定位。根据LKJ运行记录文件自动提取相关揭示信息，系统能够将此次行车过程中启用揭示和没有启用的揭示进行区分，启用的揭示默认显示在界面最上方，并且左侧有绿色图标指示。双击一条揭示信息后，能够自动定位到该揭示启控的时间，并同步播放相关音视频信息。如图7所示。

图7 运行揭示同步定位

报警记录定位。将转储记录中出现的报警记录列出来，用户可以直接双击要查看的报警记录，然后视频以及对应的运行记录，运行曲线能够自动定位。

运行记录同步定位。考虑显示本次转储记录的全程运行记录详细信息。双击运行记录后，能够自动根据时间定位视频和录音，使视频播放过程中，运行记录也能随着视频自动往下切换。

视频截取。考虑通过视频截取功能，能够截取指定时间段的视频，并且能够将对应的录音片段进行合成，还能够添加字幕信息，并且能够设置字幕格式，如颜色、大小和位置等。

4 结束语

本次设计与研究实现了对机车各监控区域进行视频图像采集，使机车乘务员能及时了解机车各监控区域的情况，对司机室监控区域进行音频采集，并对采集的音视频信息进行实时记录分析，是机器视觉在保证铁路安全运输方面应用的典型范例，这一研究成果可以为建立更全面、科学、合理的乘务员管理体系建立基础。在地面分析时，通过音视频数据转储装置和音视频智能分析系统，可对车载设备记录的音视频进行高速转储，并自动分析关键项点。既实现了对机车乘务员值乘状态的实时监测提醒，又可有效提高地面分析人员的工作质量和工作效率。