刘 信

(中铁上海设计院集团有限公司， 200070， 上海市∥高级工程师)

随着我国经济的快速发展，轨道交通建设项目与日俱增，针对高铁站的监视与控制管理的研究已成为轨道交通安全的重要课题[1]。目前，高铁车站的安全运营问题愈发突出[2]，如铁轨异物、旅客逆行等事件，若能及时采取措施，则可有效预防事故的发生。在日常工作中，由于高铁站内监控繁多，监控人员需长时间监视各路画面的视频[3]，极易产生视觉疲劳，无法实现大面积区域的连续观测，监控效率低下；在警报发生时，监控人员无法实时关联警报和相关监控视频进行事态评估[4]。因此，在信息技术[5]快速发展的今天，“智能化、高效率、人机友好性”是对高铁车站安防监控的新要求[6]，也是实现减少人力资源消耗的新途径。

1 高铁车站传统视频监控系统的弊端

高铁车站传统视频监控系统受各种主、客观因素的制约，不能完全满足重要场合安全管理的实战需要[7]。传统视频监控系统的弊端主要有：

1) 盲点不易察觉。在传统视频监控系统模式下，虽摄像设备数量较多，但资源配置不合理，极易出现监控盲区。

2) 海量数据零散且难以对应。传统视频监控系统显示的视频画面过多，长此以往，监控人员会感到身心俱疲，既看不过来，也不爱看，从而加剧其抵触心理，使该监控视频沦为事后追责的工具。

3) 无法全局实时监控。监控中心受显示屏幕数量的制约，需要轮流切换多个分镜头画面。传统监控系统仅刻板地显示监控画面，缺乏位置感和方向感，整体布局难以体现。摄像机轮询模式与实际应用场景的空间位置相对独立，出现突发状况时，无法使各类摄像机联动，需人工干预，这极大地制约了应急处置效率。

4) 用户体验较差。传统视频监控系统忽视监控人员的用户体验，导致工作效率低，追责时易出现责任推诿等问题。

2 视频融合智能监控系统的价值和特色

1) 视频三维场景融合。传统视频的二维画面展示无法给予足够的空间感，使得用户时刻处于时空断裂之中。视频融合智能监控系统将某一场景的帧序列视频通过建模、特征拼接等方式与三维场景有效融合，生成一体化的VR(虚拟现实)世界，大幅度地增加了视频画面的互动性和虚拟模型的信息承载量。

2) 三维实景监控。将监控视频通过视频融合的方式与三维场景进行组合，可有效提升用户对于监控视频关联性的理解，对监控场景整体事态的监管和决策具有重大意义。

3) 统一历史时间线。视频融合智能监控系统支持NVR(网络视频录像机)的历史视频流访问，为所有监控视频流建立统一时间线，让用户可方便地切换到某历史时刻，所有的视频流可同步到该时刻同时播放，并可随时进行暂停和继续，简化了现有历史视频检索方法。

4) 多源信息融合。用户可根据需要自行设置POI(信息点)说明，以图标或图片的方式植入到虚拟场景中，配置网页链接，设置热区、热链。这样用户不仅能从三维世界直接获取数据，还可集成添加各类传感器(如温度、湿度、烟雾传感器)，并标识出传感器所在位置，在虚拟现实世界中实时显示动态传感信息。

3 高铁车站视频融合智能监控系统技术

3.1 视频融合智能监控系统的构成

高铁车站视频融合智能监控系统(见图1)主要由用户层、表现层、应用层、服务层、数据层及基础设施层等6部分组成。

1) 用户层：是指使用该视频融合智能监控系统的各类用户，主要包括指挥中心监控值班人员、指挥人员、管理人员和上级管理部门的相关人员，可通过网络在中间层进行通信，从而完成所需工作。

2) 表现层：可为视频融合智能监控系统提供图形工作站供监控人员日常执勤使用，同时将视频推送至移动端以供领导调阅，也可将系统投影到监控大屏；监管人员对系统的操作和观看等人机交互行为都在图形工作站完成。该工作站放置在指挥中心，可投放于大屏幕显示，也可用电脑显示器观看，还可根据不同业务需求构建三维模型。

3) 应用层：是终端用户与虚拟现实视频融合监控平台进行互动的唯一接口。该层具有为用户提供业务运行的基础环境、视频处理的基础应用，以及基于视频图像的智能应用等一系列功能，并提供二次开发接口，满足其他系统数据共享需求。其主要包括视频融合监控、智能视频分析和多源信息融合等应用软件模块。

4) 服务层：提供各类基础服务，包括视频分析、图像分析、数据分析、视频流媒体和警报等服务。视频分析基础服务是通过较高精度的行人识别算法，对接入系统的多路视频进行定时抓怕、图形分析等操作。基于机器学习，提取输入图像前景以获取边缘特征、前景特征、HOG(方向梯度直方图)特征等；对获取到的特征做透视变换，增大距离较远的图像像素特征的权值，实现不同的报警分析。

5) 数据层：能提供系统所需的各类数据，其包括空间数据、三维模型数据、系统配置数据、视频图片数据和系统管理数据等。

6) 基础设施层：可最大化地利用监管人员重点防控区域已有的设备资源。其主要包括网络基础设施、监控指挥中心大屏、NVR(网络硬盘录像机)/DVR(硬盘录像机)、存储和服务器等。视频支持海康威视、大华等主流品牌的NVR平台接入。对目前尚未支持的设备，只要提供平台或设备的SDK(软件开发工具包)通信协议即可进行二次开发接入。

注：Web为全球广域网，也称为万维网。图1 高铁车站视频融合智能监控系统整体架构图

3.2 高铁车站视频融合智能监控系统的建设内容

高铁车站视频融合智能监控系统建设了虚拟显示视频融合监控平台，可将多个分镜头的画面进行融合[8]。利用智慧自动巡逻机制，实现基于时空位置的智能精准定位和时空动态分析，从而提升视频分析及人工智能的应用价值。

1个平台系指虚拟现实视频融合监控平台。利用三维全景视频融合技术，在前端视频监控点布设的基础上，直观地将高铁车站安全行政执法相关部门以及周边场景中处在不同位置、不同视角的分镜头监控图像实时、智能地融合到已构建好的三维模型中。

1种机制系指基于重点区域的智慧自动巡逻机制。作为视频管理的核心区域，对人流量大、站内环境复杂的重点区域，制定合理的虚拟现实视频融合空中自动巡逻路线。在高铁车站安全行政执法相关部门的三维全景视频系统中，按照制定的空中自动巡逻路径，为监控指挥人员带来直观的视频监控画面，从而形成一套体系完整的设备自动巡检机制。

7项功能系指高铁车站视频融合智能监控系统满足用户需求的7项主要功能(见图2)。即虚拟现实视频融合显示、智慧自动巡逻、三维全景历史视频统一回放、三维中球机关联显示、三维测量与规划预演、警报联动挂屏显示和三维全景视频智能分析。

图2 高铁车站视频融合智能监控系统的7项主要功能图

3.3 高铁车站视频融合智能监控系统中算法的实现

目前，很多高铁车站的现实场景中都安装有监控安防系统，但大多数场所的监控系统只具有原始的功能。车站视频融合智能监控系统由大量的监控摄像头接入，并需要人工进行观察和检测异常，这导致了人力资源浪费，以及不能及时发现与处理异常情况。

随着计算机深度学习技术的不断发展，深度神经网络已渗透到各个领域，特别是在多媒体数据的分类与目标识别上取得了巨大的成就。卷积神经网络[9]模型对数据的纹理特征有着较好的提取能力，且无需太多的人工干预，故其取代了绝大多数的传统识别算法。

针对现有的问题，本文提出了一种基于深度神经网络的智能监控系统，旨在进一步提高目标识别的速度、数据处理的智能化与高效化，以及减少一定的人力资源消耗。高铁车站视频融合智能监控系统的工作流程如图3所示。该系统能够对视频流进行实时分析处理，且保留异常报警分析结果，并将异常报警日志存入相应的数据库中。

图3 高铁车站视频融合智能监控系统的工作流程图

图3中，如何利用深度神经网络模型对数据进行精确的特征提取与分析，是该研究内容的重点与难点。本文主要使用了卷积神经网络来实现视频数据中目标物体的监督，且对异常情况进行预测与分析。因此，可将该问题归纳为特征提取和特征分类2类，即如何提高特征的表达能力和分类器的准确度和速度。因此，对视频融合智能监控系统的现实需求和神经网络进行了综合研究。基于深度神经网络的目标检测算法如图4所示。

图4是针对解析过的监控视频流进行处理，并将处理好的数据输入到卷积神经网络当中。该卷积神经网络是一个端到端的网络，其完成了输入的图像数据到目标物体位置的输出，即该模型将目标物体预测和分类预测归纳到单个深度神经网络模型中，在保证目标检测和识别高准确率的情况下，能极大地契合现实应用场景。

图4 基于层深度神经网络的目标检测算法图Fig.4 Graph of target detection algorithm based on deep neural network

该卷积神经网络主要由卷积层、采样层和全连接层组成。卷积层是网络的核心，其主要作用是产生网络中大部分的计算量；采样层主要作用是逐步降低数据量的空间尺寸，对数据量进行简化，降低计算资源消耗；全连接层在网络中充当分类的作用，将分布式特征映射到样本标签空间，可对模型的复杂度有着一定程度的保留。在该网络中，主要用到的激活函数是双曲正切函数，其优点是收敛速度较快，减少模型的迭代次数。

综上所述，视频融合智能监控系统的详细处理过程描述如下：

1) 从摄像头或者所保存的视频文件中获取每秒的视频流并进行解码；

2) 将解析后的数据进行量纲一化和白化操作，即减去每帧图像的像素平均值；

3) 将上述结果输入卷积神经网络，通过卷积神经网络采样计算后输出特征向量，该特征向量就是这一秒视频提取出的用于对目标物体分类的特征；

4) 将该特征向量输入到全连接层中，输出预测结果；

5) 将真实的样本标签与预测结果进行比较，计算误差。

基于深度学习的视频融合智能监控算法相较于传统的算法而言，大大提升了数据的处理能力和识别准确率，减少人力资源消耗，更加适用于大型场景和多目标的应用环境。

3.4 基于协作机器人的视频融合智能监控系统

协作机器人是学术界和工业界的热门研究内容之一，并为不同的应用领域提供关键技术，其中最突出的是视频融合智能监控。针对大多数监控系统而言，多个视频流的监控对操作员而言是一项繁重的任务。因此，基于协作机器人的视频融合智能监控系统，可以监控和分析多个视频流。

基于协作机器人的视频融合智能监控系统主要通过使用智能摄像设备和视觉处理技术来提供有关特定环境或场景中不同活动的有用信息。该系统提供的信息可有助于行为分析、事件和活动分析和目标跟踪，详细描述如图5所示。

注：算法处理单元嵌入了智能机器人摄像头，以便执行对象检测和跟踪，可在监控应用中协助操作员。

4 结语

高铁车站视频融合智能监控系统定位为全融合高新视频解决方案，其通过将真实世界中的大量视频实时融合到虚拟现实中，构建实时反映真实世界动态变化的虚拟现实世界，带给用户更高清、更沉浸、更自由的视频新体验。该系统支持可视化指挥调度和管理，实现事前主动预防、事中快速掌控、事后高效复盘；实现快速浏览真实世界的演化状态和历史变化，统一按时间调度视频历史数据，形成真正意义上高铁车站的最佳运营、运维，从而构建三维全景视频融合监控体系。