APP下载

基于云平台的列车运行图编制系统设计及关键技术研究

2023-12-27祝建平范家铭

铁道运输与经济 2023年12期
关键词:列车运行子系统节点

祝建平,李 博,范家铭

(1.中国国家铁路集团有限公司 运输部,北京 100844;2.中国铁路列车运行图技术中心,北京 100081;3.中国铁道科学研究院集团有限公司 运输及经济研究所,北京 100081)

0 引言

列车运行图是铁路运输组织计划的重要技术文件,是客货运、司乘、机车和动车运用、施工、车站作业等计划编制的依据,其编制质量直接影响铁路运输资源运用效率和运输效益[1]。近年来,随着高速铁路大规模成网运行,列车开行数量逐年增多,客运市场需求动态变化,使得列车运行图编制难度加大,编制频率加快[2]。列车运行图编制系统是列车运行图编制工作的重要支撑[3-4],在当前编制工作向常态化转变的客观需求背景条件下,编图系统在系统架构、数据管理和用户体验等方面也面临着新的技术挑战,主要表现在:一是信息化程度需进一步提高。为提高编图效率和准确性,要将基础设施设备、开行方案等编图资料完全电子化并纳入到编图系统中,确保资料完整性;加强与调度系统、客票系统等上下游生产系统的数据交流,实现实时数据共享和统一编制[5]。二是数据管理水平需要提升。提高编图数据容灾能力,构建实时备份机制,避免发生用户操作丢失、历史数据丢失等问题,消除数据泄露的安全隐患。三是系统性能需进一步加强。需要在系统功能方面缩短响应时间,提升编图人员工作效率;同时随着编图工作量和难度的提升,亟需实现编图自动化和智能化[6],系统应满足辅助编图功能对算力资源的庞大需求。

为进一步提高铁路列车运行图编制技术水平,支撑我国超大规模复杂路网条件下远程群体协同编图需求,以中国国家铁路集团有限公司(以下简称“国铁集团”)主数据中心成立为契机,设计开发基于云平台的列车运行图编制系统(以下简称“编图系统”)。编图系统采用云平台部署、微服务架构、分布式存储与实时计算等先进计算机技术,具有完全自主知识产权,实现数据安全可控和实时共享。编图系统经过业务调研、需求分析、方案评审、软件研发、三方测试和现场试用等过程,实现数据管理、人工编图、统计分析和数据共享等核心功能模块,在国铁集团列车运行图编制工作中得到实际运用,在运算速度、可靠性、扩展性、安全性等方面带来质的突破,有效提升列车运行图编制效率,为列车运行图常态化优化调整和智能化编制奠定坚实的基础。

1 需求分析

编图系统的主要需求:一是依据国铁集团运输部提出的“加快运输信息化建设”的要求,实现列车运行图编制由数字化到信息化的跨越,切实提升运输领域信息化水平;二是面对市场多元化需求的动态变化,为列车运行图智能辅助编制技术提供应用和验证的平台,支撑列车运行图智能辅助技术创新应用。

(1)编图资料实时集成共享的信息化需求。针对我国当前超大规模路网,需要突破“信息孤岛”式的数据模式,以满足编图资料实时集成共享的信息化需求。运行图编制需要路网设施设备、开行方案、运行图技术参数等信息,而这些信息存储在其他系统、电子文档甚至纸质资料中,编图人员获取不便,影响编图工作效率和质量[7]。因此,需要以主数据中心建立为契机,采用“云平台”架构模式,通过主数据中心的集成服务平台打通编图系统与各生产系统间数据共享和实时传输路径,建立编图系统与客票[8]、货运[9]、调度[10]、编组[11]等系统的数据接口协议,真正实现无纸化、集成化和信息化,保障编图资料完整性和准确性。

(2)编图过程自动化和智能化需求。我国铁路规模日趋庞大,路网结构复杂,列车运行图编制工作量和难度与日俱增,仅依靠人工将无法满足铁路高质量发展对编图效率和水平的要求,必须发展运行图自动化和智能化编制技术[12]。股道自动编排、交路自动勾画、运行线辅助编制等自动化、智能化编图功能需要依托海量数据和庞大算力,对编图系统的数据处理和计算性能提出非常高的要求。而云平台技术能够将存储资源和算力资源进行统筹管理,通过弹性伸缩框架和分布式计算技术,实现资源的高效充分利用,为运行图智能辅助编制技术提供充足的数据和算力,支撑列车运行图编制自动化和智能化技术创新应用。

(3)用户功能性和非功能性需求。编图系统主要包括数据管理需求、人工编图需求、联网编图需求、指标统计与分析需求、接口与数据共享需求、智能辅助编制需求等核心功能需求,可以借助云平台架构的高可用、集成化和资源整合能力进行升级和赋能。除此之外,还需要满足数据在存储和传输过程中的安全性需求,云平台编图服务的可靠性需求以及用户在离线、局域网、内部服务网等环境下的多场景作业需求等能够使平台更加可靠、适用、便捷的非功能性需求。

2 系统设计

编图系统采用一级部署两级应用,与编组系统、调度系统、机车周转图系统等存在数据交互,支撑列车运行图编制业务应用,为国铁集团和各级铁路局集团公司用户提供应用服务。云平台提供一种共享资源的架构方法,可以将各种软硬件系统以资源方式提供服务,实现资源共享[13]。编图系统部署在主数据中心云端,实现与其他系统的互联互通。

2.1 总体结构

编图系统总体结构分为基础设施层、资源层、数据层、计算层、服务层和应用层。基础设施层以国铁集团主数据设置中心VM 云和铁信云为基础,形成双云冗余结构。设置专用云管理后台对配套大规模虚拟机集群进行资源虚拟化和负载均衡管理,形成资源层的计算资源和存储资源等。资源层提供资源管理服务,管理各种计算资源、存储资源、通信资源等的申请与回收。数据层利用存储资源构建数据库集群、半结构化及非结构化数据集群,负责对列车运行图编制业务相关的海量数据进行存储和管理,保障数据安全。计算层包括机器学习、实时计算和分布式计算等服务,为需要计算的业务提供支持,机器学习服务以海量历史数据为基础训练模型,为智能化功能提供支撑。服务层采用微服务架构,以服务中间件为基础,提供编图服务、查询服务和统计服务等核心业务服务,并设置调度后台提供各种业务流程的调度服务,是业务和资源管理的粘合剂。设计数据交换服务平台,对编图系统与12306、95306等外部系统间的数据交流提供实时同步、格式转换适配等服务,并对数据传输过程进行监控。在应用层,编图系统提供离线客户端、在线客户端、门户网站、智慧大屏和运维后台等多种访问方式,为国铁集团用户、铁路局集团公司用户、运维用户和科研人员提供各种业务服务和科研服务,形成完整的业务应用生态。编图系统总体结构如图1所示。

图1 编图系统总体结构Fig.1 System overall architecture

2.2 技术架构

编图系统使用大数据架构,采用Spring Cloud技术栈,依托分布式消息组件、分布式应用部署、数据库集群、分布式文件系统等技术,为编图系统的信息化、自动化和智能化提供可靠保障。编图系统由1 个平台和5 个中心组成,编图系统技术架构如图2所示。

(1)通用网关平台,由长连接网关服务器集群和短连接网关服务器集群构成,通过登陆验证服务器对用户的连接请求进行验证,用户在通过验证后经由网关与应用服务器通信,保证服务的安全,提高容错性。

(2)编图中心,以编图协同服务器为核心服务,结合编图操作日志服务、编图数据备份服务、编图数据检查服务、编图日志处理服务,打造高可用、高可靠、实时数据处理、实时日志处理、实时数据备份的编图系统,确保编图任务能够顺利完成。

(3)资源调度中心,由资源服务器集群、调度服务器集群、Flink 集群、Yarn 集群和K8s 集群组成。资源服务器集群为计算业务提供横向扩展的计算资源,提高资源的服务质量和利用率,同时避免跨应用划分节点的低效率和复杂性。

(4)分布式存储中心,将数据分散地存储在多台独立的服务器上,满足大规模存储应用的需求,提高数据的可靠性、可用性以及安全性。基础设施服务器集群,主要包括日志、调度和监控服务器,提供基础服务并保障编图系统可靠运行。

(5)统计分析中心,由统计服务器集群和查询服务器集群组成,以日志处理服务清洗的日志数据和数据库中存储的业务数据为基础,为用户提供多维度的统计、查询和分析服务。

(6)运维客服中心,由运维系统和客服系统构成,运维系统既可以可视化地监控编图系统运行情况和用户使用情况,也能通过后台微服务执行一键开服、关服,实现运维自动化。客服系统可以帮助用户管理用户权限、更新软件版本、查询技术帮助文档等,真正做到以用户为中心。

2.3 网络架构

编图系统的网络架构依托于国铁集团主数据中心进行构建,部署在主数据中心内部服务网应用服务区,与外部互联网逻辑隔离,在整个传输链路上都有传输加密的整体设计,符合等级保护对于通信传输加密的安全要求。编图系统网络架构如图3 所示。编图系统覆盖国铁集团、铁路局集团公司两级,铁路业务部门及生产作业人员通过铁路局集团公司内部服务网访问部署于国铁集团主数据中心内部服务网的系统服务器和内部门户,铁路局集团公司既有业务支撑应用通过内网与编图系统进行信息交互。编图系统采用双机热备核心交换机方法,将不同业务分配在不同的服务器中,确保多系统间数据高速传输和信息安全,降低业务之间的耦合度,提高编图系统数据的安全性。所涉及的网络设备均为冗余部署,保证编图系统的高可靠性。

3 关键技术

3.1 编图资料即时云同步与实时计算技术

列车运行图的编制依赖车站作业计划编制系统、交路编制系统等外部系统的数据输入[14],同时编图系统也是客运、货运、调度等生产系统的数据上游,各系统之间数据的实时同步是保证各运输组织阶段输出结果准确性的基础。各业务系统间的数据同步采用离线文件手动导入导出、定时同步等手段,沟通成本高,过程安全性差,无法确保数据的实时性和准确性,不能做到上下游协同编制。此外,在列车运行图编制指标统计分析方面,传统的计算方式通常采用数据批处理计算模式,计算时间长且存在延时,管理人员不能对运行图编制质量进行实时把握,用户也不能即时感知操作结果对运行图中观、宏观指标的影响。

为解决上述数据同步和数据实时计算问题,构建高可用、低延时的云同步平台和实时计算平台,统一汇聚编图、客运、货运、调度等运输生产系统的业务数据。多系统数据同步与实时计算技术架构如图4 所示。在数据实时同步方面,构建数据库同步、数据文件同步和日志同步等服务实现多源异构数据的实时同步。在数据存储方面,利用消息队列作为中间件,将数据存储到云平台的分布式文件系统和结构化数据库中。在数据实时计算方面,构建具有流批一体和Exactly-once特性的实时计算服务,实现流式数据和批量数据的统一处理,形成实时数据仓库,保证各系统数据的一致性,为实时数据报表、实时智慧大屏以及自动化和智能化等业务功能提供支撑。该技术实现编图数据的上下游多系统数据实时共享,使运行图编制业务由以往的运行线、股道和交路的单向迭代优化,转变为多专业一体化协同编制,缩短编图周期,推动编图模式创新发展。

图4 多系统数据同步与实时计算技术架构Fig.4 Multi-system data synchronization and real-time computing technology

3.2 编图数据实时云备份与冗余存储技术

对于列车运行图编制应用,每天产生大量的生产数据与操作日志以及其他间接产生的各种数据需要存储在分布式存储系统中。这些数据分散保存在多个云端存储节点上,通过适当的冗余备份,保障数据的可靠性。在分布式存储系统中,存储节点经常发生动态变化,比如节点故障或者增减节点,都需要重新在各个节点间迁移数据,以保证在节点状态变化后仍能对外提供良好的服务,因而在节点动态扩展后数据迁移成为重要问题。

为此,列车运行图的分布式存储系统采用一致性哈希(hash)表算法,建立从物理存储节点到虚拟存储节点的映射,通过hash计算,把数据均衡地分布到多个物理节点。通过改进的一致性哈希算法在节点发生变化时,使得迁移数据最小化。改进的算法对物理存储节点编码时,预留若干hash空间,将现有物理节点编码置于hash空间高N位,预留hash空间低M位,当节点状态发生变化时,采用高位不变,修改低位的策略进行编码修改,保证原有物理节点编码不变,存储在原物理节点上的数据无需迁移,从而降低数据迁移量。已知一致性哈希算法将哈希空间组织成虚拟圆环分布式哈希表(DHT)。将物理存储节点按一致性哈希算法映射到DHT 的虚拟存储节点,然后将数据按一致性哈希算法映射到DHT 的虚拟空间,按照顺时针方向将数据存储到最近的虚拟存储节点。分布式存储动态扩展与数据迁移技术如图5所示。

图5 分布式存储动态扩展与数据迁移技术Fig.5 Distributed dynamic storage extension and data migration techniques

按照图5,在构造哈希空间时修改编码方案。现有物理存储节点编码放在高N位,预留空间低M位,并设置为0。物理节点变化时,从预留空间最高位置开始设置1。原有节点编码不变,设原有编码为C,变化后所有物理节点新编码为Cn,将新编码映射到哈希空间,得到哈希值Hn。

从上式可知,从C到Cn物理节点编码容量从2的n次方扩展到2 的n+1 次方,而原节点编码没有发生变化。对其进行哈希运算,得到的扩容后的存储节点在DHT中的映射为

原有存储节点哈希值未发生变化,存储在原有存储节点上的数据不需要迁移。借助云平台高性能设备资源和分布式存储动态扩展与数据迁移技术,编图系统实现编图数据实时云备份和分布式冗余存储。传统海量数据定时存储方式只能回滚到半个小时前的数据,会丢失期间的用户操作,而借助实时备份和操作恢复能力,编图系统能够实现秒级数据回滚,避免操作丢失和重复作业。同时,通过数据分布式冗余存储,形成数据防损坏和防丢失机制,实现编图数据存储的完整性。

3.3 编图系统数据与群体协同并发传输安全技术

依托云平台架构,编图系统在数据存储和传输方面的安全性全面加强。编图系统内的核心和敏感数据全部存储在云平台,针对数据传输过程中存在异常状态问题,同时为确保在线编图过程中数据传输的时效性和安全性,提出一种基于多线程分块处理与防盗链技术方案,以及一种基于压缩与加密混合技术的数据传输方法,解决数据传输中的高网络带宽占用、数据安全性问题,提高数据传输的时效性,提升用户的使用体验。

同时,为解决用户操作即时性与多用户间操作冲突的问题,提出基于群体协同技术的实时在线交互策略,在操作转换(OT)算法[15]的基础上加入改进的向量时钟作为时间戳,将操作行为封装成操作事件。编辑者执行单个操作后,将操作信息同步到各个协作端。协作端根据操作的时间戳,调整操作对象的状态,解决大规模群体协同操作过程中数据在线交互的实时性问题,保障用户操作的实时性和多源数据的一致性。

在离线数据文件方面,编图系统全新自主设计了高效复杂的编图全要素数据结构,通过二进制加密流式数据生成数据文件,并以数据结构为基础实现自定义数据编码和解码协议,即使数据丢失也无法被外部人员读取,从根本上防止数据被破解,保障数据的内容安全。

3.4 基于分布式对等网络的运行图一体化编制终端技术

为了进一步适应日益扩张的铁路运输网络并满足灵活多变的旅客出行需求,我国已形成定期全路集中编图与各铁路局集团公司分布式编图相结合的列车运行图编制与调整模式。为同时满足全路集中、铁路局集团公司协同、个人离线等各类编图场景,提出分布式对等网络的节点聚合技术,提升编图系统的网络扩展性和网络节点聚合灵活性,实现在线、离线服务器多种模式实时灵活切换的一体化编图终端。

为确保编图系统不过分依赖于某单个终端节点性能,解决网络不稳定时数据同步缓慢或设备故障时导致的数据丢失问题,构建高性能的数据广播算法与状态同步策略,保证多人协同编图的交互高效性、操作实时性、多源数据一致性。为满足编图数据在通信过程中的安全及保密要求,定义一套私有化数字通信协议并设计数据区块存取算法,确保数据在不同终端之间数据传输的安全性,在保证数据安全的同时,实现数据区块空间压缩,减少网络带宽占用,提高网络传输与解析效率。为解决用户本地离线数据与编图系统在线数据之间的同步问题,设计主副本通信技术,可以在同一台终端上同时启动2 个客户端进程,分别装载主本数据和副本数据,客户端之间能够进行双向通信,查找数据冲突并按照数据合并策略将主副本数据进行合并。

基于分布式对等网络的新一代列车运行图一体化编制终端关键技术,可以满足多种实际编图场景,切实保障随时随地任意两终端的互联互通,真正打造集客户端与服务器于一体的列车运行图协同编制终端。

4 核心功能

4.1 编图系统功能架构

在系统功能方面,编图系统目前主要包括数据管理子系统、人工编图子系统、联网编图子系统、指标统计与分析子系统、运行图绘制子系统、时刻表输出子系统、接口与数据共享子系统、智能辅助编制子系统共8个子系统。

通过数据管理子系统获取并维护路网基础数据、编图数据、列车数据、图面数据;通过接口与数据共享子系统与相关外部系统进行数据传输与共享;基于以上2 个子系统对于数据的整合与管理,通过人工编图子系统进行运行图绘制与调整,并由智能辅助编制子系统将智能算法与人工编制子系统进行数据交互;通过指标统计与分析子系统输出统计指标;通过时刻表输出子系统输出各类时刻表;通过运行图绘制子系统打印运行图。编图系统核心功能架构如图6 所示。核心子系统界面如图7所示。

图6 编图系统核心功能架构Fig.6 System core functions

4.2 数据管理子系统

数据管理子系统用于路网基础数据、编图数据、列车数据和图面数据的管理,包括对数据的录入、删除、修改、查询。借助云平台的高带宽并通过自主设计数据格式,使全路库数据下载和加载时间缩短一倍;通过设计超高速哈希检查算法,使全路编图数据准确性检查时间从分钟级减少到10 s以内;通过大规模复杂路网条件下的快速径路搜索算法[16]实现毫秒级的径路搜索;增加了数据差异化对比、数据拆分合并等功能,以适应用户对数据管理的多样化需求,为整个编图系统提供强有力的数据支撑。

4.3 人工编图与联网编图子系统

人工编图与联网编图子系统主要用于实现图面编辑和运行线操作,根据功能不同,可以分为运行图显示操作、运行线调整操作、停站股道调整操作、交路关系调整操作、天窗调整操作等。在高并发条件下,编图系统全图显示、图面切换等图面功能的响应速度提升10 倍以上,平移运行线、全线推线等运行线功能平均响应时间小于0.01 s。同时由于股道信息和交路信息通过云平台实现数据实时同步,得以实现到发线自动立折等自动化功能。

4.4 指标统计与分析子系统

指标统计与分析子系统面向全路各专业输出数据指标,目前主要包括列车明细汇总、分界口列车数、区间列车数、主要客运站对数、车站对数统计、车站作业时段分布6 大类共100 余项统计指标。依托高性能平台,可以对多对象、多维度指标实时分析计算,数据加载速度、指标统计速度提升数十倍以上,并实现多数据库指标对比等新增功能,不断提升操作便捷性,扩充筛选维度,聚焦关键问题,结合数据可视化,显著提升工作效率。

4.5 接口与数据共享子系统

接口与数据共享子系统主要用于实现编图系统与生产系统的数据共享与数据传输,目前已借助云平台的互联互通实现与铁路客票、调度、机车交路编制等系统的数据24 小时实时共享,打破各铁路业务系统间数据传输壁垒,有力支撑运输生产整体运转效率。

4.6 智能辅助编制子系统

智能辅助编制子系统主要用于提高人工编图的编制效率。在云平台的加持下,动车组交路方案辅助编制、区段运行线辅助编制和车站股道运用计划辅助编制等大型智能化功能有了充足的数据和算力支撑,已完成案例初步测试[17],预计2023 年底可以交付使用,届时在相关场景可以大幅缩短编图时间,提升编图质量。

5 结束语

编图系统的成功研发是基于云平台技术的一次创新实践,标志着铁路运输信息化、智能化水平的全面提升。编图系统架构更加优化,功能根据国铁集团及各铁路局集团公司需求研发至 1256 项,响应时间平均缩短10 倍左右,打通了与上下游系统的数据壁垒,具备完全自主知识产权,实现了国铁集团和各铁路局集团公司间一级部署两级应用策略。编图系统从2022 年三季度列车运行图调整编制工作开始正式应用,在提高工作效率、降低作业人员劳动强度等方面取得显著成效,已完全具备支撑全路列车运行图编制工作的能力。在现有成果的基础上,编图系统将持续完善和优化系统功能、创新智能编图理论与技术、做好运行图综合评价和调整优化等工作,聚焦提质增能创效,迈向推进列车运行图编制管理与技术创新的新征程。

猜你喜欢

列车运行子系统节点
不对中转子系统耦合动力学特性研究
CM节点控制在船舶上的应用
Analysis of the characteristics of electronic equipment usage distance for common users
基于AutoCAD的门窗节点图快速构建
GSM-R基站子系统同步方案研究
改善地铁列车运行舒适度方案探讨
驼峰测长设备在线监测子系统的设计与应用
列车运行控制系统技术发展趋势分析
抓住人才培养的关键节点
相同径路的高速列车运行图编制方法