铁路大数据存储管理系统设计方案
2021-09-11李浩鹏刘靖宇
铁路计算机应用 2021年8期
海 洋,李浩鹏,刘 忏,刘靖宇
(1.中国铁路信息科技集团有限公司,北京 100844;2.河北工业大学 人工智能与数据科学学院,天津 300401)
随着铁路行业信息技术的快速发展,铁路信息化建设逐步深化。铁路领域各业务系统,如电子支付系统、货运票据电子化系统、铁路运输管理信息系统、客票清算系统和铁路车辆运行安全监控系统等,每年都会产生海量数据,且新产生的数据量逐年增加[1-2]。同时,铁路管理部门和业务部门产生包括结构化、半结构化、非结构化等多种类型的数据[3]。基于铁路业务场景、数据类型、安全级别对数据进行分类存储与管理,保证存储效率、安全性和经济性,便于数据分析处理,成为亟待解决的问题。
本文设计的铁路大数据存储管理系统使铁路各部门及时、准确掌握不同业务数据的产生、存储、使用、管理、备份和删除等情况,协助相关部门规范铁路大数据存储、管理与使用,为铁路精细化经营管理和决策制定提供数据支撑,为更加科学、有效地规划数据中心建设提供依据。
1 铁路数据特征
铁路领域业务种类多、数据量大、数据类型复杂[4],这为铁路数据存储与管理带来了挑战。铁路大数据具有以下明显特征。
(1)海量数据,且数据增量逐年递增。5类主要的铁路业务2020年新增数据总和约为220 TB,其中,货运票据电子化系统新增约114 TB、客票清算数据新增约50 TB。
(2)数据格式多样化。铁路涉及的业务种类较多,应用场景复杂,产生的数据格式包括结构化、半结构化和非结构化等,如铁路车辆运行数据、视频监控数据、设备台账、电子邮件等。……
登录APP查看全文
