陈莉莉 张赛桥 胡 波

(南瑞集团(国网电力科学研究院)有限公司 江苏 南京 210032)

0 引 言

随着城市轨道交通建设的加快，各个城市的地铁线路逐渐向线网化发展，轨道交通的线网数据类型越来越多，数据量也越来越大，海量的数据汇集到轨道交通指挥中心。在轨道交通领域，如何有效地收集、整理、存储、处理和分析这些结构化和非结构化数据，进行深度的数据挖掘和数据分析，挖掘其中有价值的信息，从而提高轨道交通的运营水平，提升科学决策、信息服务和安全保障能力，增加效益降低成本，已日益成为业界关注的重点。

目前轨道交通指挥中心的已有数据仓库建设案例还比较少，而且都采用MPP架构的数据仓库进行结构化数据存储。但是随着数据量的增大和数据类型的增多，MPP的价格高昂、扩展成本太高、不能存储非结构化数据、不能进行流处理的弱点暴露出来。Hadoop平台有着不同于MPP的架构和数据处理方式，它的结构更灵活，存储的数据量级更大，支持高并发和实时处理，易于扩展，而且实现成本相对较低。但是Hadoop的数据存储中没有索引，底层数据块比MPP大很多，所以数据精准查询、表与表相组合查询的速度比MPP要慢。以往在轨道交通线网中心的MPP数仓，采用比较多的是基于三范式建模的数据建模方法。Hadoop平台的特点是相对廉价，适合做批量数据查询，但少量精准查询和复杂的多表联合查询效率低，所以三范式建模不能照搬到Hadoop平台。因此要针……