黄诗瑶

摘 要：随着轨道交通行业的日益发展，其业务数据的量级成指数增长，对传统的数据存储方案产生了巨大的冲击，在快速有效的对海量数据进行存储和查询以及对存储能力进行无缝扩容方面略显不足。文章从数据的存储、可靠性、扩容等方面介绍了hadoop技术；探讨了在轨道交通行业数据中心的建设方案中如何利用hadoop技术，提出了基于该方案企业可以在哪些方面进行数据挖掘的建议。

关键词：轨道交通；hadoop；数据中心；数据挖掘

1 引言

随着近几年互联网的火热，相关技术也有着质的进步，特别是在大数据这一方面。然而传统行业也意识到数据的重要性，纷纷建立起自己的大数据中心平台，迎接大数据时代的到来。

2 hadoop生态系统的研究

随着Apache Hadoop项目在2006年正式启动[1]，到目前为止国内外已有很多知名企业在生产环境使用hadoop。其生态系统如图1所示，下面主要介绍下hadoop的文件存储、实时数据库以及数据仓库[2]。

2.1 文件存储

HDFS是hadoop的分布式文件系统，其特点是支持PG级别的数据存储、高可靠性、自动容错性、高扩展性。其整体架构由Block（数据块）、NameNode（管理节点）、DataNode（数据节点）组成：

（1） Block（数据块）：Block是HDFS存储的最少单元，与普通的文件系统相比，block默认的大小是64MB。而对于一个大文件将会分割成多个数据块进行存储，并且每个数据块会有多个副本存在多个DataNode上，默认是3份备份数据，这样保证了数据的可靠性。

（2） NameNode（管理节点）：Namenode主要负责管理HDFS中的文件目录、文件和Block的映射关系以及Block和DataNode的对应关系。HDFS提供了两种容错机制来保证系统正常运行。……