张赢

（长江大学 湖北省荆州市 434000）

在石油开发作业过程中产生的数据不仅量大而且复杂，在数据采集、存储、利用上都存在巨大的问题。例如采集到的数据通常需要人工导入，不同的部门、设备、井场等记录数据的格式、单位也不尽相同，再加上数据常年的累积，油气数据在采集、存储、使用方面都相当困难。但随着Hadoop 大数据技术的发展，为解决油气数据的管理问题提供了新的思路。Hadoop 大数据技术，在海量复杂数据的采集、存储、分析计算等环节提供了全套方案，能够有效的解决油气数据的管理问题。

1 油气数据平台的技术选择

1.1 分布式文件系统Hadoop HDFS

随着石油数据的增大，在一个操作系统中不可能存下所有的油气数据，也不可能管理那么多的数据，那么就需要将数据分散到多个操作系统中的磁盘里，因此需要一个系统来管理多台机器上的数据，这就是分布式文件管理系统。Hadoop 的HDFS 就是当前最流行的分布式文件管理系统之一。

Hadoop[2]是Apache 的顶级开源项目，由java 编写，而HDFS是其核心组件之一，当前的大数据技术便是基于HDFS。HDFS 具有高容错性、低成本和高扩展性以及适合处理大数据等特点。

（1）高容错性：数据由多个副本保存，可以提高副本数量和容错性；

（2）低成本：Hadoop 可以构建在廉价的机器上，这意味着Hadoop 集群并不需要花多少钱；

（3）高扩展性：可以通过增加节点来扩大集群。

（4）适合处理大数据：数据规模大，HDFS 不仅能够处理GB、TB 甚至PB 级规模的数据，还能能够处理百万级以上规模的文件。……