刘建斌 王明乾

摘要：随着移动信息技术不断得到发展，传统的数据存储系统已经无法应对海量数据信息的冲击。在此背景下，Hadoop技术因为其开源免费的特点，能够在构建科研大数据存储系统节省不少经费开支同时，还能为科研大数据存储系统提供较强的存储可靠性。基于此，本文通過分析Hadoop技术下科研大数据存储系统的需求，为Hadoop技术下的科研大数据存储系统提供设计理念和思路。

关键词：Hadoop技术;科研大数据;存储系统

Hadoop最早是由Apache基金会所发布的一款分布式系统基础架构。借助Hadoop技术，可以使用户在完全不了解分布式底层细节的情况下，开发分布式程序，并利用其中的集群功能进行高速运算和存储。此外，Hadoop还具有可靠性高、扩展性强、容错率大等显著特点，将其应用于科研大数据存储系统的设计构造中，能够满足现代社会日益扩大的海量存储需求[1]。因此，在Hadoop技术下对科研大数据存储系统展开研究，具有与时俱进的现实意义。

1Hadoop技术下科研大数据存储系统的需求

1.1海量存储需求

当前阶段，随着数据量逐渐由TB、PB朝着EB的量级方向发展，传统的存储系统已经无法快速处理海量的存储需求。因此，在Hadoop技术下的科研大数据存储系统，首先要具备处理海量数据信息，并根据大数据采集信息，对信息做出分析、决策的能力[2]。其次，面对用户的数据存储需求，科研大数据存储系统需要具备数据的快速存储、查询、读取、传输的能力。最后，科研大数据存储系统通常具有多种结构类型或数据源，导致其存储方式主要以半结构化存储为主。……