贵州省信息中心　袁继会

刍议面向大数据分析的分布式文件系统关键技术

贵州省信息中心袁继会

随着我国互联网应用技术水平的提高，互联网企业正在加强对数据处理能力的研究与提高，以便于能够很好地应对多样化和大规模信息数据的处理需求。基于当前的发展新形势，数据储存量大是典型特征，现阶段分布式文件系统的传统性能已经不能满足当前的发展需求，为此，需要注重数据的扩展以及操作的一致性。本文就面向大数据分析的分布式文件系统关键技术进行分析。

大数据；分布式；关键技术

1　引言

当前，我国互联网发展正是迎来大数据时代，数据信息的处理以及分析技术成为了相关人士关注的重点。数据量的不断增加使得文件数量也在不断增加，这是当前存储数据的典型特征，其对延迟的文件访问和元数据的性能也提出了更为严格的要求。就当前的问题，相关学者应该依据互联网数据和分布式文件的特点，优化技术手段，以减少数据迁移产生的成本，实现系统空间的扩大和优化，提高数据的处理效率和质量。

2　大数据的特点及存储要求分析

海量非确定性异构数据产生的原因比较复杂，其应用也和以往有所不同，主要表现在：随着数据应用规模的扩大以及应用领域的扩张，数据量会不断增加，数据存数量也会有很大涨幅。在非确定数据的一般应用中，其数据来源较多，数据类型多元化，数据访问形式也各有差异。……