浪潮信息

HDFS（Hadoop Distributed File System）作为通用的分布式文件系统，可为用户提供具有高可扩展性、低成本、高可靠性的海量数据存储，并广泛应用于大数据存储和分析方向。

近年来，伴随着5G、物联网、人工智能等领域的快速发展，数据量规模不断增大，同时随着大数据应用的多样化发展，对数据的利用也更加成熟与深入，更大的数据量以及更加灵活的数据处理场景对HDFS的数据存储与数据读写吞吐提出了更高的要求。为应对这些挑战，浪潮着力研发面向分布式文件系统的智能存储管理技术Smart Storage Management（简称SSM）。通过多项新技术及特性解决存储场景中的各类挑战，助力大数据产品提供更加高效、智能的存储解决方案。

存储技术所面临的挑战

基于异构存储介质的数据存储管理

从硬件平台来看，HDFS的设计初衷是基于通用的廉价硬件提供可靠、高吞吐的数据存储及访问。但随着硬件的迅速发展，传统的磁盘性能和存储容量都已达到瓶颈，固态硬盘、非易失性内存和SMR磁盘等受到广泛关注。

目前，HDFS已有的功能虽然可以兼容多类型的异构介质，实现对异构存储介质的访问和使用，但没有很好的机制让其智能感知不同设备的I/O特性，并根据数据的访问特征动态改变存储方式，在异构的环境下最大程度发挥各类硬件的性能优势。

大规模存储的容量压力

为实现系统的可靠性，传统HDFS通过副本策略来保障数据的安全，通常默认为三副本，但存储利用率仅为1/3。如果使用纠删码……