范 涛，刘晓燕

（昆明理工大学信息自动化学院，云南 昆明 650000）

0 引言

HDFS纠删码技术指的是纠删码算法在 HDFS中的实现，简称HDFS EC。纠删码技术是一种用于数据恢复的技术。通过纠删码（Erasure Code，EC）技术，将原始数据经过一定编码分成若干较小的数据块并保存在多个不同的存储节点中。对于一个(n，k)纠删码(n＞k)，原始数据先被等分成k个大小相同的数据块，再将k个数据块经过一定编码生成n个数据块，并保存在n个不同的存储节点中，每次只需从n个数据块中任意获取k个数据块并进行解码即可恢复原始数据。对于任意(ni，ki)纠删码(i = 1,2, …)，只需满足最大距离可分码（Maximum Distance Separable code，MDS），即可使用纠删码对文件进行编码存储[1]。它通过在原始数据中加入新的校验数据，使得各个部分的数据产生关联性。原始数据块和校验数据块都可以通过现有的数据块进行恢复，规则如下：（1）如果校验码数据块发生错误，通过对原始数据块进行编码重新生成。（2）如果原始数据块发生错误，通过校验数据块的解码可以重新生成。它对于HDFS带来的最大改变是可以使得HDFS不再依靠多副本机制来达到容错的效果。多副本机制的一个很大弊端在于极大浪费存储空间，HDFS纠删码技术的引入将会极大地改善这个问题。在Hadoop EC的设计中，提出了以下几点实现目标：（1）存储空间的节省。（2）灵活的存储策略，用户同样能够标记文件为 HOT或存储类型。（3）快速的恢复与转换，同时在数据恢复的时候，需要尽可能减少网络带宽的使用。（4）IO带宽的节省。（5）Namenode低负载。EC技术在一定程度上会增大Namenode的开销，因为NameNode需要额外跟踪校验块的信息。……