FSD:增量压缩中局部特征表决的快速相似性检测
2021-05-10张露维顾荣斌李科心
小型微型计算机系统 2021年5期
张露维,顾荣斌,李 静,李科心
1(国网上海市电力公司 信息通信公司数据运维中心,上海 200072)
2(南京航空航天大学 计算机科学与技术学院,南京 211106)
1 引 言
云计算、大数据和人工智能技术的快速发展,对海量数据的存储、传输及备份问题提出了新的挑战.数据规模的快速增长对数据存储技术提出了更高的要求,也使得海量数据的存储、传输和备份成为当前的研究热点之一.如电力领域,随着泛在电力物联网的不断提出,各个业务领域的系统、数据等可能会面临大量的存储、传输及备份等工作.由于巨大的数据量,如何对这些业务系统的数据进行有效的存储、备份关系到整个电力系统的安全稳定运行.
数据压缩是指在不丢失信息的前提下,缩减数据量以减少存储空间[1,2],提高传输、存储和处理效率的一种技术方法.数据压缩通常需要以重复数据删除为基础,其关注的主要是重复数据删除,而当数据之间不包含重复但又高度相关的时候效果较不明显.增量压缩作为一种面向非重复而又高度相似数据的压缩方法在云计算、容灾备份等领域受到越来越多的重视.它通常以块级别进行识别和检测相似性数据,利用安全指纹技术[3]提取相似数据的共同特征,实现对数据的压缩,其过程主要包括原始数据的重复数据删除、相似数据检测、共同特征提取、差异性特征提取及存储基准数据和数据之间的映射关系等5个步骤.其中,相似性检测……
登录APP查看全文
