张红军　王豫鑫　杨万里　祁永钊　李登明

摘要：随着互联网的不断发展，应用程序、数据正在迅速增长，大规模数据存储成为大数据技术研究重点，借助数据挖掘技术能更好地为决策者提供信息支撑。容错技术是大数据处理领域中一个前沿且极具挑战性的研究课题。该文依据当前的研究现状和进展，通过对大数据时代数据特征的分析，结合当前技术发展趋势，运用Python技术设计数据挖掘中代码容错技术的改进，并用算法进行实现。测试结果表明，该算法运行良好，系统的健壮性和可靠性大大提高，为大数据和数据挖掘提供理论基础，为海量数据的安全可靠挖掘提供科学有效的技术支撑。

关键词：大数据;容错技术;算法;关键技术;健壮性

中图分类号：TP312 文献标识码：A

文章编号：1009-3044（2020）09-0016-03

1 背景

随着互联网技术的快速发展，大量文字、图形、视频、音频、Web页面等多种类型复杂的数据信息在信息检索、社交网络、物联网、车载网等诸多新兴行业广为应用，数据规模呈爆炸式增长，数据量成为信息社会增长最快的资源之一。与其同时，数据挖掘近年来也引起信息产业界的极大关注，各行各业的人们迫切需要从大量数据中提取或转换为有用的信息和知识，并将获取的知识和信息广泛应用于各类领域。

由于分布式存储系统中节点数量宠大，不断增长的海量数据需要被安全可靠存储，常常会产生各类意外故障，导致数据节点失效情况频繁，采用容错技术可以避免部分存储节点失效的情况下，数据仍然能够正常读取和下载，因此，容错技术成为大数据挖掘处理中不容忽视的重要技术。……