常广炎 杨彬

摘要：大数据热潮正在席卷各领域，多源数据的融合提高了数据的价值，当前，大数据发展道路上最大的瓶颈是数据的流通、共享、开放和隐私保护问题，其原因为现有的大数据相关技术的服务设计思想都是基于中心化的，如数据库、数据中心、云计算，这必然导致数据高度集中，形成数据孤岛，产生数据垄断。区块链本质是一个去中心化的数据库，以去中心化为特征区块链技术的出现是对云计算、大数据等中心化技术有益的补充和平衡。区块链与大数据技术的融合应用将创造巨大的社会价值。文章就“区块链+大数据”的技术框架及融合发展进行阐释，区块链与大数据必将完美融合，从而产生巨大的社会价值。

关键词：区块链;大数据;去中心化;数据库;共识机制

中图分类号：TP311       文献标识码：A

文章编号：1009-3044（2020）35-0015-03

开放科学（资源服务）标识码（OSID）：

1 大数据技术架构

大数据处理系统中数据源经过分析挖掘到最终产生价值数据需要5个主要环节，即数据准备、存储管理、计算处理、数据分析和知识展现，其技术框架如图1所示。

1.1大数据的关键技术

1）存储管理

大数据存储管理重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。大数据的可表示、可存储、可处理及有效传输是大数据存储的关键问题等。现采取的主要技术为分布式存储、超融合、删重和压缩、虚拟化Hadoop、创建弹性数据湖、整合分析等技术。HadoopDFS是当前最流行的分布式存储系统，Ceph和Swift也有一定的用户群。……