去中心化的数据处理方案设计
2021-12-09李光程赵庆林
广东工业大学学报 2021年6期
关键词:数据处理
李光程,赵庆林,谢 侃
(1. 澳门科技大学 资讯科技学院,澳门 999078;2. 广东工业大学 自动化学院,广东 广州 510006)
当前,集中式框架已被大多数数据处理平台(例如,MapReduce[1],storm[2],flink[3])广泛采用,在该平台中,主节点集中控制和管理多个从节点。但是,这种集中式框架通常具有以下缺点:(1) 主节点中出现单点故障或瓶颈[4-5];(2) 扩展集群规模的维护成本高[3];(3) 集群达到一定规模时的吞吐量可伸缩性问题。在大数据时代,随着高并发的实时流媒体数据处理的增加,上述问题变得越来越严重。因此,一个根本的解决方案是采用去中心化的框架。
最初设计用于记录交易的区块链[6]被认为是一种新的去中心化计算框架,具有很大的潜力来满足各种计算需求。在这种去中心化的框架中,没有中心实体,所有节点都是等效的参与者,并通过共识机制共同维护交易的一致性[7]。去中心化的本质允许无限的计算节点加入区块链系统,因此该系统能够聚合巨大的计算资源。例如,早在2013年,比特币网络[7]就已经比前500名超级计算机的总和强大[8]。区块链的去中心化特征和聚集的巨大计算资源是解决集中式框架的上述缺点所迫切需要的。
不幸的是,在主流的区块链系统中,例如比特币[7]和以太坊[9],巨大的计算资源主要消耗在共识机制中,例如工作量证明(Proof of Work, PoW),而不是解决有意义的实际问题(如统计流媒体视频中的汽车数量)。因此,提出了有用工作证明(Proof of Useful Work, PoUW)[10],以克服PoW的缺点,其目的是让这些计算资源解决实际问题,同时也达成共识。……
登录APP查看全文
