大数据应用下的新型分布式数据库NewSQL
2018-12-08徐述汪彦曾海洋王吉祥
徐述 汪彦 曾海洋 王吉祥
摘要:本文综述了大数据应用下的分布式数据库现状;介绍了基于大数据的新型分布式数据库NewSQL的定義,特点与分类;提出了NewSQL以及分布式数据库的发展趋势是HTAP NewSQL。
关键词:大数据;分布式数据库;NewSQL;OLTP;HTAP
中图分类号:TP311.138 文献标识码:A 文章编号:1007-9416(2018)08-0051-02
随着Internet和大数据的发展,分布式数据库的数据管理和处理面临新的挑战。分布式数据库进入了大数据应用下的大规模分布处理阶段。
1 大数据应用下的分布式数据库
1.1 大数据
大数据是指PB或更高数量级的数据,包括结构化、半结构化和非结构化的数据,其规模或复杂程度超出了传统数据库和软件技术所能管理和处理的数据集范围[1]。大数据具有巨量(Volume)、多样(Variety)、快变(Velocity)和价值(Value)4V特征[2]。
大数据的应用主要集中在两个领域,一是大数据分析,是对传统数据仓库的延展,将更多的数据挖掘、更复杂的分析算法通过大数据技术来实现;二是在线大数据访问,将更长期的数据做到在线化、将所有大量相对静态的数据从昂贵的存储设备下放到大数据平台,提供给更多的渠道进行并发实时访问[3]。许多实际的大数据应用二者兼有。
1.2 分布式数据库
分布式数据库具有CAP理论,系统中数据一致性C(consist-ency)、系统可用性A(availability)、网络分区容错性P(partition tolerance)三者不可兼得,满足其中任意两项便会损害第三项[2]。例如,大多数网站分布式数据库架构选择(如京东)满足A P,对C要求低一些。
但是,无法放弃强事务和一致性需求的应用不能使用NoSQL,例如财务、订单系统等处理复杂关联性数据的企业级应用。……
