文/胡世昆

随着互联网技术的不断发展，网络数据的种类和数量增长迅速，对数据存储、分析和管理的需求也越来越高，然而传统的由运营商小型机建立的数据库系统已经不能适应大数据发展的要求，不管是在架构，还是在成本和分析能力等都出现瓶颈或者困难，而分布式数据库技术可以有效解决这个问题，实现大数据的整合、分析和处理。

1 大数据应用分布式数据库的意义

在大数据时代，传统的集中式数据库已经不能满足人们的要求，亟需更新处理方式，而分布式数据库就在这种形势下应运而生。与传统集中式数据库相比，分布式数据库主要有以下几个优势：首先，分布式数据库的扩展能力强大，数据存储方面有优势。其次，能够有效节省成本。在大数据背景下 ，采用原有的集中式数据库，对其进行扩容时会花费大量的资金，不仅成本巨大 ，而且效果有限，而分布式数据库用较少资金就能进行扩容处理。再者，分布式数据库对大数据的存储、分析和处理更加容易和快捷，让它的用户在数据处理上有着很大的优势。

2 应用分布式数据库的关键技术

2.1 MPP+Shared Nothing架构技术

分布式数据库应用大规模并行处理（MPP）技术，由多个处理单元构成，每个单元有自己的资源，用来计算和存储，以及运行软件。分布式数据库能够提供动态扩展的方式，由多个处理单元通过节点互联网，协同完成相同的任务，进行信息交互。因为每个节点只能访问本地资源，没有异地访问的问题，所以是一种完全无共享（Shared Nothing）的结构。数据分布到系统的节点上，进行存储、加载和查询，在服务器上自动并列运行。

2.2 混合存储技术

分布式数据库的数据可以支持混合方式组织和存储，混合存储对数据的查询、统计和分析有很大的优势，在大数据场景中应用广泛。混合存储主要有以下几个优点。

2.2.1 灵活性高

混合存储数据，可以根据应用需求或格式的不同，采用不同的存储和压缩方式，很大程度上提高了配置的灵活性，如图1所示。

2.2.2 响应速度快

在进行查询语句时，传统数据库技术需整行取出数据，而混合存储只需读取所需列，不需读取其他列，大大提高查询的性能和响应速度。

2.2.3 扩展性高

分布式数据库的存储格式可进行细分，性能也不会下降数据的可扩展性较高。

2.3 透明压缩技术

高效透明压缩技术能按照数据类型和分布规律，选择最优压缩法，并设置多种压缩选项，对性能与压缩比进行灵活平衡，且过程对用户透明。分布式数据库的列数据包内是内容相关较高的同构数据，容易压缩，数据占用空间小。压缩后数据加载和查询性能也加快很多倍。

2.4 智能索引技术

分布式数据库的智能索引是建立在数据包的粗粒度索引。在下载数据时，每个数据包可自动建立，进行过滤和统计信息。粗粒度的智能索引包含描述数据依赖关系的高级信息，能准确识别数据包，可解决复杂的数据连接和查询。可自动建立数据表，不需手工建立和维护。而且智能索引占空间少，扩展性强，后续的数据包建立索引速度也不会受到影响，速度快。查询数据时也不需要解包，对复杂信息查询的优化效果好。

3 分布式数据库技术的应用

3.1 负载支撑混合应用

分布式数据库支持各种类型的应用，如数据装载和加工、数据计算和更新等操作。大数据下分布式数据库的使用，不再局限于单一数据库，能够对数据进行很好地筛选、加工和处理，并通过索引技术以及并发机制能支持数据的混合负载场景，满足业务上的需要。

3.2 管理大批量业务

分布式数据库的技术可以实现对大规模的数据及大批量业务的承载，因此可以同时承载大量的业务用户。通过高效的负载管理，使系统中各类作业都有条不紊地运行，从而提高整体运转量。而且分布式数据库技术的负载管理可以为用户提供数据优先级管理、作业并发度控制等功能。

图1：混合存储图

3.3 满足高查询需求

在大数据下的自助服务查询的业务中，往往要面向数量庞大的客户提供查询服务，在高峰期的访问量大，因此要求自助服务查询数据库具有支持高访问量的功能。而分布式数据库在实际应用中支持数百个并发查询任务，且在1亿条记录规模以内的数据查询，可以在2小时以内处理完成。

3.4 满足高加载需求

分布式数据技术可以实现日汇总数据30亿条，加载效率高，最快可达2万条/秒，能够满足大数据下对于高访问量的加载量，而且速度快，不用担心数据量大而造成的查询时间缓慢。

4 结束语

大数据环境下，分布式数据库对于提高数据的查询和处理功能有着重要的作用。加强对分布式数据库技术的研究与应用，对运营商系统的灵活性与扩展性，提升对用户的服务质量有很大的帮助，也是适应新时代网络数据大爆炸，解决数据问题的重要途径。