一种基于多层块区的数据存储架构
2015-08-07闫振东
微处理机 2015年1期
闫振东
(中国电子科学研究院,北京100041)
一种基于多层块区的数据存储架构
闫振东
(中国电子科学研究院,北京100041)
借鉴了云存储的的基本思想与技术平台,针对大容量数据的海量和访问频度不同的特点,提出多层块区概念,并研究基于此的数据存储方法。对数据访问性能的定量分析表明,合理划分块区能够得到比传统存储方法更好的访问效率。最后阐述了块区设置的思路和方法。研究结果可为存储系统的设计提供参考。
云存储;大容量数据;多层块区
1 引 言
现代网络技术的快速发展,使得越来越多的系统应用对大容量数据的需求也越来越高。通过云技术来实施海量数据的处理和解决方案,目前主要有如下的云存储平台[1-3]:
1)Amazon云存储器[1]:拥有与亚马逊全球网络站点相同的高可扩展性、高可靠性、快捷、数据存储措施,而且所有的通信都采用了HTTPS加密协议。
2)IBM[2]:包括需要纳入云计算中心的软硬件资源,存储服务器、交换机和路由器等网络设备,软件包括操作系统,中间件,数据库等。
3)BigTable[3]:BigTable是Google公司用来存储海量数据的分布式存储系统,此系统可以将网页存储为分布式的、多维的而且有序的图。
上述各云存储平台各有自己突出的特性,如亚马逊平台以可靠性和安全性著称,IBM则通过二次开发,可扩展性比较好。然而对大容量数据存储的访问不一定保证具有更好的效率,比如Google公司的Google BigTable,以GFS[4]为基础,提供了以Chunk分块为存储数据的物理单元,Master管理元数据信息的方法来进行分布式存储。……
登录APP查看全文
