APP下载

浅析云盘技术及存储原理

2015-05-29王伟

电脑知识与技术 2015年10期
关键词:存储容量云盘算法

王伟

摘要:随着现代的计算机技术越来越先进,云盘的技术已经渗透到很多人的工作中,本篇文章主要来探讨云盘技术、云盘的储存原理以及云盘存储空间划分原理。

关键词:云盘;存储容量;MD5;算法

中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2015)10-0218-01

现代的教育手段越来越先进,云盘的技术已经渗透到我的教学模式中,突然发现,我只是一个普通用户,云盘空间竟然达到了37.4TB(如图1所示)。

截止2014年1月,官方统计此类云盘的用户数量就达到1.6亿,平均每人分配30TB的空间,所有的存储空间将为48亿TB的容量,这就是一个天文数字。

实际上,云盘是否真的给了用户这么大的空间呢?我觉得空间存储问题上存在着一定的猫腻。

1)假如一个服务器有100T的存储空间,每个用户许诺分配10G的存储空间,可以分配10000个人使用,但是实际上并不是每个人都可以用完这10G的存储空间,有些人只用了不到1G,所以云盘供应商可以将存储空间分配给100000个人使用,每人只分配1G,这样就可以多分配10倍或者更多倍的用户使用。

2)如果有人使用超过1G空间怎么办呢,很简单,云盘供应商就可以只分配99000个用户使用,1人1G的存储空间,剩下的1000G空间作为应急存储空间,可以同时保证超过一百人使用到10G存储空间。

3)如果每个服务器都预留出1000G的空间,如果有超过10000个服务器,也将浪费10000T的存储空间,实际上并不是这样,可以利用现在的磁盘阵列技术,让服务器之间实现存储空间共享(也就是现在的集群存储技术);虽然我的云盘存储空间为37.4TB,我经常使用云盘,实际上我才用了58.1GB(见图一),使用率仅为0.1%;而更多的人可能只用了10G左右,这样推算,存储空间只需要160万TB的容量,空间分配只需要之前数量的1/3000。云盘供应商就可以随意给你使用空间的数值,那个数字只是一个数字(虚数值),你实际使用的空间是多少,服务器会给你画出相应的使用空间,其余的大部分未使用的空间,都是大家(1.6亿)的共享空间。

4)如果到了后期,大多数的用户都将利用云存储提供的存储空间,都将分配给自己的空间使用完全,以上的方法就不可用了,云盘供应商就采取了另一个新技术——数据存储索引。很多网络上的文件,特别是大型文件,比如电影、游戏,基本上是重复使用的,张三上传了电影《霍比特人3》,李四也在云盘上上传了《霍比特人3》,还有很多人也同时上传了《霍比特人3》。本文件占用空间5G,10000个人上传,就占用了50TB的空间,其实这些文件都是相同的。云盘供应商利用了这一特点,就做了一个文件索引,直接链接到某一服务器的文件上即可,类似于WINDOWS操作系统中的快捷方式,这样就可以节省了49995GB的空间。

5)有的用户喜欢更改一下文件名称,同样还是一部电影

《霍比特人3》,张三文件名叫《指环王续集》,李四文件名叫《3D大电影》等等,怎么办?云盘供应商就采取了另一个新技术—MD5校检。MD5 是Message Digest Algorithm的第五个版本,由麻省理工学院的计算机科学实验室和RSA数据安全有限公司发明,MD5的作用是对一段字节串产生指纹,可以防止被“篡改”。这个码有128位那么长,包括了26个英文字母和10个数字的任意组合,遇到重复的概率为36128分之一,大约为1.61 * 10 199分之一,通常被认为是唯一的。对MD5算法简要的叙述为:以512位来分组处理信息,且每一个组又被分为16个32位的子分组,经过处理后,算法输出是四个32位的分组组成,将这四个32位的分组级联后才会生成一个128位的散列值。

算法流程如图2所示。

所以无论文件名是否相同,只要MD5返回值相同,就可以断定是相同文件,就可以采取数据存储索引的办法,而且,云盘供应商还为此提出了一个新的技术——秒传!

想必大家看过这些,就了解了云盘的存储空间使用原理和云盘供应商为什么敢给你分配那么多存储空间了吧。

参考文献:

[1] 百度百科[EB/OL].http://baike.baidu.com/ .

[2] How To Find Weak Input Differences For MD5 Collision Attacks International Association for Cryptologic Research 2009年 [引用日期2012-10-28][Z].

[3] 韩同欣,丁建元. 基于云盘技术的文档数据共享系统设计 [J].中国科技信息, 2014(21).

[4] 邵珠光. 社区电子病历关键加密技术的研究[D]. 天津:天津医科大学,2012.

猜你喜欢

存储容量云盘算法
云盘不再单打独斗,阿里云盘生态体验
基于MapReduce的改进Eclat算法
Travellng thg World Full—time for Rree
进位加法的两种算法
一种改进的整周模糊度去相关算法
阿里发布SSD云盘 性能大幅提升
Buffalo推出四硬盘网络存储器 主打Soho一族