一种安全性的海量数据处理平台设计与实现*
2014-02-16张德阳王晶
电信工程技术与标准化 2014年11期
张德阳,王晶
(1 北京邮电大学网络与交换技术国家重点实验室,北京 100876; 2 东信北邮信息技术有限公司,北京 100191)
一种安全性的海量数据处理平台设计与实现*
张德阳1,2,王晶1,2
(1 北京邮电大学网络与交换技术国家重点实验室,北京 100876; 2 东信北邮信息技术有限公司,北京 100191)
提出了一种开放分布式海量数据处理平台的设计方案。该平台以HDFS、Hive和HBase等作为底层数据存储方式,以MapReduce、Spark和Storm等作为底层数据处理方式,向用户提供了统一的接口,同时使用Kerberous进行权限控制,保证了数据安全性。这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务。
Hadoop;分布式系统;海量数据;Kerberous;数据处理平台
1 引言
目前,解决海量数据处理主要有两种方法:一种是传统的超级计算机处理方式,例如中国著名的天河贰号,美国的泰坦等超级计算机;另一种是构建于相对低廉的计算机集群之上的云计算平台,例如Google的GFS,中国阿里的阿里云以及Apache基金会所开发的Hadoop等。对于大多数公司和政府机构来说,更愿意付出一定的资金以获得海量数据资源的安全性和保密性,即采用Hadoop开源云计算框架开发私有云平台。Hadoop可在廉价的集群之上实现具有高可靠性、高扩展性和高容错性等特点的云计算平台。此外,由于Hadoop是依赖于开源社区的,研发和升级等的成本非常低。但Hadoop在实际的使用中也存在着很多缺点。首先,Hadoop的开源给我们带来便利的同时,也因为Hadoop commons贡献者各不相同而带来难以管理的困扰。……
登录APP查看全文
