◆贺恒松 何重阳

大数据多租户技术应用研究

◆贺恒松 何重阳

（电科云（北京）科技有限公司 北京 210013）

随着全国数字化进程加快，很多组织机构都具备了海量的数据，都需要使用大数据平台来进行数据处理。然而，在同一个组织机构内部，大数据资源如果不进行限制，所有用户都可以访问到，可能会存在资源使用不合理与数据泄露等问题。为了解决这个痛点，本文通过对大数据多租户技术进行了深入研究，结合业务具体需求场景研究与设计了多租户技术落地方案，最后对多租户技术应用进行了总结与展望。

多租户；大数据；Hadoop

1 引言

随着大数据的普及，越来越多的组织机构将自己的海量数据的存储与运算放在Hadoop集群上。然而由于同公司不同项目或者部门之间对计算和存储的需求不同，原有提供一套底层Hadoop集群给用户使用已经不能满足用户的需求，主要存在以下几个问题：

（1）多个用户之间公用一套底层存储资源，彼此之间数据没有进行隔离，会导致存储的数据泄露；

（2）不同用户编写的不同计算任务公用底层全量计算资源，会导致计算资源要求高的任务无法获得足够资源等；

（3）对IO，CPU，内存等的要求不同的任务无法分配到具备相应特长的节点上运行。

正是上述问题，在没有对Hadoop集群资源进行精细化管理时，很容易出现数据与集群资源混乱无序的状态。

2 相关概念

在介绍多租户相关研究与设计前，首先需要对下述概念进行介绍：

（1）存储资源：分布式存储文件系统（Hadoop Distributed File System，HDFS）中的一个或者多个目录；……