梁猛



大数据平台安全认证负载均衡解决方案

梁猛

中国移动通信集团广东有限公司网络管理中心，广东 广州 510623

利用组件FreeIPA+Ranger对基于Hadoop架构的大数据平台实施了端到端的安全管控方案。FreeIPA组件的Keberous进行访问认证，Ranger组件进行访问鉴权，并且提供详细的访问日志及安全审计功能，实现“合法的人、干合法的事”，操作轨迹能够被审计，基本彻底解决集群存在的各类安全隐患。但在实际生产中发现Keberous KDC高可用性和负载均衡能力较弱，不能自动实现负载均衡，需要手动进行配置。因此，提出采用Keepalived+LVS组件结合的方案解决基于Hadoop架构的大数据平台安全认证存在的高可用性和负载均衡的问题。

Keepalived+LVS；负载均衡；KDC；Keberous

引言

2017年网络管理中心对基于Hadoop开源架构体系的网络大数据共享平台实施了端到端安全加固方案，部署了用户身份验证组件FreeIPA和用户鉴权组件Ranger，并对程序访问进行改造，基本彻底解决集群存在的各类安全隐患。通过FreeIPA组件中的Kerberos认证机制，实现了用户身份验证服务，杜绝匿名用户、恶意用户、伪装用户与未经验证的用户访问集群获取数据，保护了集群合法用户访问，同时保障了集群节点是可靠的、可信赖的[1]；通过Ranger组件进行数据访问鉴权，防止了操作者在执行业务过程中的非法访问和非法消费行为，并且提供详细的审计日志，为事后追溯跟踪问题提供有利的基础数据。

1 安全架构负载均衡方案选择

针对集群安全认证组件FreeIPA的Kerberos KDC数据同步不稳定、负载均衡较弱的问题，通过对多种负载均衡方案包括DNS A记录、DNS SRV记录、KDC client配置多个KDC服务器地址、Keepalived+LVS进行验证测试，Keepalived+LVS可以对KDC 实现高可用与负载均衡来提高KDC的容错与可用性，最终选择Keepalived+LVS的架构方案，同时升级IPA Server 3.0 版本到IPA Server 4.5。

1.1 DNS SRV记录方案

DNS的SRV资源记录把服务名字映射为提供服务的服务器名字，对客户端来说只需知道从那个域去寻找kerberos协议的服务即可，DNS服务器会解析出客户端所请求的服务是由哪些后台主机提供的，并根据SRV记录的优先级和权重让客户端优先连接其中一台提供服务的主机。使用DNS实现负载均衡，可配置权重与优先级把请求量按一定比例分流到KDC服务器；缺点是相同DNS的A记录同样不能对故障的KDC服务器进行隔离，DNS轮询到故障的KDC服务器时导致访问集群延迟增加。

1.2 DNS A 记录方案

配置同一个域名映射为多个KDC服务器的IP。当客户端需要进行域名解析请求时，DNS服务器会根据对应的负载均衡算法计算出其中一个KDC的IP地址并返回给客户端。负载均衡由DNS完成，配置灵活、简单、成本低。对于平台当前环境的KDC集群来说，不需要任何修改即可让客户端访问不同的KDC，缺点是不能对故障的KDC服务器进行隔离。DNS负载均衡采用的是简单的轮询算法，无法判断KDC服务器和KDC服务的健康状态。当KDC服务器宕机或KDC服务挂死时，依旧会把不可用的KDC服务器IP解析分配给客户端。

1.3 KDC Client配置多个KDC 服务器地址

KDC Client配置多个KDC服务器地址，进行顺序请求。请求第一个KDC失败则请求第二个KDC直至成功或失败；缺点是不能对故障的KDC服务器进行隔离，设置请求超时与重试次数无法完全避免在出现某个KDC服务器不可用时访问集群带来的延迟增加。

1.4 Keepalived+LVS

Keepalived结合Linux虚拟服务器（LVS）来实现负载平衡、健康检测和故障转移服务，经研究验证可以满足KDC 提供高可用与负载均衡服务，对于用户与客户端是透明的；具备健康检查故障隔离与高可用，具备负载均衡能力，提供多种负载均衡算法；使用前提是同一个组的KDC服务器需处于同一个Vlan网段，需要维护Keepalived服务。

通过对以上四种方案对比，前三种方案不能对KDC服务器进行隔离。其中一台KDC服务器宕机后，会导致服务请求延时增加，影响集群性能；而Keepalived+LVS能够实现高可用和负载均衡，并能提供多种负载均衡算法，能够满足项目要求。

2 基于 IPA Server 4.5 版本上部署Keepalived+ LVS方案实现负载均衡

通过大量验证测试，对于IPA Server 3.0 的KDC 与IPA Server 4.5 的KDC的混用方案存在数据同步问题，IPA Server 4.5版本的KDC 可以兼容IPA client 3.0开启Kerberos认证、数据同步稳定且可以实现KDC多主多从架构。统一升级现有集群的KDC版本到IPA Server 4.5，把KDC从原来的星形结构设计为星形与环形相结合的数据同步拓扑结构，解决单IPA Server Master数据同步压力；跨IDC机房数据同步通过管理KDC 来实现，管理KDC不对业务与集群做安全验证。

Keepalved+LVS直路由模式 DR 对IPA Server 的KDC 实现高可用，故障隔离与负责均衡。客户端通过访问VIP地址，由负载均衡调度器将请求发送到后端KDC服务器。KDC 服务器进行响应并直接返回给客户端，开销小、性能高、对用户是透明的且不需要改动现网主机网络配置。直路由模式 DR负载均衡技术要求负载调度器VIP IP 与后端真服务器KDC IP处于同一个Vlan网段，且考虑避免认证跨IDC机房时延问题，同一IDC 机房组成一个或多个KDC 服务器池，通过负载调度器提供对外服务来分流请求，可以在线对KDC扩容与对故障KDC停机维护[2]。

3 安全架构负载均衡方案实施

安全架构负载均衡方案实施过程分为三个阶段。

第一阶段，安装部署软件，安装部署 IPA Server 4.5版本与Keepalved+LVS，需要完成IPA Server Master和IPA Server Replica配置实现数据同步，完成高可用与负载均衡配置，目的是构建成适合多主多从数据稳定同步且具备更高可用性的安全认证系统架构[3-4]。

第二阶段，创建安全认证信息，把现网集群各节点主机注册到新的KDC 服务器，并对集群组件、主机及用户重新生成新的票据，目的是保证现网安全认证数据在新的KDC服务器上不会遗漏。

第三阶段，现网集群与应用服务器同时做KDC切换，替换集群、应用服务器现网KDC 配置与安全信息文件，目的是把安全认证切换到新的KDC。这个阶段需要所有集群与应用服务器同时做KDC 切换并重启，任何一个集群切换失败都严重影响业务的可用性。

4 结束语

针对现网KDC版本不一致导致的数据同步问题，以及现有KDC安全认证在高可用性和负载均衡较弱的问题，通过升级KDC到IPA SERVER4.5版本解决KDC数据同步问题；通过部署Keepalved+LVS组件实现高可用和负载均衡。当KDC出现个别机器宕机或者退服后，认证请求自动切换到其他KDC机器，避免对业务访问造成影响，大大提高了大数据共享平台的健壮性和业务的连续可用性，在维护管理上更加方便。运行过程中可根据KDC 服务请求压力情况进行在线扩容，不会对业务造成任何影响。

[1]刘艳云，夏红雨. 一种适合大数据存储系统的高效负载均衡算法设计[J]. 信息通信，2017（4）：59-60.

[2]张栗粽，崔园，罗光春，等. 面向大数据分布式存储的动态负载均衡算法[J]. 计算机科学，2017，44（5）：178-183.

[3]雷军，叶航军，武泽胜，等. 基于开源生态系统的大数据平台研究[J]. 计算机研究与发展，2017，54（1）：80-93.

[4]张晋芳，王清心，丁家满，等. 一种云计算环境下大数据动态迁移策略[J]. 计算机工程，2016，42（5）：13-17.

Big Data Platform Security Certification Load Balancing Solution

Liang Meng

China Mobile Communications Group Guangdong Co., Ltd., Network Management Center, Guangdong Guangzhou 510623

Using the component FreeIPA+Ranger to implement an end-to-end security management solution for the big data platform based on Hadoop architecture. The Keberous component of the FreeIPA component performs access authentication, the Ranger component performs access authentication, and provides detailed access logs and security auditing functions to implement “legal people do legal things”, and the operation track can be audited to completely solve the cluster existence and various types of security risks. However, in actual production, it is found that the Keberous KDC has low availability and load balancing capability, and cannot automatically achieve load balancing. It needs to be manually configured. Therefore, it is proposed to solve the problem of high availability and load balancing of the big data platform security authentication based on Hadoop architecture by using the combination of Keepalived+LVS components.

Keepalived+LVS; load balancing; KDC; Keberous

TP311.1

A

梁猛，男，工程师，本科毕业于哈尔滨工业大学电子信息专业，现就职于中国移动广东公司省网络管理中心，主要研究方向为大数据处理架构设计与优化、机器学习。