李春炜

(中国人民武装警察部队指挥学院,天津 300250)

1 HBase分组对使用场景的影响

早期HBase是一个业务方一个集群,以业界标准物理机64核256G内存、硬盘SSD 512G*8为基准,至少需要10台这种配置的机器才能保证集群稳定。多个业务共用一个集群会导致抢占网络、抢占线程的情况,集群出现故障影响层面较大,导致多个非故障业务受到牵连。因此为每个业务配置一个集群或者多个非重要业务共用一个集群,再或者某些重要的业务使用独立集群,其他非重要业务使用公共集群,能够基本保证业务使用HBase的稳定性和避免资源浪费。不过随着业务流量变动,或者业务暂时下线、新的业务加入、老的业务退出,如何对表进行相对合理的分组成为了新难题,基本都需要人工根据现有的集群情况、业务的重要性以及未来读写预期进行分组。且随着时间推移,业务的扩缩容都是不可控的,纯人工的时效性不能得到保障,往往是出了问题再解决,集群可用性风险增加,机器成本达不到理想状态[1]。

2 基于HBase的动态分组

基于上述问题可以采用一套动态策略,通过调用HBase分组隔离功能RegionServer Grouping来实现对表的动态分组,以达到保障机器资源和降低业务风险的作用。

2.1 动态计数

每个业务在每个时段都有响应的读写请求,时间粒度粗则按天为单位,细则按秒为单位,基于HBase客户端统计业务请求数或根据HBase服务端自带的监控指标来计数,将统计到的数量上报到监控系统。当前业界普遍采用的监控系统有基于kafka的flink实现,本文不进行阐述。……