Kafka 与HBase 在健康监测大数据平台中的应用研究
2021-04-23王勇,张跃
软件导刊 2021年4期
关键词:系统
王 勇,张 跃
(北京工业大学信息学部,北京 100124)
0 引言
大数据时代带给社会的不仅仅是数据变大、资源增多,更有思维模式改变以及随之而来的数据处理技术不断创新、数据利用能力飞速发展。健康大数据技术应用和发展已作为国家重大战略付诸实施[1]。相关研究有:Abderrazak 等[2]将hadoop 框架以及开源相关组件应用于仓储问题,提高医疗数据的仓储性能,对健康数据平台建设具有一定的借鉴意义,缺点是不太符合健康监测数据特点;文献[3]利用HBase 和Phoenix 构建高性能的健康监测大数据平台,并对平台读写性能进行优化,然而其未对数据采集传输和发布共享进行研究;文献[4-5]分别研究了适合健康监测大数据的接入协议和发布协议,为健康监测数据采集和发布共享提供了思路,但仍需要在具体实施中进一步验证。
大规模健康监测数据的采集存储和共享利用仍然存在很多问题,本文详细研究了Kafka[6]、HBase[7]等大数据相关技术,实现一款面向用户健康服务的、可扩展的健康监测大数据处理平台,有效解决健康监测数据生态系统中大规模数据的采集传输、存储以及发布共享问题,填补了研究空白。通过研究HBase 组织与存储模式,设计出适合存储健康监测大数据的HBase 存储模型。对Kafka 分布式消息中间件的发布订阅模式进行研究,实现健康监测大数据的采集传输与发布共享架构。引入Kafka 作为架构中枢,不仅能屏蔽数据源的异构型,保证各个服务模块之间高内聚、低耦合,还能使数据通道变得简单,减轻下游数据库系统的压力,提高系统扩展性。……
登录APP查看全文
