APP下载

Kafka 与HBase 在健康监测大数据平台中的应用研究

2021-04-23王勇,张跃

软件导刊 2021年4期
关键词:系统

王 勇,张 跃

(北京工业大学信息学部,北京 100124)

0 引言

大数据时代带给社会的不仅仅是数据变大、资源增多,更有思维模式改变以及随之而来的数据处理技术不断创新、数据利用能力飞速发展。健康大数据技术应用和发展已作为国家重大战略付诸实施[1]。相关研究有:Abderrazak 等[2]将hadoop 框架以及开源相关组件应用于仓储问题,提高医疗数据的仓储性能,对健康数据平台建设具有一定的借鉴意义,缺点是不太符合健康监测数据特点;文献[3]利用HBase 和Phoenix 构建高性能的健康监测大数据平台,并对平台读写性能进行优化,然而其未对数据采集传输和发布共享进行研究;文献[4-5]分别研究了适合健康监测大数据的接入协议和发布协议,为健康监测数据采集和发布共享提供了思路,但仍需要在具体实施中进一步验证。

大规模健康监测数据的采集存储和共享利用仍然存在很多问题,本文详细研究了Kafka[6]、HBase[7]等大数据相关技术,实现一款面向用户健康服务的、可扩展的健康监测大数据处理平台,有效解决健康监测数据生态系统中大规模数据的采集传输、存储以及发布共享问题,填补了研究空白。通过研究HBase 组织与存储模式,设计出适合存储健康监测大数据的HBase 存储模型。对Kafka 分布式消息中间件的发布订阅模式进行研究,实现健康监测大数据的采集传输与发布共享架构。引入Kafka 作为架构中枢,不仅能屏蔽数据源的异构型,保证各个服务模块之间高内聚、低耦合,还能使数据通道变得简单,减轻下游数据库系统的压力,提高系统扩展性。……

登录APP查看全文

猜你喜欢

系统
Smartflower POP 一体式光伏系统
WJ-700无人机系统
ZC系列无人机遥感系统
基于PowerPC+FPGA显示系统
基于UG的发射箱自动化虚拟装配系统开发
半沸制皂系统(下)
FAO系统特有功能分析及互联互通探讨
连通与提升系统的最后一块拼图 Audiolab 傲立 M-DAC mini
PLC在多段调速系统中的应用
1-Bit人机交互系统