一种基于大数据的可视化数据治理平台的研究
2022-04-21黄凯章铖
电子制作 2022年6期
黄凯,章铖
(上海科技馆,上海,200127)
1 研究背景和目的
随着博物馆和科技馆等场馆的信息化建设的不断发展,场馆运行、管理、服务等产生的数据也不断在增加,现有的数据处理方式很难满足业务的新要求。为了后期的数据的高质量和灵活性,系统的数据治理工作显得尤为重要。本文针对上述场景,研究一种基于大数据的可视化数据治理平台,通过运用大数据技术,向用户提供可视化操作组件,从数据采集、数据处理到最后的数据输出都是用户进行按需操作。为了满足用户自定义处理的需求,平台也提供给用户自定义的操作能力,用户通过自行编辑脚本实现想要进行的数据工作。另外为了保障后期系统数据处理的质量,系统需要具备整合多系统之间数据源的处理能力,并且把数据处理为统一的数据格式,供用户进行便捷使用。系统通过基本的大数据处理算法提供给用户进行使用,即使用户对大数据处理算法不是很了解也可以输出用户想要的数据内容,可以解决用户使用的瓶颈,平台通过建立分布式架构,对数据处理能力进行智能化封装和输出,将数据处理能力统一对外进行模块输出,数据处理流程进行抽象、模型化,使平台真正变成一个通用的对象,进而可以方便用户自由的去设计业务逻辑与功能。
2 数据治理平台总体架构
本文中所研究的大数据的可视化数据治理平台是基于博物馆或科技馆等相关系统场景进行搭建的,这些场景的相关系统一直是从传统系统慢慢进行演变,现阶段就存在系统数据来源广,数据之间数据不兼容等问题。……
登录APP查看全文
