BKR 体系下的数据血缘指标分析
2022-07-08王树明吴济胜邓梦航
电子技术与软件工程 2022年1期
关键词:体系
王树明 吴济胜 邓梦航
(1.中国烟草总公司湖北省烟草专卖局信息中心 湖北省武汉市 430030)
(2.武汉楚烟信息技术有限公司 湖北省武汉市 430030)
党的十九大报告提出要“推动互联网、大数据、人工智能和实体经济深度融合”[1]。数据成为企业数字化时代的重要资源,它以产品或服务的形态为企业创造价值,为企业转型升级发挥重要作用[2]。数据不是孤立存在的,数据从产生、处理、加工、融合、流转,到最终消亡,会形成一种关系链路,这就是数据血缘[3]。数据血缘分析就是在溯源过程中找到相关数据之间的联系,比如,当数据发生异常,需要能追踪到异常发生的原因,把风险控制在适当的水平[4]。数据血缘分析能帮助我们追踪数据的来源、处理的过程,这对于数据质量的监控、数据处理性能的调优和数据资产价值的评估等,都有非常重要的作用。
湖北烟草已经构建了一套覆盖全业务链条的完整数据中心[5],包括一体化数据存储、一体化数据管理和一体化数据分析三部分内容。然而,由于历史、管理等多方面原因,数据中心依然面临数据加工无序、数据获取与开发不规范等现象,血缘分析是规范化数据治理的一个有效工具[6]。
1 数据中心分层现状
传统数据中心的构建包括下面六个层次:最底层是部门的业务数据库(DB),数据经过抽取转换层(ETL)[7]进入操作性数据层(ODS)[8],然后经过明细数据层(DWD)[9],再进入轻度汇总层(DWA)[10],最后进入数据集市(DM)[11]。其中,每层的具体任务如表1 所示。

表1:数据中心层次结构……p>
登录APP查看全文
