APP下载

大数据质量稽核的监控实施方法

2021-12-16曹丽娟程新洲徐乐西中国联通研究院北京100048

邮电设计技术 2021年11期
关键词:规则质量模型

张 恒,曹丽娟,程新洲,徐乐西(中国联通研究院,北京 100048)

1 概述

大数据平台可用性是一项重要的平台运行指标,一个优秀的大数据平台,首先能够让操作者快速发现和理解数据,最终实现数据的高效应用。因此在整个过程中,平台中数据获取后的质量管控非常重要,只有对采集的数据进行严格的分析治理和质量管控,发现并完善数据的质量问题,才能解决用户对数据可用性的疑虑,保证后期业务的准确性和有效性。

数据质量管理主要依靠管理制度和事后稽核。在平台建设过程中,设计者通过改变模型管理和数据开发的模式,将后向管理变更为前向管理,从数据源头保障数据质量。

数据质量稽核从流程上可以分为以下3个层级。

a)元数据管理:最基础性的管理机制,可以识别、评价、追踪资源,达到有效管理。

b)数据的标准化管理:建立标准化体系,保证数据的统一运营和维护。

c)数据质量稽核:实现数据的深度质量检查,打造优质数据资产。

2 元数据检查

元数据管理应具备对元数据本身质量进行检查的功能,保证元数据自身的数据质量。元数据质量检查包含但不限于以下内容:元数据一致性、元数据关系的健全性、元数据属性的填充率、元数据名称重复性和元数据关键属性值的唯一性。大数据平台一般会提供专门的界面进行元数据质量管控和呈现检查结果。

a)平台将提供在开发阶段定义好对象的元数据质量规则,并要求开发者在开发过程中按照规则录入元数据信息,并由系统进行统一检查。……

登录APP查看全文

猜你喜欢

规则质量模型
一半模型
撑竿跳规则的制定
数独的规则和演变
重尾非线性自回归模型自加权M-估计的渐近分布
做梦导致睡眠质量差吗
让规则不规则
TPP反腐败规则对我国的启示
3D打印中的模型分割与打包
质量投诉超六成