李远宁，刘森，张诗军，陈丰，王志英

（中国南方电网有限责任公司信息部，广东 广州 510623）

分布式数据质量管理系统在电力企业的实践和应用

李远宁，刘森，张诗军，陈丰，王志英

（中国南方电网有限责任公司信息部，广东 广州 510623）

随着企业信息化水平和企业精细化管理要求的不断提高，企业对数据管理的需求也随之增强，如何提高企业数据质量更是需要重点解决的问题。 针对电力企业数据质量管理面临的挑战，创新提出了分布式数据质量管理解决方案。 针对集中式数据质量系统的性能瓶颈，在研究数据质量系统特点并借鉴国内外对大数据的解决方案后，提出了基于 Hadoop 分布式处理框架的解决方案。 利用 Hadoop 集群，可以把缺陷数据从 Oracle中抽离，分散存储在集群里多台服务器上，以有效提高磁盘 I／O 性能和数据分析性能。

数据质量管理；分布式；Hadoop

1 引言

随着企业信息化水平和精细化管理要求的不断提高，数据已成为企业的重要资源和核心资产，深刻影响企业的业务管理模式。企业数据质量水平，将关系到企业数据化管理、决策的效率和成效。

为促进数据质量水平的提升，电力行业开展了数据质量管理工作，并完成了数据质量管理系统的建设与推广，生产、营销、财务、人力资源等业务域的数据质量得到了显著提升，但也面临如下一些挑战：

· 涉及范围广，涉及各分省公司的营销、生产、人力资源、财务等业务领域；

· 校验规则繁多，各业务域都有相应的数据质量校验规则，涵盖非空、长度、格式、一致性、准确性等类型的 规 则 ，共 计 4 000 多 条 ；……