张月圆

（内蒙古电力营销服务与运营管理中心，呼和浩特 010020）

现代企业对于业务时效性的要求不断提高，一些业务甚至要做到实时响应。随着时代的发展，传统的由上至下的数据仓库只能做到对数据的快速响应，而无法对业务做出快速响应，因此有必要对传统的数据仓库模式进行革新，创建起一套分层式、分布式的数据仓库架构，能够同时对数据和业务做出快速响应。此外，为了实现数据的规范化管理，提高数据的使用质量，需要将异构的、分散的数据列入统一的标准数据库中，在此基础上建立起规范实用的数据仓库。本文分析了某化工类科技数据库，其中存储了不同格式的文本数据，包括XML、EXCEL 等，整体的数据存储量庞大，由于数据结构和数据存储方式存在显著差异，导致数据库无法对业务变更进行适应，最终影响了集成后数据的质量。受到数据异构性的影响，高度集成的数据库正面临数据缺失、数据冗余、数据重复、数据格式紊乱、数据不统一等多重问题。基于此，本文创建了一种基于云计算的元数据管理与数据集成系统，引用ETL抽取技术，实现数据的提取、转换及加载。

1 基于大数据的元数据管理整体架构

在大数据时代，各种类型的数据量激增，由此造成了数据价值密度低的问题，这对于数据处理速度提出了更高要求，才能满足现实中的数据应用需求。着眼于化工类科技数据的管理问题，本文建立起基于大数据的元数……