周鹤，朱晓民，赵锐(1 北京邮电大学网络与交换技术国家重点实验室，北京 100876; 2 东信北邮信息技术有限公司，北京 100191; 中国人民解放军6192部队，北京 102205)



手机阅读平台仓库管理模块的设计与实现*

周鹤1,2，朱晓民1,2，赵锐3
(1 北京邮电大学网络与交换技术国家重点实验室，北京 100876; 2 东信北邮信息技术有限公司，北京 100191; 3 中国人民解放军61932部队，北京 102205)

摘 要本文针对手机阅读数据仓库计算和存储的特点，设计并实现了符合手机阅读基地Hadoop Hive数据仓库自身特点的数据仓库管理系统，保证数据信息的准确性、一致性、完善性，缩短数据清理周期，提高数据质量，实现对信息数据资源的有效利用与信息数据管理流程的再优化。主要功能是仓库基本信息管理、调度任务的查询与监控、数据流与血缘分析以及数据依赖分析等。

关键词Hadoop Hive；元数据；调度监控；数据血缘

随着信息技术的不断发展，企业面临的数据愈加丰富和繁杂，其计算机系统产生的数据也越来越多。对于这样一个复杂的企业数据环境，如何安全、有效地管理大量的、复杂的数据，并快速、高效地访问基于这些基础数据而产生的潜在价值，成为企业关注的热点。随着技术的不断成熟，DW（Data Warehouse，数据仓库）为企业的数据管理提供了有效的解决方案。但是在数据仓库的搭建和使用过程中，大量数据的收集、入库、计算、管理和访问的复杂性成为日益突出的问题，对于用户而言，他们面对众多异构的数据源，指标和解释不一致、统计口径有差异，业务的理解与实际开发而脱节；……