马 驰

(上海飞机客户服务有限公司，上海 200241)

0 引言

随着数字化、大数据技术的发展，数据已成为驱动航空企业特别是民机主制造商企业创新、盈利、增值的关键要素之一。民机主制造商数据量、数据来源和数据格式日益增多[1]。企业需要一个能够存储各类原始数据的大型仓库，用于处理各类数据，以满足不同业务对数据的存储、处理、分析及传输需求，为挖掘数据价值提供高性能的服务支撑[2]。国外航空主制造商GE构建以Postgre+mongoDB+Redis+Blob(S3)的数据湖存储组合技术的大规模存储技术的民航数据湖生态系统，以满足不同数据集探索发现、分析、数据服务和报告及可视化服务的需求[3]。目前，国内民机主制造商大多采用传统数仓模式进行数据管理，数据标准格式差异较大、应用端数据获取不规范，导致数据质量不足，数据分析应用困难，造成数据孤岛和冗余现象[4-5]。

本文提出基于Lambda模型的民机运行数据湖系统设计方法。数据收集、管理、业务分析用户可在系统中完成数据获取、清洗、标准化转换以及定制、自助的数据服务等功能，形成数据资产目录，挖掘数据应用价值，助力民机主制造商企业和数据应用决策，实现以客户/服务为中心的数字化转型。

1 数据湖的概念及特点

1.1 数据湖概念

数据湖是一个可以存储任何形式(包括结构化数据、半结构化数据和非结构化数据)、任意规模的原始数据仓库[6]。结合用户使用需求决定对哪些数据湖原始数据进行结构化处理。通过对数据的查询、处理、分析消费，帮助企业用户快速挖掘数据有用信息。……