刘三平 袁珊

（中车电力机车有限公司 湖南省株洲市 412001）

1 前言

当前大部分制造企业在设计、工艺、采购、物流、制造、售后、办公等业务领域都已实现了信息化管理，企业内部沉淀数据日益增多，系统之间的交互与协同更加复杂与频繁。为提高企业内部、外部数据打通和业务流程协同，需建立一个高效的企业集成平台，为企业管理数据资产并提供数据服务。

2 传统系统集成模式

一般制造企业系统集成基本都采用过系统间点对点集成（EAI）阶段、企业服务总线阶段（解决异构系统数据交互语义问题）、主数据管理阶段（解决关键业务数据的唯一性问题），上述三种技术集成方式都不能实现整个企业的数据贯通和数据共享。

3 基于数据湖的共享平台建设

3.1 建设的必要性

企业要实现产品全生命周期数据贯通，必须通过全量数据汇聚、治理、数据共享业务能力沉淀、数据服务构建以及数据开放，要实现上述功能，企业可通过数据湖技术完成建立企业数据中台，并以建立的数据中台构建企业的数据共享服务平台。

3.2 建设思路

3.2.1 建设原则

（1）统一的数据资源与数据架构。系统设计采用统一的软硬件大数据基础架构设计，保障三个统一：统一资源、统一存储、统一运维；通过统一的架构设计使数据应用更聚焦于业务，提高数据利用率，避免重复的数据基础设施建设，构建以服务为中心的数据集成架构，提供数据抽取、数据加载、数据清洗、数据集成等服务，以满足现在及未来的业务要求。

（2）统一数据源的接入与基础数据层的管理。统一的接入ERP、PLM、SCM、MDM、MES、OA 以及WMS 等系统数据，统一连接、统一配置；为后续业务提供统一的接入数据的基础层，统一标准，规范过程，保障质量。

（3）面向业务的数据开发与服务能力。面向业务的多租户的数据开发模式，给应用更大的灵活性与业务之间的隔离性；在基础设施与统一数据层的基础上，加速应用开放过程，提供数据服务能力。

3.2.2 设计总体架构

总体架构如图1 所示。

图1

3.2.3 数据架构设计和流程设计

数据架构设计如图2 所示。

基于图2 所示数据架构数据流向方式为：所有系统 ->数据湖平台->所有系统。如图3 所示。

图2

图3

基于数据湖的数据共享平台不仅解决了系统之间协同通信语义的问题，更重要的是通过数据标准、数据的集中化融合以及治理，实现了系统之间协同的通信语境的问题。

3.2.4 数据服务建设

（1）数据集成。基于数据湖的数据共享平台实现数据贯通，包括数据集成、数据治理、大数据平台、数据服务平台等软件平台是技术支撑与承载，而真正要实现数据贯通还需要通过对数据标准的梳理、数据的集成、基于数据标准的清洗、数据服务的构建以及服务目录的开放与管控等一系列的建设服务

（2）数据湖建设。数据湖平台采集数据包括业务数据、生产线设备数据以及互联网数据等，数据经过数据落地区和操作加工区，对数据进行全面的清洗、加工、转换和建模，最终形成组织、人员、财务、物料、产品、设备等数据的整合区，并对数据通过标签计算、关系计算以及模型构建，形成产品、物料、设备、产线、人员等的关联模型，形成一个有机衔接的整体，针对前端业务二次细分构建出不同业务方向的主题库，支撑各种业务分析业务。整个建立过程见图4，主要包括以下几步：

图4

（1）确定数据源。企业数据主要采集三部分数据：第一部分数据是现有管理系统的业务数据；第二部分数据是各生产经营业务系统的数据，包括但不限于ERP、WMS、CRM、MES 等数据；第三部分数据为从供应商、互联网等外部单位归集到的相关数据。

（2）数据接入。对于结构化数据，通过大数据平台的数据抽取和加载工具，从各业务系统抽取数据，数据能够快速从业务系统中抽取到数据湖中，保存在贴源数据区ODS。数据采集根据源端业务系统数据量大小，可以采取不同的数据抽取策略：一次性全量抽取、按时间戳分批并行抽取、按分区分批次并行抽取、增量抽取。

对于非结构化数据，例如视频文件和图像文件，可以保存在数据湖的非结构化数据存储区。非结构化数据经过加工处理后的结构化数据结果可以抽取到结构化数据区域做后续处理，同时结构化数据区域可以引用非结构化数据。

（3）贴源数据层（ODS）。对需要采集的各项数据，根据业务特点设定特定同步策略，数据接入和抽取保存在大数据平台的数据落地区。数据落地区的表结构设计建议跟原系统一致，在数据落地区统一落地。数据落地区是大数据平台上业务数据统一镜像区域，根据数据特点保留一定时间周期的数据，为后续的数据整合提供数据加工来源。

（4）数据明细层（DWD）。操作加工区服务于大规模计算服务。来自各业务系统的数据，需要进行大规模的数据加工、清洗和处理，才能满足后续业务的分析需求。利用大数据分布式计算能力，对数据进行大规模的数据清洗、加工和计算，对数据进行标准化整理、统一整合、数据统计、数据汇总、数据排序、数据聚合、数学算法等大规模计算。

（5）数据汇总层（DWS）。业务数据经过数据加工、处理和整合之后，形成一整套完整的、完善的、全面的、有序的数据综合区。业务数据经过整合之后，根据业务对各类数据访问的时效性与基于特定主题分析的需求，在数据综合区中集中构建可支持T+1M(按月)、T+1W(按周)、T+1D(按天)或T+1H(按小时)等不同数据规模的数据仓库。

（6）数据集市层。对于复杂的面向主题领域的多维度分析，譬如按照工厂、产线、产品、销售区域（大区、省、地市）、销售时间（年、季度、月、周、日）等不同维度进行探查式的分析，则可定义数据集市，支撑灵活分析的需求。

（7）数据模型。围绕物料、产品、工艺、财务科目、人力资源、设备资源等数据，结合企业物料计划、生产计划等进行数据的打通与关联模型建立，对生产经营状况以及设备运行状况进行预测分析建模。

（8）数据治理。大数据平台数据治理主要提供数据管理、元数据管理、数据质量管理等数据管理功能。数据管理主要是用于高效的管理大数据平台上数据资源，通过数据资源目录，对大数据平台多个区域、流程化计算数据、中间结果、多层数据模型都能够统一管理起来。元数据管理汇聚大数据平台上的所有数据信息，管理数据的基本信息、数据的流转、数据的消费、数据的转换，可以对数据进行清晰的管理，同时可以追溯数据的血缘关系，定位数据变化的影响分析等等，有效的维护大数据平台的可管理性、可靠性和高质量。

（9）数据任务。大数据平台上数据量庞大、数据类型多样、数据业务复杂，数据处理任务也非常多，数据处理环节和流程周期长，需要支持高并发、多周期、支持多种数据处理环节的统一数据任务调度机制，按照策略进行数据任务调度。

3.3 数据服务与共享

基于数据湖共享平台的企业信息数据是公司设计、生产、客服、维保、质量、运营等数据的大集中，具有全面性、完整性，为了保障数据在与其他系统流通过程的安全、及时，数据共享服务支撑平台提供以API 接口的方式对外进行数据服务，根据业务应用场景的不同提供不同的服务方式，可以分为共享服务、直接服务和场景服务。每种服务的方式对数据封装的要求不同，需要底层平台具备数据开发能力，如算法挖掘、多类型任务开发等，数据开发完成后，需要服务封装，如服务开发、注册、管理、统计分析等，具备数据开发及服务封装全面、有效的支撑各种数据服务

3.4 建设后作用

数据共享平台的建立后，企业将数据作为生产资料转化为数据生产力。在全球数据化时代，企业只有了解用户，在数据支撑的条件下不断创新，打破数据孤岛，才能在日益激烈的竞争中长期保持优势。

（1）洞察客户的观念和行为。在以客户为中心的时代，客户的观念和行为正在从根本上改变企业的经营方式以及企业与客户的互动方式。数据中台建设的核心目标就是以客户为中心的持续规模化创新，而数据中台的出现，将会极大提升数据的应用能力，将海量数据转化为高质量数据资产，为企业提供更深层的客户洞察，从而为客户提供更具个性化和智能化的产品和服务。另外，通过数据化运营提升客户留存、复购和忠诚度，也得到诸多企业的认可。

（2）为企业管理模式的创新提供数据基础。只有依托数据和算法，将由海量数据提炼的洞察转化为行动，才能推动大规模的管理创新。数据中台在通过算法将洞察直接转化为行动、实现管理创新方面的能力，令人瞩目。同时，在快速构建服务能力、加快管理创新、提升业务适配等方面，数据中台也将会发挥重要的作用。

（3）打破数据孤岛。面对纷繁复杂而又分散割裂的海量数据，数据中台的突出作用和意义在于能充分利用内外部数据，打破数据孤岛的现状，打造持续增值的数据资产，在此基础上，能够降低使用数据服务的门槛，繁荣数据服务的生态，实现数据“越用越多”的价值闭环，牢牢抓住客户，确保竞争优势。这些服务跟企业的业务有较强的关联性，是这个企业独有的且能复用的，它是企业业务和数据的沉淀，其不仅能降低重复建设、减少烟囱式协作的成本，也是差异化竞争优势的所在。

4 结束语

数据共享平台的主要功能是统一标准和口径后对数据进行存储和处理，使企业能够提供更高效的服务。总之，建立数据共享平台的目标是节约企业成本，实现精细化运营，最终实现数据驱动决策；