刘辉 陈刚

（徐工集团工程机械股份有限公司科技分公司 江苏省徐州市 221000）

工业生产过程中会产生海量的数据，随着工业信息化的不断发展和应用，这些数据的格式、来源和内容逐渐多样化，数据决策的要求也日趋实时化、自动化，对数据存储、数据管理和实时计算等方面提出了新要求[1]。

传统的工业大数据分析系统一般采用基于Hadoop 技术体系的离线数据仓库架构[2]，通过离线导入数据源，再根据具体的业务需求针对最近一段时间的历史数据进行统计分析。这种模式无法针对系统数据的实时性变化进行分析探查，为了实现对工业项目监控中实时指标的计算，可以在离线数据仓库架构的基础上增加实时计算，通过消息队列等形式进行数据流处理，即Lambda 架构[3]。Lambda架构满足了实时指标分析的需求，但需要同时开发离线计算、实时计算两套代码，不仅提高了开发难度，还带来了多套引擎的维护成本。

为解决这一问题，Kappa 架构[4]将离线批处理作为一种特殊的实时流处理，实现两套体系的融合。Flink[5]作为批流一体化计算引擎，能够很好地支撑Kappa 架构，目前已广泛应用于实时数据分析场景。为此，本文基于Flink 构建工业大数据实时分析平台，对工业生产过程中产生的海量数据进行实时采集、处理、分析与存储，面向不同格式的数据进行定制化存储，从而提供实时化、自动化的分析决策，支撑监测大屏、看板系统、报表系统、分析报警系统等多种场景的实时数据分析。……