基于Spark 的氢能智慧平台研究

2023-09-21汪方

物联网技术 2023年9期

汪方

（安徽工业大学，安徽马鞍山 243032）

0 引言

为实现我国“碳达峰”和“碳中和”目标，发展氢能产业是工业、交通等难以脱碳领域实现低碳化的有效措施。随着氢燃料电池技术商业化不断提速，氢能在交通领域的需求更加凸显[1]。氢能智慧平台是推动氢能工业信息化、智能化建设的典型应用。

目前氢能智慧平台大多基于大数据技术、物联网技术以及机器学习等。汤晓栋等人[2]提出一种加氢站运营管理云服务平台，研究一种数据采集软网关，以解决现有站控系统对外接口单一、难以实现多站点并发通信的问题；同时开发加氢站运营管理云服务平台，实现站内设备管理与安全生产监管。大数据技术在其他领域也有广泛应用，李春彬[3]提出一种基于Spark 的公路管理和预警平台，实现公路信息管理、应急事务管理、路网运行监测等功能，提升了公路管理部门路网运行管理和应对突发事件的能力。

加氢站是氢能交通商业化应用的中枢，目前处于高速发展中，截至2022 年3 月，我国已建成加氢站264 座并计划2025 年建成1 000 座[4]。但是当前企业管理加氢站面临诸多问题：企业总部难以实时查看旗下全体加氢站的设备运行状态；不能通过充分挖掘海量的设备数据与运营数据背后的商业价值为企业的管理与决策提供有力的支持；缺乏设备运行数据前瞻性预测来减少安全事故发生的风险；缺乏运营订单相关数据前瞻性预测来助力企业制定运营策略等。为解决上述问题，本文提出一种结合工业大数据技术、物联网技术及预测算法的氢能智慧平台，实现企业实时管理旗下加氢站以及根据平台统计分析和预测结果制定运营策略。

1 氢能智慧平台架构

氢能智慧平台基于工业大数据技术、物联网技术以及预测模型算法开发，提供了从数据采集、数据处理、分析预测到具体应用整套技术方案。架构上由数据采集层、数据缓冲层、数据处理层、数据储存层及大数据应用层组成。其中数据采集层实现工业设备网关数据实时采集、站控系统日志数据采集、数据库数据同步；数据缓冲层发挥数据缓存、流量控制作用，在数据流量突发情况下发挥流量削峰的作用，保障平台的稳定性；数据处理层实现数据清洗、分流、统计分析等核心计算功能；数据储存层实现海量工业设备数据与运营数据的存储与检索，同时提供数据缓存服务；大数据应用层提供企业实时监管旗下加氢站的客户端，包含如设备运行数据大屏展示、运营数据实时大屏展示等功能。其架构如图1 所示。

图1 大数据平台架构

1.1 数据采集层

数据采集层实现工业网关数据采集、日志数据采集与数据库数据采集。根据团体标准《加氢站站控系统技术要求》（T/CSTE 0012—2019）[5]中关于采集数据的要求，工业网关数据采集模块负责实时采集加氢机、氢气压缩机、储氢瓶组设备、卸气设备、火气监测仪器的运行数据。日志数据采集与数据库数据采集模块负责采集运营订单信息等数据。

工业网关数据采集模块用于站内设备数据实时采集。网关数据采集模块架构如图2 所示。

图2 工业网关数据采集模块

加氢机、氢压机、储氢瓶组、卸气设备、火气监测仪器采用RS 485/RS 422 协议传输数据，设备接入采集网关后，借助配置工具对网关进行IP 地址配置、设备信息备注等，接着配置设备与网关间的参数，必须保证设备地址、波特率、校验方式等与网关一致。

在上位机使用工控组态软件采集数据网关中数据，如WinCC、Kingview 等，通过以太网接口读取网关数据。工控组态软件采集的数据按照OPC 协议标准转换后，通过OPC服务软件发送至网关数据采集与转换模块，该模块将数据转换为JSON 数据格式，再使用log4j 将数据处理成实时流日志。大数据平台对接网关数据采集与转换模块，通过Flume 实时采集数据，以上述方式实现网关数据实时采集。

日志数据采集模块负责实时采集加氢站管理信息系统中的运营数据日志、设备仪器运行日志。该模块采用Flume 日志采集系统，该系统具有可靠性高、采集效率高、易管理和扩展性强特点[6]，满足本平台高效采集日志的需求。

数据库数据采集模块负责采集加氢站管理信息系统中数据库中的运营数据，对于数据库数据采集使用两种方式：实时数据库数据采集方式和离线数据库数据同步方式。实时数据库数据采集方式采用Maxwell 框架。离线数据库数据同步采用DataX 同步工具，并采用朱永波[7]提出的改进意见提升DataX 的性能，实现同步不同加氢站的站控系统数据库至氢能智慧平台数据储存层的Elasticsearch 集群中。

1.2 数据缓冲层

数据缓冲层采用Kafka 消息队列。在吞吐量上Kafka 达到每秒17.3 万条。在海量、实时、异构的工业设备数据缓冲处理场景下，Kafka 具有高吞吐量、低延时、高可靠和分布式特性[7-8]。架构中数据缓冲层由3 台及以上服务器构成Kafka 集群，具备超高吞吐量和低延时，能够有效提升本平台数据计算处理效率和保证数据零丢失。

1.3 数据处理层

数据处理层由实时数据流分流模块、统计分析模块、预测预警模块构成。数据处理层采用Spark Streaming流式计算框架。Spark Streaming 是在大数据领域广泛使用的框架，其集群具有强大的计算能力和存储容量，由于基于内存计算，其速度约为Hadoop 的100 倍[9]。

加氢站主要有加氢工艺流程和储氢工艺流程[10]。通过卸气设备获得氢气后，经氢压机压缩进入储氢瓶组储存，最后通过加氢机为氢燃料电池汽车进行加注。氢压机、储氢瓶组、加氢机是加氢站三大核心设备。

实时数据流分流模块将数据缓冲队列中的设备数据按照加氢工艺流程、储氢工艺流程以及火气监测数据进行分流，分流后的数据经过清洗处理再次存入Kafka 消息队列对应主题中，数据处理层再次读取对应主题数据并实时存入Elasticsearch 集群中。

统计分析模块用于加氢站设备运行数据统计、氢气储量统计、运营订单数据统计。该模块周期性统计分析上述数据并提供企业分析报告，企业能够基于运营分析报告，发掘数据背后商业价值，制定运营策略。

预测预警模块提供设备运行状态预测预警和运营数据预测功能。设备运行状态预测预警实现了实时展示预测值，并判断预测值是否超过标准范围，若超过标准范围则触发预警程序，该程序将该条数据入库并及时提醒工作人员。运营数据预测功能基于往期运营数据预测未来运营情况，帮助企业制定运营策略。

1.4 数据存储层

数据存储层用于存储设备运行数据、统计分析数据、预测数据和设备异常数据、设备预警数据等，由Elasticsearch搜索引擎和Redis 数据库组成。ElasticSearch 的突出特点是在提供海量存储的同时提供近乎实时的搜索服务，保证平台的实时性。采用Redis 作为数据处理层与应用层的数据缓存，Redis 具备极快的读写速度，应用层可直接从Redis 读取实时数据，降低数据展示时延。

1.5 大数据应用层

大数据应用层是客户端，提供设备运行数据大屏实时展示、统计分析数据管理功能、设备异常数据管理功能、运营单数据实时展示与查询功能、设备运行数据预测功能与运营订单数据预测功能，帮助企业实时管理总体运营和具体加氢站运营。在技术上，采取Spring Boot 结合前端Vue.js 框架进行前后端分离式系统开发，其中Spring Boot 作为目前主流开发框架，具有开发过程简便、易部署等诸多优点。

2 设备运行数据实时预测算法实现

氢能智慧平台结合ARIMA 算法实现了加氢站设备运行数据实时预测，前瞻性发现设备潜在的安全风险。

ARIMA 是一种基于时间序列数据分析和预测的模型，广泛适用于时间序列预测，由Box 和Jenkin 在20 世纪70 年代提出，该模型对非平稳时间序列进行差分计算使其转换为平稳序列，再基于平稳序列调用ARMA 模型实现预测[11]。该模型适合预测设备运行数据，在短期内准确率较高。

2.1 基本原理

ARMA 模型由自回归模型（AR）和移动平均模型（MA）组成。

自回归模型（AR）描述当前值与历史值之间的关系，公式为：

式中：yt为当前值；μ为常数项；p为阶数；γi为自相关系数；yt-i表示往期的值；εt为误差。

移动平均模型（MA）用于描述自回归模型中的累计误差，公式为：

式中：yt为当前值；μ为常数项；q为阶数；θi为自相关系数；εt表示误差序列。

ARMA 模型由式（1）与式（2）组合而成，p为自回归阶数，q为移动平均阶数，记为：

ARIMA 模型是先对非平稳数据进行d阶差分，将差分后的平稳数据导入ARMA 模型进行计算得到预测值。

2.2 参数的选取

ARIMA 模型需要确定p、d、q三个关键参数，p为AR 公式阶数，d为差分运算的阶数，q为MA 公式的阶数。ARMA 模型要求输入序列是平稳的，采用单位根检测法（Augmented Dickey Fuller, ADF）判断序列的平稳性。先假设序列不平稳（存在单位根），根据单位根检测法得到ADF检验表。根据检验表中p值判断差分阶数d，若p<0.05，此时对应的差分阶数就是模型中的d值。在确定序列具有平稳性后进行p和q值的参数估计。绘制输入序列的自相关函数（Autocorrelation Function, ACF）和偏自相关函数（Partial Autocorrelation Function, PACF）的图，按照表1 准则确定参数p、q。