APP下载

槽车外输智能管理业务系统建设

2020-02-04李岳勋吴挺文

电子技术与软件工程 2020年12期
关键词:槽车外输数据中心

李岳勋 吴挺文

(深圳中海油能源发展销售服务有限公司 广东省深圳市 518000)

本文研究槽车外输智能管理业务系统,围绕“安全管理、客户满意”的总体建设方针,解决槽车外输数据采集、安全评级、智能分析、监控预警等核心关键问题为总体建设目标,打造油气运输体系的安全管控平台的标杆系统。

1 系统需求分析

本系统主要包括槽车外输智能管理系统以及槽车外输智能管理移动平台,其中槽车外输智能管理系统主要提供PC 端使用的Web系统,提供订货管理功能、承运商安全管理功能、装车管理功能和智能分析管理功能。槽车外输智能管理移动平台主要提供移动端小程序等平台,提供给客户和现场人员进行移动化办公。

2 系统框架设计

本系统的框架设计如图1 所示。

系统主要包括门户平台、运营监控平台、槽车外输智能管理系统、智能装车运营IT 运维服务平台等部分,并对外接入物流平台、交通公安网以及个人不良信息查询网等,同时提供SOA 对外服务。

系统架构如图2 所示。

系统底层数据库通过数据集成平台提供各项应用服务,应用服务主要包括PC 门户、移动门户、流程中心以及数据中心,最后这些服务集成到企业服务总线由各个应用程序进行调用。

3 系统关键技术

3.1 SOA服务架构实现

本系统采用SOA 服务架构,将不同的程序功能进行服务组件化拆分,并通过定义良好的接口将不同服务功能进行整合。其中,每个服务都可以被重用,服务包括服务请求者、服务以及服务组合,服务可以用形式化公式进行描述,每个服务可以用四元组表示:S=〈M,T,Out,In〉。其中<M,T>代表消息,Out 代表服务的输出,输出中包含各类消息信息,其形式为Out⊆{B|∃A∈M,(A,B)∈T,B ≠∅}。In 代表输入接口,包含各类消息,其形式为In⊆{A|∃B∈M,(A,B)∈T,A ≠∅}。

图1:系统逻辑架构设计

图2:系统技术架构设计

图3:数据中心大数据架构实现

服务S 接收相关消息后,对消息进行处理,并完成某项功能,因此其依赖消息序列δ=(A1,B1)…(An,Bn) ,其中(Aj,Bj)∈T,1 ≤j<n且A1∈In,可表示为Sruns(S)。服务请求者通过在服务网络上搜索服务,查重服务的提供者,并请求使用该服务,服务请求者可以定义为R=〈M,T,Out,In〉,其中,<M,T>代表各类消息,Out 为输出接口,In 为输入接口,可表示为Rruns(R)。服务组合用来表示不同的服务请求者、服务之间的交互,交互保护选择、顺序、并行等不同的结构。假设存在空的消息集合δ,以及若干服务S1…S2,(Si=<Mi,Ti,Outi,Ini>,i=1,2…n), 则服务组合S=S1⊕S2…⊕Sn可表示为〈M,T,Out,In〉,其 中M=M1∪M2…∪Mn;T=T1∪T2…∪Tn;Out=(Out1∪Out2…∪Outn)(In1∪In2…∪Inn);In=(In1∪In2…∪Inn)(Out1∪Out2…∪Outn),当δ∈SRuns(S),Bn∈Out 时,服务组合可终止。

定义服务以后,可以从服务的概念模型开始细化到较底层的服务细节,可以定义函数ref:D →S 为服务的细化函数,当 且 仅 当∀(A,B)∈D:ref((A,B)) 是 一 个 服 务〈M,T,Out,In〉, 使Out={B},In={A},同时存在一个消息依赖流A →TB,设s∈S,ref 为细化函数,于是对S 中的所有依赖关系(A,B),(C,D),存在以下关系:ref((A,B) )=<M1,T1,Out1,In1>以 及ref((C,D) )=<M2,T2,Out2,In2>满 足条件:(P(M1)(Out1∪In1))∩(P(M2)(Out2∪In2))=∅,满足该条件时,服务可以被ref 函数细化。

通过定义标准化的形式化服务接口,可以将系统中的所有服务进行统一化的管理,并且通过形式化定义标准化各个接口。在本系统的具体实现过程中,采用普元EOS Platform 支撑实现,Primeton EOS® Platform 是领先的SOA 应用平台,提供了基于Web 的企业应用的开发、调试、部署、管理和维护的一体化开发、运行、管理监控环境。在Primeton EOS® Platform 中用户可以通过拖、拉、拽方式将与业务无关的通用构件进行图形化的组装,实现快速构建基于Web 的企业级应用。使用EOS Governor(EOS 治理工具)可以实时部署、管理与维护Primeton EOS® Platform 应用。

3.2 数据中心实现

数据中心汇总各个业务系统的数据,形成数据仓库,同时为了能够支持海量数据的存储以及查询,在底层数据平台上采用了大数据架构Hadoop 以及Spark 等,本系统搭建的数据中心如图3 所示。可以看到,本系统底层使用HDFS 文件系统,将各个业务系统的数据采集到HDFS 系统中进行存储,系统实现时要求能够存储超过5年以上的历史数据,在HDFS 上搭建HIVE 建立数据仓库,对结构化数据进行存储。ETL 工具使用Sqoop 从业务系统的Oracle、Mysql 等传统数据库从将数据抽取到Hadoop 平台,采用Flume 进行日志搜集。

为了实现槽车调度的智能化算法,采用mahout 机器学习库中的各个模型进行学习采用Spark Mlib 进行实时内存学习,在前端采用PMML 封装为服务接口,供其他应用调用,如表1 代码采用Python 封装为Java 接口。

表1

在系统中采用如表2 Java 代码便可以调用机器学习算法。

表2

数据中心大数据平台的安装部署使用Ambari 工具,然后采用Oozie 进行作业调度,确保槽车系统的正常调度。

4 总结

本文设计基于大数据体系架构的槽车外输智能管理系统,该系统的底层数据架构采用Hadoop 大数据技术,并且在大数据平台中提供了机器学习框架,并采用PMML 对机器学习能力进行封装,对外提供智能服务的能力。在服务设计方面,本文采用形式化分析系统的各项服务,通过定义形式化的服务接口,统一规范系统的各项接口,有利于提供槽车外输智能管理系统的效率。

猜你喜欢

槽车外输数据中心
滴油归舱
酒泉云计算大数据中心
液氨槽车事故应急处置探析
液化天然气槽车装卸一体化系统
FLNG外输系统在中国南海的适用性分析及国产化研究思考
绥芬河
影响LNG槽车运输储罐压力的因素分析
民航绿色云数据中心PUE控制
LNG接收站外输市场的研究
基于云计算的交通运输数据中心实现与应用