APP下载

企业私有云环境下基于NoSQL的单一BOM数据源系统架构

2018-09-19颜仕柱

沈阳航空航天大学学报 2018年4期
关键词:数据源视图架构

颜仕柱

(中国航发哈尔滨东安发动机有限公司 信息档案中心,哈尔滨 150066)

目前,大部分的制造企业都使用物料清单(Bill Of Material,BOM)作为产品数据管理(Product Data Management,PDM)的核心基础数据来管理数据,同时也是MES(Manufacturing Execution System)和ERP(Enterprise Resource Planning)系统的基础,在产品研制单位具有广泛的应用价值。但基于以下四个方面的原因:(1)产品BOM在不同设计生产环节有不同的表现形式,如设计BOM(EBM)、工艺BOM(PBOM)、制造BOM(MBOM)等,且来源于企业的各个不同部门甚至不同单位,从而使BOM管理异常复杂和混乱;(2)随着相关技术的长期应用,包括 Model Based Definition(MBD,译为基于模型的定义)、Model Based Definition Enterprise(MBE,译为基于模型的企业,基于模型的企业)等技术得到了充分的研制,促使BOM所涉及的相关数据出现了结构化、大数据等特征;(3)管理BOM的核心平台软件PDM功能越来越强大,逐步转化为PLM(product lifecycle management,产品生命周期管理),其中所存储的数据规模越来越大,具备了工业大数据的许多特征;(4)无论是本质特征,还是表现形式,BOM数据的组织与展示都属于典型的树形结构,采用传统的关系模型进行存储,本身就存在掣肘。然而,传统集中式存储及基于关系模型的物料清单管理系统在读写、存储、访问、可用性的效率以及相关性能等方面存在许多问题,使其性能受到严重影响,因此,基于NoSQL的云存储架构是未来发展的趋势之一。

众所周知,BOM数据是企业的最重要的核心业务数据之一,通常具有高度机密性(军工企业尤为如此),通常意义上的云存储架构不能保证企业的保密要求,企业私有云环境就成了唯一的选择方案。

综上所述,在分析当前BOM变化趋势及突出问题的基础上,总结了基于RDB的BOM数据管理的不足与性能上的掣肘,考虑到NoSQL技术在处理大数据上的优势与良好的系统性能等特点,本文提出一个企业私有云环境下构建基于NoSQL的单一BOM数据源系统架构。

1 相关工作

对BOM的研究中,文献[1-4]研究了物料清单所涉及的数据结构及优化算法;其次, 文献[5-8]研究了物料清单中的数据模型的优化算法;再次,文献[9-11]研究了全生命周期下多物料清单集成技术,分析了物料清单的数据变化;文献[12-15]介绍了对物料清单的映射转换研究,引出物料清单的映射管理体系。上述研究均以RDB作为底层存储系统,其访问事务受ACID特性的束缚,且存在数据冗余度高、查询效率低和数据一致性差等问题。而NoSQL的易扩展、高性能、数据结构灵活等优势使得其在存储海量数据方面是个有效的解决方案。文献[16-24]对基于NoSQL的PDM关键技术体系进行了系统研究,提出了一个 PDM中单一BOM数据源的NoSQL数据组织,并给出了详细的实现技术,对本文有很好的启示作用。

国内近年来在NoSQL和大数据方面的研究有很大进展,文献[25]针对大数据管理的新需求,介绍了大数据的特点与支持大数据管理系统面临的关键技术问题的前沿研究和挑战,针对基于key-value 数据模型的 NoSQL 数据库的相关研究进行了综述;文献[26]阐述了大数据管理的相关概念和技术问题,指出在处理大数据时,云计算和NoSQL技术的结合具有很大优势;文献[27]通过比较RDB、NoSQL两种技术的模型特点后,为了彻底解决云计算的大数据量存储问题,设计了一种全新的数据库的数据模型。

目前,BOM数据几乎全部集中式地存储在关系型数据库(RDB)中,但在MBD模式下,BOM历史数据大量积累,版本更迭,且出现了越来越多的准结构化数据和非结构化数据。此时BOM数据的处理需求与RDB所管理的结构化数据有显著区别。归纳起来存在以下几个问题。

(1)成本较高。企业需要投入高额的资金,主要由于供应商所给的授权费用高。

(2)授权捆绑问题。目前BOM管理软件是对授权进行捆绑的,对企业而言,“扩点”意味大量资金的二次投入,“不扩点”则不能满足使用需求。

(3)二次开发问题。物料清单的相应软件无法直接满足企业的需求,企业需要自己或者委托外包厂商对软件进行个性化开发,这也产生了更多的成本问题。

(4)软件版本更迭频繁。物料清单软件升级较为频繁,因此给企业带来了很多不利之处,如资金的大量投入、大量历史数据的迁移、员工的培训和对新软件的操作等等。

(5)RDB固有性能问题。针对半结构化或非结构化的BOM数据,RDB目前在读写、存储、访问等方面存在一定的问题。

综上所述,以数据为着眼点,中国的智能制造需要尽快研发具有自主知识产权的BOM管理系统。

2 基于企业私有云的单一BOM数据源系统架构

传统的BOM系统均以RDB为数据存储系统,通常借助于某些专用的软件平台进行存储(如EBOM、PBOM通常都存储在PDM系统中)。而在企业私有云环境下,基于NoSQL的BOM系统则是在企业内部,或在特定的几个企业群内(通常为产品的设计、制造单位分离,或多单位协同研制,由专用的网络进行连接),搭建形成一个分布式的,集存储、传递、处理应用于一体的综合信息系统,并以NoSQL数据库作为底层数据存储环境。

在企业私有云环境下,BOM作为单一数据源进行存储。换句话说,在产品研制的不同阶段,所有与BOM有关的信息,都按照时间先后次序不断进行完善,并按照合理的数据结构进行存储;针对不同的用户群体和不同应用需求,按照不同的BOM类型予以提取、展现。本文提出的系统架构如图1所示。

图1 企业私有云环境下的单一数据源BOM管理系统架构

图1所示架构分为两个大的层次——私有云存储平台和BOM软件,包含了基础设备层、存储管理层、应用接口层和用户访问层四个功能层次。

(1)设备管理层。包括企业服务器、网络设备、中间件等各类硬件资源,以及基于NoSQL的单一BOM数据源底层数据存储,位于企业私有云环境下系统架构的最底层,通过存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护等实现硬软资源的虚拟化、服务化。

(2)存储管理层。包括HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)、数据备份与容灾和数据流引擎等技术,是企业私有云存储的最核心内容,同时也是最难以实现的部分。通过多存储设备间的协同工作,对外提供统一服务,并提供更加强大的数据访问性能。其中基于Hadoop架构的分布式文件系统保证了海量文件数据的有效存储,数据备份与容灾保证了数据的完整性与稳定性,数据加密技术保证了数据的安全性。

(3)应用接口层。包括应用软件、集成工具和系统服务等应用,根据企业的实际业务需求开发不同的应用服务接口,通过Web Service、PLM(PDM)等功能,提供相应的服务。另外,数据流引擎技术被用来保证存储管理层和应用接口层间的传输效率。

(4)用户访问层,包括数据归档、数据共享和CURD操作等功能,用户通过授权登录企业私有云单一BOM数据源系统,可以实时动态维护各自的BOM信息,系统按照既定的方案统一存储。不同用户按照自身需求可以从单一数据源中获取不同展现方式和不同展示内容的BOM信息。这里可以根据企业的不同访问需求,提供不同用户的定制化的物料清单服务。

3 单一数据源BOM管理系统构建关键技术

随着MBD、MBE技术在制造业的广泛应用,对产品描述的各类数据(如设计、仿真、制造、维保等)均以三维模型方式呈现,且融合了诸如构型管理(版本加有效性控制)、零部件(产品)成熟度等新的理念,使BOM中的表现形式和内容与传统相比有了较大变化,因而其构建技术与以往相比有较大差别。在企业私有云环境下,基于NoSQL的单一数据源BOM管理系统构建技术体系可用图2表示。

图2 管理系统技术体系

技术体系的层次结构主要包括:基于NoSQL的单一BOM数据源数据组织研究、基于NoSQL的企业私有云存储云技术、面向MBD的基于NoSQL的BOM软件相关技术研究和MBD环境下的大数据管理研究。

3.1 基于NoSQL的单一BOM数据源

单一产品数据源(Single Source of Product Data,SSPD)由波音公司在实施DCAC/MRM计划时提出,将分布在不同物理存储系统的独立异构数据,集成为逻辑上的单一数据源,构建逻辑上的同构数据库。

单一BOM数据源是在企业私有云环境下,整合PDM系统中相对独立、异构的三种BOM数据库为同型同构数据库,来实现物理层上的单一数据源,从而保证BOM在全生命周期中的数据一致性。

图3分别给出了SSPD和单一BOM数据源的组织结构,从图中可知,与SSPD不同的是,NoSQL中单一BOM数据库取代RDB中相对独立的EBOM、PBOM和MBOM数据库,在物理层上完成单一数据源,而非逻辑层上的SSPD。基于NoSQL的单一BOM数据源研究内容主要包括异构BOM数据库的整合、单一BOM数据源的物理组织与逻辑组织、数据的索引优化与查询优化、BOM数据的完整性与一致性等技术。

图3 SSPD与单一BOM数据源

3.2 基于NoSQL的企业私有云存储

基于企业网构建的企业私有云,其构建与运行者、资源提供者和使用者是企业及其下属相关厂所、研究单位等,旨在提高企业内制造能力,优化制造资源使用率,减少重复资源和能力的重复构建,降低企业投入成本、提高核心竞争力。

基于NoSQL的企业私有云存储相关技术主要包括存储虚拟化、集群优化、分布式文件系统、数据和服务器负载均衡、数据备份和容灾等技术。

3.3 基于NoSQL的BOM多视图映射

BOM作为产品全生命周期内企业各部门信息传递的桥梁和纽带,不同的部门有着不同形式的BOM视图,每种视图与产品的设计制造过程密切相关,因此,保证BOM多视图映射过程中的数据一致性和完整性至关重要。

基于NoSQL的BOM多视图映射相关研究包括BOM映射数据完整性和一致性验证、BOM多视图映射模型和BOM多视图映射算法等。

3.4 MBD模式下的海量数据的管理方式

海量数据的管理方式中,一般使用PDM软件挖掘企业数据中相关高层管理人员和高级工程师等的信息,通过这些信息的实施,提升数据的自身价值,充分利用企业信息来实现价值提升。

3.5 BOM系统构建的技术路线

图4给出了NoSQL的单一BOM数据源系统的技术路线图,来描述其设计、开发等步骤。

图4 数据源系统实施技术路线

(a)基于MBD模式的单一物料清单的数据源系统工程难度较大,需要一个较长的过程,由多方进行协同开发来完成此工程。在完成这种多方下协同的工程时,首先需要设计一个完善的业务架构;其次还需要有成形的技术团队和规范来确保工程的顺利实施。

(b)NoSQL技术的使用是开发本项目的数据源数据的研发基础。由于物料清单数据的结构化特征较弱,通过放大化NoSQL的技术特点和优势,可以更好地开展物理组织和逻辑组织方面的研究,这样关系到物料清单数据在本文所提环境下的存储模式,并影响NoSQL实现产品结构树、产品配置管理等BOM功能在后期开发中的使用。

(c)使用NoSQL来完善企业私有云存储技术。通过实施对云和MBD/MBE等技术的融合,本文所涉及的云存储技术采用NoSQL技术作为底层方案,提供包括集群方法、网络部署与通信、分布式存储等高性能功能。

(d)PDM除了可以提供文档管理和数据存储等功能,还可以作为产品生命周期管理、信息共享等功能的主要技术支撑方案。因此,需要将本文所涉及的产品的生命周期管理等PDM系统功能作为这部分的研究重点。

(e)整体系统中NoSQL等技术的应用是本文研究内容的主要支撑部分。需要对原型系统进行实施,检验各项技术,从而达到技术向生产转化的效果。

(6)对MBE的深入研究进一步扩展了对PDM的各方面属性的深入研究,可以保证解决制造企业的存储问题,并实现企业数据再利用的价值,是未来我国智能制造的重要组成技术。

4 结论

目前,从国内制造企业的信息化环境来看,探索一条大数据时代的具有自主知识产权的BOM解决方案,从根本上解决全行业产品数据管理系统受制于国外大公司的被动局面,对制造型企业的未来发展具有十分重要的战略意义。借助NoSQL的存储机制和灵活的分片功能对BOM数据进行组织与部署,可有效避免MBD模式设计带来的多表连接操作,减少单一BOM数据源系统的开发和企业实施的周期。同时,基于企业私有云存储的单一BOM数据源系统打破了传统BOM系统设计和实施观念,可以加快MBD生产环境的建设和制造企业的转型升级。

基于企业私有云存储的BOM系统具有高扩展性、并发性强、访问效率高等特点,为解决海量数据、版本众多、周期短和高价值等特征的企业大数据问题提供了一个高效的解决方案。同时,在企业私有云环境下,也更好地保证了在数据资源化、数据共享联盟等大数据趋势下数据安全性问题,并为大数据管理走向知识化、智能化打下基础。

猜你喜欢

数据源视图架构
基于FPGA的RNN硬件加速架构
功能架构在电子电气架构开发中的应用和实践
基于云服务的图书馆IT架构
Web 大数据系统数据源选择*
视图
Y—20重型运输机多视图
SA2型76毫米车载高炮多视图
基于不同网络数据源的期刊评价研究
Django 框架中通用类视图的用法
VoLTE时代智能网架构演进研究