王建军,向永清,赵 宁

(北京空间飞行器总体设计部，北京 100094)

航天器质量信息大数据技术的研究与实现

王建军,向永清,赵 宁

(北京空间飞行器总体设计部，北京 100094)

为实现航天器质量信息的有效管理和深度应用，分析了航天器质量信息的重要意义和数据特征，充分借鉴当前流程的大数据技术成果，基于ORACLE、MongoDB和HBase技术实现数据源层，基于Hadoop、Storm、MySQL、BerkeleyDB和HANA技术实现数据处理层，基于SOA和WebService技术实现数据服务层，基于多种技术方式实现具有多种应用功能的数据应用层，基于WindowsServer2012、CentOS6.5、Unix、PHP和HTML5等技术实现系统软件开发部署，建立了覆盖全生命周期全方面的航天器质量信息系统，分析了系统所涉及的多源异构数据的采集、传输与存储，质量信息数据实时处理与分析，实时质量监控、预警和评估等关键技术实现途径，并对应用前景进行了展望，实现航天器研制全周期全过程全方位海量数据采集、处理、分析、预测和评估，使航天器质量管理更加科学、精准、高效。

航天器;质量信息;大数据

0 引言

在当前我国航天器研制实施产品保证工作的形势下，优化航天器质量信息的管理和应用对产品保证工作具有重要的意义和作用。航天器质量信息是在航天器研制和产品保证工作中形成的反应航天器质量情况的各类文件、记录等信息的集合，记录了航天器全部研制过程，反映航天器自身质量和研制全过程管理活动的有效性，是深入开展产品保证工作的重要见证，贯穿于航天器设计、生产、试验、发射、交付等全生命周期的各个阶段，对监测、评价航天器各级产品过程控制和质量与可靠性水平的高低起着不可忽视的作用，是改进产品质量与可靠性、改善产品研制各环节工作质量最直接的原始资料和依据，也是正确认识影响产品质量特性因素变化、产品质量波动的内在联系和掌握提高产品质量规律的基本依据，可以为各级决策层和研制有关部门的科学决策、有效开展各项产品保证活动提供及时充分必要的参考信息，是增强企业管理素质和竞争能力的重要途径，为用户提供使用指导，为后续故障分析和应对提供第一手资料，深度挖掘使用还可以用于寿命预测、提升设计水平和研制经验[1-2]。在GJB9001B-2009《质量管理体系要求》中要求“组织应确定、收集和分析适当的数据，以证实质量管理体系的适宜性和有效性，并评价在何处可以持续改进质量管理体系的有效性”[3]。

1 航天器质量信息大数据特征

随着我国航天事业的蓬勃发展，航天器功能越来越强大，研制管理精细化程度日益提高，产品要经历设计、加工、装配、调试、测试和试验等复杂环节，使得航天器质量信息来源多、数据量激增；数据种类多样，除传统结构化数据外，有关产品质量的文档、图像、视频等半结构化和非结构化数据不断涌现；产品数据实时处理、分析、预警、评估等应用要求不断提高；海量的质量信息中不仅包含着产品性能和可靠性等数据信息，还可以通过数据挖掘为设计改进和领导决策等提供支持，具有极高的应用价值。

传统的信息管理系统支持的数据类型较少、数据分析处理效率偏低、质量信息的深度挖掘和相关的应用也不丰富。随着云计算、大数据等信息技术的发展，为航天器质量信息管理注入了新的思想，带来了新的解决方案。

大数据技术成为近年来的热点，大数据具有4V特征，即variety(数据类型多样)、volume(数据量巨大)、velocity(速度要快)、value(价值巨大)[4]。航天器质量信息具有大数据特征，是典型的大数据。可以利用大数据技术研究成果，在企业质量体系指导下，建立覆盖研制全生命周期的航天器质量信息系统，以航天器产品为核心，将产品研制过程中的相关信息、活动和过程实现集成，对航天器质量信息进行标识、获取、收集、整理、处理、汇总、统计、分析、反馈、利用、传递和保存，并且向各级管理层和有关人员提供有效信息，实现研制阶段所有与保证产品质量有关信息的电子化、网络化、智能化和统一管理[5]。

2 航天器质量信息系统实现

2.1 系统总体架构

基于当前主流大数据平台的体系架构，结合航天器质量信息来源多、数据量大、结构多样、数据处理和深度应用要求高等特点，构建的航天器质量信息系统总体架构如图1所示，系统由数据源层、数据处理层、数据服务层、数据应用层四层组成，每一层的主要功能如下：

1)数据源层。数据源层的主要功能是对航天器质量信息数据的收集和存储，将研制全周期全过程全方面分散的质量信息数据收集到质量信息数据管理中心，统一存储，避免数据孤岛和数据遗漏。数据源层是质量信息系统的数据存储中心；

2)数据处理层。存储在数据源层的质量信息数据库中的数据是原始的航天器质量数据，这些数据中有些是“脏”数据，并且数据之间的关联性也没有完全建立起来，因此这些数据是不能直接被使用的，需要对数据源层的数据进行处理。通过数据处理层对其进行抽取、清洗、转换、集成、规约等处理，然后统一进入数据仓库中存储，以便对外提供完整的、有效的、格式统一的数据服务。数据处理层是质量信息系统的数据处理中心；

3)数据服务层。从数据仓库中提取航天器质量信息数据，实现各类数据服务，如数据的查询服务，数据追溯服务，数据分析服务，数据报表服务、表单管理服务、故障诊断服务等；数据服务层是质量信息系统的数据服务中心；

4)数据应用层。数据应用层直接面向航天器研制人员，包括设计师、工艺师、产品保证人员以及各类管理人员，提供各类质量信息应用，满足对航天器研制全周期全过程全方位质量信息数据的应用需求。数据应用层是质量信息系统的数据应用中心。

图1 系统总体架构

2.2 系统实现

2.2.1 数据源层

航天器质量信息数据可以分成结构化数据和非结构化数据两大类，非结构化数据又可以分成文档数据和图像视频等非文档数据，为了提高存储和处理效率，分别将结构化数据存储到ORACLE数据库中，将文档存储到MongoDB数据库中，将其他非结构化数据存储到HBase数据库中。ORACLE是一款非常优秀的关系型数据库；MongoDB是一款开源的应用广泛的面向文档的非结构化数据库；HBase是一款高可靠、高性能、强伸缩、面向列的分布式数据库系统，很适合用来存储半结构化或非结构化的疏散数据[6]。通过时间戳、数据标志等对不同数据库中的数据进行有效关联。数据源层如图2所示。

图2 数据源层示意图

为降低多数据库混合架构中数据访问的复杂性、提高数据查询效率，采用了分解集成的方法通过统一接口实现对不同数据库的访问，如图3所示。区分器将上级用户提交的请求进行区分处理，确定请求所涉及的数据字段等相关内容并提交给分解器；分解器确定请求涉及到的数据库，将请求分解为面向各数据库的子请求并提交给相应的抽取器；抽取器将子请求翻译成符合相应数据库的数据请求，并把请求结果返回给分解器；分解器将各子请求结果合并为一个结果返回给区分器；最后由区分器对返回结果进行条件筛选，生成符合上级用户请求的结果并提交。

图3 数据库分解集成访问方法示意图

2.2.2 数据处理层

数据处理层数据处理流程如图4所示。使用数据抽取程序从数据源中抽取有利用价值的数据，根据实时和离线处理的需要，分别将数据送至离线处理平台和实时处理平台。经过Hadoop离线处理平台处理后的数据存入数据仓库集群，为服务层提供数据支持；经过Storm实时处理平台处理后的数据存入内存数据库中，为服务层提供实时数据支持。Hadoop是一个开源的离线大数据分析处理平台,Storm是一个开源的实时流式大数据处理平台,MySQL是一款优秀的开源关系型数据库,Berkeley DB和HANA都是内存数据库平台，可以显著提高数据处理速度[7-8]。

图4 数据处理流程示意

2.2.3 数据服务层

数据服务层采用面向服务的架构(简写SOA: Service Oriented Architecture)对外提供服务。SOA是一种成熟的企业级软件系统架构，它能够降低系统间的耦合，实现企业内部异构系统之间数据流的无缝集成，一个SOA架构是由一系列的网络服务(Web Service)构成，网络服务是由URI(Uniform Resource Identifier)来识别确定的一个软件应用，其接口的定义、描述和发现都是由开发的XML 标准来实现，并且支持使用XML 消息、通过网络协议与其他软件应用进行直接交互。使用Web Service 实现SOA 架构使用的主要核心技术包括XML、SOAP、WSDL以及UDDI，其技术结构图如图5所示[9]。

图5 SOA架构示意图

第一层是Web Service 的管理部分：主要实现Web Service 的发现、发布与管理功能。服务提供者通过其来发布Web Service，服务使用者通过其来发现Web Service。UDDI为目前较为普遍的Web 服务管理实现手段。

第二层是Web Service 的描述部分：主要实现了对Web Service 的描述，包括服务所在的位置、功能、参数与返回值等，WSDL为目前使用较为广泛的Web 服务描述方法。

第三层是Web Service 通信消息描述部分：在这里会定义服务之间交换信息所使用的语言和语法。现在，最流行的是基于XML 语法的简单对象访问协议(SOAP)。

最底层是承载交换消息的网络协议，最常见的如HTTP/HTTPS、SMTP 等。

整个体系结构的安全、管理和服务品质则贯穿了各个层次。

数据服务层示意图如下图6所示。数据服务层采用多层思想进行程序设计，利用Web Service技术实现对系统的跨平台、分布式管理以及信息资源共享，充分考虑各服务组件的重用性降低开发维护代价，将提供公共服务和业务规则的应用以Web Service的方式发布，对外界提供公共接口。各个Web Service在UDDI中心进行注册，并可以在Web服务器中通过整合形成不同应用服务提交给用户。Web服务器收到用户请求后到UDDI中心查找用户请求所需的Web Service，找到后通过WSDL绑定定位并调用，整个过程基于SOAP交互。

图6 数据服务层示意图

2.2.4 数据应用层

数据应用层直接面向各类人员，根据不同的应用需求，实现不同的质量信息应用，主要应用如图7所示。数据应用层可以根据用户需要采用不同技术实现：数据展示类应用可以采用Web技术来实现，用户通过浏览器来访问各种Web应用，简单易用且便于维护；对数据显示和处理要求较高的应用(如三维可视化应用等)则可以采用桌面软件来实现，充分发挥硬件性能；对移动便携要求较高的应用(如质量信息报警应用等)，则可以通过手机APP或者HTML5来实现，通过移动便携终端方便快捷接收关键质量信息。

图7 系统应用示意图

各主要应用功能如下：

1)产品保证规划。本应用实现产品保证规划及有关信息管理；

2)设计质量管理。本应用实现设计及有关信息管理，包括各类文档、图纸、模型、表格的编制、上传、审批、发放和回收；

3)过程质量管理。本应用实现生产、制造、装配、测试和试验全过程及有关信息管理；

4)质量数据分析。本应用实现研制全周期全过程全方位数据信息管理，从而对产品质量进行分析，具有实时数据分析和历史数据分析功能，具备图形、报表等显示方式；

5)健康评价与故障维护。本应用实现健康评价与故障维护及有关信息管理，并提供异常案例库、质量预警和质量决策支持；

6)用户评价。本应用实现用户评价及有关信息管理，为产品质量及产品保证工作的持续改进提供依据；

7)产品保证综合管理。本应用实现研制全周期全过程全方位产品保证综合管理及有关信息管理；

8)基础信息管理与维护。本应用实现系统运行基础信息管理与维护；

9)研制知识支持。本应用实现产品研制知识信息管理。

2.2.5 系统软件部署

为便于软件的使用、维护和升级，系统采用了经典的B/S架构，系统软件部署如图8所示。数据源、数据处理、数据服务等核心业务逻辑运行在后台的操作系统上，操作系统可以为Windows Server 2012、CentOS 6.5或Unix等。使用PHP语言来实现Web Service接口供应用层调用，Web Service运行在Apache Web服务器上。

图8 系统软件部署图

数据应用层中网站类应用可采用HTML5、CSS、JavaScript、PHP等技术实现，桌面类应用可采用C#、C++、Java等技术实现，移动类应用可采用原生和HTML5混合开发技术。

3 系统实现关键技术与展望

3.1 多源异构数据的采集、传输与存储

航天器质量信息数据来源多，来源于研制的各个环节和场地，检测设备多样，数据接口包括LXI、VXI、USB、LVDS等多种形式；设计、生产、测试、试验等过程产生的常规结构数据以及文档、图像和视频数据种类多，结构各不相同。为了方便多源、异构数据的采集、传输和解析，针对不同类型的接口和数据结构，制定不同的数据采集和传输协议。为了提高存储效率，采用混合式数据存储架构，并建立统一的数据访问接口，以降低数据访问的复杂性。进一步将质量信息系统、设计开发系统、计划管理系统、物料管理系统等航天器研制有关的各类信息系统无缝对接，将单机研制阶段的信息与AIT阶段信息、在轨运行阶段信息无缝对接，支持多功能业务管理和跨部门的多点协作。

3.2 质量信息数据实时处理与分析

研制数据清洗工具，制定数据清洗算法和规则，从多个不同业务数据库抽取采集到的原始航天器质量信息数据，进行数据项名称的统一、位数的统一、编码的统一、形式的统一、消除重复数据和错误数据等数据清洗净化提炼，并具备数据质量评估和元数据管理能力。运用统计学、可视化、预测性、神经网络、机器学习等技术完成数据的特征、区分、关联、分类、聚类、趋势、偏离和孤立点分析等数据分析工作[10]。充分利用各类仿真模拟技术，实现各阶段各方面研制数据互相迭代机制，优化并行工程，提前发现问题，不断完善和改进，实现更深入的全周期、全过程、全方位信息一体化管理。

3.3 实时质量监控、预警、评估和改进

建立包含航天器健康状态模型、判读规则和异常案例库的专家知识系统和辅助决策系统，对经过清洗加工的质量信息海量数据进行实时分析、与判读规则进行实时匹配、计算及评价，实时监视生产过程的动态变化和产品的特性及趋势，自动对产品质量状况进行监控，可以适当地采取预防措施并进行质量预防和改进；通过对数据的相关特性和共性进行深度挖掘与分析，自动对产品质量状况进行评估，及时发现质量预警信息，提出决策性建议，对质量控制能够更有效的进行指导，便于研制人员及时了解和迅速采取措施，将质量控制关口前移，为建立更精确化和智能化的质量管理过程服务，提高决策的科学性和有效性[11]。对航天器各类数据系统进行集成，将多方知识全面集成为统一的信息管理系统，形成知识管理机制，加强知识系统的构建，可有效实现知识的积累和利用，对后续产品提供设计参考和依据。利用专家推理机等方法实现专家系统并应用于航天器管理，能够更加及时地监测和诊断航天器故障，完成航天器高效可靠管理，提高航天器管理的自动化程度。

3.4 标准规范和流程的建立

航天器质量信息系统的建设和应用，需要改变观念，加强信息化理念，在原有产品研制和管理标准规范体系基础上，建立适用于采用大数据和云计算的质量信息系统的研制生产管理标准、规范和流程，搞好顶层设计，统一外部接口，实现全过程全方位网络互通、信息融合、资源共享，形成规范有序的运行机制，不但可以提高航天器质量和可靠性、产品保证工作可信度、减轻研制人员负担，还能够为航天器质量预警、科学决策、设计改进、故障诊断等提供支持。

4 结论

在当前大数据时代，航天器质量信息作为典型的大数据，遇到了新的挑战和机遇，同时也具有广泛的应用前景。我们应当积极研究航天器质量信息特征，借鉴大数据和云计算等当前先进的信息化手段，进一步转变观念，完善航天器研制模式，改进航天器质量信息管理和使用机制，实现航天器研制全周期全过程全方位海量数据采集、处理、分析、预测和评估，使航天器质量管理更加科学、精准、高效，并推动我国航天器研制朝信息化、网络化、智能化和统一化方向深入发展。

[1] 丁 杰．质量与可靠性信息管理系统的设计与实现[J]．电子产品可靠性与环境试验，2003(6)：48-50．

[2] 谭松林, 施 琼, 马 良．质量与可靠性信息管理探析[J]．军民两用技术与产品，2002(11)：28-29．

[3] 中国人民解放军总装备部．GJB9001B-2009．质量管理体系要求[S]．北京：总装备部军标出版发行部，2009．

[4] 马建光, 姜 巍．大数据的概念、特征及其应用[J]．国防科技，2013，34(2)：10-17．

[5] 冷俊杰, 刘 鲁, 张 旭．面向航空制造企业的质量信息管理系统及其实施[J]．航空制造技术，2012(17)：26-29．

[6] 陆嘉恒．大数据挑战与NoSQL数据库技术[M]，北京：电子工业出版社，2013．

[7] 张 红, 王晓明, 曹 洁, 等. 基于大数据的智能交通体系架构[J]．兰州理工大学学报，2015，41(2)：112-115．

[8] 程学旗, 靳小龙, 王元卓，等．大数据系统和分析综述[J]．软件学报，2014，25(9):1889-1908．

[9] 李孟洁. 基于SOA和WebService的第四方物流信息平台构建与实现[D]．兰州：兰州交通大学，2014．

[10] 哈迈德. 数据仓库中的数据清洗技术研究[D]．长沙：中南大学，2013．

[11] 陈光希, 冯 峰．大数据技术在质量信息管理中应用思路初探[J]．信息技术与信息化，2016(7)：97-98．

StudyandImplementationofBigDataTechnologyinSpacecraftQualityInformation

WangJianjun,XiangYongqing,ZhaoNing

(BeijingInstituteofSpacecraftSystemEngineering,Beijing100094,China)

In order to effectively manage and deep use spacecraft quality information, this paper analyses spacecraft quality information significance and characteristics, gives a way to build a system for spacecraft quality information full-life-cycle and omni-directional management based on big data technology. The data source layer is based on ORACLE, MongoDB and HBase. The data processing layer is based on Hadoop, Storm, MySQL, Berkeley DB and HANA. The data service layer is based on SOA and Web Service. The application layer with multiple applications is based on various technologies. The system software is based on Windows Server 2012, CentOS 6.5, Unix, PHP, HTML5, etc. The key technologies such as multi-source heterogeneous data sample, transmission, storage, processing, analysis, real-time quality monitoring, alarming, and estimation is introduced. At last the application futurity of spacecraft quality information system is prospected，the spacecraft quality management will more scientific, precise and effective.

spacecraft; quality information; big data

2016-11-14；

2016-12-01。

王建军(1982-)，男，河北张家口人，硕士研究生，高级工程师，主要从事航天器研制、项目产品保证管理方向的研究。

1671-4598(2017)04-0200-05DOI：10.16526/j.cnki.11-4762/tp

V57,TP

A