飞机虚拟维修训练系统可信度评估方法研究
2023-09-27樊智勇李国鑫
樊智勇，李国鑫，刘 涛
(1.中国民航大学 工程技术训练中心，天津 300300；2.中国民航大学 电子信息与自动化学院，天津 300300)
0 引言
王子才院士在21世纪初期将仿真系统的可信度评估的概念引入中国[1]，指出可信度评估与建模与仿真(M&S，modeling and simulation)技术的发展应该是相辅相成的，两者具有相同的重要性。随着建模与仿真应用范围日益广泛和仿真系统结构日益复杂，仿真模型的可信性评估变得愈发重要。仿真模型是为特定的目的(或应用)开发的，其目的是回答一系列问题，针对每个问题确定仿真模型的评估，它的可信性应该根据其预期的目的来确定[2-5]。飞机虚拟维修训练系统是针对民用飞机的内部构造较为复杂，维修工作困难，维修训练成本高的特点，设计的一种低成本，高效率的，新型的仿真系统[6-10]。飞机虚拟维修训练系统作为一种仿真系统与传统的仿真系统相比，具有人在环路，硬件在环路的特点，维修训练系统不仅需要将真实世界的飞机电子系统进行仿真，还需要将飞机的各个硬件部分以及工作环境模拟出来，最大程度达到与真实维修环境相一致的效果，其可信度直接影响维修训练效果，因此本文对飞机虚拟维修训练系统进行可信度评估。
可信度评估是贯穿复杂仿真系统的M&S全生命周期，文献[11]提出基于贝叶斯网的M&S全过程仿真可信度的评估，虽然从主观的角度论证了模型的可信度，但是对于已建立完成的仿真系统可信度评估还有待研究。随着仿真规模的逐渐扩大，人们提出利用已有的仿真资源，进行模块化建模。可重用建模方式极大的提高仿真模型的灵活性和可拓展性，逐渐成为复杂仿真系统建模的必然选择。但是这种建模方式存在难以全生命周期可信度评估的问题，文献[12]提出了基于偏差传播的仿真重用模型可信度计算方法，并且分析了可重用模型在新的领域和仿真环境下，能否实现有效重用的问题，该方法避免对重用模型进行大量采样而造成的时间冗余问题，从而加快了可信度评估进程。此方法对可重用模型软件系统的可信度进行了较全面的评估研究，对于软硬件结合的仿真系统可信度评估还有待进一步研究。进行可信度评估时，最重要的一步就是建立可信度指标体系，文献[13]提出构建可信度评估以可用性，正确性，互操作性和有效性为高层指导的可信度指标体系。随着M&S的发展，进行人在回路仿真实验时，仿真系统的环境仿真，硬件模拟与真实环境的相似程度也是影响仿真效果的重要因素。为此，本文根据复杂仿真系统人在回路的特点，在此基础上提出可信度评估的指标体系是以可用性，正确性，互操作性，有效性和逼真性为指导建立的可信度指标体系。
当今仿真模型的可信度评估是一个非常复杂的过程，涉及数以百计的定性和定量指标的测量和评价，需要分析仿真系统的特点，结合不同的方法进行评估。在进行飞机虚拟维修训练系统的可信度评估时，不仅需要将模糊的，不确定的问题转化为一个可量化的问题，还要考虑指标体系的建立是否可行。本文全面考虑飞机虚拟维修系统各个模型的特点，综合考虑人与硬件在仿真环境的特性，将“硬件在环路”与“人在环路”加入可信度评估过程，建立一套基于层次分析法(AHP，analytic hierarchy process)的二级模糊综合评价模型，对飞机虚拟维修训练系统进行可信度评估。AHP可以将飞机虚拟维修训练系统可信度评估指标体系进行定量分析，使最终结果量化。通过模糊综合评价法与专家评价法对飞机虚拟维修训练系统进行全面综合评估，将仿真系统的可信度这种模糊的问题转化为可视的量化问题。
1 相关理论分析
1.1 飞机虚拟维修训练系统
飞机虚拟维修训练系统是在一定软硬件环境支持下，模拟机务人员真实维修环境的仿真系统。此仿真系统主要用于对飞机维修人员的培训，培养民用飞机维修人员需要消耗大量的时间与金钱成本，建立飞机虚拟维修训练系统可以让维修人员在虚拟环境中提前模拟真实的飞机维修环境，起到教学与实训的作用。如图1所示，仿真系统由仿真软件系统、飞机设备仿真件、人机界面系统、数据显示系统、教员台系统和计算机系统组成，使用高分辨率的触摸屏实现飞机驾驶舱各部件的控制和显示，同时使用数据显示器显示教学数据和系统原理图。
图1 A320飞机维修训练模拟机
为了使得实验过程尽量逼近真实的工作环境，飞机虚拟维修训练系统还需要模拟维修飞机的工作环境，在该环境中有一架停靠在机库中的虚拟A320飞机，并且建立了仿真工具、仿真设备、仿真工具库、耗材库、航材库、仿真电子设备舱等环境，具体的环境及功能如图2所示。
图2 虚拟维修环境
飞机虚拟维修训练系统能够模拟飞机的故障现象，真实反映飞机系统在正常和非正常操作条件下的驾驶舱效应。除软件仿真功能外，维护模拟机还配备驾驶杆、油门杆、多功能控制显示组件、自动飞行和显示系统控制板等硬件仿真件。这些硬件系统可以提高训练的真实度。教师席位安装教师实训管理软件，学生席位安装学生实训操作软件、动态原理图软件、虚拟飞机软件和维修手册，驾驶舱席位安装驾驶舱软件。
飞机虚拟维修训练系统主要功能是教学，通过动态原理图了解飞机系统，能够使学员更加明确飞机系统的工作方式。动态原理图具有多层次结构，包括动态系统逻辑图、系统结构组成图、线路测量图三层。动态原理图与虚拟飞机、驾驶舱同步关联，覆盖空调、自动飞行、通信、电源、防火、飞行操纵、燃油、液压、防冰和排雨、指示与记录、起落架、灯光、导航、氧气、引气、辅助动力系统(APU，auxiliary power units)和发动机等系统。以动态系统逻辑图为例，动态系统逻辑图能够与驾驶舱、虚拟飞机操作同步，通过二维动画实时展示维修操作动作，呈现机载系统工作原理，如图3所示。
图3 动态系统逻辑图
虚拟维修训练具有安全、经济、可控、可多次重复、不受气候与场地约束的优点。经过长时间的发展，虚拟维修训练已经从最初的空管计算机训练系统(CBT，computer based tranining)级别发展到现在的全尺寸模拟器的级别，其复杂度也是与日俱增，也给对该系统的可信度评估带来难题。中国民用航空总局在2013年颁布了《民用航空机务维修模拟机等级要求》[14]，该标准从真实飞机，操纵行程，性能测试，操纵特性，功能检查五个方面对飞机虚拟维修训练系统提出了不同的要求。在进行飞机虚拟维修训练系统可信度评估时要以此标准为指导来展开工作。
1.2 AHP与模糊综合评价法
校核、验证与确认(VV&A，verification validation and accreditation)是M&S开发过程中必不可少的环节，仿真系统的可信度评估在VV&A过程中占有决定性的地位[15-17]。不同的仿真系统的复杂程度，仿真侧重点和基本特性各不相同，因此衍生出多种可信度评估方法，每种评估方法都有其自己的特点以及适用范围。目前主流的评估方法有相似度评估法、置信度评估法、逼真度评估法、人工神经网络评估法、灰色综合评估法、层次分析法、模糊综合评价法、模糊层次分析法等。对不同的仿真系统来说，没有任何一种可信度评估方法能够严格的与之对应。因此，在对仿真系统进行可信度评估时，首先综合分析仿真系统的研究对象、特点、目标以及复杂程度等因素的影响，然后选取合适的方法，最后进行可信度评估。并且根据不同的仿真实验出具不同的可信度评估结果。
飞机虚拟维修训练系统是一个典型的复杂仿真系统，AHP可以将虚拟维修训练系统分为若干层次，自上而下评估可信度，其基本思路是将复杂仿真系统的影响可信度的影响因素按照隶属关系分为几个不同的层次，对每个层次的可信度分别进行计算，通过方根法计算出权重，为后面的计算做基础[18-19]。模糊综合评价法是一种基于模糊数学的综合评判方法[20-21]。对于复杂仿真系统具有极高的可重用性，难以按照M&S全生命周期评估，运用模糊综合评价法可以很好的解决此类问题，并且模糊综合评价法还可以对可信度问题进行量化。另外需要注意的是，层次分析法与模糊综合评估法一起应用并不是模糊层次分析法。因此根据飞机虚拟维修训练系统的特点，仿真目标以及复杂程度，采用AHP与模糊综合评价法相结合的方法对其进行评估。
2 可信度评估
2.1 可信度评估流程
用层次分析法进行可信度评估时，需先将飞机虚拟维修训练系统进行层次分析，并建立二级层次模型和可信度指标体系。请相关领域专家对每一层级中任意两个元素对比重要性，建立指标层判断矩阵A，二级指标层判断矩阵U1、U2、U3、U4、U5。对已建立完成的矩阵进行一致性检验，一致性检验的作用是判断所计算的权重是否符合客观规律，不同的专家评判是否一致。如果一致就计算权重，不一致则重新审核判断矩阵，进行修改。根据层次分析法建立的指标体系创建评语集，请相关领域专家进行打分。充分利用学科专家的经验和知识来评估仿真系统的可信度，专家对二级指标层各影响因素进行打分。建立隶属度矩阵Ri，最后加入层次分析法中计算得出的权重向量，得出最终可信度评估量化结果，整体评估流程如图4所示。
2.2 建立可信度指标体系
飞机虚拟维修训练系统的仿真目的是模仿真实的维修环境，完成对学员的模拟训练。传统的仿真可信度研究主要研究软件系统是否可信，飞机虚拟维修训练系统不只有软件系统，硬件系统也是其重要组成部分。飞机虚拟维修训练系统，不仅需要将飞机的各种电子系统模拟出来，还需要对维修环境，物理环境，具体操作步骤以及飞机的各种显示装置模拟出来，以达到与真实维修环境一致。进行仿真建模时，首先在接到建模仿真需求后先建立概念模型，接着再进行具体化，加入现实世界的物理模型；最后进行软件实现，得出最终仿真结果。因此，考虑到飞机虚拟维修训练系统具有“硬件在回路”的特点，将飞机虚拟维修训练系统的一级指标层分为概念模型、物理模型、软件模型、硬件模拟系统、仿真系统结果。
仿真系统的可信度指标体系是进行可信度评估的基础，作为一种参数指标，需要反映出仿真系统的属性，并且能够反映出评估对象可信度。创建复杂仿真系统可信度评估指标体系是一项冗长，困难的工作，是可信度评估过程中的难题。建立过程不仅要全面，还要能够在某一方面能够影响仿真系统可信程度。因此，在建立仿真系统的可信度指标体系时要以可用性、正确性、互操作性、有效性，逼真性为指导进行建立。在具体实施过程中会存在各种问题，比如各个影响因素之间存在冗余问题，不同指标可能含有相同的可信度影响因素，在建立过程中需要将冗余影响因素进行处理。对于指标体系的逻辑层次关系也要考虑到，构建二级层次模型需要具有递阶的层次结构，同一可信度影响因素可能出现在不同的层级结构中，需要对此类指标进行处理。在建立指标体系时还要考虑指标中的可信度影响因素对被评估对象所产生的可信度的表达，其中包括已有体系中通用的指标，飞机虚拟维修训练仿真系统的特有因素。最终建立如表1可信度指标体系。
表1 飞机虚拟维修训练系统可信度指标体系
2.3 层次分析法确定权重
2.3.1 构造判断矩阵
层次分析法构造两两判断矩阵，并要经过一致性检验。这种方法具体操作步骤就是避免将所有评价指标放在一起进行比较，而是在建立的层次结构模型基础上，对同一层面内的任意两个评价指标进行相互比较确定其重要性。在层次分析法建立矩阵过程中，影响因子或评价指标的相对重要性，一般都是用1到9及其倒数来表示，1表示相同重要，9表示其中一个因素比另一个因素极端重要。例如，二级指标层评价指标u11与二级指标层评价指标u12的重要性之比为a，那么二级指标u12与相对二级指标u11的重要性就是a的倒数1/a。请相关领域专家，根据描述的评判方法，对构造好的矩阵进行评判，分析目标层的5种影响因素，进行两两因素对比，构建出正互反矩阵的判断矩阵A，矩阵的行元素与列元素相同。
(1)
式中，满足aij>0，aijaji=1，aii=1。
2.3.2 一致性检验
在计算权重之前需要先进行一致性检验，这一步骤是为了使构造的判断矩阵在判断思维上具备基本的一致性，能够找出不同的专家是否判断一致，或者同一专家在进行判断时逻辑上是否出现不一致的情况，并且能够在一定程度上判断矩阵中是否存在奇异值。一致性检验的步骤如下。
第一步，计算一致性指标CI，λmax表示矩阵的最大特征值，计算公式如(4)，W表示特征向量，n表示矩阵阶数，计算公式如下公式(2)；
第二步，查表确定相应的矩阵随机一致性指标，跟据判断矩阵不同阶数查表2RI取值，n代表阶数，一阶矩阵与二阶矩阵的RI=0；
表2 RI取值
第三步，计算一致性比例CR(consistency ratio)，CR计算公式如公式(3)，并进行判断，判断规则如下：当CR=0时，此矩阵为一致阵，当0
公式如下：
(2)
(3)
(4)
2.3.3 计算权重
计算权重向量，采用方根法确定权重，计算公式如下：
(5)
(6)
2.4 模糊综合评价
2.4.1 建立评语集
评语集C是对各个最底层指标做出的评判结果所组成的集合，仅用于最后计算，专家在打分时并不知道分值，用C=(c1，c2，…，cm)表示。表3显示了1个较严格的可信度评价集，采用了100分制。按照人们基于7等级自然语言判断的习惯，将“比较可信”定位于60分，向上和向下依次以10分为1个等级，分别延展至“不可信”的30分和“可信”的90分。
表3 百分制可信度指标
2.4.2 确定隶属度函数
根据上表做调查问卷，请相关领域专家进行打分，为充分利用学科专家的经验和知识来评估系统的可信度，要求专家从可用性、正确性、互操作性、有效性，逼真性五个方面对每一个二级层次指标综合分析后进行打分。根据层次分析法建立的因素集U和模糊层次分析法建立的评语集C，请相关领域专家进行打分。建立隶属度矩阵Ri，将每个影响因子量化，即从最底层可信度影响因素确定被评价对象对各影响因素对自己的隶属程度。
(7)
二级模糊综合评价将隶属矩阵与同级的权重系数矩阵相乘，可得出上一级评价因素层的模糊综合评价结果，再将该级因素的评价结果作为更高一级的隶属矩阵，再运用同样的方法进行相乘，可算出最终的评价结果，公式如下：
Bi=ωUiRi
(8)
Di=ωiBiCT
(9)
式中，Bi为一级指标层可信度；ωUi为二级指标层权重向量；Ri为相应的隶属矩阵，Di为模型可信度。
3 实例分析
在对飞机虚拟维修训练系统进行整体可信度评估时，应先选取准确的维修训练项目，对维修训练项目中包含的所有模块进行可信度评估。由于飞机虚拟维修训练系统复杂而庞大，本文根据《民用航空机务维护模拟机等级要求(MH/T 3028—2013)》中的功能测试模块，结合《飞机维修手册(AMM，aircraft maintenance manual)》中实际的飞机维护例程，选取空调组件测试实验，多功能控制显示组件(MCDU，multipurpose control and display unit)操作实验，发动机正常试车实验进行可信度评估。选取这三项实验覆盖了硬件模拟模块，飞机驾驶舱面板、飞机电子系统、虚拟维修环境等飞机虚拟维修训练系统的主要模块，计算过程以空调组件测试实验为例。
实验所用维修训练系统的硬件由触摸板模拟，如图5所示为模拟空调面板截图，图6为空调显示面板。
图5 模拟空调控制面板
图6 模拟空调控制面板
3.1 计算权重向量
根据以上方法请相关领域专家进行评价建立一级指标层判断矩阵：
二级指标层判断矩阵U1、U2、U3、U4、U5也按照上述方式建立。
一级指标层构建出5阶判断矩阵，查表2得到随机一致性RI值为1.120 0。计算得λmax=5.351 1，代入算得CR=0.078 1<0.1，可知判断矩阵满足一致性检验，计算所得权重具有一致性。同理一级指标层的五个矩阵都进行一致性检验，经计算均符合一致性。
代入公式算得权重：
ωA=(0.1142，0.3269，0.3269，0.0896，0.1423)
ωU1=(0.2493，0.5936，0.1571)
ωU2=(0.2583，0.6370，0.1047)
ωU3=(0.1692，0.4434，0.3874)
ωU4=(0.0528，0.5494，0.2452，0.1526)
ωU5=(0.2500，0.5000，0.2500)
3.2 建立隶属度矩阵
对已建立的飞机虚拟维修训练系统指标体系建立隶属度矩阵，请10名本领域专家对各指标进行打分，经过统计计算，建立以下隶属度矩阵，如表4所示。
表4 维修性设计方案各指标参数
即：
R2，R3，R4，R5与R1相同，就不再赘述。从专家打分结果可以看出，硬件系统中，飞机虚拟维修训练系统对于真实维修环境中的声音系统模仿的比较相似；难以模拟出真实维修环境下的阻尼反馈，专家一致认为不可信。
3.3 结果分析
第一步代入公式(8)计算一级指标层可信度向量，代入数据得：
B1=(0，0，0，0.0594，0.5003，0.3062，0.1935)
B2=(0，0，0，0.1292，0.2314，0.3588，0.2816)
B3=(0，0.0169，0.1669，0.0782，0.4000，0.2605，0.0775)
B4=(0.0528，0.0610，0.1193，0.4186，0.3483，0.0490，0)
B5=(0，0，0，0.1500，0.3750，0.2750，0.2000)
第二步代入公式(9)得出飞机虚拟维修训练系统的可信度：DA=73.787 2。DA表示飞机虚拟维修训练系统的可信度。从图7，7标度模糊评价隶属度曲线表中可以看出，其可信任程度介于“一般可信”和“基本可信”之间，而且对于“一般可信”的隶属度高于“基本可信”。
图7 7标度模糊评价隶属度曲线
代入数据可以算出一级指标层可信度分别为DU1=80.493 8，DU2=77.909 2，DU3=69.528 6，DU4=63.407 6，DU5=75.250 0。DUi表示一级指标层每个元素的可信度。从数据可以得出结论：在进行空调组件调试实验时，仿真系统可信度为73.787 2，属于一般可信，其中硬件系统可信度最低为63.407 6，存在薄弱点。查看隶属度矩阵，发现在进行虚拟维修训练时仿真系统不能很好的模拟出真实维修环境下硬件的阻尼感。
同时，结合隶属度矩阵与实际实验分别对MCDU操作实验，发动机正常试车实验同样进行可信度评估。求得可信度分别为81.423 3和71.265 9。在进行MCDU实验时，飞机虚拟维修训练系统的MCDU没有选用触摸板进行仿真，而是选用与真实飞机一样的硬件按钮，整体可信度较高，视景系统的可信度还存在缺陷。在进行发动机实验时，仿真系统可以模拟出较为准确的摁键操作声音，但是对于发动机的试车声音不能很好的模拟出来。
4 结束语
本文对飞机虚拟维修训练系统的可信度评估进行研究，建立了二级层次模型。利用层次分析法建立一套针对飞机虚拟维修训练系统的可信度评估指标体系，解决了指标体系建立过程中时间冗余的问题。针对可重用仿真模型可信度难以评估，以及“人在环路”与“硬件在环路”的仿真系统可信度评估因素难以确定的问题，运用模糊综合评估方法将模糊问题转化为定量问题。最终评估结果不仅可以量化，还可以根据评估结果反推仿真系统仿真需要改进的地方。并通过多个不同的实验，证明此方法是可用的。为复杂仿真系统的可信度评估提供了借鉴，也为飞机虚拟维修训练系统的优化提供了理论支持。
