户 鲲，李 睿

(1.北京宇航系统工程研究所，北京100076；2.中国运载火箭技术研究院战术武器事业部，北京100076)

1 引言

靶场试验是国防武器装备研制的重要环节，贯穿了研制、生产、使用和维护的全过程，能够为研制单位设计验证、生产单位工艺验证、武器装备定型、部队列装等提供依据。一项武器装备研制过程中通常需要进行多次靶场试验任务。

随着国防现代化的发展，国防工业企业在研武器装备多，研制周期紧张，靶场试验任务越来越密集。建立一套科学、合理的靶场试验任务绩效评估体系，分析每次靶场试验任务的绩效改进点，并指导后续靶场试验任务的开展，对国防工业企业降低任务成本、增加任务产出以及实现企业目标具有重要的现实意义。

一些学者对靶场试验任务的评估开展了研究。陈万玉等[1]提出了一种结合卓越绩效管理模式的质量管理体系，提高了靶场试验的运行绩效。马骏等[2]提出建立资深的考评队伍和先进的训练监控评估系统，采取人机结合的评估方法，对靶场试验任务进行定量与定性的考评。魏阳等[3]提出一种试验技术状态管理方法，从试验技术状态的角度对靶场实验结果进行评定。韩建军等[4]分析了国防工业企业的特点，提出了融入科研生产、质量管理、综合计划等指标的完成型和增量型相结合的考核评价体系，为靶场试验任务评估提供了参考。还有一些学者聚焦在靶场试验任务的质量管理[5]、风险控制[6]、靶场建设[7]等方面。

对靶场试验任务绩效评估的研究多是从质量管理的角度，通过分析所满足的质量标准来对靶场试验任务进行绩效评估。虽然一些研究提出了参考指标，但没有指明具体的量化评估方法。本文结合国防工业企业的实际情况，设计相关指标，采用DEA方法对靶场试验任务进行定量化的绩效评估。

2 靶场试验任务绩效评估方法

2.1 评估方法选择

靶场试验任务的绩效评估是指对照统一的标准，对试验任务的质量保证、计划管理、资源利用、成本控制等方面做出综合评价，从而对靶场任务的效率和效果进行客观评判。对靶场试验任务进行绩效评估具有一些特殊性。首先，评估标准特殊。圆满成功是靶场试验任务追求的首要目标，为实现这一目标，各项工作都有严格的质量要求和过程控制，绩效评估需要参照和遵循相关质量和标准文件。其次，评估指标特殊。在相关质量和标准文件中，对程序和规范的描述有时候是定性描述，需要仔细分析这些描述并设计定量指标，以便收集这些指标来建模分析。最后，评估主体特殊。鉴于靶场试验任务一般都具有保密性要求，评估主体应当是试验任务的组织者，不能有外部独立评估机构参与，评估主体所关心的相关利益应当纳入模型设计中。

靶场试验任务绩效评估的结果应当尽量客观，减少人为主观因素的影响。考虑到一项武器装备研制过程需要开展多次靶场试验任务，对于这种重复性强的评估对象，评估结果还要能够指导后续靶场试验任务的开展。基于以上因素，设计合适的绩效评估方法非常重要。

绩效评估方法的研究广泛存在于企业管理、政府管理、公共事业管理等领域[8]-[10]，常用的方法包括层次分析法(Analytic Hierarchy Process，AHP)，模糊综合评价法(Fuzzy Comprehensive Evaluation，FCE)以及数据包络分析法(Data Envelopment Analysis，DEA)等。AHP和FCE经常结合使用：首先AHP确定各项指标的权重，然后运用FCE求出被评估对象的综合评分[11]。AHP方法，以及AHP和FCE结合的方法，评估过程中都包含大量主观成分。用这两种方法对靶场试验任务开展绩效评估还存在一定的不足：靶场试验任务具有大规模、综合性强的特点，这就需要大量的指标标度工作，容易引起专家判断混乱，从而得到不一致的判断矩阵；解决矩阵不一致性的过程往往也比较耗时，需要专家进行多轮迭代；这两种方法还不能很好地指出绩效改进的问题点，在解决突出问题并指导后续任务开展方面有所欠缺。

相较而言，DEA方法结合“相对效率评估”的思想，无需先给定输入、输出权向量，分析更具客观性。另外，DEA方法能够衡量某一次靶场试验任务相对最优靶场试验任务的差距，并给出具体的调整量，适合用来对靶场试验任务进行绩效评估。本文采用DEA系列模型中规模报酬不变条件下的C2R模型和规模报酬变化条件下的BC2模型对靶场试验任务绩效进行评估。

2.2 规模报酬不变条件下的C2R模型

C2R模型由Charnes、Cooper和Rhodes三位学者[]提出，是经典的DEA模型。C2R模型用于评估决策单元是否总体具有有效性。

设需要评价p次靶场试验任务，分别表示为Ti，其中i=1，2，…，p。每次试验任务都具有m种类型输入，表示试验任务对“资源”的消耗，设Ti的输入为向量xi=(x1，i，x2，i，…，xm，i)T。每次试验任务都具有n种类型输出，表示试验任务取得的“产出”，设Ti的输出为向量yi=(y1，i，y2，i，…，yn，i)T。又设m种类型输入的权系数为向量v=(v1，v2，…，vm)T，n种类型输出的权系数为向量u=(u1，u2，…，un)T。

利用投入产出比的指标对试验任务进行效率评价，则试验任务Ti的效率评价值为(uTyi)/(vTxi)。当对特定的第r次试验任务Tr进行相对绩效评估时，可以选取适当的权系数向量v和u，使得Tr效率评价值最大，基于该思路就得到C2R模型

(1)

(2)

表1 C2R模型有效性判断准则

若Tr为技术无效，说明在现有技术水平下，Tr输入太多而输出太少。θ*值越小，效率越低，改进空间也就越大。若Tr为弱技术有效，说明Tr在保持原输出不变的条件下输入可以减少S-*，或者在保持原输入不变的条件下，输出可以增加S+*。若Tr为技术有效，说明Tr的运作效率高，全部输入都发挥了最大限度的效用，获得了最大的输出。

2.3 规模报酬可变条件下的BC2模型

C2R模型隐含着规模报酬不变的假设，即在试验任务规模效率等于1的条件下去分析其技术效率。实际情况中，非DEA有效既有可能受技术无效率的影响，也有可能受规模不合理的影响。Banker、Charnes和Cooper等[13]改进以上局限并提出了BC2模型，将规模报酬不变条件下的技术效率ET分解为规模报酬可变条件下的纯技术效率EPT和规模效率Es的乘积，即ET=EPT×Es。纯技术效率是指排除规模因素外，单纯从技术角度进行有效性评估。规模效率评估实际规模与最优规模之间的差距。BC2模型如下

(3)

表2 BC2模型有效性判断准则

3 靶场试验任务绩效评估分析

3.1 决策单元选择

DEA模型的决策单元即评估对象，可以是企事业单位、技术方案、事件活动等。决策单元选取的主导原则是：就其“输入的资源”和“输出的产品”而言，每个决策单元都可以看作是相同的实体，即每个决策单元有相同的输入和输出[14]。同型号的靶场试验任务由于任务背景基本相同，投入和产出可进行横向比较，满足上述要求。本文选取某单位近3年某型号执行成功的7次靶场试验任务作为待评估的决策单元。

3.2 输入输出指标

绩效评估的内容体现在输入输出指标的设计。每一次靶场试验任务，均需要投入一定的人力、物力和时间。另外，配套的质量活动也是靶场试验任务取得圆满成功的有力保障。这些对于国防工业企业而言都属于靶场试验任务的成本。从以上4个角度梳理得到某型号靶场试验任务输入指标如表3所示。表中隐去了一些每一次靶场试验任务输入量都相同的输入指标。

表3 某型号靶场试验任务输入指标

技术岗位人员数量，包括型号总师、副总师、技术顾问、测试人员、特种车辆司机等人员的数量。服务保障岗位人员数量，包括政工、保卫、保密、技安、医生、司机、厨师、摄影摄像、会计等相关人员的数量。参试设备数量，包括所有参与靶场试验任务的单机、系统级测试设备的数量。车辆调配数量，即靶场试验任务期间所有保障类车辆调配次数总和。测试时间，指靶场试验任务期间实际有开展技术阵地测试、发射阵地测试工作的天数。测试等待时间，包括测前准备、测试期间暂停、无效测试、测试完成后等待的天数总和。质量复查报告数量，指在靶场试验任务期间开展质量复查工作所产生的报告数量。质量复查应该尽可能在靶场试验任务进场之前完成，靶场试验任务期间的质量复查报告越少越好。

从待评估的靶场试验任务收集得到的输入指标数据如表4所示，表中所有数据都已经过脱密处理。

表4 某型号靶场试验任务输入数据

参照某单位质量工作体系和质量工作要求中有关靶场试验任务的描述，以及评估主题所关注的指标，从组织指挥、技术操作、设备设施、任务软件、成本管理5方面进行梳理，得到某型号靶场试验任务输出指标如表5所示。

表5 某型号靶场试验任务输出指标

问题处理及时率，指能够按照质量要求及时处理的靶场问题数占发生问题总数的比率。试验文书正确率，指未出现差错的试验文书数量占总数量的比率，试验文书是靶场工作的指导依据，包括管理类及技术类文件、图纸、通知单等。技术操作正确率，指在靶场试验任务的重要时段，如技术阵地测试、发射阵地测试、进场、转场、加注、发射等阶段，技术操作正确次数占总共操作次数的比率。设备设施正常率，指整个靶场试验任务过程中，设备设施正常运行的次数，占总使用次数的比率。测试工位保障率，指在技术阵地测试和发射阵地测试期间，有效保障测试的工位数占所需工位数的比率。靶场测试工位通常为公共设施。任务软件正确率，指整个靶场试验任务过程中，软件正常运行的次数占软件总运行次数的比率。成本超预算比率，指靶场试验任务期间实际费用超过预算费用的比率，包括交通费、住宿费、伙食费、运输费等，显然成本超预算比率越低，试验任务效率越高。为符合DEA模型应用条件，本文采用“1-x”方法，即利用1减去原始值得到“1-成本超预算比率”指标。

从待评估的靶场试验任务收集得到的输出指标数据如表6所示，表中所有数据都已脱密处理。

表6 某型号靶场试验任务输出数据

3.3 模型计算分析

运用pyDEA软件进行模型计算，得到靶场试验任务的C2R模型评估结果和BC2模型评估结果分别如表7和表8所示。

表7 某型号靶场试验任务C2R模型评估结果

表8 某型号靶场试验任务BC2模型评估结果

从表7可以看出，各靶场试验任务的技术效率分别为0.8229、1、1、1、0.9395、1、1。相对于T2、T3、T4、T6、T7，试验任务T1、T5技术无效。

对于T1，在维持输出指标数据不变的条件下，技术岗位人员数量可以减少28.3257；服务保障岗位人员数量可以减少2.7662；参试设备数量可以减少29.9275；车辆调配数量可以减少47.1048；测试时间可以减少6.8269；测试等待时间可以减少10.0863；质量复查报告数量可以减少6.2343。输入指标x1～x7可减少比例分别为38.80%、25.15%、17.71%、17.71%、24.38%、26.54%、41.56%，重点应该分析本次试验任务质量复查报告数量、技术岗位人员数量、测试等待时间投入过多的原因，并从这些问题点进行绩效改进。对于T1，在维持输入指标数据不变的条件下，问题处理及时率可以提升0.0148；试验文书正确率可以提升0.0109；技术操作正确率可以提升0.0068；任务软件正确率可以提升0.0166；1-成本超预算比率可以提升0.0016；设备设施正常率和测试工位保障率达到了最优水平，重点的绩效改进方向应该在任务软件正确率、问题处理及时率和试验文书正确率等方面。

对于T5，输入方面重点应该分析技术岗位人员数量、质量复查报告数量、车辆调配数量投入过多的原因。输出方面重点的绩效改进方向应该在设备设施正常率、技术操作正确率、试验文书正确率等方面。

从表8可以看出，各靶场试验任务的纯技术效率分别为0.8293、1、1、1、0.9763、1、1。相对于T2、T3、T4、T6、T7，试验任务T1、T5纯技术无效。

对于T1，在维持输出指标数据不变的条件下，输入指标x1～x7分别可以减少29.5289、3.5661、28.8472、45.4045、6.5847、9.2644、6.1508；可减少比例分别为40.45%、32.42%、17.07%、17.07%、23.52%、24.38%、41.01%。重点应该分析质量复查报告数量、技术岗位人员数量、服务保障岗位人员数量投入过多的原因。对于T1，在维持输入指标数据不变的条件下，输出指标y1～y7分别可以提升0.0228、0.0200、0.0143、0.0058、0.0085、0.0243、0.0098，重点的绩效改进方向应该在任务软件正确率、问题处理及时率、试验文书正确率等方面。

对于T5，输入方面重点应该分析技术岗位人员数量、车辆调配数量、质量复查报告数量投入过多的原因。输出方面重点的绩效改进方向应该在测试工位保障率、技术操作正确率、试验文书正确率等方面。

综合表7和表8的数据，得到绩效评估排序如表9所示。其中规模报酬变动列的IRS表示试验任务处于规模报酬递增阶段；CRS表示试验任务处于规模报酬不变阶段。

表9 某型号靶场试验绩效评估排序

试验任务T2、T3、T4、T6、T7是纯技术有效和规模有效的。对于技术无效的T1，主要是因为纯技术无效造成。对于技术无效的T5，主要是因为规模无效造成。T1和T5都处于规模报酬递增阶段。最终得到绩效评估排序为：T2、T3、T4、T6、T7排在第一梯队，剩下的试验任务排序T5>T1。

4 对策建议

结合该型号7次靶场试验任务的绩效评估结果，从优化输入角度，对于后续靶场试验任务，应适当减少质量复查报告数量和技术岗位人员。为此，可研究将靶场质量复查工作前移，在型号出厂评审前，以总装测试为基础，搜集完整的各系统考核指标和数据，通过计算机仿真技术，模拟靶场全系统测试流程，对关键检验点逐一核查并开展质量复查，从而实现减少报告和技术人员数量的目标。

从优化输出角度，应提高试验文书的正确率。当前试验文书错误多，一个主要原因是由于软件功能、基础设施限制，设计人员在完成产品三维设计后，依旧需要将产品的几何信息和非几何信息反映在二维图样和相关辅助文件中，增加了出错的可能。为此，可借鉴基于模型的工程定义(Model Based Definition，MBD)技术，积极推行无纸化设计和制造联动，消除信息转换和传递错误的风险。

5 结束语

靶场试验任务的绩效评估工作是一项重要工作，对提升试验任务的质量，降低试验任务的成本，保障试验任务的进度都具有指导意义。本文利用DEA模型进行了靶场试验任务的绩效评估。从人力、物力、时间、质量活动等方面设计了靶场试验任务的输入指标，并根据质量管理规则从组织指挥、技术操作、设备设施、任务软件、成本管理等方面设计了靶场试验任务的输出指标。利用DEA系列模型中的C2R模型和BC2模型分析了各靶场试验任务的技术效率、纯技术效率和规模效率，得到了靶场试验任务的绩效评估排序。

结果表明，DEA方法不仅能够客观准确地衡量靶场试验任务的效率，还能帮助找出试验任务效率低下的原因，并从输入松弛和输出松弛的角度分析各试验任务的改进方向，为后续试验任务提供指导。