海洋检验检测机构质量管理体系运行有效性综合评价方法研究
2022-07-10赵东蕾魏志强张保学张岳洪晏天钱飞李庆超
赵东蕾 魏志强 张保学 张岳洪 晏天 钱飞 李庆超
摘要：為保证海洋调查观测监测工作质量，满足合法合规的要求，自然资源管理部门对海洋检验检测机构的质量管理体系运行情况进行定期检查或评估，确保其能支撑各项海洋任务得到可信的数据结果。然而，这些评估多采用定性方式，对这些机构的质量管理体系运行的有效性进行系统性量化评价的科学方法仍需进一步研究。文章以海洋调查观测监测工作的特殊要求为导向，从资源配置、实施过程和结果成效3个方面，识别人员、设备、方法及其使用、质量控制、成果载体和改进6项评价指标，并引入机构资质合法性、数据真实性和质量验收结果3个“一票否决”指标;基于加权累加法建立评价模型，使用层次分析法确定各项指标的权重，设置评价标准和等级界限;构建海洋检验检测机构质量管理体系运行有效性评价综合评价方法，并给出覆盖海洋调查观测监测工作的事前、事中、事后的评价流程建议;以承担海洋生态预警监测任务的检验检测机构为例进行评价示范，体现该评价方法具有实用性。
关键词：海洋检验检测机构;质量管理体系;综合评价方法
中图分类号：P7 文献标志码：A 文章编号：1005-9857（2022）05-0095- 1 1
A Comprehensive Method for Evaluating Running Effectiveness of Quality Management Systems of Ocean Inspection Bodies and Laboratories
ZHAO Donglei，WEI Zhiqiang，ZHANG Baoxue，ZHANG Yuehong，YAN Tian，QIAN Fei，LI Qingchao
（South China Sea Standards and Metrology Centre，SOA，Guangzhou 510300，China）
Abstract：In order to ensure the quality of the results of ocean investigation，observation and monitoring as well as to ensure their compliance of relative laws，branches of Ministry of Natural Resources regularly assessed the running status of the quality management systems of the ocean inspection bodies and laboratories，which was to confirm their ability of obtaining reliable data and results from the marine tasks. However，these assessments were usually based on qualitative methods;a systematic and quantitative method required further research. The paper focused on the particular requirements of marine tasks，recognized 3 relative aspects：deployment of resources，processes of implementation and effectiveness of results，and divided them into 6 indicators：employees，instruments，methods and their application，quality controlling，carriers of outputs and improvement. Meanwhile，3 “one-vote veto”indicators were distinguished：legitimacy of the organization's qualification，authenticity of the data and result，of the quality acceptance test. On the basis of these，an evaluation model depending on weighted accumulation method was established，the weights were acquired through Analytic Hierarchy Process method，the standards and the rule of grading were set，and an index system to evaluate running effectiveness of quality management systems of ocean inspection bodies and laboratories was constructed. At the end of the paper，an advised procedure to conduct the evaluation method was illustrated，and a demonstration on assessing the marine ecology monitoring organizations was given，which showed the practicability of the evaluation method.
Keywords：Ocean inspection bodies and laboratories，Quality management systems，Comprehensive evaluation method
0 引言
近年来，随着我国经济由高速增长转向高质量发展阶段，“质量第一”和“质量强国”被同时写进党的十九大报告中，海洋开发与利用领域对质量的认识也愈发深刻。自然资源部办公厅、国家林业和草原局办公室发布《自然资源调查监测质量管理导则（试行）》（自然资办发〔2021〕49号），要求作业单位建立并运行覆盖本单位调查监测业务的质量管理体系。这其中的一项重要工作，便是海洋检验检测机构质量管理体系的建立和健全。
海洋检验检测机构是自然资源管理部门履行海洋开发利用和保护的监督管理职责、开展海洋调查观测监测工作的主体，其质量管理体系运行情况，直接影响海洋调查观测监测任务的实施效果。我国海洋检验检测机构包括各海洋观测预报防灾减灾、海洋生态预警监测、近海断面调查和远洋调查等任务承担单位和海洋研究所等，其工作内容常涉及海洋站（点）和调查船等远程或移动的、分散的实验场所，以及多个海区的调查观测监测数据整合，对结果数据质量提出严峻挑战。
为了保证海洋调查观测监测任务结果质量，自然资源管理部门对海洋检验检测机构的质量管理体系的运行情况进行定期检查或评估。然而，这些检查往往存在关注点分散、评价标准不统一、评价范围不明确等问题，无法科学高效地得到客观、量化的评价结论。基于上述现状，本研究旨在建立一种以支撑海洋调查观测监测任务能力为导向的、相对客观的、具有可操作性的海洋检验检测机构质量管理体系运行有效性综合评价方法。
1 质量管理体系综合评价的一般方法
1.1 国内外质量管理体系综合评价研究
综合评价方法是海水水质评价、海洋保护区生态风险评价、海岸整治修复效果评价、海岛开发潜力评价、海洋渔业产业竞争力评价、海洋垃圾状况评价、海滩旅游资源质量评价和海洋经济发展质量评价等海洋自然资源监督管理领域评价评估常用的研究方法[1-8]。综合评价方法的建立一般包括选取评价指标、确定各指标权重、确定各指标的评价标准、建立综合评价模型和确定评价结果的等级数量界限等[9]。质量管理体系有效性的综合评价是指用比较系统的、规范的方法对于多个指标、多个机构的质量管理体系有效性同时进行评价。
质量管理体系的综合评价可分为质量管理体系本身的有效性和质量管理体系运行的有效性评价。在该领域国内外已有较多研究：Saraph等[10]识别了8项企业质量管理体系评价的关键要素，在424家企业的参与下，筛选得到具有有效性、可靠性的综合的评价指标体系，Badri等[11]则加大调查样本，证实了该评价模型的有效性和可靠性;Flynn 等[12]在Saraph等[10]研究的基础上，识别了质量管理的7个维度，探讨了工厂和车间操作层面的质量管理体系有效性评价;韩福荣等[3]从无形资产评估的角度运用收益法和成本法对质量管理体系的总体价值进行评价;韩福荣等[14]在前期研究的基础上，通过问卷调查，由各获证企业对其质量管理体系运行进行“优、良、中、低、差”的评价，再分别利用模糊综合法的最大隶属度原则和灰色关联分析法的关联度分析确定评价结果;杨理琴[15]参照波多里奇质量奖和欧洲质量奖评价模型，根据ISO 9001：2000标准的过程模式对质量管理体系有效性进行评价;郭子雪等[16]采用一种基于直觉模糊集的TOPSIS法，通过构建直觉模糊评价矩阵，确定直觉模糊正理想解和负理想解，计算每个参评企业的直觉模糊评价值到直觉模糊理想解的距离，得到质量管理体系运行的评价结果;余崇林[17]采用层次分析法确定指标权重，并采用模糊数学综合评价法，由专家组依据每项指标对机构作出“优秀、良好、一般、较差、很差”的评价，通过最大隶属度原则确定评价结果对政府部门ISO 9000质量管理体系进行有效性评价等。此外，1951年创办的日本戴明奖[17]、1988年创办的美国波多里奇质量奖[18]、1991年创辦的欧洲质量奖[19]，面向制造业和服务业企业给出了最精炼和具代表性的质量管理体系评价指标和评价准则，并至今仍具活力。
1.2 国内外质量管理有效性综合评价方法
通过对比分析国内外质量管理有效性综合评价方法，可为选取海洋检验检测机构质量管理体系运行有效性的评价指标、评价模型以及确定定权方法等提供参考。
（1）美国波多里奇质量奖评价体系[Baldrige National Quality Award（最新）][19]。主要评价指标共7个条目（对应19个款项），包括：领导;战略规划;顾客;信息和分析;人力资源;过程管理;经营结果。评价指标选取方式：分析选取。定权方法：根据认为的影响程度，直接给出各条目和条款的分值。评价模型：通过设置评分细则，由评审委员给出各款项的评分并累加。评价模型选取方式为直接选定（给出了评分细则的编制说明）。
（2）欧洲质量奖评价体系[European Foundation For Quality Management （最新）][20]。主要评价指标共9个要素，包括：领导力;人员素质;政策和策略;合作伙伴与资源;过程;人力资源开发;顾客结果;社会效益;最终核心表现。评价指标选取方式：分析选取。定权方法：根据认为的影响程度，直接给出各要素的评分占比。评价模型：通过设置评分细则，由评审委员给出各要素的评分并累加。评价模型选取方式为直接选定（给出了评分细则的编制说明）。
（3）日本戴明奖评价体系[Deming Prize（最新）][18]。主要评价指标共3个方面（对应5个条款）：经营目标、战略和最高管理的领导力建立;全面质量管理的利用和实践;全面质量管理的结果。评价指标选取方式：分析选取。定权方法：根据认为的影响程度，直接给出各条目和条款的分值。评价模型：通过设置评分细则，由评审委员给出各款项的评分并累加。评价模型选取方式为直接选定（给出了评分细则的编制说明）。
（4）Saraph等[10]提出的质量管理评价方法。主要评价指标共8个关键因素：管理层领导和质量政策;质量管理部门;培训;产品、服务设计;供货方质量管理;流程管理;质量数据和报告;员工关系。评价指标选取方式：过预设评价的8个关键因素，通过信度分析和效度分析的方式，证明选取的8个指标可靠有效。定权方法：无。评价模型：通过问卷调查，由参与者进行1至5的打分，表征“强烈同意”到“强烈不同意”的定性结果。评价模型选取方式为直接选定。
（5）Flynn等[12]提出的质量管理评价方法。主要评价指标包括7个方面（对应11个评价指标）：最高管理支持;质量信息;流程管理;产品设计;劳动力管理;供应商参与;顾客参与。评价指标选取方式：采用文献分析法，归纳并预设14个指标，通过信度分析和效度分析的方式对指标进行筛选，最终得到11个评价指标。定权方法：无。评价模型：通过问卷调查，由参与者进行1至5的打分，表征“强烈同意”到“强烈不同意”的定性结果。评价模型选取方式为直接选定。
（6）韩福荣等[14]提出的质量管理体系有效性评价综合模型。主要评价指标共3个子目标（对应9个属性指标）：选取质量方针和目标;产品质量稳定性;质量改进与创新。评价指标选取方式为直接选定。定权方法：采用基于层次分析法的定权方法。评价模型：模糊综合法和灰色关联分析法。评价模型选取方式为直接选定。
（7）杨理琴[15]提出的软件企业质量管理体系有效性评价方法。主要评价指标共5个大类指标（对应24个属性指标）：最高管理者过程;资源管理;产品实现;测量、分析和改进;运行结果。评价指标选取方式：参照波多里奇质量奖和欧洲质量奖评价模型，根据ISO 9001：2000标准的过程模式和质量管理体系有效性的要求，分析选取。定权方法：采用基于层次分析法的定权方法。评价模型：未知测度评价法。评价模型選取方式：通过详列方法的特点和优点，分析选取。
（8）郭子雪等[16]提出的质量管理体系有效性评价综合模型。主要评价指标共5个评价准则（对应17个因素）：质量方针目标;产品质量稳定性;质量改进与创新;资源管理;财务运行状况。评价指标选取方式：直接选定。定权方法：采用基于层次分析法的定权方法。评价模型：采用基于直觉模糊集的TOPSIS法。评价模型选取方式为直接选定。
（9）余崇林[17]提出的政府部门ISO9000质量管理体系有效性评价方法。主要评价指标共4个一级指标包括（对应10个二级指标和23个三级指标）：总体管理;服务实现管理;持续改进;满意度评价。评价指标选取方式：通过归纳政府部门1SO9000质量管理体系有效性的表征，分析选取。定权方法：采用基于层次分析法的定权方法。评价模型：模糊数学综合评价法。评价模型选取方式：通过阐述方法的特点和优点，分析选取。
2 海洋检验检测机构质量管理体系运行有效性评价要求
为明确海洋检验检测机构质量管理体系运行有效性综合评价方法的各个要素，包括筛选和确定评价指标，确定各评价指标权重，建立单个指标的评价标准，建立综合评价模型并划分评价结果的等级数量界限，必须先明确海洋检验检测机构质量管理体系运行有效性的评价要求，以该要求作为各个要素的选取或确定依据。本研究归纳海洋检验检测机构质量管理体系运行有效性评价的要求如下。
2.1 有效性
应可以有效地表征机构质量管理体系运行得以支撑海洋观测、海洋生态预警监测、海洋防灾减灾和近海断面调查等各项海洋调查观测监测任务的程度。
2.2 客观性
应强调客观依据，相对量化地得出评价结论，使评价结果较少地受到不同评价主体的主观判断的影响。
2.3 全面性
应识别并考虑机构质量管理体系运行影响任务开展的所有关键环节。其中，海洋检验检测机构作为对社会出具公正数据的检验检测机构，须通过检验检测机构资质认定（CMA），须根据RB/T 214—2017《检验检测机构资质认定能力评价检验检测机构通用要求》建立质量管理体系，RB/T 214—2017对实验室质量管理体系的要求则参照ISO/IEC 17025：2017《检测和校准实验室能力的通用要求》中对检测实验室的要求给出，因此，建立的评价方法应对检测实验室质量管理体系的人、机、料、法、环、测的所有环节进行考虑。而ISO/IEC 17025：2017的质量管理体系要求又根据ISO 9001：2015《质量管理体系要求》给出，因此，建立的评价方法也应考虑ISO 9001：2015中给出的质量管理的7项原则，包括以顾客为关注焦点、领导作用、全员积极参与、过程方法、循证决策、改进、关系管理。除此之外，还应将海洋调查观测监测工作的特殊要求进行全面的分析和考虑。
2.4 系统性
应具有严谨有序的规则系统，指标层与指标层之间、同层级指标之间应具有清晰的逻辑关系，系统地反映机构质量管理体系运行的整体情况。
2.5 可行性
应切实可行，具有一定的可操作性，考虑时间、空间的现实限制，具有实际运用的基础。
2.6 可比性
应既可用于不同机构间的横向比较，又可用于同一个机构不同时间的纵向比较，应可服务于评价结果的动态可视。
2.7 高效性
应兼顾效率，以海洋调查监测观测任务的关键点为导向，对机构接受资质认定复查评审或监督检查时已反复关注的一些检查内容作出适当精简;通过建立的评价方法，评价主体可直观、快速、便捷地得出评价结论。
2.8 实用性
应功能多样、应用广泛。一方面，可用于把握海洋任务事前、事中、事后的质量表现，可从评价结论直观地看出各机构质量管理体系运行在不同评价方面、不同环节和不同时间阶段的表现情况，以供主管部门给出决策意见;另一方面，还应为机构自查形成诊断系统，通过每次评价给出不同指标所代表的方面的表现情况和横纵向对比，从而提出改进的可能性等。
3 海洋检验检测机构质量管理体系运行有效性综合评价方法设计
3.1 选定评价指标
不同的国内外质量管理评价指标方法在选取评价指标时，大致可分为3种思路。一是根据评价的具体要求等分析选取指标;二是根据评价目的相对直接地选定;三是通过文献分析等方法先尽量全面地选取能表征质量管理表现的所有要素，再通过信度分析和效度分析等对特性不好的指标进行剔除。海洋检验检测机构质量管理体系有效性的综合评价方法采取以下步骤选定评价指标。
3.1.1 第一步，明确指标选取原则
原则1：坚持以海洋调查观测监测工作的特殊要求为导向，对国家市场监管总局的资质认定复查换证评审或监督检查已反复关注的指标进行精简。该原则体现评价要求中的有效性、高效性、实用性。
原则2：应具有一定代表性，覆盖“人、机、料、法、环、测”等检验检测机构运行须关注的重点要素。该原则体现评价要求中的有效性、全面性。
原则3：应体现全面质量管理，体现质量管理的七大原则。该原则体现评价要求中的有效性、全面性。
原则4：将触碰资质认定罚责条款、涉及机构执行任务合法性和任务质量验收结果等直接反映质量管理体系运行可否满足海洋任务要求的指标，设置为一旦不满足便直接輸出“0分”结果，以便第一时间引起注意。该原则体现评价要求中的有效性、全面性、实用性。
原则5：应选取机构在实际中可被考量、可改变的要素，而不是机构固有的、短期内无法改变的要素。该原则体现评价要求中的可行性。
原则6：应选取近年来自然资源管理部门开展海洋检验检测机构有关监督检查时给予特别关注的，并已具备一定检查基础和经验的要素。该原则体现评价要求中的有效性、可行性。
原则7：应选取类似“甲方”为确保“乙方”具备履行所约定的服务内容的能力所开展的第二方审核时所应考量的要素。该原则体现评价方法应具备的可行性，实用性。
3.1.2 第二步，指标分析和筛选
参考国内外质量管理评价体系选取的评价指标，根据海洋检验检测机构质量管理体系有效性的综合评价指标的选取原则进行分析和筛选。国内外质量管理评价指标体系选取频率最高的7类指标如下。
（1）最高管理层相关指标：由于该类指标为机构固有的、短期内无法改变的要素，不满足指标的选取原则5，该类指标可排除。
（2）人员相关指标：满足所有指标选取原则，该类指标应纳入考虑。
（3）改进相关指标：满足所有指标选取原则，该类指标应纳入考虑。
（4）质量方针（战略）和目标相关指标：由于考察的是机构对自身的要求，而不是机构支撑海洋调查观测监测任务的能力，不满足指标的选取原则1，该类指标可排除。
（5）产品或服务相关指标：满足所有指标选取原则，该类指标应纳入考虑。
（6）顾客参与、反馈或满意度相关指标：由于评价主体本身即为“顾客”（甲方），不满足指标的选取原则7，该类指标可排除。
（7）流程管理相关指标（出现4次）：满足所有指标选取原则，该类指标应纳入考虑。
3.1.3 第三步，选定评价指标
根据指标的选取原则，选定的评价指标分为一般指标和“一票否决”指标两种，见表1。
3.2 确定各指标权重
通过对比分析国内外质量管理有效性综合评价方法，不同的国内外质量管理评价方法对各评价指标进行定权时，最常采用的是基于层次分析法的定权方法。层次分析法是Saaty[21]1971—1975年为美国国防部开展应急计划问题研究时所提出的决策方法，具有较简便地将定性问题定量化的优点，其定权过程是通过两两比较成对指标的重要性，建立判断矩阵，再通过解矩阵的特征值得到每个指标的权重。
本研究也将采用层次分析法，确定海洋检验检测机构质量管理体系有效性的一般指标的权重（“一票否决”指标无须确定权重）。层次分析法定权的一般步骤如下。
第一步，构造n×n的判断矩阵。
采用九级评分法，将一个元素相较于另一个元素的重要程度，以1～9的标度进行记录，形成判断矩阵。
第二步，求解判断矩阵。
（1）计算判断矩阵中每行元素的几何平均数：
式中：a为判断矩阵中每行所有元素。
（2）对所得向量作归一化处理：
式中：CI为一致性指标。
得到权重向量：ω=（ω，ω，…，ω）。
（3）求最大特征根λ：
式中：A为判断矩阵（a）。
第三步，进行一致性检验。
式中：CR为一致性比率，当CR<0.10时，认为判断矩阵具有一致性;RI为平均随机一致性指标，通过查阅Saatty基于5万次随机试验得到的不同阶次矩阵对应的平均随机一致性指标值，可知当矩阵阶数为2时RI=0，阶数为3时RI=0.52[22]。
根据以上步骤，得出代表资源配置、实施过程和任务成效3个评价方面的3个元素的权重如表2所示。
同理可得，代表3个评价方面对应的6个评价指标的权重ω分别为：ω=0.25，ω=0.75，ω=0.67，ω=0.33，ω=0.33，ω=0.67。
由W=ω·ω，可得6个指标的组合权重，见表3。
3.3 确定各评价指标的评价标准
根据海洋质量管理体系运行有效性评价的实际目的，确定单个指标评价等级和界限，提出评价标准的设置原则如下。
原则1：应界限分明，描述细致、明确、全面，避免不同人对同一机构、同一时期的表现给出不同的评分。该原则体现评价要求中的有效性、系统性、客观性、全面性。
原则2：应更注重是否做出了某些特定的质量管理动作，而不是就质量管理体系的机制设置（如机构质量管理体系文件的要求）进行评判。该原则体现评价要求中的有效性、可行性、高效性。
原则3：应证据导向，遵循质量管理的循证决策原则。该原则体现评价要求中的客观性。
原则4：应方便、可测，便于通过简单的证据判断是否满足要求。该原则体现评价要求中的可行性，高效性。
原则5：应支持基于目标的诊断分析，构筑一个诊断系统，应可就每次评价结果给出对应6个指标的实现情况和改进的可能性。该原则体现评价要求中的实用性。
根据上述原则，设置单个指标的评价标准如以下几个方面。
3.3.1 一般评价指标的评价标准
（1）资源配置。评价指标包括人员和设备。
人员满足机构开展该海洋任务的要求，如（包括但不限于）参与任务人员全员具备相应资质或接受相应培训，机构对其资质或能力进行了确认等，评价细则为好（3分）。人员基本满足机构开展该海洋任务的要求，但仍有缺陷，如（包括但不限于）参与任务人员少数不具备相应资质或接受的培训不充分，或机构对人员的资质或能力的确认不完备，但认为不会对任务实施造成实质性影响等，评价细则为中（2分）。人员无法满足机构开展该海洋任务的要求，如（包括但不限于）参与任务人员普遍不具备相应资质或未接受相应培训，或机构未对人员的资质或能力进行确认，认为会对任务实施造成实质性影响等，评价细则为差（1分）。主要佐证材料包括参与任务人员资质或培训记录、能力确认记录等。
设备满足机构开展该海洋任务的要求，如（包括但不限于）任务所用设备状态正常，具备量值溯源方法的测量设备皆经有效溯源，不具备量值溯源方法的设备经比对并由经机构确认等，通过期间核查和功能检查等方式确保设备的稳定可靠等，评价细则为好（3分）。设备基本满足机构开展该海洋任务的要求，但仍有缺陷，如（包括但不限于）任务所用设备状态正常，少数具备量值溯源方法的测量设备未采取最合理的溯源方式（如具备检定规程但仅进行校准等），但认为不会对任务实施造成实质影响等，或不具备量值溯源方法的设备的比对方法未经机构确认等，或未充分通过期间核查和功能检查等方式确保设备的稳定可靠等，评价细则为中（2 分）。设备无法满足机构开展该海洋任务的要求，如（包括但不限于）任务所用设备状态无法支撑任务实施，测量设备未经有效量值溯源或比对，认为会对任务实施造成实质影响等，或未实施任何形式的期间核查和功能检查等方式确保设备能持续支撑任务实施等，评价细则为差（1分）。主要佐证材料包括任务用设备（包括标准物质）量值溯源报告、比对报告、期间核查或功能检查记录等。
（2）实施过程。评价指标包括方法及其使用和质量控制。
方法及其使用满足机构开展该海洋任务的要求，如（包括但不限于）开展任务依据方法皆现行有效，经查新发现的新方法或自制方法皆经验证或确认可行，相应办理方法变更或扩项，人员严格依据方法进行抽样、样品储存和运输、实验操作、数据处理、环境控制、安全防护等，或对偏离已作出声明，评价细则为好（3分）。方法及其使用基本满足机构开展该海洋任务的要求，但仍有缺陷，如（包括但不限于）开展任务依据方法偶见失效，或经查新发现的新方法或自制方法偶见未经严格验证或确认可行的情况，未及时办理方法变更或扩项，或人员未严格依据方法进行抽样、样品储存和运输、实验操作、数据处理、环境控制、安全防护等且未作声明，但认为不会对任务实施造成实质影响等，评价细则为中（2分）。方法及其使用无法满足机构开展该海洋任务的要求，如（包括但不限于）开展任务依据方法未经查新，普遍存在失效情况，或新方法或自制方法普遍未经验证或确认便使用，未办理方法变更或扩项等，或人员未依据方法进行抽样、样品储存和运输、实验操作、数据处理、环境控制、安全防护等且未作声明，认为会对任务实施造成实质影响等，评价细则为差（1分）。主要佐证材料包括任务依据方法版本受控状态、新方法验证自制方法确认情况等。
质量控制满足机构开展该海洋任务的要求，如（包括但不限于）制定并实施了有效的内部质控措施，参加了要求的外部质控或能力验证，结果为满意等，评价细则为好（3分）。质控基本满足机构开展该海洋任务的要求，但仍有缺陷，如（包括但不限于）制定并实施了内部质控措施，未全然有效地支持实现任务的质量要求，但认为不会对任务实施造成实质性影响等，或参加了要求的外部质控或能力验证，结果不满意、整改后达到要求等，评价细则为中（2分）。质控无法满足机构开展该海洋任务的要求，如（包括但不限于）未制定或实施质控措施，或制定或实施的质控措施完全無法支持实现任务的质量要求，未参加要求的外部质控或能力验证，或结果不满意、整改后仍无法达到要求等，评价细则为差（1分）。主要佐证材料包括内部质控记录、数据校验和审核记录、参加外部质控或能力验证记录等。
（3）任务成效。评价指标包括成果载体和改进。
成果载体满足机构提交海洋任务成果的要求，如（包括但不限于）原始记录、工作日志、各类标志、报告等格式版式受控并满足成果提交要求，数据资料整编和归档形式、传输形式满足成果提交要求等，评价细则为好（3分）。成果载体基本满足机构提交海洋任务成果的要求，但仍有缺陷，如（包括但不限于）原始记录、工作日志、各类标志、报告等格式版式未严格根据成果提交的要求受控，数据资料整编和归档形式、传输形式不完全满足成果提交要求，但认为不会对任务造成实质性影响等，评价细则为中（2分）。成果载体无法满足机构提交海洋任务成果的要求，如（包括但不限于）原始记录、工作日志、各类标志、報告等格式版式普遍失控，数据资料整编和归档形式、传输形式普遍不满足成果提交要求等，评价细则为差（1分）。主要佐证材料包括任务原始记录或报告格式板式等。
采取的改进措施满足机构更好完成该海洋任务的要求，如（包括但不限于）有效完成了外部检查或外部质控发现的问题的整改，通过内审或管理评审等形式，对发现的问题进行输入，对机构能更好承担任务应采取的措施作出输出等，评价细则为好（3分）。采取的改进措施基本满足机构更好完成该海洋任务的要求，但仍有缺陷，如（包括但不限于）对外部检查或外部质控发现的问题的整改非完全有效，但认为未对任务造成实质性影响，或通过内审或管理评审等形式，对发现的问题的输入不充分，或对机构能更好承担任务应采取的措施的输出不全然有效，但认为不会对任务造成实质性影响等，评价细则为中（2分）。未采取改进措施，或采取的改进措施无法满足机构更好完成该海洋任务的要求，如（包括但不限于）对外部检查或外部质控发现的问题未有效实施整改，或未通过内审或管理评审等形式对发现的问题进行输入，或未对机构能更好承担任务应采取的措施作出输出等，评价细则为差（1分）。主要佐证材料包括：内审和管理评审计划;制定和实施改进措施的记录;外部检查或外部质控发现问题整改记录等。
3.3.2 “一票否决”评价指标的评价标准
“一票否决”指标为如下几方面。
（1）机构资质合法性。评价细则Y=1，机构处于资质认定有效期内，资质范围达到任务需要。评价细则Y=0，机构未通过资质认定，或资质已过期，或资质范围无法达到任务需要。评价时间：事前、事中。
（2）数据真实性。评价细则Y=1，机构不存在未经检验检测或者以篡改数据、结果等方式，出具虚假检验检测数据、结果等情况。评价细则Y=0，机构涉嫌未经检验检测或者以篡改数据、结果等方式，出具虚假检验检测数据、结果等，如检查能够自动保存电子记录或数据的仪器设备未发现任务数据，或比较纸质数据与电子存储记录发现伪造痕迹，或检查电子存储、纸质数据和报告日期发现倒挂现象等。评价时间：事中、事后。
（3）质量验收结果。评价细则Y=1，在质量验收阶段通过外控样等方式对机构出具的结果进行检查或抽查，结果满足要求。评价细则Y=0，在质量验收阶段通过外控样等方式对机构出具的结果进行检查或抽查，结果不满足要求。评价时间：事后。
3.4 确定评价模型
不同的国内外质量管理评价方法通常采用直接选定的方式选取评价模型。以下对一些主流评价模型进行简单分析，对其是否可应用于海洋检验检测机构质量管理体系运行有效性综合评价方法进行考量。
直觉模糊法：该方法通过根据模糊数学的隶属度理论把定性评价转化为定量评价，然而需要大量专家的参与，评价周期较长。基于评价要求中的可行性、高效性原则予以排除。
排序比较法（TOPSIS）：该方法可通过求得某一评价结果与最优评价结果的接近程度，然而评价结果很大程度上取决于每次参与评价机构的总体表现，且无法得到综合得分。基于评价要求中的可比性、实用性原则予以排除。
灰色关联分析法：通过找出评价体系中各级指标之间的数值关系作出评价。然而，需要对各项指标的最优值进行现行确定，主观性过强，同时部分指标最优值难以确定。基于评价要求中的客观性、可行性原则予以排除。
加权累加法：对各评价指标按其相对重要程度分配权重，再根据累加法累计总分，排出优劣顺序。当评价标准的界限足够分明、评价结果由小组讨论一致得出时，符合评价要求中的客观性、可行性、可比性、高效性、实用性。
其他定性描述的评价：基于评价要求中的客观性、可比性原则，予以排除。
根据本评价方法的特性要求，本研究拟根据加权累加法建立评价模型。加权累加法具有计算简单易行、过程直观，评价重点突出的特点，许多决策或评估方法，如著名的Rosenberg-Fishbein态度量测模型[23]，都以该方法为基础。加权累加法的基础表达式如下：
式中：R为被评价机构所得总分;S为被评价机构在第i个一般指标下的得分;W为第i个指标的权重;m为一般指标的总数。
为了引入“一票否决”指标，使当机构无法满足资质合法性、数据真实性、质量验收结果这些直接表征质量管理体系运行是否有效支撑海洋任务要求的指标时，直接输出“0分”结果，以第一时间引起上级部门注意，在式（6）中添加连乘系数Y，如下：
式中：Y为被评价机构在第i个“一票否决”指标下的得分;n为“一票否决”指标的总数。
由此，便可通过该模型，得出各机构的评价得分，并依据得分对各机构质量管理体系的有效性进行等级的确定。
3.5 确定评价结果的等级数量界限
划分海洋检验检测机构质量管理体系运行有效性的综合评价结果等级如表4所示。其中，在“一票否决”指标不出现得分为0分的情况下：当一般指标最多出现2个得分低至1分，或最多出现4个得分低至2分时，被评价海洋检验检测机构的评价等级可达到“好”;在无法达到“好”的情况下，当一般指标最多出现4个得分低至1分，或全部6个得分低至2分时，被评价海洋检验检测机构的评价等级可达到“中”;在无法达到“中”的情况下，被评价海洋检验检测机构的评价等级为“差”，此时至少有5个一般指标得分低至1分。而当任意一个“一票否决”指标得分出现0分时，被评价海洋检验检测机构的评价等级为“停”。
4 評价示例
为了体现评价方法的实用性，根据海洋调查观测监测任务的一般流程，本研究给出一种使用建立综合评价方法进行评价的流程范例（图1）。根据该范例，可在海洋调查观测监测任务的事前、事中、事后3个阶段对海洋检验检测机构进行3次评价。除此之外，该评价方法为同一机构的经年质量提升情况、某一评价指标下不同机构的整体表现情况、机构自我诊断等各种评价情景提供参考。
5 结论与展望
在全面加强自然资源调查观测监测质量管理的大背景下，海洋检验检测的数据质量引起大量关注，相关管理制度不断完善，但对海洋检验检测机构的质量管理体系有效支撑海洋调查观测监测任务的程度的评价方法仍存在大量研究空间。本研究以国内外质量管理体系综合评价方法的评价指标、定权方法和评价模型为参考，以海洋检验检测质量管理体系运行有效性的评价要求为评价指标、
评价模型的选取依据和评价标准的确定依据，创新性地引入了“一票否决”指标，通过层次分析法确定各指标权重，初步构建了海洋检验检测机构质量管理体系的综合评价方法，并提供了建议的评价流程。该方法一方面服务于海洋调查观测监测任务的全过程质量控制，可供评价者直观、客观地得出各海洋检验检测机构的质量管理体系运行在不同评价方面和不同时间阶段的表现情况，并分析对比形成决策意见;另一方面注重可操作性和效率，以海洋调查观测监测任务的特殊要求为导向，对机构接受资质认定能力评审的过程中已反复关注的一些检查内容作出适当精简，着眼于海洋调查观测监测任务的策划、实施和验收过程中实际存在的各类风险点。
综合评价方法在建立后，应根据具体实践进行考察、修改及完善[9]。鉴于在海洋检验检测机构质量管理体系评价方面的历史记录积累较少，评价对象较为分散，本研究提出的综合评价方法可在更广泛的应用后，更为充分地收集改进的数据，以进一步进行细化或优化。
参考文献
[1]李雪，刘长发，朱学慧，等.基于BP人工神经网络的海水水质综合评价[J].海洋通报，2010（2）：225-230.
[2]廖国祥，刘梦琪，刘长安，等.海洋保护区生态风险综合评价方法初步研究：以滨州贝壳堤岛与湿地国家级自然保护区为例[J].海洋开发与管理，2015，32（10）：59-65.
[3]张明慧，孙昭晨，梁书秀，等.砂质海岸整治修复效果模糊综合评价研究：以营口月亮湾为例[J].海洋通报，2019（6）：698-706.
[4]柯丽娜，王权明，李永化，等.基于可变模糊集理论的海岛可持续发展评价模型：以辽宁省长海县为例[J].自然资源学报，2013，28（5）：12.
[5]吴晓祥，张效莉.我国海洋渔业产业国际竞争力评价研究：基于AHP—模糊综合评价方法[J].海洋开发与管理，2019，36（1）：98-106.
[6]高磊，张蒙蒙，曹蜻，等.基于PSR框架的中国海洋垃圾状况综合评价方法研究[J].海洋开发与管理，2016，33（9）：70-74.
[7]朱士兵，李志强.乡村海滩旅游资源质量评价的建立：以雷州半岛为例[J].海洋通报，2019（5）：519-526.
[8]狄乾斌，高群.辽宁省海洋经济发展质量综合评价研究[J].海洋开发与管理，2015，32（11）：74-78.
[9]孙振球，徐勇勇.医学统计学（第4版）[M].北京：人民卫生出版社，2019.
[10] SARAPH J V，BENSON P G，SCHROEDER R G.An instrument for measuring the critical factors of quality management [J].Decision sciences，1989，20（4）：810-829.
[11] Badri M A，DAVIS D，DAVIS D，A study of measuring the critical factors of quality management [J]. International Journal of Quality & Reliability Management，1995，12（2）：36-53.
[12] FLYNN B B，SCHROEDER R G，SAKAKIBARA S A. framework for quality management research and an associated measurement instrument [J].Journal of Operations management，1994，11（4）：339-366.
[13]韩福荣，蔡溪平，钱雷.质量体系有效性评价理论和方法研究[J].北京工业大学学报，1998，24（S1）：21-26.
[14]韩福荣，郝进.质量管理体系有效性综合评价模型[J].北京工业大学学报，2000，26（3）：120-124.
[15]楊理琴.软件企业质量管理体系有效性评价与对策研究[J].成都：成都理工大学，2008.
[16]郭子雪，张强.质量管理体系运行有效性综合评价[J].北京理工大学学报，2009，29（6）：560-564.
[17]余崇林.政府部门ISO9000质量管理体系有效性评价研究[J].济南：山东大学，2012.
[18] Deming Prize Committee. Introduce of the Deming Prize，2019.[EB/OL].[2020-04-20].http：//www.juse.or.jp/up- load/files/DP_Introduction_of_the_Deming_Prize_ v201901.pdf
[19]Baldrige Performance Excellence Program. The Metrology of OrganizationalPerformance：How Baldrige Standards Have Become the Common Language for Organizational Excellence Around the World [EB/OL].（2015-07-06）[2020-11- 01].https：//www.nist.gov/system/files/documents/baldrige/The-Metrology-of-Organizational-Performance-World-Stand- ard-Day-Paper-July-6-2015.pdf
[20]EFQM.The EFQM Model [EB/OL].（2019-11-13）[2020-04-20].https：//www.efqm.org/index.php/efqm-model/download-your-free-short-copy-of-the-efqm-model/
[21] SAATY T L.The Analytic Hierarchy Process for Decision in a Complex World [J]. Energy Policy，1980，32（10）：1151-1158.
[22] SAATY T L. Relative measurement and its generalization in decision making why pairwise comparisons are centralin mathematics for the measurement of intangible factors the analytic hierarchy/network process[J].Revista De La Real Academia De Ciencias Exactas Fisicas Y Naturales. Serie A. Matematicas，2008，102（2）：251-318.
[23] MAZIS M B.AHTOLA O T，EUGENE K R.A comparison of fourmulti-attribute models in the prediction of consumer attitudes[J].Journal of Consumer Research，1975，2（1）：38-52.
