哈尔滨医科大学卫生统计学教研室(150081)

包 含 苏少飞 刘美娜△

国家自然科学基金(81273183)

△通信作者：刘美娜，liumeina369@163.com

基于多维指标的治疗质量综合评价模型构建研究*

哈尔滨医科大学卫生统计学教研室(150081)

包 含 苏少飞 刘美娜△

目的基于多维指标构建治疗质量综合评价模型，探讨模型估计治疗质量的有效性；综合评价医院、医生乳腺癌的治疗质量。方法构建两参数logistic潜变量模型作为测量模型，将测量模型中的潜变量作为因变量整合进多水平结构模型，设定虚拟水平代表多维潜变量，构建多水平结构模型。应用MCMC估计模型参数，拟合三水平二维模型分析实例数据。结果模拟研究结果提示，评价指标数及医生数均为20，模型估计治疗质量的有效性最好；应用该模型分析可以获得乳腺癌诊断、手术操作质量较优的医生及医院。结论多水平多维潜变量模型可以分析具有层次结构和多维性的治疗质量评价数据，能够做到全面、合理的进行疾病治疗质量综合评价；治疗质量综合评价使医院的等级划分、医生的绩效考核与治疗质量的衔接成为可能。

治疗质量 综合评价 多水平多维 模拟研究

全面评价疾病治疗质量，必须建立涵盖疾病治疗过程各个维度的评价指标，并将多维评价指标进行有机整合获得综合评价结果。国际应用较为广泛的治疗质量综合评价方法计算简便、易理解，但在确定指标权重时缺乏客观性，忽略了评价指标间的相关性[1]。潜变量模型近年来被应用于疾病治疗质量评价领域，该方法假定治疗质量为不可观测的潜变量，决定着评价指标的使用概率，关注了评价指标间的相关性，基于此模型可获得评价指标的客观权重[2-3]。潜变量模型评价疾病治疗质量仍需要解决的问题是：建立的评价指标涵盖疾病治疗过程的不同维度，代表不同维度的潜变量具有不同的实际意义，而潜变量模型限于单维假设；潜变量模型只能评价单一层次的数据，治疗质量评价数据存在多层次结构，评价治疗质量时亦应同时调整医院、医生的协变量对治疗质量的影响。本研究拟基于多维指标构建治疗质量综合评价模型，并进行模拟实验探讨模型估计治疗质量的有效性，为疾病治疗质量综合评价提供客观、有效的方法。

模型构建

1.构建多水平测量模型

假定K为潜变量个数，反映治疗质量的不同维度，Mk为第k个潜变量支配的评价指标数，同一维度内评价指标的使用概率由相应维度的潜变量决定；pkmjh为第h家医院第j个医生第k个维度第m个评价指标的使用概率；λkm是指标区分度参数，表示指标区分治疗质量的能力，bkm是指标难度参数，表示实施该指标的难易程度；θkjh为第h家医院第j个医生第k个维度的潜变量(治疗质量)；将评价指标的使用概率pkmjh与潜变量θkjh以Logit函数连接，构建测量模型见公式(1)：

logit(pkmjh)=λkm(θkjh-bkm),k=1,2,…,K

(1)

2.构建多水平结构模型

将测量模型中的潜变量作为因变量整合进多水平模型，研究不同水平潜变量的变异及协变量对潜变量影响。构建一个虚拟水平，用于表示多维潜变量，但不用于解释评价指标使用概率的变异；使虚拟水平嵌套于医生，令虚拟变量D1,D2,…,DK表示K个潜变量。水平2模型见公式(2)用于定义水平2单位(医生)潜变量的变异，θjh表示第h家医院第j个医生的治疗质量(潜变量)；πk0h表示第h家医院所有医生第k维潜变量的平均值；ukjh是水平2残差。

(2)

水平3模型公式(3)定义水平3单位(医院)潜变量间的变异，π0h为第h家医院的治疗质量，γk00表示所有医院第k维潜变量的平均值，uk0h是水平3残差。

(3)

通过引入水平2、水平3单位的协变量wqjh、zsh，进一步解释水平2、水平3单位潜变量的变异。假定协变量对潜变量的作用均为固定效应，设定同一水平K个残差服从均值向量为0，协方差矩阵为Ω的K元正态分布，见公式(4)。

(4)

3.构建多水平多维潜变量模型

多水平多维潜变量模型见公式(5)，模型包括三个水平，指标为水平1，医生为水平2，医院为水平3，其中xkmjh为代表指标的哑变量，其余参数的解释同前所述。

(5)

模拟研究

1.模拟实验条件设置

模拟实验共设置5个因素，包括评价指标数，医生数，医院数，潜变量间的相关系数和水平3组内相关系数(intra-class correlation coefficient，ICC)。在治疗质量评价背景下，基于医疗领域实际情况设定每一因素的水平：评价指标数设定为6，10，20；医生数设定为5，10，20；医院数设定为10，30，50，80，100；潜变量间的相关系数设定为0.4，0.7；水平3组内相关系数设定为0.05，0.15。

2.模拟数据产生

假定医生和医院的治疗质量均由两个维度构成，构建三水平二维潜变量模型。分别从N(0,1)、U(0.4,1.3)中产生指标的难度参数和区分度参数值；模型中的潜变量表示治疗质量,假定其为连续型变量,利用计算机分别从二元正态分布中模拟产生医院、医生的潜变量真值,即医院、医生的治疗质量值；评价指标的分母均从U(30,100)中产生并取整。基于模拟产生的指标参数及医生、医院潜变量真值，根据三水平二维潜变量模型，获得每家医院每位医生每个评价指标的分子数；评价指标的分子数和分母数构成项目反应矩阵为拟合模型的数据形式，见表1。

表1 治疗质量评价数据格式

*：W、Z分别为医院、医生的协变量

3.参数估计及模拟实验评价标准

4.模拟实验结果

在所有模拟条件组合下，模型1估计的医生维度1、维度2治疗质量的平均RMSE分别为0.364、0.359。图1显示无论ICC为何水平，随评价指标数、医生数的增加，医生治疗质量估计的RMSE均逐渐减小，P<0.000 1；评价指标数由6增至20，RMSE从0.413减小至0.262；当医生数为20，RMSE最小。此外，不同ICC水平间医生治疗质量估计的RMSE的差别有统计学意义，P<0.000 1；ICC越大，医生治疗质量估计RMSE越大。医院数、不同维度潜变量间的相关系数对医生治疗质量估计RMSE的影响均无统计学意义。

*：(A,D) 6个指标;(B,E)10个指标;(C,F) 20个指标;(A-C):ICC=0.05;(D-F):ICC=0.15图1 不同实验条件下医生治疗质量估计RMSE

不同实验条件下，医生治疗质量估计与真值秩相关系数的变化趋势见图2。当ICC为0.05，指标数、医生数分别为20，医生治疗质量估计值与真值的秩相关系数最大为0.982(图2-C)。不论ICC为何水平，评价指标数、医生数越多，医生治疗质量估计值与真值的秩相关系数越大，。当其他条件不变，ICC越小，医生治疗质量估计值与真值的秩相关系数越大。当医院数增至30家时，随医院数的继续增加，不同医院数的组间两两比较显示医生治疗质量估计值与真值秩相关系数的改变没有统计学意义。

*：(A,D) 6个指标;(B,E)10个指标;(C,F) 20个指标;(A-C):ICC=0.05;(D-F):ICC=0.15图2 不同实验条件下医生治疗质量估计与真值的秩相关系数

模拟实验结果表明：在所有模拟条件组合下，医院维度1、维度2治疗质量估计RMSE的均值分别为0.236、0.233。ICC、评价指标数和医生数对医院治疗质量估计RMSE的影响均有统计学意义，ICC为0.05时，医院RMSE由ICC为0.15时的0.276降至0.195；增加评价指标数、医生数，可以降低医院治疗质量估计的RMSE。无论增加医院数或改变潜变量间的相关强度，医院治疗质量估计RMSE的改变均无统计学意义。

ICC越大，医院治疗质量估计值与真值的秩相关系数越大，P<0.0001；当医生数为5、10、20时，医院治疗质量估计值与真值的秩相关系数的均值分别为0.550、0.677、0.762，组间两两比较有统计学意义。医院治疗质量估计的秩相关系数在不同评价指标数间、不同医院数间、及不同潜变量间的相关强度下的差别均无统计学意义。

实例应用

1.数据来源

选取10家三级甲等医院，于2011年6月—2013年6月期间首次入院接受治疗且年龄为18～69岁的原发性浸润性乳腺癌患者3 553例。收集患者基本情况，临床特征及乳腺癌诊断、治疗情况以及用于识别每一评价指标适合使用的目标人群的数据信息。每一评价指标分别由特定的分子、分母定义[5]，见表2。

表2 乳腺癌治疗质量评价指标详细定义

2.乳腺癌治疗质量综合评价

基于10家医院、35位医生、6个评价指标的分子、分母数据拟合三水平二维潜变量模型，指标为水平1，医生为水平2，医院为水平3；维度1潜变量为诊断质量，维度2潜变量为手术操作质量。应用贝叶斯MCMC方法估计模型参数，获得每家医院、每位医生2个维度的治疗质量(潜变量)估计的后验样本。以后验样本的均值作为诊断质量、手术操作质量的点估计，后验样本均值越大，表示该医院或医生诊断质量、手术操作质量越好。根据置信区间是否包含所有医生诊断质量或手术操作质量的均值可将医生的诊断质量、手术操作质量划分为三个等级：置信区间下限高于所有医生治疗质量的均值为较优治疗质量组；置信区间包含所有医生治疗质量的均值为平均治疗质量组；置信区间上限低于所有医生治疗质量均值为低治疗质量组。

医生诊断质量估计的后验样本均值及95%置信区间见图3。所有医生诊断质量的均值为0.673，编号为25，12，15，7，24，23，27的医生诊断质量较优。

医生手术操作质量估计的后验样本均值及95%置信区间见图4，编号为28，25，24，27，15，23，12，29，7，22，26，10的医生手术操作质量较优。

图3 医生诊断质量排序

医院乳腺癌诊断质量估计的后验样本均值及95%置信区间见表3。诊断治疗质量最好的三家医院为第2家、第3家及第6家医院。

医院乳腺癌手术操作质量估计的后验样本均值及95%置信区间见表4，手术操作质量最好的三家医院分别为第6、第7家医院。

图4 医生手术操作质量排序

讨 论

本研究基于构建的多水平多维潜变量模型能够处理治疗质量评价数据存在的层次结构和治疗质量的多维性，既能估计不同水平单位多个维度的治疗质量，又能研究协变量对治疗质量的影响。模拟研究结果提示：同时以治疗质量估计值与真值的秩相关系数及参数估计的RMSE作为评价标准，评价指标数及医生数均为20时，认为模型估计医生、医院治疗质量的准确性较好，此时秩相关系数大于0.8 且RMSE<0.25。

实例中，应用多水平多维潜变量模型评价10家医院、35位医生乳腺癌的治疗质量，并根据不同维度治疗质量估计的95%置信区间进行治疗质量排序。基于医院乳腺癌治疗质量的综合评价，卫生行政部门、医院管理者及患者能够对医院乳腺癌的治疗质量形成整体认识，可将奖励医院绩效的机制、医院等级划分等与治疗质量的优劣衔接，促进医院治疗质量的改善[6]。

表3 医院诊断质量的后验样本的统计描述和区间估计

表4 医院手术操作质量的后验样本的统计描述和区间估计

现有治疗质量综合评价方法均基于二分类指标进行评价，本研究构建的多水平多维潜变量模型亦如此。实际中遇到的评价指标类型多样，如连续型指标、等级指标、多分类指标等，在今后的研究中我们将继续拓展多水平多维潜变量模型，使之适用于其他类型的评价指标，甚至是多种类型评价指标混合的情形。

[1] Reeves D,Campbell SM,Adams J,et al.Combining multiple indicators of clinical quality:an evaluation of different analytic approaches.Med Care，2007,45(6):489-496.

[2] Shwartz M,Ren J,Pekoz EA,et al.Estimating a composite measure of hospital quality from the Hospital Compare database:differences when using a Bayesian hierarchical latent variable model versus denominator-based weights.Med Care，2008,46(8):778-785.

[3] Normand SL,Wolf RE,McNeil BJ.Discriminating quality of hospital care in the United States.Med Decis Making，2008,28(3):308-322.

[4] Ruppert,D,Matteson DS.Bayesian Data Analysis and MCMC.New York:Springer New York，2015,581-644.

[5] Bao H,Yang FJ,Wang XY,et al.Developing a set of quality indicators for breast cancer care in China.International Journal for Quality in Health Care，2015,27(4):291-296.

[6] Spinelli RJ,Fromknecht JM.Pay for performance:improving quality care.Health Care Manag (Frederick)，2007,26(2):128-137.

ModelConstructionforComprehensiveEvaluationofQualityofCareBasedonMultidimensionalIndicators

Bao Han,Su Shaofei,Liu Meina

(HarbinMedicalUniversity,PublicHealthSchool(150081)，Harbin)

ObjectiveThe study aimed to construct a composite score method based on multidimensional quality indicators and conduct simulation trials to validate the method.Besides,the quality of breast cancer care for both hospitals and surgeons was evaluated by the method.MethodsThe two-parameter logistic latent variable model was constructed as measurement model;the latent variables in the measurement model were further incorporated into multilevel structural model as dependent variables and one pseudo level was designed for representing multiple latent variables.MCMC method was used to estimate model parameters.Three level and two-dimensional latent variable model was used to analyze the actual data.ResultsThe simulation study showed that the number of quality indicators and surgeons should not be less than 20 to obtain efficient estimate of quality of care;the multilevel and multidimensional latent variable model was applied to analyze the data;surgeons and hospitals who provided superior quality of breast cancer diagnosis and operative procedure were obtained.ConclusionThe newly constructed multilevel and multidimensional latent variable model could effectively address the hieratical structure in quality of care data as well as the multidimensional nature of quality of care,thus,the model can be used to comprehensively and rationally assess the quality of care;comprehensive evaluation of quality of care provided ground for linking the ranking of hospitals and performance appraisal of surgeons to the quality of care.

Quality of care;Comprehensive evaluation;Multilevel and multidimensional;Simulation study

(责任编辑：郭海强)