李剑龙 陈方尧 李丹玲 周基元 陈平雁

南方医科大学公共卫生与热带医学学院“器官衰竭防治”国家重点实验室(510515)

具有相关关系的灵敏度和特异度的Monte Carlo模拟方法研究*

李剑龙#陈方尧#李丹玲 周基元△陈平雁

南方医科大学公共卫生与热带医学学院“器官衰竭防治”国家重点实验室(510515)

目的 旨在提出一种Monte Carlo模拟方法，对具有相关关系的灵敏度和特异度进行计算机模拟，并运用其相关系数估计值的均方根误及偏差对该模拟方法的有效性进行评价；进而探讨分析具有相关关系的灵敏度和特异度数据时单样本Youden指数u检验方法的可靠性。方法 将诊断试验的四格表资料看成来自服从四元正态分布总体的样本，借助R语言的mvrnorm函数产生四格表资料，其满足灵敏度和特异度之间的总体相关系数。计算相关系数估计值的均方根误及偏差，并计算Youden指数u检验的第I类错误率与检验效能。结果 相关系数估计值的均方根误及偏差均较小。当相关系数ρ为0时，u检验能很好地控制犯第I类错误的概率；然而，当ρ不是0时，u检验的结果偏保守，并且随着|ρ|的增加，其结果偏离0.05更甚。结论 本文提出的具有相关关系灵敏度和特异度的Monte Carlo模拟方法能真实地反应灵敏度和特异度之间的相关性；当相关性强时，Youden指数u检验的前提假设不正确。

相关系数 Monte Carlo模拟 灵敏度 特异度

科学的评价诊断试验是临床医师选择诊断试验的基础[1]。为了合理选用诊断试验以避免盲目性，临床医师就需要对诊断试验进行科学研究并做出科学的评价。在进行两个诊断系统比较时，单独使用灵敏度与特异度作为评价指标不能完美判断哪个诊断系统更好。由此，Youden建议将灵敏度与特异度综合起来提出了Youden指数来评价诊断试验的准确度[2]。Youden指数(Youden index，YI)是评价诊断方法诊断能力的综合性指标[3]。YI的值介于-1与1之间，其值越大，说明诊断试验的真实性越好；当YI小于等于0时，该诊断试验无任何临床应用价值[1]。

然而，对于现有诊断试验的评价方法能否正确地对诊断试验进行评价都是需要进行检验的。单样本Youden指数u检验可以用于检验单样本的Youden指数是否为某一常数。注意到其需要一个前提假设，即要求灵敏度和特异度之间是相互独立的。然而，现实中灵敏度和特异度通常是相关的[4-5]。有研究曾提出采用多项分布来模拟产生两个相关的二项分布数据(四格表数据)，然而这种方法早前曾被研究人员证实所产生的数据并不能良好地反应出所设定的参数[6-7]。因此，本研究旨在提出一种Monte Carlo模拟方法[8]，对具有相关关系的灵敏度和特异度进行计算机模拟，并运用其相关系数估计值的均方根误(root mean squared error，RMSE)及偏差对该模拟方法的有效性进行评价；进而计算出其样本Youden指数，运用现有的单样本Youden指数u检验方法对模拟数据进行分析，重复多次模拟时计算其第I类错误率与检验效能，以探讨运用u检验方法分析具有相关关系的灵敏度和特异度数据时的可靠性。

对象与方法

1.理论背景

(1)灵敏度与特异度之间的相关系数

在实际应用过程中，灵敏度与特异度之间存在着一定的相关关系[4-5]，体现二者相关关系的方法很多[9]。本文只考虑将二者之间的相关关系与二者之间的线性回归联系起来的方法，其满足r=bSpe.Sen(SSen/SSpe)=bSen.Spe(SSpe/SSen),其中r为灵敏度与特异度之间的样本相关系数，bSpe.Sen与bSen.Spe分别表示由灵敏度到特异度的回归系数和由特异度到灵敏度的回归系数，SSen与SSpe分别为灵敏度与特异度的标准误。

(2)灵敏度Sen、特异度Spe及Youden指数的u检验[1]

(1)

给定一个四格表诊断试验数据与三个常数Sen0、Spe0与YI0，对灵敏度、特异度与Youden指数可以做单样本的u检验，其检验统计量分别为

(2)

2.模拟方法

(1)模拟第I类错误率时的参数设置

设p1、p2、p3与p4分别为四格表中四个实际频数a、b、c与d的理论频率，t=p1+p3=0.5，1-t=p2+p4=0.5，给定灵敏度总体均数μ1=0.65，特异度总体均数μ2=0.75，那么p1=0.325，p2=0.175，p3=0.125，p4=0.375。总样本量n为100、200、300、500与1000，灵敏度和特异度之间的总体相关系数ρ为0、-0.3与-0.4。从而，三个检验的原假设分别为Sen0=0.65、Spe0=0.75、YI0=0.4。

(2)模拟灵敏度和特异度之间的相关关系与四格表数据

(3)灵敏度和特异度之间相关系数的估计

(4)模拟检验效能时的参数设置

三个检验的原假设仍然分别取为Sen0=0.65、Spe0=0.75、YI0=0.4。而在备择假设条件下Sen、Spe和YI的设置如表1，其中D=YI-YI0。另外，总样本量n、灵敏度和特异度之间总体相关系数ρ的取法与第I类错误率模拟中的参数设置相同。

(5)模拟第I类错误率与检验效能

结 果

1.灵敏度和特异度之间相关系数的均方根误与偏差

2.单样本灵敏度、特异度与Youden指数u检验的第I类错误率

在不同ρ值与不同样本量条件下，单样本灵敏度、特异度与Youden指数u检验的第I类错误率结果见表3。无论ρ为0还是不为0，灵敏度与特异度的u检验第I类错误率基本控制在0.05的附近。因此，本文新提出的模拟方法能准确地模拟出所设定的参数。另一方面，由于单样本Youden指数u检验有一个前提假设，即要求灵敏度和特异度之间是相互独立的。因此，当灵敏度和特异度的相关系数为0时，其u检验能很好地控制犯第I类错误的概率。然而，当相关系数ρ不是0时，单样本Youden指数u检验的结果偏保守，并且随着相关性的增强，其结果偏离0.05更甚。

3.单样本Youden指数u检验的检验效能

在不同ρ值与不同样本量条件下，单样本Youden指数u检验的检验效能结果见图1。注意，当YI与YI0之间的差值D为0时，其为u检验的第I类错误率。从图形可以看出，当相关系数与样本量固定时，YI与YI0之间差值D的绝对值越大，单样本Youden指数u检验的检验效能越大。另外，随着样本量的增加，其检验效能逐渐增大。

讨 论

本文提出了一种基于四元正态分布总体、对具有相关关系的灵敏度和特异度进行Monte Carlo模拟的方法。从模拟结果可以看出，模拟方法能真实地反应灵敏度和特异度之间的相关系数。运用现有的单样本Youden指数u检验方法对模拟数据进行分析，重复多次模拟时计算其第I类错误率。从模拟结果可以看出，当灵敏度和特异度的相关系数为0时，u检验能很好地控制犯第I类错误的概率。然而，当相关系数ρ不是0时，单样本Youden指数u检验的结果偏保守，并且随着相关性的增强，其结果偏离0.05更甚。因此，当灵敏度和特异度之间的相关性强时，反应诊断试验真实性的综合评价指标Youden指数单样本u检验的前提假设不正确。

本文只模拟了总样本量大于等于100的情形，将来要针对小样本做适当的模拟。另外，本文中灵敏度与特异度之间的相关关系采用了二者标准化后将二者之间的回归与相关联系起来的方法，但是灵敏度与特异度之间的相关关系并不仅限于此种形式，在将来的研究中要选取更多体现相关关系的情况进行模拟分析。

[1]Galen RS,Brennan L.Laboratory Diagnosis and Patient Monitoring:Clinical Chemistry.Oradell,New Jersey:Medical Economics Company,1981.

[2]Yerushalmy J.Statistical problems in assessing methods of medical diagnosis，with special reference to X-ray techniques.Public Health Reports (1896-1970),1947,62(40):1432-1449.

[3]Youden WJ.Index for rating diagnostic tests.Cancer,1950,3(1):32-35.

[4]Zhou XH,Obuchowski NA,McClish DK.Statistical Method in Diagnostic Medicine.New York:John Wiley & Sons,2002.

[5]Fleiss JL,Levin B,Paik MC.Statistical Methods for Rates and Proportions.New York:John Wiley & Sons,2013.

[6]Johnson NL,Kotz S,Balakrishnan N.Discrete Multivariate Distributions.New York:Wiley,1997.

[7]Mardia KV.Families of Bivariate Distributions.London:Griffin,1970.

[8]文德智，卓仁鸿，丁大杰,等.蒙特卡罗模拟中相关变量随机数序列的产生方法.物理学报，2012，61(22):220204-220204.

[9]Rodgers JL,Nicewander WA.Thirteen ways to look at the correlation coefficient.The American Statistician,1988,42(1):59-66.

(责任编辑：郭海强)

A Monte Carlo Simulation Method for Generating the Correlated Sensitivity and Specificity

Li Jianlong,Chen Fangyao，Li Danling,et al

(State Key Laboratory of Organ Failure Research,School of Public Health and Tropical Medicine,Southern Medical University (510515),Guangzhou)

Objective This study aims to propose a Monte Carlo simulation method to generate the correlated sensitivity and specificity in diagnostic trials,and then calculate the root mean squared error (RMSE) and bias of the estimate of the correlation coefficient between them so as to assess the validity of the proposed simulation method.Further,we study the reliability of the existingutest for single sampleYoudenindex based on the data where the sensitivity and specificity are correlated.Methods In the simulation study,the diagnostic test data are considered to be generated from a four-dimensional normal distribution and the four-fold table data in the diagnostic test are generated from the mvrnorm function in R,where the sample correlation coefficient between the sensitivity and specificity is kept close to the population correlation coefficientρ.As such,the corresponding RMSE and bias,the type I error rate and power can be calculated.Results Both the RMSE and bias are very small.Whenρis 0,theutest can control the type I error rate well.However,whenρis not 0,theutest is conservative.Further,with the increase of |ρ|,the type I error rate is much more faraway from 0.05.Conclusion The Monte Carlo simulation method proposed in this article can effectively simulate the correlation relationship between the sensitivity and specificity.When there is a strong correlation between the sensitivity and specificity,the independence assumption between them is not so reasonable for theutest of single sampleYoudenindex in diagnostic test.

Correlation coefficient;Monte Carlo simulation;Sensitivity;Specificity

国家自然科学基金项目(81373098，81072386，81402759)；广东省医学科研基金(B2013222)和全国统计科学研究计划项目(2013LY059)共同资助。

# 李剑龙与陈方尧为共同第一作者

△通信作者：周基元，E-mail:zhoujiyuan5460@hotmail.com