诊断准确性试验Meta分析软件的比较研究与选择

2016-12-19陶圆何倩许杨鹏喻亚宇付文杰吴君怡牛玉明张超

中国循证心血管医学杂志 2016年11期

陶圆，何倩，许杨鹏，喻亚宇，付文杰，吴君怡，牛玉明，张超

· 循证理论与实践 ·

陶圆1,2，何倩3，许杨鹏3，喻亚宇3，付文杰3，吴君怡3，牛玉明1,4，张超1

目的比较各种诊断准确性试验（diagnostic test accuracy，DAT）Meta分析软件的特征及功能，为使用者选择软件提供参考。方法计算机检索PubMed、EMBase、Cochrane Library、CNKI、Stata软件官网、R软件官网及Google搜索等，收集具有DAT Meta分析功能的软件及程序包，检索时限截至2016年7月。下载软件和程序包及其使用说明，用示例对软件的基本特征、功能和计算结果进行比较分析。结果共纳入9款软件，包括编程软件和非编程软件，主要基于贝叶斯学派和频率学派研发。大多数软件已具备操作简单、易掌握、计算准确及图形绘制优良等优点，但无一款同时具备较佳计算能力与绘图功能的软件，必需多款软件联合来实现。结论建议使用者首先依据自身编程基础与习惯等选取，可考虑选用两种软件相互配合来实现DAT Meta分析，如单独使用Meta-Disc软件或联合使用Bayesian Inference Using Gibbs Sampling（BUGS）与R软件。

诊断准确性Meta分析；BUGS软件；R软件；Meta-Disc软件；Meta-Test软件；Revman软件

疾病的治疗建立在对疾病正确诊断的基础之上，科技的发展带来了大量的诊断方法和手段。诊断准确性试验（diagnostic test accuracy，DTA）Meta分析的提出，旨在于评估诊断手段对某一疾病诊断的准确性，为临床医生选择最佳诊断方法提供参考和最新证据[1,2]。随着计算机语言的快速发展，各种统计学软件应运而生，这在很大程度上节省了科研工作者时间与精力，同时提高了工作效率，其中也包括DTA Meta分析。尽管，当前已有10多款软件可以用于实现DTA Meta分析且随着方法学更新软件仍在不断被研发，然而，当前软件在使用中仍各有优缺点，且多数DTA Meta分析软件往往在图形的绘制及方法学更新方面均存在一定的功能性缺失。本文通过对当前DTA Meta分析使用的软件作比较分析，为读者选取制作DTA Meta软件提供相关参考。

1 对象与方法

1.1 DTA Meta分析软件的选择标准可以实现DTA Meta分析的软件与程序包。

1.2 软件获取计算机检索PubMed、CNKI、Stata软件官网、R软件官网和Google搜索，查看并记录已发表DTA Meta分析中所使用的软件与程序包及介绍软件和程序包的方法学文献[3,4]，检索时限由建库至2016年7月。下载所有相关软件、程序包及其介绍说明文件。英文检索词为meta analysis of diagnostic test accuracy、diagnostic test accuracy、DTA及meta analysis。

1.3 研究方法阅读各软件与程序包介绍内容，比较软件及程序包涉及的理论、模型、使用权限、是否编程、能否被调用及能否调用等功能。本文所有软件均以《应用R软件meta4diag程序包实现诊断准确性试验的Meta分析》一文中有关肺结核诊断的数据为例[5]，并采用各种软件及程序包进行统计分析比较其数据处理与图形绘制等功能。

2 结果

2.1 纳入软件最终共纳入软件9款，其具体特征详见表1。其中免费软件有R软件（或称R语言）、RevMan软件、Meta-Disc软件、Bayesian Inference Using Gibbs Sampling（BUGS）软件、Meta-Analyst软件及Meta-Test软件；收费软件有Stata软件、EmpowerStats软件及SPSS软件[6-11]。

按是否需要编程来分，软件又可以分为编程软件与非编程软件，编程软件仅有Stata软件、R软件和BUGS软件。R软件包含meta4diag、metamisc、bamdit、HSROC、Metatron、mada及CopulaREMADA等7个程序包[12]，以上程序包都能完成DTA Meta分析且各具特色，各有优势。

2.2 涉及的方法

2.2.1 理论制作的DTA Meta分析的基本理论目前主要分为贝叶斯理论与传统理论[13,14]。与传统理论相比，贝叶斯设计理论对结果可信区间的解释更合理[15,16]，这对保证DTA Meta分析结果的准确性及完整性很重要。

贝叶斯理论中的先验设定不同将会直接导致结果不同，因此先验设定的合理性在整个DTA Meta分析的制作中十分关键，也一直是众多统计学家担忧的问题之一。这也使得贝叶斯理论的复杂性使其在实际运用中较为局限。表1中就基于贝叶斯理论及传统频率学派理论给予相应对比。

2.2.2 模型与实现方法 DTA Meta分析的制作方法基于双变量模型、分层模型和回归模型等[17-19]。回归模型在早期制作DTA Meta分析时，较为常见，如R软件HSROC程序包。随着方法学不断更新，DTA Meta分析的敏感度与特异度已逐渐被方法学家们所关注，同时对于合并研究间混杂因素也提倡开始进行调整，因此，分层模型也逐渐被研发以及使用，如R软件meta4diag程序包与Open Meta-Analysis软件等均采用分层模型。当进一步考虑到敏感度与特异度之间相互作用时，方法学家们将两者作为独立变量之外，也有充分考虑两者相关性，因此两者间引入协变量并嵌入到DTA Meta分析当中，这也使得当前较为推崇的双变量模型被研发，并广泛被操作者所接受。然而，该统计学方法对软件要求、操作者素养及结果解读等均有一定要求，因此，当前能快速引入该方法学的软件较少，如R软件bamdit程序包可执行双变量模型。

2.3 软件功能

2.3.1 计算功能计算能力是统计软件最基本要素之一。随着DTA Meta分析方法学不断创新，基于软件自身特征及对最新方法学的植入等方面差别，使目前可供使用的软件各具特色。如表1 所示，所有软件均拥有自身独立执行DTA Meta分析计算的能力，同时，也有部分软件提供可被外部软件调用的端口，如R软件就是当前最受欢迎的被调用软件。

2.3.2 绘图功能图形能清楚直观地反映各个研究的效应量，这在结果展示中是必不可少，因此，软件是否拥有绘制优质图形的能力也成为衡量软件质量、功能和可操作性的指标之一。DTA Meta分析常需绘制以下2种图形：森林图和受试者工作特征曲线（SROC）。由于这两种图形所承载的信息量不同，因此，其在DTA Meta分析中的作用亦不同。

敏感度及特异度被视为诊断标准两个关键性指标，其对于衡量诊断手段优劣显得尤为重要。对于这两个指标展示，操作者们往往会选择敏感度及特异度森林图，这不仅可很好地展示结果，还可简易目测相应的异质性情况[20,21]。表1中，除BUGS软件外，其他软件自身或通过调用其他软件皆可绘制森林图。常用Meta-Test和R软件，这与两款软件强大的绘图功能及操作灵活有关。

SROC曲线可直观地反映诊断方法的诊断效率。曲线下面积（AUC）是评价与衡量诊断手段优劣的重要指标之一[22]。除BUGS软件外，其他软件均可绘制SROC曲线及计算AUC。

2.4 计算结果比较在待选软件较多时，计算结果的精确度是选择软件的重要标准，结果的可读性及提取的便利性也是选择的关键。DTA Meta分析的准确度可通过其相关合并指标来进行评。表2分别显示了合并的敏感度与特异度、诊断优势比（DOR）和AUC等[23,24]。

3 讨论

如今，DTA Meta分析方法学上众多难点已有不同程度的突破，相关软件的研发层出不穷且各具特色。本文从方法学、统计数据处理与图形绘制及软件操作友好度等角度，系统汇总比较当前具有DTA Meta分析功能的软件优缺点。与非编程软件相比，编程软件开放性更好、反应及更新速度快、使用灵活，但较繁琐。选择编程软件主要取决于使用者自身的编程基础和习惯，而非编程软件操作简单，更易受到编程基础欠佳的使用者及初学者的青睐。软件操作简捷、功能齐全及是否免费等因素将决定该软件能否成为主流软件，也是绝大多数软件使用者关心的主要问题。软件是否具有足够的开放性将直接决定其被使用率。相比收费软件，免费软件数量多且功能更完善，代表了当前的主流。

表1 诊断准确性试验Meta分析所用软件

表2 常用软件DTA Meta分析结果比较

经过分析，大多数软件已具备操作简单、易掌握、计算准确及图形绘制优良等优点，但无一款同时具备当前优质方法学与绘图功能的软件，仍需多款软件联合实现。作为统计工具，优良的统计软件主要取决于其数据与图形处理能力，即数据计算与图形绘制能力。计算准确性直接关乎最终结果的可靠度，这主要与软件自身内嵌的方法学有关，而优质、全面、简洁且易懂的图形展示结果信息在DTA Meta分析中的作用不可或缺。

综上，我们在选择DTA软件时，建议综合考虑以下两个方面：①首选集计算与绘图功能于一体的软件，如Meta-Disc软件、Meta-Test软件或R软件，可依据自身编程基础与习惯等情况来选取；②选取2种软件相互配合来实现DTA Meta分析时，首选软件BUGS与R软件（或/及Stata软件）的配合或使用R软件不同程序包的配合。另外，为了更好地完成DTA Meta分析，我们期待一款具备操作便捷、融入优质方法学、功能齐全及免费获取（或收费低廉）等特点的软件的出现。

[1] Leeflang MM. Systematic reviews and meta-analyses of diagnostic test accuracy[J]. Clin Microbiol Infect,2014,20(2):105-13.

[2] Ferrante di Ruffano L,Hyde CJ,McCaffery KJ,et al. Assessing the value of diagnostic tests: a framework for designing and evaluating trials[J]. BMJ,2012,344:e686.

[3] Leeflang MM,Deeks JJ,Takwoingi Y,et al. Cochrane diagnostic test accuracy reviews[J]. Syst Rev,2013,2:82.

[4] Campbell JM,Klugar M,Ding S,et al. Diagnostic test accuracy: methods for systematic review and meta-analysis[J]. Int J Evid Based Healthc,2015,13(3):154-62.

[5] Walusimbi S,Bwanga F,de Costa A,et al. Meta-analysis to compare the accuracy of GeneXpert, MODS and the WHO 2007 algorithm for diagnosis smear-negative pulmonary tuberculosis[J]. BMC Infect Dis,2013,13:507.

[6] 何倩,王晓娜,喻亚宇,等. 应用R软件meta4diag程序包实现诊断准确性试验的Meta分析[J]. 中国循证心血管医学杂志,2016,8(2):138-41.

[7] 王权,何倩,吴君怡,等. 应用R软件bamdit程序包实现诊断准确性试验的Meta分析[J]. 中国循证心血管医学杂志,2016,8(3):260-72.

[8] 何倩,孙艳玲,陶圆,等. 应用R软件Metatron程序包实现诊断准确性试验Meta分析及程序包汇总比较[J]. 中国循证心血管医学杂志,2016,8(5):517-9.

[9] 陶圆,孙艳玲,何倩,等. Meta-Test软件在诊断准确性试验Meta分析中运用[J]. 中国循证心血管医学杂志,2016,8(6):652-5.

[10] 陶圆,何倩,桂裕亮,等. SPSS软件调用R软件实现诊断准确性试验Meta分析[J]. 中国循证心血管医学杂志,2016,8(7):773-6.

[11] 陶圆,何倩,喻亚宇,等. 应用EmpowerStats软件实现诊断准确性试验的Meta分析[J]. 中国循证心血管医学杂志,2016,8(8):In Press.

[12]王权,杨廉洁,何倩,等. 应用R软件metamisc程序包及CopulaREMADA程序包实现诊断准确性试验的Meta分析[J]. 中国循证心血管医学杂志,2016,8(4):392-5.

[13] Menten J,Lesaffre E. A general framework for comparative Bayesian meta-analysis of diagnostic studies[J]. BMC Med Res Methodol,2015,15:70.

[14] Kuss O,Hoyer A,Solms A. Meta-analysis for diagnostic accuracy studies: a new statistical model using beta-binomial distributions and bivariate copulas[J]. Statist Med,2014,33(1):17-30.

[15] Novielli N,Cooper NJ,Sutton AJ,et al. Bayesian model selection for meta-analysis of diagnostic test accuracy data: Application to Ddimer for deep vein thrombosis[J]. Res Synth Methods,2010,1(3-4):226-38.

[16] Jaramillo D,Dürr S,Hick P,et al. Bayesian estimation of diagnostic sensitivity and specificity of a nervous necrosis virus antibody ELISA[J]. Prev Vet Med,2016,1(123):138-42.

[17] Doebler P,Holling H,Böhning D. A Mixed Model Approach to Meta-Analysis of Diagnostic Studies With Binary Test Outcome[J]. Psychol Methods,2012,17(3):418-36.

[18] Zhou Y,Dendukuri N. Statistics for quantifying heterogeneity in univariate and bivariate meta-analysesof binary data: The case of meta-analyses of diagnostic accuracy[J]. Statist Med, 2014,33(16):2701-17.

[19] Valle D,Lima JM,Millar J,et al. Bias in logistic regression due to imperfect diagnostic test results and practical correction approaches[J]. Malar J,2015,14:434.

[20] van Enst WA,Ochodo E,Scholten RJ,et al. Investigation of publication bias in meta-analyses of diagnostic test accuracy: a metaepidemiological study[J]. BMC Med Res Methodol,2014,14:70.

[21] Lee J,Kim KW,Choi SH,et al. Systematic Review and Meta-Analysis of Studies Evaluating Diagnostic Test Accuracy: A Practical Reviewfor Clinical Researchers Part II. Statistical Methods of Meta-Analysis[J]. Korean J Radiol,2015,16(6):1188-96.

[22] Tang LL,Zhang W,Li Q,et al. Least squares regression methods for clustered ROC data with discrete covariates[J]. BMJ,2016,58(4):747-65.

[23] Leeflang MM,Deeks JJ,Gatsonis C,et al. Systematic reviews of diagnostic test accuracy[J]. Annals of Internal Medicine,2008,149 (12):889-97.

[24] Doebler P,Holling H. Meta-analysis of Diagnostic Accuracy and ROC Curves with Covariate Adjusted Semiparametric Mixtures[J]. Psychometrika,2015,80(4):1084-104.

本文编辑：姚雪莉

A comparative study and selection based on used Meta-analysis software of diagnostic test accuracy

TAO Yuan*, HE Qian, XU Yang-peng, YU Ya-yu, FU Wen-jie, WU Jun-yi, NIU Yu-ming, ZHANG Chao.*Center for Evidence-based Medicine, Taihe Hospital, Hubei University of Medicine, Shiyan 442000, China.

Objective To compare the characteristics and functions of different Meta-analysis software of diagnostic test accuracy (DTA) for providing references for users. Methods The databases of PubMed, EMbase, Cochrane Library, CNKI, official websites of Stata software and R software, and Google were retrieved with computer to collect the software and packages with DAT Meta-analysis function up to Jul. 2016. After downloading the software, packages and their user guides, the basic characteristics, functions and computed results were compared and analyzed based on typical examples. Results Finally, there were 9 types of software included, including programming and non-programming software. They were developed mainly based on Bayesian or frequentist. Most types of software have the characteristics of easy to operate, easy to master, exactitude calculation, or good graphing; however, there is no software that has the exactitude calculation and good graphing at the same time, which needs two or more kinds of software combined to achieve. Conclusion It is suggested that users choose the software at first according to personal programming basis and custom, and users can consider choosing two kinds of software combined to finish the objective Meta-analysis of DTA. For example, users can apply Meta-Disc software singly or the combination of Bayesian Inference Using Gibbs Sampling (BUGS) and R software.

Meta-analysis of diagnostic test accuracy; BUGS software; R software; Meta-Disc software; Meta-Test software; Revman software

1674-4055(2016)11-1284-04

十堰市太和医院院级项目课题(2016JJXM070)

1442000 十堰,十堰市太和医院(湖北医药学院附属医院)循证医学中心;2442000 十堰,湖北医药学院医学影像系12级;3442000 十堰,湖北医药学院口腔医学院12级;4442000 十堰,十堰市太和医院(湖北医药学院附属医院)口腔科

张超,E-mail:zhangchao0803@126.com

共同第一作者：陶圆，何倩

10.3969/j.issn.1674-4055.2016.11.02