APP下载

中国老年医学系统评价/Meta分析的方法学与报告质量评价*

2016-03-13颖,刘

天津中医药 2016年12期
关键词:老年医学循证检索

赵 颖,刘 健

(天津中医药大学第一附属医院针灸科,天津 300193)

中国老年医学系统评价/Meta分析的方法学与报告质量评价*

赵 颖,刘 健

(天津中医药大学第一附属医院针灸科,天津 300193)

[目的]评估中国老年医学领域系统评价或者Meta分析的方法学与报告质量,为规范中国老年医学领域同类循证研究提供根据与借鉴。[方法]由两位研究者独立检索中国知网(CNKI)、维普中文期刊数据库(VIP)、万方数据库(WanFang)和中国生物医学文献数据库(CBM)数据库自建库至2016年5月所发表的中国老年医学系统评价或者Meta分析文献,利用AMSTAR量表和PRISMA量表对最终纳入文献进行评价。[结果]纳入的193篇文献中,65篇为系统评价,128篇为Meta分析。方法学与报告质量的问题主要表现为检索不全面,偏倚风险评估未得到相应重视,研究中的资助来源未详细说明等。[结论]中国老年医学系统评价或者Meta分析的文献数量较多,但质量还有待提高。建议老年医学研究者能够提升循证研究能力,严格遵照规范报告格式撰写文献。

老年;系统评价;Meta分析;质量评价

系统评价或Meta分析作为一种综合研究的方法已经引起越来越多科研工作者和临床医务人员的关注[1],并且迅速被政策制定者、卫生保健人员、患者及家属认可和使用,一度将其视为最高级别证据[2]。高质量的系统评价或Meta分析能够为临床医生提供有效的参考[3],但是,低质量的系统评价或Meta分析则会直接影响研究结果的价值,误导证据使用者的决策[4],因此,对系统评价或Meta分析进行方法学与报告质量的评价是十分必要的。

老年医学(Geriatrics)是研究人体老年性变化、老年疾病的防治、人类的衰老机制以及老年卫生与保健的科学,是关系到老年人临床治疗、预防和社会等各个方面的一门新兴、综合性学科[5]。老年医学研究的对象一般指60岁及以上的人群。老年医学研究范围很广,包括老年基础医学、老年临床医学、老年预防医学、老年流行病学及老年社会医学等[6]。

本研究不同于选取中国主要老年医学期刊所发表的Meta分析文献作为研究对象[7],而将范围定义为中国老年医学领域的所有系统评价或者Meta分析,旨在评价其方法学与报告质量,以了解中国老年医学领域同类循证研究的现状,为规范其研究过程与报告方法提供根据与借鉴。

1 资料与方法

1.1 纳入和排除标准 纳入标准:国内老年医学领域已发表的系统评价/Meta分析。排除标准:1)重复发表的文献;2)国外系统评价/Meta分析译文;3)国内外系统评价/Meta分析摘要;4)系统评价/Meta分析计划书;5)动物研究;6)系统评价/Meta分析方法学或报告质量评价。

1.2 文献检索方法 由两名研究者以“老年、老龄”为主题或关键词,以“系统评价、Meta分析、汇总分析、荟萃分析”为主题或自由词,计算机检索中国知网(CNKI)、维普中文期刊数据库(VIP)、万方数据库(WanFang)和中国生物医学文献数据库(CBM),全面收集建库至2016年5月国内发表的老年医学系统评价/Meta分析文献。

1.3 文献筛选 由两名研究者按照预先制定的纳入和排除标准独立筛选文献后进行交叉核对,此过程如遇经商讨意见不一致之处,则提交第三方决定。由两名研究者通过阅读初筛文献的题目、摘要及全文,筛选出明确属于老年医学研究范围(见上文)的系统评价/Meta分析文献,排除不符合纳入标准的文献,并且对于重复发表的文献,仅纳入公开发表并经同行审议的文献。由两名研究者最终复核纳入文献,确定后方可进入资料提取阶段。

1.4 资料提取 采用Excel 2007软件建立“中国老年医学系统评价/Meta分析的方法学与报告质量评价”资料摘录表格,内容包含纳入研究名称、发表时间、文献类型、作者数量、作者单位数量及性质、基金资助、纳入研究设计类型、是否整合之前相关的系统评价或Meta分析、质量评价标准。

采用AMSTAR评价量表[8]对纳入研究的方法质量进行评价,该量表包括11个条目。根据文献对各个条目的报告符合程度进行评价,分别为“是”,“否”,“不能回答或不适用”。采用PRISMA评价量表[9]对纳入研究的报告质量进行评价,该量表包括7个方面,总共27个条目。根据文献对各个条目的报告符合程度进行评价,分别为“充分”,“部分符合”,“不符合”。纳入文献如完全符合CONSORT小组制定的QUOROM(The quality of reporting of Metaanalyses)条目内容评价为“充分”,只符合条目中的部分内容评价为“部分符合”,完全不符合或在文献中未提及的条目内容评价为“不符合”。由两名研究者进行AMSTAR和PRISMA量表评价,如遇分歧,由第三方仲裁。

1.5 统计分析 采用Excel 2007软件录入纳入文献的基本信息,统计分析AMSTAR和PRISMA量表每条项目的报告百分比。

2 结果

2.1 文献检索结果 初检得到5 683条记录,按照预先制定的纳入和排除标准筛选出1 539篇文献,通过阅读初筛文献的题目、摘要及全文,排除不符合纳入标准的文献,最终纳入193篇老年医学系统评价或Meta分析的相关文献。

2.2 纳入文献的基本情况 193篇老年医学系统评价或Meta分析文献中,由表1可知,包括65篇系统评价和128篇Meta分析(通过题目确证)。54篇文献由1位作者单独完成,128篇文献由2至6位作者合作完成,11篇文献由7至10位作者合作完成。作者单位性质所占比例最高为医院(46.6%),其次为大学(32.1%),医院、大学相结合则较少(21.2%)。作者单位为1所较多见,所占比例为70.5%,19.7%为2所单位,只有9.8%为3所及3所以上单位。在基金资助方面,仅有32篇文献拥有资金支持,大多数处于无资金支持状态。所有纳入研究中,整合之前相关的系统评价或Meta分析的文献极少,仅有12篇,181篇文献不存在相关文献或没有查找已存在的相关文献。

纳入的193篇老年医学系统评价或Meta分析文献中,其纳入研究设计类型有106篇文献为随机对照试验,23篇文献为随机或半随机对照试验,20篇文献为病例对照研究,10篇文献为随机或非随机对照试验,11篇文献为调查性研究,1篇文献为队列研究,22篇文献为多种纳入研究设计类型。现今已被认可的质量评价标准有很多种,本研究纳入的文献中,使用Cochrane Handbook推荐评价标准的文献有35篇,使用Jadad计分法的文献有74篇,使用其他质量评价标准的文献有44篇,无质量评价标准的文献有40篇。

表1 193篇中国老年医学系统评价或Meta分析文献的基本情况Tab.1 Basic information of 193 systematic reviews and Meta-analyses in geriatrics in China 篇(%)

2.3 方法学质量评价(AMSTAR) 98%的文献在写作之前能够确定研究问题及纳入和排除标准。80.3%的文献至少有2名独立的资料提取员。85.5%的文献不能对文献进行全面检索,如只检索1种数据库,未对最新信息的目录、综述、教科书或特定领域的专家进行补充检索或咨询,大部分文献无检索策略。只有7.3%的文献考虑发表状态,但对灰色文献的检索方法、所选用的限制条件无具体说明。193篇文献中均未提及纳入和排除的研究清单。80.8%的文献能够详细描述纳入证据的基本特征并以表格的形式呈现。80.3%的文献对纳入研究的科学性进行评价和报道,并且97.9%的文献能够恰当地推导结论。94.3%的文献在确定纳入研究结果可合并的情况下,采用正确的统计方法评价异质性,其中部分研究进行了亚组分析。40.4%的文献采用可行的检测方法来评价发表偏倚。仅有6篇文献报告了利益冲突。见表2。

表2 193篇中国老年医学系统评价或Meta分析文献的方法学质量评价Tab.2 Methodological quality evaluation of 193 systematic reviews and Meta-analyses in geriatrics in China 篇(%)

2.4 报告质量评价(PRISMA) 由表3可知,所有纳入文献均能够通过文题确证为系统评价或者Meta分析,但无系统评价注册号和明确的研究计划书。虽然83.9%的文献能够检索1种以上的数据库,但只有5.7%的文献详述检索过程,包括所有的检索限定,以便可以被重复。仅36.3%的文献对单个研究偏倚风险的方法进行描述评估并且详述在数据综合时如何利用该信息。69篇文献能够阐明影响到累计证据的偏倚风险评估,如发表性偏倚,79篇文献描述了其他的补充分析。在结果部分,大部分文献能够给出研究筛选的流程图并且描述每个研究的具体特征,但只有少部分的文献详述单个研究和评价过程中存在的风险评估结果。68.9%的文献报告了敏感分析、亚组分析、Meta回归等补充分析的结果。仅有8篇文献阐明资金来源并且说明资助者在研究中所起的作用。

表3 193篇中国老年医学系统评价或Meta分析文献的报告质量评价Tab.3 Report quality evaluation of 193 systematic reviews and Meta-analyses in geriatrics in China 篇(%)

3 讨论

3.1 文献一般情况 本研究结果显示,128篇文献由2至6位作者合作完成,仅有21.2%的文献是医院、大学共同研究,这可以看出,越来越多的研究趋向于多人分工合作,但跨单位的合作较少,资源没有得到充分利用,这可能影响研究结果在临床实践中的应用[10]。作者单位所占比例最高为医院(46.6%),其次为大学(32.1%),这说明在循证证据创造方面,医院要优于大学,这可能与医院和大学的工作性质、工作内容不同有关。

此外,193篇系统评价或Meta分析文献的纳入研究设计类型大多数为随机对照试验,其中使用CochraneHandbook推荐的质量评价标准的文献有35篇,使用Jadad计分法的文献有74篇,由此可以看出老年医学领域系统评价或Meta分析的质量评价标准更倾向于使用Jadad计分法。目前的研究结果显示,开放式非药物临床试验的随机对照试验使用Jadad计分法往往对条目分配不同权重[12],可能将高质量的随机对照试验误评为低质量[13],因此建议今后使用Cochrane Handbook推荐的更为严谨可行的质量评价标准[14]。此外无质量评价标准的文献有40篇,因此这部分的研究可信性较低,文献质量不高。

3.2 文献方法学质量 本研究对中国193篇老年医学领域系统评价或者Meta分析应用AMSTAR评价量表进行方法学质量评价,反映出老年医学系统评价或者Meta分析研究的问题具体体现在以下几个方面:文献检索不全面;纳入标准中不能充分考虑纳入研究的发表状态;未提供纳入和排除的研究清单;未评价发表偏倚;未报道利益冲突。

3.2.1 文献检索不全面 文献检索是为了撰写系统评价或者Meta分析前能够获取所有相关原始研究,因此,制定全面的文献检索策略是确保高质量检索结果的基础。本研究纳入的193篇文献中,仅有28篇文献符合要求,165篇文献未能进行全面检索,如只检索1种数据库,未对最新信息的目录、综述、教科书或特定领域的专家进行补充检索或咨询,未回溯性地检索纳入研究的参考文献,且大部分文献无详细检索策略,可能存在误检现象,所以文献检索结果质量不可保证,可能会存在选择偏倚。在今后的文献检索中,应注重制定敏感度较高的文献检索策略,达到提高检出率、降低漏检率的要求,以确保研究质量。

3.2.2 纳入标准中不能充分考虑纳入研究的发表状态 92.7%的文献纳入标准中没有充分考虑纳入研究的发表状态。多数作者研究的阳性结果易被杂志刊登,阴性结果往往未能发表。高校毕业论文未被数据库收录也会导致部分文献的遗漏。但检索应不受发表类型限制,因此在可能的情况下应将灰色文献考虑到纳入标准中,以期将所有研究结果全面收录。对于语种的限定势必会对研究结果造成巨大影响,部分文献只对中文数据库进行检索,使得国外的优秀研究证据没有纳入为分析对象,造成研究结果出现语言偏倚。因此文献的纳入标准中应对语种不加以限制,避免发表偏倚和查寻偏倚。

3.2.3 未提供纳入和排除的研究清单,未评价发表偏倚,未报道利益冲突 193篇文献均提供了纳入研究的参考文献,无一篇文献提供排除研究的参考文献。根据中国国情,建议杂志社在文章刊登前向作者索要排除研究的清单,条件允许的情况下,将排除清单附于研究结尾。此外,由于杂志编辑、作者、基金支持等各方面的原因,研究中可能会有发表偏倚的影响。阴性结果论文未被发表也会导致一定程度的发表偏倚[15],因此需要采用合适的检测方法或统计学检验方法来判断发表偏倚的程度。本研究的纳入文献中,40.4%的文献采用漏斗图、Egger回归等方法来评价发表偏倚,59.6%的文献未评估发表偏倚,这势必导致研究结论的真实性、可靠性受到影响。利益冲突方面,3.1%的文献在文章末尾清楚交代研究中潜在的资助来源,绝大部分的研究没有提及。明确资助来源对证据的判断有很好的参考作用,这对于药物研究相当重要。在清楚资助来源的情况下研究者可以分析其潜在的利益冲突,进而分析研究结果的真实性。

3.3 文献报告质量 本研究利用具有7个评估方面的PRISMA量表评价文献报告质量,结果显示,中国老年医学领域系统评价或者Meta分析报告质量在摘要(摘要报道不全面)、方法(无详细研究计划书和注册信息,未详述检索策略、评估单个研究偏倚风险方法、阐明研究中的偏倚风险评估及其他分析)、结果(未详述单个研究及评价过程中的风险评估及其他分析)、讨论(未报道研究中的局限性)、结论(资助来源及资助者在研究中所起作用未表明)5方面尚存在问题。

3.3.1 摘要报道不全面,无详细研究计划书及检索策略 纳入的193篇文献在摘要部分均无系统评价注册号,且对于摘要的报道过于简单,不能全面涵盖到研究缘由、资料来源、入选标准、合并方法及主要结果等方面,使得研究人员不能根据摘要对全文有大致了解。大部分文献采用“目的”、“方法”、“结果”、“结论”的四步骤来报道摘要部分信息,这可能与长时间的论文撰写习惯和杂志要求有关,今后的研究中应严格按照规范格式报道。此外,所有研究均无计划书和注册信息,与可能和中国尚无严格的注册系统有关。在文献检索方面,83.9%的文献部分符合要求,10.4%的文献完全不符合要求,仅有5.7%的文献完全符合要求,能够详述检索策略,包括检索词、检索式,并且列举1至2个代表性数据库的检索策略,使文献检索过程具备可重复性利于研究使用者评估整体研究的质量[16],如若有任何特殊限定,比如日期、语种,也应在此部分详细说明。由此可见,研究者对于文献的规范检索以及检索式的正确制定能力还有待提高。

3.3.2 偏倚风险评估 评估纳入研究的偏倚风险是制作系统评价或者Meta分析的重要内容,因此研究中偏倚风险评估的方法、导致偏倚形成的因素(如发表性偏倚)以及偏倚风险评价的结果都应在研究中详细阐述。一方面有助于研究者了解纳入原始研究的质量,利于研究者深入了解研究的科学性,另一方面有助于提示后续研究时应注意哪些问题,从而合理规避影响因素。

原始研究的质量直接影响系统评价或者Meta分析的可靠性,本研究中,针对PRISMA量表的方法部分,只有36.3%的文献提及单个研究偏倚风险评估方法且说明在数据综合时如何利用该信息,这说明大部分的研究者没有使用合适的偏倚风险评估工具进行质量评价,因此大部分的文献结果是应该受到质疑的。仅有35.8%的文献详细阐明影响到累计证据的偏倚风险评估,并在研究中有选择地报道,这说明对于类似发表性偏倚的现象大部分研究者并不敏感,这极易导致研究得出错误的结论,从而造成卫生决策的失误。针对PRISMA量表的结果部分,35.8%的文献在结果部分详述每个研究可能存在的偏倚,40.5%的文献给出研究间的偏倚评估结果,其中部分文献附有漏斗图。这足可以说明,中国老年医学系统评价或者Meta分析的研究对于偏倚风险评估的重视不足。将注意力更多地集中在研究结果是否有意义,能否得出阳性结果,而忽视了最根本的问题,即原始研究及研究过程的严谨性、可信性。因此,建议在今后的研究中,应重视偏倚风险的评估,从而提高研究报告学质量。

3.3.3 其他补充分析 其他补充分析包括,敏感性分析、亚组分析、Meta回归等。经过统计,针对PRISMA量表的方法部分,40.9%的文献提及其他补充分析。PRISMA量表的结果部分,30.6%描述了具体的补充分析结果。这表明真正在研究中实施补充分析的研究不多,这可能与研究内容的性质有关,也可能与某些研究者忽视阴性结果,仅仅报告有统计学意义的阳性结果有关。因此,所有实施的其他补充分析都应先说明是否是预期设定,对于阴性结果也应呈现,以利于读者对研究有更深入的了解。

3.3.4 研究的局限性 所有的研究都有可能在研究层面和结果层面中存在一定的漏洞、不足。本研究46.7%的文献详细描述了老年医学系统评价或者是Meta分析研究的局限性,有助于读者在阅读过程中对研究作出清楚的判断,避免误导现象。

3.4 本研究的局限性 本研究存在以下局限性:首先,在文献的筛选方面,由于是人工完成,可能会存在因主观性而造成的文献误检。其次,不同评价者对于AMSTAR量表和PRISMA量表的理解可能有出入,造成最终的评分结果存在差异。最后,由于纳入标准中限定为中国老年医学领域的研究,国外有关老年医学系统评价或者是Meta分析的研究在文中没有体现,因此结论的外推性受限。

5 结论

综上所述,本研究利用AMSTAR量表和PRISMA量表对中国老年医学系统评价或者Meta分析的文献进行方法学与报告质量评价。结果显示:中国老年医学系统评价或者Meta分析的文献数量逐年上升,但质量还有待提高。建议老年医学研究者能够提升循证研究能力,积极制作具有较高质量水平的系统评价或者Meta分析研究,严格遵照规范报告格式撰写文献,从而更好地指导临床实践,同时促进中国老年循证医学的发展。

[1]丁泓帆,吴琼芳,杨 楠,等.评估系统评价偏倚风险的ROBISIS工具实例解读[J].中国循证医学杂志,2016,1(8):115-121.

[2]谷鸿秋,王 杨,李 卫.Cochrane偏倚风险评估工具在随机对照研究Meta分析中的应用[J].中国循环杂志,2014,29(2):147-148.

[3] 徐俊峰,葛 龙,安 妮,等.中国大陆学者发表诊断性试验系统评价现状分析[J].中国循证儿科杂志,2013,8(5):388-390.

[4] 徐俊峰,安 妮,周为文,等.《中国循证医学杂志》发表的干预类系统评价/Meta分析方法学质量评价[J].中国循证医学杂志,2013,13(5):605-611.

[5] Rajah MN,Bastianetto S,Bromley-Brits K,et al.Biological changes associated with healthy versus pathological aging:A symposium review[J].Ageing research reviews,2009,8(2):140-146.

[6] 葛 亮,王 桦,张艳芳.老年医学研究现状与发展[J].中国老年学杂志,2013,33(19):4927-4930.

[7] 段春波,高 超,姚慧卿,等.我国主要老年医学期刊发表的Meta分析文献质量评价[J].中华老年医学杂志,2014,33(3):321-324.

[8] 曾宪涛,黄 伟,田国祥.Meta分析系列之九:Meta分析的质量评价工具[J].中国循证心血管医学杂志,2013,5(1):3-5.

[9]曾宪涛,李 胜,马 钻,等.Meta分析系列之八:Meta分析的报告规范[J].中国循证心血管医学杂志,2012,4(6):500-503.

[10]周为文,葛 龙,徐俊峰,等.《中国循证医学杂志》发表的干预类系统评价/Meta分析报告质量评价[J].中国循证医学杂志,2013, 13(4):482-488.

[11]Whitlock EP,Lin JS,Chou R,et al.Using existing systematic reviews in complex systematic reviews[J].Annals of internal medicine,2008,148(10):776-782.

[12]马 捷,刘 莹,钟来平,等.Jadad量表与Cochrane偏倚风险评估工具在随机对照试验质量评价中的应用与比较[J].中国口腔颌面外科,2012,10(5):417-422.

[13]Higgins JPT,Altman DG,Gotzsche PC,eta1.The Cochrane Collaboration’s tool for assessing risk of bias in randomised trials[J]. BMJ,2011,343:d5928.

[14]Higgins JPT,Green S.Cochrane handbook for systematic reviews of interventions.Version 5.1.0[EB/OL].http://www,cochrane/handbook.org,2013.2011-03-01.

[15]熊 俊,陈日新.系统评价/Meta分析方法学质量的评价工具AMSTAR[J].中国循证医学杂志,2011,11(9):1084-1089.

[16]靳英辉,马恩婷,花 巍,等.国内护理领域系统评价/Meta分析的方法学与报告质量评价[J].中国循证医学杂志,2012,12(9):1148-1155.

Reporting and methodological quality of systematic reviews and Meta-analyses in geriatrics in China

ZHAO Ying,LIU Jian
(Acupuncture Department,The First Affiliated Hospital of Tianjin University of Traditional Chinese Medicine, Tianjin 300193,China)

[Objective]To evaluate reporting and methodological quality of systematic reviews and Meta-analyses.[Methods]CNKI,VIP, Wanfang,CBM data base were searched for systematic reviews and meta-analyses in geriatrics in China from the establishment date to May 2016.PRISMA and AMSTAR checklists were used to assess.[Results]A total of 193 systematic reviews and Meta-analyses involving 65 systematic reviews and 128 Meta-analyses were identified.The quantity and quality of systematic reviews and Meta-analyses published on Chinese journal of geriatrics are increased and improved in recent years.The deficiencies of reporting and methodological quality of systematic reviews and Meta-analyses mainly contained literature search,assessment of publication bias and publication funds.[Conclusion]The reporting and methodological quality of systematic reviews and Meta-analyses in geriatrics rises gradually over years in China,but it still needs to be further improved.The elder medical researchers need to promote evidence-based research capacity and strictly follow the standard format of report to write literature.

geriatrics;systems analysis;Meta-analyses;quality assessment

R195

A

1672-1519(2016)12-0723-06

方面,仅有32篇文献获得资助,说明国内还应提高对老年领域系统评价或者Meta分析的基金支持,另一方面还应提高研究人员的循证研究能力,将研究基金中一部分用于正规的循证方法学习,使得研究人员能够持续在老年医学领域进行高质量的循证研究。Whitlock等[11]于2008年提出相同、相关系统评价整合的步骤,如若能够对以往系统评价进行评估、整合,则会使得研究结果更具科学性、可信性。本研究193篇纳入文献中,整合之前相关系统评价或Meta分析的文献仅有12篇,181篇文献不存在相关文献或没有查找已存在的相关文献。因此,为避免重复研究、最大程度地降低偏倚风险,应在常规检索的基础上增加对以往研究的评估、整合,以提高研究的方法学与报告质量。

2016-07-19)

(本文编辑:滕晓东,马 英)

10.11656/j.issn.1672-1519.2016.12.06

*

国家中医药管理局国家中医临床研究基地业务建设科研专项基金项目(JDZX2012145)。

赵 颖(1974-),女,硕士,副主任医师,研究方向为针灸学。

猜你喜欢

老年医学循证检索
《实用老年医学》第七届编委会名单
欢迎订阅《实用老年医学》
欢迎订阅《实用老年医学》
《老年医学研究》对作者署名的要求
《循证护理》稿约
循证护理在新生儿静脉采血中的应用
瑞典专利数据库的检索技巧
一种基于Python的音乐检索方法的研究
专利检索中“语义”的表现
循证医学的人文精神