对所有相关证据的系统评价


二十世纪治疗措施公平试验的先驱者之一奥斯汀·布拉德福德·希尔( Austin Bradford Hill )指出,研究报告的读者需要得到四个问题的答案:“你为什么开始研究呢?”,“你研究了什么?”,“你有何发现?”和“它究竟意味着什么?”(Hill 1965)。回答希尔最后一个问题的质量尤其重要,因为一份研究报告的这部分内容最可能影响治疗措施的实际选择和做出的决定

单次治疗措施公平试验很难产生足够有力的证据,为“它意味着什么?”这一问题提供一个令人信服的答案。某项治疗措施的一次公平试验,通常是解决相同问题的一系列测试其中的一个。因此,要想对“它意味着什么?”这一问题给出一个可靠的答案,必须在对解决相关问题的公平试验所得出的全部证据进行审慎评估的背景下,解释某次特定公平试验获得的证据。

British Association for the Advancement of Science早在一个多世纪前,英国科学促进协会主席就表示,有必要遵守这个原则:

“如果像有时所假设的那样,科学包含的只是辛苦积累的事实,那么它就像以往一样,很快就会停滞不前,被其自身重量压得粉碎……因此,有两个过程同时起作用,新材料的接纳和旧材料的消化和吸收……值得最大赞誉,但是恐怕并没有总是得到最大赞誉的工作,就是发现和解释工作的齐头并进,不仅要陈述新的事实,而且要指出与旧事实之间的关系。”( Rayleigh 1885

或许这是因为,该原则在实践中的应用几乎仍然吸引不到学术界的赞誉,治疗措施公平试验报告很少在针对所有其它相关证据做系统评估的背景下讨论得出的结果(Clarke等 2002)。因此,读者常常难以从新研究的报告中获得“它意味着什么?”这一问题的可靠答案。

正如在先前的解释性文章中所述,没有先系统评价可以从现有研究中学到什么,就开始实施医学治疗措施的新试验,这带有危险性,浪费了资源并且是不道德的(参见“ 为什么比较的过程必须解决真正的不确定性 ”)。同样具有危险的是,报告了新测试的结果,而不根据对其它相关证据的系统评估来解释新的证据,因为它会延误对有益和有害疗法的鉴定(Antman等 1992)。例如,在20世纪60年代至90年代初之间,对于旨在减少心脏病患者心律异常的药物进行了50多次公平试验之后,人们才意识到这些药品简直是在杀人。如果每份报告在所有相关证据的背景下评估了新测试的结果,那么药物的致命作用很可能在十年前就已经鉴别出来了,许多不必Deadly Medicine要的过早死亡就可以得到避免。

在电子出版时代,应该可能处理大多数新研究报告中带有的局限性(Chalmers and Altman 1999;Smith and Chalmers 2001)。不过,使用研究证据的用户已不再根据单个或几个单独研究的治疗措施作出结论,而是日益依靠对所有相关可靠证据的 最新系统评价 来获取可靠信息,这是因为人们日益认识到,系统评价为医学治疗效果方面的结论提供了最好的依据。

就像在规划、实施、分析和解释关于治疗措施的单个公平试验时,必须采取措施避免 偏倚机遇因素 的误导一样,在规划、实施、分析和解释系统评价时,也必须采取类似的步骤。这就要求:

  • 明确说明由系统评价处理的问题
  • 确定应包含研究的合格标准
  • 找出(全部)可能符合条件的研究内容
  • 以限制偏倚的方式应用合格标准
  • 尽可能多地搜集各项研究的相关信息
  • 在适当并且可能的情况下,利用Meta分析和各种分析手段来分析这类信息
  • 编写一份结构化报告

人们日益认识到,通过系统评价对疗效进行评估至关重要,其表现之一是用来提高回顾本身可靠性的方法得到快速发展。一本名为《系统评价》(Systematic Reviews)的书的第一版不到100页( Chalmers and Altman 1995 ):仅6年后,第二版就厚达500页,并包括了快速演化的加强研究信息获取的策略(Egger等 2001)。

目前用来准备系统评价的方法有了重大进展,包括确定非预期效应所需的那些方法(Glasziou等 2004),以及整合研究结果的那些方法,这些研究描述并分析了提供和接受治疗者的经验(Thomas 2004)。一旦有相关资料,将会补充到詹姆斯·林德图书馆。

References

Antman EM, Lau J, Kupelnick B, Mosteller F, Chalmers TC (1992). A comparison of results of meta-analyses of randomized control trials and recommendations of clinical experts. JAMA 268:240-48.

Chalmers I, Altman DG (1995). Systematic Reviews. Londres: BMJ Publications.

Chalmers I, Altman DG (1999). How can medical journals help prevent poor medical research? Some opportunities presented by electronic publishing. Lancet 353:490-493.

Egger M, Davey Smith G, Altman D (2001). Systematic Reviews in Health Care: meta-analysis in context. 2nd Edition of Systematic Reviews. Londres: BMJ Books.

Glasziou P, Vandenbroucke J, Chalmers I (2004). Assessing the quality of research BMJ 328:39-41.

Hill AB (1965). Cited in ‘The reasons for writing’. BMJ 4:870.

Rayleigh (1885). Discours de son Excellence Lord Rayleigh. Dans : Report of the fifty-fourth meeting of the British Association for the Advancement of Science ; à Montréal en août et septembre 1884, Londres: John Murray.

Smith R, Chalmers I (2001). Britain’s gift: a ‘Medline’ of synthesized evidence. BMJ 323:1437-1438.

Thomas J, Harden A, Oakley A, Oliver S, Sutcliffe K, Rees R, Brunton G, Kavanagh J (2004). Integrating qualitative research with trials in systematic reviews BMJ 328:1010-1012.

JLL Book of EssaysHave you read the James Lind Library's Introduction to Fair Tests of Treatments?

We have edited, updated and abridged all of the Essays from the Library for 2019, and lavishly illustrated them with examples from the history of fair tests of treatments.  Share and enjoy!

Download the PDF