Des revues systématiques de l’ensemble des preuves pertinentes et fiables sont nécessaires pour réaliser des essais contrôlés des traitements médicaux. Pour éviter de tirer des conclusions erronées sur les effets des traitements, les personnes qui préparent des revues systématiques doivent prendre des mesures afin d’éviter divers types de biais , par exemple, en tenant compte de tous les éléments de preuve pertinents et en évitant une sélection biaisée parmi les éléments de preuve disponibles .

Même si l’on veille à réduire autant que possible les biais dans les revues, des conclusions erronées sur les effets des traitements peuvent aussi être le fruit du hasard . Le fait d’analyser des études séparées mais similaires, une par une, dans le cadre de revues systématiques, peut aussi être source de confusion en raison de l’effet du hasard. Si cela est possible et approprié, il est possible de réduire ce problème en combinant les données de toutes les études pertinentes, au moyen d’une procédure statistique aujourd’hui appelée ‘méta-analyse’.

La plupart des techniques statistiques utilisées aujourd’hui dans les méta-analyses découlent des travaux du mathématicien allemand Karl Gauss et du mathématicien français Pierre-Simon Laplace au cours de la première moitié du 19e siècle. L’un des domaines où leurs méthodes ont trouvé une application pratique était l’astronomie : la mesure de la position des étoiles à un certain nombre d’occasions débouchait souvent sur des estimations légèrement différentes, des techniques étaient donc nécessaires pour conjuguer ces estimations et produire une moyenne dérivée des résultats mis en commun. En 1861, l’astronome royal britannique, George Airy, a publié un manuel destiné aux astronomes (Airy 1861) dans lequel il décrivait les méthodes utilisées pour ce processus de synthèse quantitative. Un peu plus d’un siècle plus tard, un spécialiste américain des sciences sociales, Gene Glass, a appelé ce processus ‘méta-analyse’ (Glass 1976).

Un des premiers exemples de méta-analyse a été publié dans le British Medical Journal en 1904 par Karl Pearson (Pearson 1904 ; O’Rourke 2006), à qui le gouvernement avait demandé d’examiner les éléments de preuve sur les effets d’un vaccin contre la typhoïde. Bien que les méthodes pour les méta-analyses aient été développées par des statisticiens au cours des 70 années qui ont suivi, ce n’est que dans les années 70 qu’elles ont commencé à être appliquées plus largement, dans un premier temps par des spécialistes des sciences sociales (Glass 1976), puis par des chercheurs en médecine (Stjernswärd J 1974; Stjernsward et al. 1976; Cochran et al. 1977; Chalmers et al. 1977; Chalmers 1979; Editorial 1980).

Les méta-analyses peuvent être illustrées au moyen du logo de la Cochrane Collaboration . Ce logo représente une méta-analyse de données issues de sept essais contrôlés. Chaque ligne horizontale représente les résultats d’un test (plus la ligne est courte, plus les résultats sont certains); et le losange représente leurs résultats combinés. La ligne verticale indique le point autour duquel les lignes horizontales seraient groupées si les deux traitements comparés dans les essais avaient des effets similaires; si une ligne horizontale coupe la ligne verticale, cela signifie que l’essai en question n’a pas permis de détecter de différence claire (‘statistiquement significative’) entre les traitements. Lorsque les différentes lignes horizontales coupent la ligne verticale ‘pas de différence’, cela indique que le traitement pourrait soit accroître, soit réduire le nombre de décès chez les nourrissons. Ensemble, toutefois, les lignes horizontales ont tendance à se retrouver du côté positif (à gauche) de la ligne ‘ pas de différence’. Le losange représente les résultats combinés de ces essais, générés au moyen du processus statistique de la méta-analyse. Le fait que le losange se situe clairement à gauche de la ligne ‘pas de différence’ indique que le traitement a des effets bénéfiques.

Ce diagramme illustre les résultats d’une revue systématique des essais contrôlés d’un stéroïde administré dans le cadre d’un traitement court et bon marché à des femmes susceptibles d’accoucher prématurément. Le premier de ces essais a fait l’objet d’un rapport en 1972. Le diagramme résume les éléments de preuve qui auraient été mis en lumière si les essais disponibles avaient fait l’objet d’une revue systématique une décennie plus tard, en 1981 : il en ressort clairement que les stéroïdes réduisent le risque que les bébés meurent de complications dues au fait qu’ils soient nés avant terme. En 1991, sept autres essais avaient fait l’objet de rapports, et l’image dans le logo était devenue encore plus marquée.

Aucune revue systématique de ces essais n’a été publiée avant 1989 (Crowley 1989) et, de ce fait, la plupart des obstétriciens, des sages-femmes et des femmes enceintes ne se rendaient pas compte que ce traitement était aussi efficace. Après tout, certains des essais n’avaient pas fait apparaître de bénéfice ‘statistiquement significatif’, et peut-être seuls ces tests avaient été remarqués. Dans la mesure où aucune revue systématique n’avait été réalisée, des dizaines de milliers de bébés prématurés ont souffert et sont morts inutilement, et des ressources ont été gaspillées pour des recherches inutiles. Ce n’est qu’un exemple parmi bien d’autres des coûts humains qui peuvent résulter de l’absence d’évaluation des effets des traitements dans le cadre de revues systématiques et actualisées des essais contrôlés, au moyen de méta-analyses, pour réduire les probabilités que l’effet du hasard ne nous induise en erreur.

À la fin de 20e siècle, il était largement reconnu que les méta-analyses constituaient un élément important des essais contrôlés de traitements, et qu’elles contribuaient à éviter de conclure de façon erronée que les traitements étaient sans effet alors qu’ils étaient soit efficaces, soit nocifs.