Revisões sistemáticas de todas as evidências relevantes e confiáveis são necessárias para a realização de experimentos controlados de tratamentos médicos. Para evitar conclusões equivocadas sobre os efeitos dos tratamentos, as pessoas que preparam as revisões sistemáticas devem tomar algumas medidas para evitar vieses de vários tipos, por exemplo, considerando todas as evidências relevantes e evitando a seleção com viés das evidências disponíveis .
Embora se deva tomar cuidado para minimizar os vieses nas revisões, conclusões equivocadas sobre os efeitos dos tratamentos também podem ser causadas pelo acaso . Discutir estudos distintos mas semelhantes um de cada vez, nas revisões sistemáticas, pode deixar uma impressão confusa por causa do efeito do acaso. Se for possível e apropriado, este problema pode ser reduzido pela combinação dos dados de todos os estudos relevantes, usando um procedimento estatístico agora conhecido como “meta-análise”.
A maioria das técnicas estatísticas usadas hoje na meta-análise tem origem nos trabalho do matemático alemão Karl Gauss e do matemático francês Pierre-Simon Laplace durante a primeira metade do século XIX. Um dos campos em que seus métodos encontraram aplicação prática foi na astronomia: medir a posição das estrelas em várias ocasiões, não raro, resultava em estimativas um pouco diferentes, assim, eram necessárias técnicas para combinar as estimativas para produzir uma média derivada da combinação dos resultados. Em 1861,o astrônomo real britânico George Airy, publicou um ‘manual’ para astrônomos (Airy 1861) no qual ele descrevia os métodos usados para este processo de síntese quantitativa. Cerca de um século depois, um cientista social norte-americano, Gene Glass, nomeou o processo de ‘meta-análise’ (Glass 1976).
Um dos primeiros exemplos médicos da meta-análise foi publicado na Revista Britânica de Medicina (British Medical Journal) em 1904 por Karl Pearson (Pearson 1904 ; O’Rourke 2006), a quem o governo pediu que revisasse a evidência dos efeitos de uma vacina contra tifóide. Embora os métodos da meta-análise tenham sido desenvolvidos por estatísticos durante os 70 anos subseqüentes, foi só na década de 70 que estes métodos começaram a ser aplicados mais amplamente, inicialmente por cientistas sociais (Glass 1976) e depois por pesquisadores médicos (Stjernswärd J 1974; Stjernsward et al. 1976; Cochran et al. 1977; Chalmers et al. 1977; Chalmers 1979; Editorial 1980).
O método de meta-análise pode ser demonstrado usando o logotipo da Colaboração Cochrane . O logotipo ilustra uma meta-análise dos dados de sete experimentos controlados. Cada linha horizontal representa os resultados de um teste (quanto mais curta a linha, mais certo é o resultado) e o diamante representa os seus resultados combinados. A linha vertical indica a posição ao redor da qual as linhas horizontais se agrupariam se os dois tratamentos comparados nos estudos tivessem efeitos semelhantes; se uma linha horizontal atravessasse a linha vertical, significaria que aquele experimento em particular não encontrou nenhuma diferença clara (“estatisticamente significante”) entre os tratamentos. Quando as linhas horizontais individuais atravessam a linha vertical ‘sem diferença’ significa que o tratamento pode tanto aumentar quanto diminuir as mortes de bebês. Juntas, todavia, as linhas horizontais tendem a cair no lado benéfico (esquerdo) da linha ‘sem diferença’. O diamante representa os resultados combinados destes testes, gerados usando o processo estatístico de meta-análise. A posição do diamante nitidamente à esquerda da linha ‘sem diferença’ indica que o tratamento é benéfico.
Este diagrama mostra os resultados de uma revisão sistemática de experimentos controlados de um processo barato e curto de um medicamento esteróide administrado a mulheres que corriam o risco de dar à luz prematuramente. O primeiro destes testes foi relatado em 1972. O diagrama resume a evidência que teria sido revelada se os experimentos disponíveis tivessem sido revisados sistematicamente uma década mais tarde, em 1981: há uma forte indicação de que os esteróides reduzem o risco de bebês morrerem de complicações causadas pela imaturidade. Até 1991, mais sete ensaios tinham sido relatados, e a imagem no logotipo tinha ficado ainda mais forte.
Nenhuma revisão sistemática destes estudos foi publicada até 1989 (Crowley 1989), assim a maioria dos obstetras e das mulheres grávidas não sabia que o tratamento era tão eficaz. Afinal, alguns experimentos não mostraram um benefício “estatisticamente significante”, e talvez apenas estes experimentos tinham sido observados. Como nenhuma revisão sistemática tinha sido feita, dezenas de milhares de bebês prematuros sofreram e morreram desnecessariamente, além do desperdício de recursos em pesquisas desnecessárias. Este é apenas um dos muitos exemplos de custos de vidas humanas que podem resultar do fracasso em avaliar os efeitos de tratamentos em revisões sistemáticas atualizadas dos experimentos controlados, usando a meta-análise para reduzir a probabilidade de que o efeito do acaso seja enganoso.
No fim do século XX, aceitou-se amplamente que a meta-análise era um elemento importante dos experimentos controlados, e que ela ajudava a evitar conclusões incorretas de que os tratamentos não tinham efeitos quando eles eram, na verdade, benéficos ou prejudiciais.