Um dos pioneiros do século vinte em experimentos controlados de tratamentos, Austin Bradford Hill , observou que os leitores de relatórios de pesquisa querem respostas para quatro perguntas: ‘Por que você começou?’, ‘O que você fez?’, ‘O que você encontrou?’ e ‘O que isso significa afinal?’ (Hill 1965). O qualidade da resposta para a última pergunta de Hill é muito importante porque este é o elemento de um relatório de pesquisa que mais pode influenciar as escolhas e as decisões sobre os tratamentos.

Só muito raramente um único experimento controlado de um tratamento produz evidências suficientemente fortes para fornecer uma resposta segura à pergunta ‘O que isso significa?’. Um experimento controlado de um tratamento é geralmente um de vários experimentos que abordam a mesma questão. Para uma resposta confiável à pergunta ‘O que isso significa?’,então, é importante interpretar a evidência de um experimento controlado específico no contexto de uma avaliação cuidadosa de todas as evidências dos experimentos controlados que abordaram a questão envolvida.

O presidente da Associação Britânica para o Avanço da Ciência expressou a necessidade de observar este princípio há mais de um século:

“Se, como algumas vezes se supõe, a ciência consistisse em nada além da acumulação laboriosa de fatos, logo viria uma pausa, esmagada, por assim dizer, pelo seu próprio peso…. Dois processos estão deste modo em ação lado a lado, a recepção de novos materiais e a digestão e a assimilação dos antigos…O trabalho que merece, mas que receio nem sempre receba, o maior crédito é aquele em que a descoberta e a explicação andam de mãos dadas, no qual sejam apresentados não somente os novos fatos, mas sua relação com os antigos”. (Rayleigh 1885)

Talvez seja porque a aplicação deste princípio na prática ainda atraia pouco crédito dentro do ambiente acadêmico, que poucos relatórios de experimentos controlados de tratamentos discutam os seus resultados no contexto de uma avaliação sistemática de todas as outras evidências relevantes (Clarke et al. 2002). Como resultado, é geralmente difícil para os leitores obterem uma resposta confiável à pergunta ‘O que isso significa?’ dos relatórios de novas pesquisas.

Conforme observado em um artigo explicativo anterior, iniciar novos experimentos de tratamentos médicos sem primeiro revisar sistematicamente o que pode ser aprendido a partir de pesquisas já existentes é perigoso, imprudente e antiético (ver Por que as comparações devem tratar de incertezas legítimas). Relatar os resultados de novos experimentos sem interpretar novas evidências à luz de avaliações sistemáticas de outras evidências relevantes também é perigoso porque resulta em atrasos na identificação tanto de tratamentos benéficos quanto maléficos (Antman et al. 1992). Por exemplo, entre a década de 60 e o início da década de 90, foram feitos mais de 50 experimentos controlados de medicamentos para reduzir as anormalidades do batimento cardíaco em pessoas que tiveram ataques cardíacos antes que se percebesse que estes medicamentos estavam matando as pessoas. Se cada relatório tivesse avaliado os resultados dos novos experimentos no contexto de todas as evidências relevantes, os efeitos letais do medicamento poderiam ter sido identificados uma década mais cedo, e muitas mortes prematuras desnecessárias poderiam ter sido evitadas.

Em uma era de publicação eletrônica deveria ser possível lidar com as limitações encontradas na maioria dos relatórios de novas pesquisas (Chalmers and Altman 1999; Smith and Chalmers 2001). Entretanto, ao invés de fundamentar as conclusões sobre os tratamentos em um ou alguns poucos estudos individuais, os usuários de evidências de pesquisas estão cada vez mais se baseando em informações confiáveis para as revisões sistemáticas e atualizadas de todas as evidências relevantes e confiáveis , porque estas são cada vez mais reconhecidas como sendo as que fornecem a melhor base para conclusões sobre os efeitos dos tratamentos médicos.

Da mesma forma que é importante tomar medidas para evitar ser enganado por vieses e pelo efeito do acaso no planejamento, na análise e na interpretação de experimentos controlados de tratamentos, assim também devemos tomar medidas no planejamento, execução, análise e interpretação das revisões sistemáticas. Isto envolve:

• especificar a questão a ser tratada pela revisão sistemática
• definir o critério de elegibilidade dos estudos a serem incluídos
• identificar (todos) os possíveis estudos elegíveis
• aplicar o critério de elegibilidade de maneira que limite o viés
• formar uma proporção mais alta possível das informações relevantes dos estudos
• analisar estas informações, se apropriado e possível, usando a meta-análise e uma variedade de análises
• preparar um relatório estruturado

Uma manifestação do aumento do reconhecimento da importância crucial das revisões sistemáticas para a avaliação dos efeitos dos tratamentos é a rápida evolução dos métodos para melhorar a confiabilidade das revisões em si. A primeira edição de um livro intitulado Systematic Reviews (Revisões Sistemáticas) tinha menos de 100 páginas (Chalmers and Altman 1995): apenas seis anos mais tarde, a segunda edição trazia aproximadamente 500 páginas e incluía estratégias muito avançadas para aumentar as informações obtidas nas pesquisas (Egger et al. 2001).

Há atualmente desenvolvimentos importantes nos métodos de preparo das revisões sistemáticas, incluindo aqueles necessários para identificar os efeitos imprevistos dos tratamentos (Glasziou et al. 2004) e para incorporar os resultados da pesquisa que descrevem e analisam as experiências das pessoas que ministraram e que receberam os tratamentos (Thomas 2004). À medida que forem surgindo, os materiais relevantes serão acrescentados à James Lind Library.