Austin Bradford Hill , uno de los pioneros del siglo XX en las pruebas auténticas para los tratamientos, observó que quienes leían los informes de las investigaciones querían respuestas a las cuatro preguntas siguientes: ‘¿Por qué empezó?’, ‘¿Qué hizo?’, ‘¿Que encontró?’ y ‘¿Y esto qué significa?’ (Hill 1965). Es especialmente importante la calidad de la respuesta a la última pregunta de Hill porque es el elemento del informe de investigación que tiene mayor probabilidad de influir sobre las opciones y las decisiones reales acerca de los tratamientos.

Son muy escasas las ocasiones en que una única prueba auténtica de un tratamiento ofrecerá evidencia suficientemente sólida como para proporcionar una respuesta segura a la pregunta ‘¿Y esto qué significa?’. Una prueba auténtica de un tratamiento suele ser una de una serie de estudios que abordan el mismo interrogante. Por lo tanto, para obtener una respuesta confiable para la pregunta ‘¿Y esto qué significa?’, es importante interpretar la evidencia de una prueba auténtica concreta en el contexto de una evaluación exhaustiva de toda la evidencia obtenida de las pruebas auténticas que han abordado el interrogante en cuestión.

El presidente de la British Association for the Advancement of Science manifestó la necesidad de observar este principio hace más de un siglo:

“Si, como se supone a veces, la ciencia consistiera solamente en la mera y laboriosa acumulación de hechos, muy pronto quedaría paralizada, aplastada, por así decirlo, bajo su propio peso… Por consiguiente, dos procesos operan simultáneamente: la recepción de material nuevo y la digestión y la asimilación del antiguo…El trabajo que merece, pero me temo que no siempre recibe, el mayor crédito es aquél en el que el descubrimiento y la explicación avanzan juntos, en el que no solamente se presentan los nuevos hechos, sino que también se señala su relación con los precedentes”. (Rayleigh 1885)

Quizá se deba a que la aplicación de este principio en la práctica aún obtiene poco crédito en los círculos académicos, que muy pocos informes de pruebas auténticas de tratamientos analizan sus resultados en el contexto de una evaluación sistemática del resto de la evidencia pertinente (Clarke et al. 2002). En consecuencia, suele ser difícil que quienes leen esos informes obtengan una respuesta confiable a la pregunta ‘¿Y esto qué significa?’ de los informes de nuevas investigaciones.

Como se observó en un ensayo explicativo previo, es peligroso, poco ético y un desperdicio embarcarse en nuevas pruebas de tratamientos médicos sin haber revisado sistemáticamente lo que se puede aprender de investigaciones previas (vea Por qué las comparaciones deben abordar una incertidumbre genuina). Comunicar los resultados de nuevas pruebas sin haber interpretado la nueva evidencia a la luz de la evaluación sistemática del resto de la evidencia pertinente también es peligroso, ya que genera demoras en la identificación de tratamientos tanto útiles como perjudiciales (Antman et al. 1992). Por ejemplo, entre la década de 1960 y los primeros años de la de 1990, se realizaron más de 50 pruebas auténticas de fármacos para reducir las anomalías de la frecuencia cardíaca en las personas con infarto antes de que se dieran cuenta de que estos fármacos estaban matando a los pacientes. Si cada informe hubiera evaluado los resultados de las nuevas pruebas en el contexto de toda la evidencia pertinente, los efectos mortales de los fármacos se podrían haber identificado diez años antes y se podrían haber evitado muchas muertes innecesariamente prematuras.

En la era de las publicaciones electrónicas debería ser posible superar las limitaciones presentes en la mayoría de los informes de las nuevas investigaciones (Chalmers y Altman 1999; Smith y Chalmers 2001). Sin embargo, más que fundamentar las conclusiones acerca de los tratamientos en uno o unos pocos estudios individuales, los usuarios de la evidencia de las investigaciones se inclinan cada vez más a recurrir a información confiable de revisiones actualizadas y sistemáticas de toda la evidencia pertinente y confiable , porque se reconoce, cada vez más, que dichas reseñas proporcionan la base más sólida para extraer conclusiones acerca de los efectos de los tratamientos médicos.

De la misma forma en que es importante tomar medidas para evitar ser inducido a error por los sesgos y la obra de la casualidad en la planificación, la realización, el análisis y la interpretación de cada prueba auténtica concreta de los tratamientos, es esencial que se tomen medidas para planificar, realizar, analizar e interpretar las revisiones sistemáticas. Esto implica:

• especificar el interrogante que abordará la revisión sistemática;
• definir los criterios de elegibilidad de los estudios que se incluirán;
• identificar (todos) los estudios que posiblemente reúnan los requisitos;
• aplicar los criterios de elegibilidad de manera que se limiten los sesgos;
• recabar un porcentaje lo más elevado posible de la información pertinente proveniente de los estudios;
• utilizar el metanálisis y una variedad de análisis para examinar esta información, si corresponde y es factible; y
• preparar un informe estructurado.

La rápida evolución de los métodos para mejorar la confiabilidad de las propias revisiones es una manifestación del reconocimiento cada vez mayor de la importancia fundamental que tienen las revisiones sistemáticas en la evaluación de los efectos de los tratamientos. La primera edición de un libro titulado Systematic Reviews (Revisiones sistemáticas) contaba con menos de 100 páginas (Chalmers and Altman 1995): tan sólo seis años después, la segunda edición terminó en unas casi 500 páginas e incluyó estrategias que evolucionaban rápidamente para aumentar la cantidad de información obtenida de las investigaciones (Egger et al. 2001).

En la actualidad, existen importantes desarrollos en los métodos utilizados para preparar revisiones sistemáticas, incluidas aquéllos necesarios para identificar los efectos imprevistos de los tratamientos (Glasziou et al 2004) y para incorporar los resultados de la investigación que describe y analiza la experiencia de personas que administraron y recibieron los tratamientos (Thomas 2004). A medida que vaya surgiendo, el material pertinente se incorporará aThe James Lind Library.