Juicios acerca de la calidad de la evidencia

Se ha incluido un glosario acortado al final de esta página. Para ver un glosario más completo, haga click aquí: Glosario de términos

Para tomar decisiones sobre tratamiento y como entregar la atención sanitaria, los decisores, pacientes y clínicos deben poner en la balanza los beneficios y desventajas de las diferentes estrategias. Quienes toman decisiones serán influenciado no solo por la mejor estimación de las ventajas y desventaja, sino que también por la confianza que puedan tener en estas estimaciones, es decir, en la calidad de la evidencia. El sistema GRADE, El cual hemos utilizado en estos resúmenes, ofrece un sistema estructurado y transparente para realizar los juicios acerca de la calidad de la evidencia. (1)

Al utilizar el sistema GRADE, hemos generado evaluaciones separadas de la calidad de la evidencia para cada resultado o desenlace (outcome). Al igual que con sistemas anteriores de graduación de calidad de la evidencia, el sistema GRADE comienza con el diseño de estudio. Los estudios randomizados proveen, en general, evidencia más sólida que los estudios observacionales. Por tal razón, los estudios randomizados sin limitaciones importantes constituyen evidencia de alta calidad.

Los estudios observacionales que no tienen características particulares que los hacen más confiables, constituyen generalmente evidencia de baja calidad. Sin embargo, existen una serie de factores que pueden disminuir o aumentar la confianza que tenemos en las estimaciones del efecto.

El sistema GRADE considera cinco factores que pueden disminuir la calidad de la evidencia:

1. Limitaciones de los estudios (riesgo de sesgo)
2. Resultados inconsistentes entre los estudios
3. Evidencia indirecta
4. Imprecisión
5. Sesgo de publicación

y tres que pueden aumentar la calidad de la evidencia:

1. Estimaciones del efecto del tratamiento de gran magnitud
2. Una gradiente dosis respuesta
3. Posibles factores confundentes que pudieran aumentar la confianza en la estimación

Factores que pueden disminuir la calidad de la evidencia

1. Nuestra confianza en la estimación de los efectos disminuye si los estudios adolecen de limitaciones mayores que pueden sesgar sus estimaciones del efecto del tratamiento. Estas limitaciones incluyen, por ejemplo, falta de ocultamiento en la secuencia de aleatorización; falta de cegamiento, especialmente si los desenlaces son subjetivos y su evaluación altamente susceptible de ser sesgada; pérdidas en el seguimiento; ausencia de un análisis por intención de tratar; falta de reporte en los resultados (típicamente aquellos en que no se observó un efecto “estadísticamente significativo”).
2. Estimaciones del efecto que difieren de manera importante y para lo cual no se encuentra una explicación convincente reducen nuestra confianza acerca de cuál es el verdadero efecto. La variabilidad puede provenir de diferencias en el tipo de población (por ej. los fármacos pueden tener efectos relativos mayores en poblaciones más enfermas); de diferencias en las intervenciones (por ej. mayor efecto con dosis mayores de un fármaco): o en los desenlaces (por ej. el efecto del tratamiento puede ir disminuyendo con el tiempo). Cuando existe variabilidad pero los investigadores no logran encontrar una explicación plausible, la calidad de la evidencia disminuye.
3. Los tomadores de decisiones deben considerar dos motivos por las que la evidencia se vuelve indirecta, y por tanto puede disminuir su calidad. La primera ocurre cuando se considera por ejemplo, el uso de una de dos intervenciones, A y B. Aunque puedan no existir estudios randomizados que hayan comparado A y B, pueden haber estudios randomizados comparando A contra “no intervención” y B contra “no intervención”. Tales estudios permiten comparaciones indirectas de la magnitud del efecto de A y B. Este tipo de evidencia es de menor calidad que la que pueden entregar comparaciones “frente a frente”. El segundo motivo que hace que la evidencia sea indirecta incluye las diferencias entre poblaciones, intervenciones, comparador de la intervención, y desenlace de interés, y aquellos incluidos en los estudios relevantes. Es muy importante en esta caso considerar si los desenlaces importantes son medidos en forma directa o se utilizaron desenlaces intermedios (surrogate outcomes), tales como medidas de procesos bioquímicos que pueden o no pueden reflejar con exactitud lo que se puede esperar en términos de un desenlace importante, como la mortalidad o morbilidad.
4. Cuando los estudios incluyen relativamente pocos pacientes y pocos eventos, y por tanto tienen intervalos de confianza amplios (o un valores p amplio), podemos confiar menos en la estimación.
5. La calidad de la evidencia se verá reducida si existe una alta probabilidad de que algunos estudios no hayan sido reportados (típicamente aquellos con resultados no “estadísticamente significativos”). El riesgo de este “sesgo de publicación” es mayor cuando la evidencia publicada se limita a un pequeño número de estudios, todos los cuales han sido auspiciados por personas con intereses creados en relación con los resultados.

Factores que pueden aumentar la calidad de la evidencia

1. Los estudios observacionales constituyen generalmente evidencia de baja calidad, incluso cuando han sido bien realizados, debido a los múltiples confundentes potenciales que pueden ser desconocidos o no haber sido medidos. Sin embargo, ocasionalmente pueden entregar evidencia de calidad moderada e incluso alta. Mientras más grande es la magnitud del efecto, menor es la posibilidad de que sea explicado por confundentes, y por lo tanto, la evidencia es más sólida. Por ejemplo, un metaanálisis de estudios observacionales encontró que la utilización de cascos para bicicletas reducía la chance de lesión craneana en ciclistas que se ven envueltos en un accidente, en alrededor de dos tercios, un efecto que no puede ser fácilmente explicado por factores confundentes, dado el diseño de los estudios.
2. La presencia de un gradiente entre dosis y respuesta puede incrementar nuestra confianza en la estimación de los efectos, por ejemplo, si efectos de mayor magnitud están asociados con dosis más altas.
3. Cuando se encuentra un efecto, si todos los confundentes debieran tender a disminuir la magnitud del efecto, se incrementa la calidad de la evidencia, dado que podemos estar más confiados en que el efecto es al menos de la magnitud estimada, e incluso puede ser mayor. En sentido contrario, especialmente para preguntas relacionadas con seguridad, si se encuentra poco efecto o ausencia de este y todos los sesgos plausibles llevarían a sobrestimar el efecto, podemos estar más confiados en que es improbable que exista un efecto importante.

GRADE entrega un sistema articulado y comprehensivo para graduar y resumir la calidad de la evidencia que apoya las recomendaciones relacionadas con los tratamientos y la provisión de la atención sanitaria. Aunque siempre se requerirán juicios en cada uno de los pasos, la aproximación sistemática y transparente de GRADE permite el escrutinio y el debate acerca de los mismos.

[1] Guyatt GH, Oxman AD, Kunz R, Vist GE, Falck-Ytter Y, Schunemann HJ, and the GRADE Working Group. What is ‘quality of evidence’ and why is it important to clinicians? BMJ 2008; 336:995-8.

 

Glosario acortado (para un glosario más completo haga click aquí: Glosario de términos)

Análisis por intención de tratar (Intention to treat analysis).

Una estrategia para analizar los datos de un ensayo aleatorizado y controlado. Todos los participantes se incluyen en la rama a la que fueron asignados, hayan o no recibido (o completado) la intervención que se administró en esa rama.

Cegamiento (Blinding)

El proceso de prevenir que los que están relacionados con un ensayo se enteren del grupo al que pertenece un participante.

Desgaste (Attrition)

La pérdida de participantes durante un estudio.

Ensayo aleatorizado (Randomised trial)

Un experimento en que dos o más intervenciones, que posiblemente incluyen una intervención control o no intervención, se comparan al ser asignadas de manera aleatoria a los sujetos. En la mayoría de los ensayos se asigna una sola intervención a cada sujeto, pero a veces la asignación se hace a grupos definidos de sujetos (por ejemplo, en un hogar) o se asignan las intervenciones a un mismo sujeto (por ejemplo, en un orden diferente o a diferentes partes del cuerpo).

Estudio observacional (Observational study)

Un estudio en que los investigadores no intervienen, sino que simplemente observan el curso de los acontecimientos. Los cambios o diferencias en una característica (p.ej., si los sujetos recibieron o no la intervención de interés) se estudian en relación con estos cambios o diferencias en otras características (p.ej., si murieron o no), sin ninguna acción del investigador.

Factor de confusión (Confounder)

Un factor que está asociado tanto a una intervención (o exposición) y al desenlace de interés. Por ejemplo, si los individuos en el grupo experimental de un ensayo controlado son más jóvenes que los del grupo control será difícil decidir si un menor riesgo de muerte en un grupo se debe a la intervención o a la diferencia de edad. En ese caso la edad es un factor de confusión, o una variable confusora. La aleatorización se utiliza para minimizar desequilibrios en variables confusoras entre los grupos experimental y control. La confusión es un aspecto importante en los estudios no aleatorizados.

Intervalo de confianza (Confidence interval)

Una medida de la falta de certeza en el resultado principal de un análisis estadístico.

Ocultación de la asignación (Concealment of allocation)

El proceso utilizado para asegurarse de que la persona que recluta a un participante en un ensayo controlado aleatorio no conoce el grupo de comparación al que se va a asignar ese individuo.

Sesgo (Bias)

Un error o desviación sistemática en los resultados o inferencias de un estudio.