Carlos A. Cuello Garcia MD, PhD(c) Health Research Methodology Program Department of Clinical Epidemiology and Biostatistics

Guías de práctica clínica

2a. PARTE evaluando la calidad de la evidencia

Conflictos de interés• Trabajo en:

‣ MacGRADE centre & Cochrane GRADEing group

‣ Cochrane

• He recibido apoyo económico de la WAO, y OPS para desarrollo de GPC y proyectos relacionados

GRADEingMethods

Requisito: conocer / repasar lo siguiente

• ensayo clínico aleatorio y sus riesgos de sesgo

‣ aleatorización

‣ ocultación de la secuencia aleatoria

‣ cegamiento adecuado

‣ seguimiento y desgaste

• los diseños de estudios observacionales (cohorte, casos y controles)

• Conocer los conceptos:

‣ riesgo relativo (RR), diferencia de riesgos (DR), reducción del riesgo relativo (RRR)

‣ intervalos de confianza 95% (IC95%)

• las partes de un meta-análisis

‣ interpretar un gráfico de bosque

‣ heterogeneidad (I2)

‣ sesgo de publicación

Requisito: conocer / repasar lo siguiente

Veremos hoy

• Perfiles de evidencia y tablas de resumen de hallazgos del sistema GRADE

‣ Qué es y cómo graduar la calidad de la evidencia en base a una pregunta clínica

‣ La relevancia de los desenlaces clínicos de importancia

RECOMENDACIÓN CLÍNICA

EVIDENCIA

VALORES DEL

PACIENTEACEPTABI-

LIDAD

BENEFICIOS VS DAÑOS COSTOS

OBJETIVO FINAL EN GUÍAS CLÍNICAS (para pacientes)

DECISIÓN

EVIDENCIA

VALORES DEL

PACIENTE

ACEPTABI-LIDAD

BENEFICIOS VS DAÑOS VIABILIDAD

EQUIDAD USO DE RECURSOS

EN GUÍAS PARA SALUD PÚBLICA

GUÍAS DE PRÁCTICA CLÍNICA๏ Necesitamos una guía de práctica clínica

๏ Necesitamos dar una recomendación final

IOM · AHRQ 2011

GENERACIÓN DE EVIDENCIA

PUBLICACIÓN

REVISIONES SISTEMÁTICAS

GUÍAS DE PRÁCTICA CLÍNICA

¿es necesaria?Configurar equipo de

trabajo

¿existe una GPC previa que pueda adaptarse?

Desarrollar GPC Adaptar GPC

no sí

¡sí!

Desarrollar GPC búsqueda de REVISIONES SISTEMÁTICAS para la pregunta PICO

¿existen RS?

¯\_( )_/¯sorry, parece que tendrás que hacer una RS (si la pregunta vale la pena)

NO

¿la RS y su evidencia es de calidad,

actual, relevante, suficiente?

SÍ

evaluar la CALIDAD global de la EVIDENCIA

SÍ

formular las RECOMENDACIONES

NO

ok!

recomendaciones de experto

transversal

serie de casos, reporte de un caso

caso-control

cohorte

ensayo clínico aleatorio

REVISIONES SISTEMÁTICAS

CTFPHE 1979

recomendaciones de experto

transversal

serie de casos, reporte de un caso

caso-control

cohorte

ensayo clínico aleatorio

REVISIONES SISTEMÁTICAS

CTFPHE 1979

I good

II fair

III poor

EVIDENCIA

recomendaciones de experto

transversal

serie de casos, reporte de un caso

caso-control

cohorte

ensayo clínico aleatorio

REVISIONES SISTEMÁTICAS

CTFPHE 1979

I good

II fair

III poor

EVIDENCIA

A

B

C

RECOMENDACIÓN

D

si voy a saltar de un avión…

¿recomiendas paracaídas para evitar muerte y/o daños severos?

Parachute use to prevent death and major trauma related to gravitational challenge:

systematic review of randomised controlled trials

BMJ 2003;327:1459

DECISIÓN

EVIDENCIA

VALORES DEL

PACIENTE

ACEPTABI-LIDAD

BENEFICIOS VS DAÑOS VIABILIDAD

EQUIDAD USO DE RECURSOS

no solo de evidencia se trata

RECOMENDACIÓN o

DECISIÓN EN SALUD

EVIDENCIA

Grading of Recommendations Assessment, Development and Evaluation

๏ Usa criterios explícitos para subir y bajar la calidad de la evidencia encontrada

๏ Consideración de la importancia de los desenlaces clínicos (outcomes)

๏ Toma en consideración preferencias y valores del paciente y del clínico

Ventajas del sistema GRADE

Ventajas del sistema GRADE๏ Transparencia del movimiento evidencia -> recomendación ๏ Consejos explícitos sobre el curso de acción a tomar aún cuando la

evidencia es escasa ๏ Interpretación clara y pragmática de las recomendaciones débiles y

fuertes ๏ Simplicidad para el lector, sistematización para el creador de GPC

CALIDAD de evidencia

Fuerza de RECOMENDACIÓN

Indica hasta que punto nuestra confianza en la estimación de un efecto es adecuada para apoyar una recomendación

Indica hasta que punto podemos confiar si en poner en práctica esta recomendación conllevará más beneficios que riesgos

Empezando por la importancia de los desenlaces para nuestros pacientes

Chalmers I, Glasziou P. Lancet 2009;374:86-9 Cooper NJ, et al Clin Trials 2005;2:260–4.

outcomes Pacientes con asma

óxido nítrico inhalado placebo

O2 sat

FEV1

días de hospital

muerte

DESENLACES ¿QUÉ TAN IMPORTANTE ES

CADA UNO?

P

I C

O

outcomes Pacientes con asma

óxido nítrico inhalado placebo

O2 sat

FEV1

días de hospital

muerte

DESENLACES ¿QUÉ TAN IMPORTANTE ES

CADA UNO?

P

I C

O

ponderación de desenlacesMortalidad 9Días de hospital 8Uso de medicamentos 7

6Saturación de oxígeno 5FEV1 4

32

Flatulencia por medicamento 1

Crítico para la toma de decisiones

Importante mas no crítico para la toma de decisiones

No importante para la toma de decisiones o para los pacientes

DESENLACES

¿ qué es CALIDAD de la evidencia?

También se le puede llamar “certeza” ó “confianza” de la evidencia

Balshem H, et al. GRADE guidelines: 3. Rating the quality of evidence. J Clin Epidemiol. 2011;64(4):401-6

EN REVISIONES

SISTEMÁTICASEN GUÍAS CLÍNICAS

El grado de confianza que tenemos de que el estimado del efecto visto es el correcto

El grado de confianza que tenemos en que el estimado del efecto es adecuado y apoya una decisión / recomendación particular

recomendación de experto

transversal series de casos

caso-control

cohorte

ECA

transversal series de casos

caso-control

cohorte

ECA ECA

Observacional

EXPERIENCIA ES UNA

HERRAMIENTA

por default...

transversal serie de casos

caso-control

cohorte

ECA ECA

observacional

ALTA CALIDAD

BAJA CALIDAD

CALIDAD DE LA EVIDENCIAALTA Estamos muy seguros que el verdadero efecto está cerca del que

estimamos

Estamos moderadamente seguros del efecto que estimamos: El verdadero efecto puede estar cerca, pero existe la posibilidad de que sea substancialmente diferente

Nuestra confianza en el efecto que estimamos es limitada: El efecto verdadero puede ser substancialmente diferente del que estimamos

Tenemos muy poca confianza en el efecto estimado: El efecto verdadero es probable que sea muy diferente

MODERADA

BAJA

MUY BAJA

¿Cómo se determina la calidad de la

evidencia?

¿Debemos administrar oxígeno a pacientes con infarto al miocardio para disminuir el riesgo de muerte?

Ejemplo

P I C O

Pacientes con infarto al miocardio

Oxígeno

No oxígeno

Muerte en hospital debido al infarto

๏El riesgo de MUERTE no disminuyó e incluso puede incrementarse con el uso de oxígeno en pacientes con infarto al miocardio

๏RR=2.12 (IC 95% 0.74 a 6.10) ๏430 participantes, 3 estudios

Cabello JB, Burls A, Emparanza JI, Bayliss S, Quinn T.Oxygen therapy for acute myocardial infarction.

Cochrane Database of Systematic Reviews 2013, Issue 8. Art. No.: CD007160.

¿Qué haría disminuir tu certidumbre?

¿te lo crees?

discutan…

Si los estudios están mal hechos… es decir, tienen riesgo de sesgo…

¿tu certidumbre en la evidencia disminuye?

riesgo de sesgo

P

I C

yes yes

no no

A

O

riesgo de sesgo

P

I C

yes yes

no no

A

O

Sesgo de selección •Generación de la secuencia aleatoria •Ocultación de la secuencia aleatoria

Sesgo de desempeño •cegamiento de participantes y personal

Sesgo de detección •cegamiento de evaluadores

Sesgo de desgaste •datos incompletos del desenlace

Sesgo de reporte/notificación •reporte selectivo

riesgo de sesgo

P

I C

yes yes

no no

A

O

Sesgo de selección •Generación de la secuencia aleatoria •Ocultación de la secuencia aleatoria

Sesgo de desempeño •cegamiento de participantes y personal

Sesgo de detección •cegamiento de evaluadores

Sesgo de desgaste •datos incompletos del desenlace

Sesgo de reporte/notificación •reporte selectivo

estudio 1

estudio 2

estudio 3

Sec

uenc

ia a

leat

oria

Ocu

ltac

ión

de la

sec

uenc

ia

Ceg

amie

nto

de p

artici

pant

es

Ceg

amie

nto

de p

erso

nal

Ceg

amie

nto

de e

valu

ador

es

Dat

os in

com

plet

osRep

orte

sel

ectivo

Si los estudios son diferentes entre sí…

¿tu certidumbre en la evidencia disminuye?

inconsistencia‣ Inconsistencias clínicas, metodológicas, estadísticas

• los puntos de estimado varían mucho entre los estudios

• IC muestran no traslape

• La prueba para heterogeneidad tiene un valor p bajo

• I2 es grande

Si los estudios no proveen de evidencia directa para contestar la pregunta PICO…

¿tu certidumbre en la evidencia disminuye?

evidencia indirecta๏ Considera que tan incierto estás

acerca de la aplicabilidad de la evidencia a tu pregunta

๏ Considera la pregunta PICO ‣ Population ‣ Intervention and comparison ‣ Outcome

P I C O

?

evidencia indirecta๏ ejemplo ‣ P- pacientes con influenza H1N1 ‣ I- oseltamivir ‣ C- placebo ‣ O- Mejoría clínica, complicaciones,

etc.

P I C O

evidencia indirecta๏ ejemplo ‣ P- pacientes con influenza H1N1 ‣ I- oseltamivir ‣ C- placebo ‣ O- Mejoría clínica, complicaciones,

etc.

P I C O

¡NOEXISTEN!

Estudios que incluyan

pacientes con H1N1

evidencia indirecta๏ ejemplo ‣ P- pacientes con influenza H1N1 ‣ I- oseltamivir ‣ C- placebo ‣ O- Mejoría clínica, complicaciones,

etc.

P I C O

¡NOEXISTEN!

Estudios que incluyan

pacientes con H1N1

sólo hay con influenza H5N1

Si los estudios proveen de evidencia imprecisa…

¿tu certidumbre en la evidencia disminuye?

imprecisión• Considera

1. tamaño de muestra y número de eventos

– evalúa tamaño del efecto, frecuencia de eventos en el grupo control y tamaño óptimo de información (optimal information size -OIS)

2. anchura de los intervalos de confianza (IC)

– ICs anchos indican incertidumbre del efecto

– IC anchos incluyen el efecto nulo (el “1”) y el daño o beneficio apreciable (rule of thumb: RR<0.75 or >1.25)

1 102 50.50.20.1

la imprecisión se aborda diferente

REVISIONES

SISTEMÁTICASGUÍAS CLÍNICASvs

la imprecisión se aborda diferente

REVISIONES

SISTEMÁTICAS

antes, dos definiciones:

๏ tamaño óptimo de información

๏ umbrales de probable daño/beneficio

¿tamaño óptimo de información?๏ Si el número total de pacientes incluidos en una revisión

sistemática es menor que el número ideal de pacientes que se requerirían en un ensayo clínico aleatorio (basado en un cálculo del tamaño de muestra para el mismo)…

๏ entonces, considera bajar la calidad de la evidencia por imprecisión

Guyatt G, et al. J Clin Epidemiol. 2011;64(12):1283-93

Control group event rate

Tota

l sam

ple

size

requ

ired

0.2 0.4 0.6 0.8 1.0

010

0020

0030

0040

0050

0060

00

RRR=30%

RRR=25%

RRR=20%

ej. el tamaño de muestra requerido para una frecuencia de eventos en el grupo control del 20% (control group event rate 0.2) con una intervención con reducción del riesgo relativo (RRR) del 30%

Control group event rate

Tota

l sam

ple

size

requ

ired

0.2 0.4 0.6 0.8 1.0

010

0020

0030

0040

0050

0060

00

RRR=30%

RRR=25%

RRR=20%

ej. el tamaño de muestra requerido para una frecuencia de eventos en el grupo control del 20% (control group event rate 0.2) con una intervención con reducción del riesgo relativo (RRR) del 30%

Control group event rate

Tota

l sam

ple

size

requ

ired

0.2 0.4 0.6 0.8 1.0

010

0020

0030

0040

0050

0060

00

RRR=30%

RRR=25%

RRR=20%

ej. el tamaño de muestra requerido para una frecuencia de eventos en el grupo control del 20% (control group event rate 0.2) con una intervención con reducción del riesgo relativo (RRR) del 30%

corresponde a un tamaño de muestra de aproximadamente 1200 participantes

Más exacto…

x 2 = 1,230

URL: www.stat.ubc.ca/~rollin/stats/ssize/b2.html

considera también el número de eventos

¿umbral de probable daño / beneficio?

๏ no es tan fácil de obtener ๏ varía en cada condición y depende de aplicar los valores y

preferencias de pacientes

ejemplo con diarrea

0 12–12

¿Cuántas horas menos con diarrea crees que sea lo adecuado y empezarías

a usar el medicamento??

horas de diarrea

–24 24

¿3 horas?

imagina medicamento que provee disminución de 12 horas (IC95% de –18 a –6)

–18 –6

ejemplo con diarrea

0 12–12

¿Cuántas horas menos con diarrea crees que sea lo adecuado y empezarías

a usar el medicamento??

horas de diarrea

–24 24

¿6 horas?

ejemplo con diarrea

0 12–12

¿Cuántas horas menos con diarrea crees que sea lo adecuado y empezarías

a usar el medicamento??

horas de diarrea

–24 24

¿12 horas?

ejemplo con diarrea

0 12–12

con 6 horas, piensa en cada ejemplo de abajo y

discute…

horas de diarrea

–24 24

¿6 horas?

los dos umbrales

0 12–12

umbral de probable beneficio

umbral de probable daño

horas de diarrea

–24 24

entonces…

tamaño óptimo de información

Tamaño de muestra grande (n ≥ 2,000)?

no

Bajar calidad

alcanzado

No bajar calidad

evalúa umbral de probable beneficio o daño

no alcanzado

sí

¿Cómo está el IC95%?

IC95% excluye efecto nulo (ie, RR=1)

1 1.250.75

RR

1IC95% incluye efecto nulo

(ie, RR=1)

1 1.250.75

RR

1

IC95% excluye umbral de probable daño o beneficio

1 1.250.75

RR

1

IC95% incluye umbral de probable daño o beneficio

1 1.250.75

RR

1

Imprecisión en resumen…

1 1.250.75

umbral de probable beneficio

umbral de probable daño

RR

preciso

impreciso

la imprecisión se aborda diferente

GUÍAS CLÍNICAS

Bajar calidad

No bajar calidad

evalúa umbral de probable beneficio o daño

IC95% excluye umbral de probable daño o beneficio

1 1.250.75

RR

1

IC95% incluye umbral de probable daño o beneficio

1 1.250.75

RR

1

tamaño óptimo de informaciónalcanzado no alcanzado

bajo número de eventos y tamaño de muestra grande (n≥2,000) no

sí

si crees que faltaron estudios a incluir en la revisión…

¿tu certidumbre en la evidencia disminuye?

sesgo de publicación

0.1 0.33 1 3 3

2

1

0

10 0.6

Pre

cisi

ón (

erro

r es

tándar

)

Efecto (p ej, RR)

repasando…

calidad de la evidencia

inconsistencia

eviden

cia

indirecta

P I C O

?

imprecisión

sesgo de publicación

riesgo de sesgo

estudio 1 estudio 2 estudio 3

por default...

transversal serie de casos

caso-control

cohorte

ECA ECA

observacional

ALTA CALIDAD

BAJA CALIDAD

por default...

transversal serie de casos

caso-control

cohorte

ECA ECA

observacional

ALTA CALIDAD

BAJA CALIDAD

puede bajar

puede subir

ECA

ALTA

MODERADA

BAJA

MUY BAJA

CALIDAD DE LA EVIDENCIA

riesgo de sesgo

ECA

ALTA

MODERADA

BAJA

MUY BAJA

CALIDAD DE LA EVIDENCIA

ECA

riesgo de sesgo

ALTA

MODERADA

BAJA

MUY BAJA

CALIDAD DE LA EVIDENCIA

ECA

riesgo de sesgo

inconsistencia

ALTA

MODERADA

BAJA

MUY BAJA

CALIDAD DE LA EVIDENCIA

ECA

riesgo de sesgo

inconsistencia

imprecision

ALTA

MODERADA

BAJA

MUY BAJA

CALIDAD DE LA EVIDENCIA

ECA

riesgo de sesgo

inconsistencia

imprecision

evidencia

indirecta

sesgo de publicación

ALTA

MODERADA

BAJA

MUY BAJA

CALIDAD DE LA EVIDENCIA

ECA

riesgo de sesgo

inconsistencia

imprecisionevidencia

indirecta

sesgo de publicación

MUY BAJA

un ensayo ALEATORIO puede acabar con MUY BAJA CALIDAD

OBSERVACIONAL

ALTA

MODERADA

BAJA

MUY BAJA

CALIDAD DE LA EVIDENCIA

OBSERVACIONAL

fuerte asociación

ALTA

MODERADA

BAJA

MUY BAJA

CALIDAD DE LA EVIDENCIA

OBSERVACIONAL

fuerte asociación

ALTA

MODERADA

BAJA

MUY BAJA

CALIDAD DE LA EVIDENCIA

dosis - respuesta

OBSERVACIONAL

fuerte asociación

dosis - respuesta

confusores residuales

ALTA

MODERADA

BAJA

MUY BAJA

CALIDAD DE LA EVIDENCIA

ALTAOBSERVACIONAL

fuerte asociación

dosis - respuesta

confusores residuales

un estudio OBSERVACIONAL puede acabar en ALTA CALIDAD

ejemplo

¿Debemos administrar oxígeno a pacientes con infarto al miocardio para disminuir el riesgo de muerte?

P I C O

Pacientes con infarto al miocardio

Oxígeno

No oxígeno

Muerte en hospital debido al infarto

encontramos una revisión

Cabello JB, Burls A, Emparanza JI, Bayliss S, Quinn T.Oxygen therapy for acute myocardial infarction.

Cochrane Database of Systematic Reviews 2013, Issue 8. Art. No.: CD007160.

Desenlace: Muerte intrahospitalaria

Evaluar el riesgo de sesgo de cada estudio

Rawles 1976

Ukholkina 2005

Ranchord 2012

Sec

uenc

ia a

leat

oria

Ocu

ltac

ión

de la

sec

uenc

ia

Ceg

amie

nto

de p

artici

pant

es

Ceg

amie

nto

de p

erso

nal

Ceg

amie

nto

de e

valu

ador

es

Dat

os in

com

plet

osRep

orte

sel

ectivo

Otr

os

PERFIL DE EVIDENCIA

GRADE

DESENLACES

¿Cuál es la importancia del desenlace?

¿Cuántos estudios y qué diseño?

¿Qué calidad tiene el cuerpo de evidencia?

Si algo está mal, siempre anotar el “por qué” en los pié de página

¿Cuáles son los resultados?

¿Cuál es la calidad global del cuerpo de evidencia?

TABLA DE RESUMEN DE HALLAZGOS

vimos…• la calidad de la evidencia (también llamada certidumbre o confianza) para

responder a una pregunta se obtiene de uno o más estudios

• la calidad obtenida de ensayos aleatorios puede disminuir por riesgo de sesgo, imprecisión, inconsistencia, evidencia indirecta y sesgo de publicación

• la calidad obtenida de estudios observacionales puede incrementarse por un efecto importante, dosis-respuesta o factores confusores residuales

vimos…

• GRADE presenta dos tablas importantes para exponer de forma transparente la forma y juicios de cómo se obtuvo la calidad global de un cuerpo de evidencia:

‣ tabla de perfil de evidencia

‣ tabla de resumen de hallazgos

herramientas y sitios útiles

• guidelinedevelopment.org

• cebgrade.mcmaster.ca

• gradeing.cochrane.org

• agreetrust.org

GRADEingMethods

¡Gracias! cuelloca@mcmaster.ca@CharlieNeck

�

Monterrey, N.L. México 2014