GRADE en el programa nacional de Guías de Práctica Clínica
Pablo Alonso, Centro Cochrane Iberoamericano, IBB Sant Pau.
¿De qué hablaré?¿De qué hablaré?
• Las experiencias GRADE en el ámbito internacional
• Las experiencias GRADE en nuestro Programa
• Necesidad de GRADE en el Programa
Nota: como conflicto de interés, soy miembro del grupo GRADE.
Amplia aceptación internacionalAmplia aceptación internacional
Serie para usuarios en el BMJ (2008). Versión disponible en castellano.
Serie para elaboradores de GPC en el JCE (2011).
Contexto internacionalContexto internacional
• NICE (National Institute for Health and Clinical Excellence)
• SIGN (Scottish Intercollegiate Guidelines Network): sistema propio
• Colaboración Cochrane
NICENICE
• NICE utilizaba el sistema SIGN• Piloto inicial con tres guías • Introducción GRADE desde 2007 • Utiliza fundamentalmente para evaluar la calidad de la
evidencia• Todavía no en preguntas diagnósticas
NICENICE• Necesidad de formación y requirió tiempo para cambiar a un
modelo más transparente y estructurado• No más tiempo que el sistema narrativo habitual que
usaban• Evaluación interna:
– Experiencia positiva para metodólogos y miembros de los grupos
– Transparente, estructurado y sistemático– Tablas fáciles de interpretar (tras recibir formación) y más
útiles que el texto.• Identifican áreas de mejora (Imprecisión, network
metanálisis, estudios no aleatorizados/Dcos)
indirectness
NICE: cáncer colorectalNICE: cáncer colorectal
Pantallazo SIGN
Metodología SIGNMetodología SIGN
BMJ 2001; 323:334-337
SIGN y GRADESIGN y GRADE• Similitudes
– Priorizan el uso de revisiones sistemáticas– Formato PICO– Diferencian entre calidad y fuerza
• Diferencias• Graduación importancia de variables de resultado• Evaluación de la calidad por variable de resultado• En GRADE diseño no determina completamente la
calidad
• Juicios secuenciales, estructurados y explícitos
Systematic review
Guideline development
PICO
OutcomeOutcomeOutcomeOutcome
Formulate
question
Rate
importa
nce
Critical
Important
Critical
Not important
Create
evidence
profile with
GRADEpro
Summary of findings & estimate of effect for each outcome
Grade overall quality of
evidence across outcomes based
on lowest quality of critical outcomes
Randomization increases initial
quality
1. Risk of bias2. Inconsisten
cy3. Indirectnes
s4. Imprecision5. Publication
bias
Gra
de d
own
Gra
de u
p 1. Large effect
2. Dose response
3. Confounders
Rate quality
of evidence
for each
outcomeSelect
outcomes
Very low
LowModerate
High
Formulate recommendations:•For or against (direction)•Strong or conditional/weak (strength)
By considering:Quality of evidenceBalance benefits/harmsValues and preferences
Revise if necessary by considering:Resource use (cost)
• “We recommend using…”• “We suggest using…”• “We recommend against using…”• “We suggest against using…”
Outcomes
across
studies
Experiencia de SIGN con Experiencia de SIGN con GRADEGRADE
• Dos guías en marcha • Actualizaciones (osteoporosis y cáncer mama)• Después todas con GRADE
• Proceso evaluado internamente• Dificultad intrínseca de cambiar teniendo sistema
previo• Al evaluar por variable de resultado hay que
realizar RS propias (más tiempo!)• Dificultades graduando las variables de resultado
Experiencia de SIGN con Experiencia de SIGN con GRADEGRADE
• Coexistencia de dos sistemas potencial pero inevitable problema
• A menudo demasiado complejo para los clínicos (ellos se implican a todos los niveles)
• Algunas dificultades con GRADEpro pero piensan que es necesario
• Van a utilizar RevMan para sus RS• GRADE incluye factores similares a SIGN pero de
forma más estructurada y explícita
Colaboración CochraneColaboración Cochrane
• Organización dedicada a la elaboración y difusión de revisiones sistemáticas (RS)– Las RS son un ingrediente fundamental de las guías– Adoptó GRADE para evaluar la calidad de la
evidencia
• Incluye tabla de síntesis GRADE (Summary of Findings)
• Sinergia clara con los elaboradores de guías
heparin compared to no heparin for patients with cancer who have no other therapeutic or prophylactic indication for anticoagulation
Patient or population: patients with cancer who have no other therapeutic or prophylactic indication for anticoagulationSettings: outpatientIntervention: heparinComparison: no heparinOutcomes Illustrative comparative risks* (95% CI) Relative effect
(95% CI)No of Participants(studies)
Quality of the evidence(GRADE)
Comments
Assumed risk Corresponding risk
No heparin HeparinMortalityFollow-up: 12 months
Medium risk population RR 0.93 (0.85 to 1.02)
2531(8 studies)
⊕⊕⊕⊝moderate1,2,3649 per 1000 604 per 1000
(552 to 662)Symptomatic VTEFollow-up: 12 months
Medium risk population RR 0.55 (0.37 to 0.82)
2264(7 studies)
⊕⊕⊕⊕high129 per 1000 16 per 1000
(11 to 24)
Major bleedingFollow-up: 12 months
Medium risk population RR 1.3 (0.59 to 2.88)
2843(9 studies)
⊕⊕⊕⊝moderate1,47 per 1000 9 per 1000
(4 to 20)Minor bleedingFollow-up: 12 weeks
Medium risk population RR 1.05 (0.75 to 1.46)
2345(7 studies)
⊕⊕⊕⊝moderate1,427 per 1000 28 per 1000
(20 to 39)Health related quality of lifethe Uniscale and the Symptom Distress Scale (SDS); Better indicated by lower valuesFollow-up: 12 months
See comment See comment Not estimable5 138(1 study)
⊕⊕⊝⊝low6
*The basis for the assumed risk (e.g. the median control group risk across studies) is provided in footnotes. The corresponding risk (and its 95% confidence interval) is based on the assumed risk in the comparison group and the relative effect of the intervention (and its 95% CI).CI: Confidence interval; RR: Risk ratio;
GRADE Working Group grades of evidenceHigh quality: Further research is very unlikely to change our confidence in the estimate of effect. Moderate quality: Further research is likely to have an important impact on our confidence in the estimate of effect and may change the estimate.Low quality: Further research is very likely to have an important impact on our confidence in the estimate of effect and is likely to change the estimate.Very low quality: We are very uncertain about the estimate.
1 Vast majority of studies had allocation concealment , and used blinded outcome and adjudication. We did not downgrade although there was some concern about lack of blinding in some studies; the overall risk of bias was felt to be very low.2 There is moderate heterogeneity among studies included in the analysis of death at 12 months (I2=41%). The subgroup analysis for mortality at 12 months was statistically significant and suggested survival benefit in patients with SCLC but not in patients with advanced cancer. Overall we decided to downgrade by one level when considering these issues along with imprecision.3 CI interval includes effects suggesting benefit as well as no benefit. 4 CI includes possibility of both harms or benefits.5 The scores for the 2 scales were similar for the 2 study groups, both at baseline and at follow-up6 High risk of bias and only 138 patients enrolled.
GRADEproGRADEpro
• Software de acceso libre• Permite elaborar tablas resumen
• Para las GPC: Evidence Profile• Para las RS: Tabla Summary of Findings
• Puede importar automáticamente la información de RS Cochrane (variables y resultados)
• Permite optimizar la actualización
heparin compared to no heparin for patients with cancer who have no other therapeutic or prophylactic indication for anticoagulation
Patient or population: patients with cancer who have no other therapeutic or prophylactic indication for anticoagulationSettings: outpatientIntervention: heparinComparison: no heparinOutcomes Illustrative comparative risks* (95% CI) Relative effect
(95% CI)No of Participants(studies)
Quality of the evidence(GRADE)
Comments
Assumed risk Corresponding risk
No heparin HeparinMortalityFollow-up: 12 months
Medium risk population RR 0.93 (0.85 to 1.02)
2531(8 studies)
⊕⊕⊕⊝moderate1,2,3649 per 1000 604 per 1000
(552 to 662)Symptomatic VTEFollow-up: 12 months
Medium risk population RR 0.55 (0.37 to 0.82)
2264(7 studies)
⊕⊕⊕⊕high129 per 1000 16 per 1000
(11 to 24)
Major bleedingFollow-up: 12 months
Medium risk population RR 1.3 (0.59 to 2.88)
2843(9 studies)
⊕⊕⊕⊝moderate1,47 per 1000 9 per 1000
(4 to 20)Minor bleedingFollow-up: 12 weeks
Medium risk population RR 1.05 (0.75 to 1.46)
2345(7 studies)
⊕⊕⊕⊝moderate1,427 per 1000 28 per 1000
(20 to 39)Health related quality of lifethe Uniscale and the Symptom Distress Scale (SDS); Better indicated by lower valuesFollow-up: 12 months
See comment See comment Not estimable5 138(1 study)
⊕⊕⊝⊝low6
*The basis for the assumed risk (e.g. the median control group risk across studies) is provided in footnotes. The corresponding risk (and its 95% confidence interval) is based on the assumed risk in the comparison group and the relative effect of the intervention (and its 95% CI).CI: Confidence interval; RR: Risk ratio;
GRADE Working Group grades of evidenceHigh quality: Further research is very unlikely to change our confidence in the estimate of effect. Moderate quality: Further research is likely to have an important impact on our confidence in the estimate of effect and may change the estimate.Low quality: Further research is very likely to have an important impact on our confidence in the estimate of effect and is likely to change the estimate.Very low quality: We are very uncertain about the estimate.
1 Vast majority of studies had allocation concealment , and used blinded outcome and adjudication. We did not downgrade although there was some concern about lack of blinding in some studies; the overall risk of bias was felt to be very low.2 There is moderate heterogeneity among studies included in the analysis of death at 12 months (I2=41%). The subgroup analysis for mortality at 12 months was statistically significant and suggested survival benefit in patients with SCLC but not in patients with advanced cancer. Overall we decided to downgrade by one level when considering these issues along with imprecision.3 CI interval includes effects suggesting benefit as well as no benefit. 4 CI includes possibility of both harms or benefits.5 The scores for the 2 scales were similar for the 2 study groups, both at baseline and at follow-up6 High risk of bias and only 138 patients enrolled.
Evidence profileEvidence profileQuality assessment No of patients Effect
Quality
ImportanceNo. of studi
esDesign Limitations
Inconsistency
Indirectness Imprecision Other Cryotherapy LEEPRelative(95% CI)
Absolute effect at 1 year
(95% CI)
Recurrence CIN2–3 (follow-up 12 months randomized trials; 3–85 months observational studies)
1 randomized trials
no serious limitations
no serious inconsistency
no serious indirectness
seriousa,b none12/161 (7.5%)
4/168 (2.4%)
OR 3.3 (1.04 to 10.46)
51 more per 1000(from 1 to 179 more)
CRITICAL
3 observational studies
no serious limitations
no serious inconsistency
no serious indirectness
no serious imprecision
none2227/14 387
(15.5%)
319/7454(4.3%) OR 2.66
(1.89 to 3.75)
— CRITICAL
2.4%c 37 more per 1000(from 20 to 60 more)
Cervical cancer (follow-up 12 months randomized trials; 3–85 months to 26 years observational studies)
1 randomized trials
no serious limitations
no serious inconsistency
no serious indirectness
very seriousa none 0/200(0%)
0/200(0%)
— 0 fewer per 1000d CRITICAL
2 observational studies
no serious limitations
no serious inconsistency
no serious indirectness
no serious imprecision
none 2/679(0.3%)
3/3350(0.1%)
— 0 fewer per 1000e CRITICAL
Treatment unacceptable to women (follow-up 2 weeks; acceptability question)
1 randomized trials
no serious limitations
no serious inconsistency
no serious indirectness
very seriousf none15/170 (8.8%)
8/186 (4.3%)
OR 2.15 (0.89 to 5.22)
45 more per 1000(from 5 fewer to 147
more) CRITICAL
All severe adverse events (follow-up mean 12–16 months; stenosis and PID)
2 randomized trials
no serious limitations
no serious inconsistency
no serious indirectness
very seriousf none 3/300 (1%)
2/298f (0.67%)
—0.4 more per 1000
(from 8 fewer to 9 more) CRITICAL
All severe adverse events (follow-up 33 months; PID, plug syndrome, stenosis, blood transfusion)
5 randomizedtrials
no serious limitations
no serious inconsistency
serioush serioush none 136 480OR 0.53
(0.1 to 2.88)
—
CRITICAL 4%i
18 fewer per 1000(from 36 fewer to 67
more)
All severe adverse events (follow-up 12 months; PID, stenosis, major bleeding)
9 observationalstudies
serious limitationsj
no serious inconsistency
seriousi seriousf none 1/2233(0%)
38/960(4%)a —
10 fewer per 1000(from 20 fewer to 0)
CRITICAL
Should cryotherapy versus LEEP be used in women with histologically confirmed CIN?
GRADEproGRADEpro
Futuros desarrollos:• Desarrollo módulo diagnóstico• Desarrollo tabla para la formulación de
recomendaciones• Compatible con ordenadores Mac• Herramienta de elaboración de GPC
DECIDEDECIDE
Developing and Evaluating Communication Strategies to Support Informed Decisions and Practice Based on Evidence
• Proyecto europeo sobre como optimizar la presentación de las recomendaciones (2010-2015)– Profesionales de la salud, pacientes, gestores (policy
maker)• Objetivo es mejorar la diseminación de las GPC
– Múltiples formatos (papel, móviles, tabletas, vídeos)
• GRADEpro proporcionará diferentes formatos
Screen shot 3
Screen shot 2
¿Y en nuestro entorno?¿Y en nuestro entorno?
¿Y en nuestro ¿Y en nuestro entornoentorno??
• Inicialmente SIGN• Debate en el 2006
– GRADE todavía inmaduro– Ambos, SIGN y GRADE, coexistirían en el manual
metodológico• Escasa experiencia todavía
– Tres guías con evidence profiles (un solo centro)– Satisfacción de los metodólogos y profesionales de la
salud– Complejo (diagnóstico) y necesidad de atención al
detalle
Métodos INTERVENCIÓN PARTICIPANTES VARIABLES COMENTARIOS
Autor/año:Gelband 2000País:Objetivo:Evaluar la eficacia de regímenes de corta duración para el tratamiento de la tuberculosis pulmonar activaFinanciación:Pública (UK) y OMS.Diseño:Revisión sistemática de la literatura con metanàlisis (ECA)Búsqueda (años):Sin riesgo de sesgoMayo 2004 (sin cambios desde 1999)Calidad global: ++
Grupos de comparación:Tratamientos de corta duración (< 6 meses) versus tratamientos de más duraciónTipos de intervención: EstreptomicinaIsoniazidaRifampicinaPiracinamida(en diferentes combinaciones, dosis i pautas)Comparación: Pauta más corta con más larga.Duración de los estudios: de 3 a 12 mesesDuración del seguimiento: De 1 a 5 añosEstudios incluidos: ECA controlats amb tractament actiu.
Criterios de inclusión:ECA que comparen 2 o más regímenes (uno de ellos de <6 meses de duración) de diferente duración. En pacientes con TB activa (baciloscopia, cultivo o Rx compatible). Criterios de exclusión: Regímenes de idéntica duración.N. de pacientes:2200: tratamientos cortos1900: tratamientos largos2m vs >2m:5293m vs >3m: 25884m vs >4m: 8875m vs >5m: 390Edad: La mayoría adultos (1 ECA > 15 años) Sexo: N.EEntre un 9% y un 16% de los pacientes presentaban TB resistente.AC incluidos: 7 ECA
Principales:Recurrencia: (relapse) presencia de un cultivo de esputo positivo o baciloscopia con síntomas, tras los 12 meses de un tratamiento completo (u otro periodo más largo) Toxicidad: RAM que implique alteración del tratamientoSecundarias:Esterilización: cultivo negativo inmediatamente tras tratamientoMuerte
DE LOS AUTORES:Las recurrencias tras los regímenes de corta duración fueron superiores de una forma consistente, en comparación a los de larga duración. Las tasas de esterilizaciones fueron muy elevadas en todos los casos.No hubo diferencias globales para la toxicidad.Los resultados son sobre los pacientes con un buen cumplimiento (superior al 75%), los resultados por ITT podrían favorecer los tratamiento de corta duración.DE LOS REVISORES:Son estudios antiguos y no todos comparan con el régimen corto más aceptado de 6 meses. Se usaron las pautas más comunes en ese momento. La revisión apunta que como más prolongada la pauta mejor.Las pérdidas son elevadas: del 10 al 23%.
RESULTADOS
GRADE
Calidad de la evidencia
Diseño y ejecución (sesgo): Alto riesgo de sesgo: ocultación de la secuencia no clara, no ciego, elevadas pérdidas, no ITTConsistencia: Evidencia directa:SISesgo de publicación:Improbable.
Referencia: Gelband H. Regimens of less than six months for treating tuberculosis. Cochrane Database of Systematic Reviews 1999, Issue 4. Art.No.: CD001362. DOI: 10.1002/14651858.CD001362.
Tabla síntesis de características principales de una RS
GPC TuberculosisGPC Tuberculosis
Quality assessmentSummary of findings
Importance
No of patients Effect
QualityNo of studi
esDesign
Limitations
Inconsistency Indirectness ImprecisionOther
considerations
regimens of less than six months
longerRelative
(95% CI)Absolute
relapse (3 months vs longer) (follow-up 12 to 70 months; bacteriológica y/o clínica 3)
5 randomised trials
serious1 no serious inconsistency
no serious indirectness
no serious imprecision
none71/1290 (5.5%)
39/1298 (3%)
RR 3.67 (2.42 to
5.58)
80 more per 1000 (from 43 more to
137 more)
MODER
ATE
CRITICAL
toxicity (3 months or longer) (AE que requiere alteración o cese del tratamiento)
5 randomised trials
serious1 serious4 no serious indirectness
no serious imprecision
none178/1418 (12.6%)
200/1500 (13.3%)
RR 1.09 (0.87 to
1.38)
12 more per 1000 (from 17 fewer to 51
more)
LOW
IMPORTANT
relapse (4 months vs longer) (follow-up 5 to 8 years; bacteriológica y/o clínica 3)
2 randomised trials
serious1 no serious inconsistency
no serious indirectness
no serious imprecision2
none25/530 (4.7%)
4/357 (1.1%)
RR 3.64 (1.71 to
7.75)
29 more per 1000 (from 8 more to 74
more)
MODER
ATE
CRITICAL
toxicity (4 months vs longer) (AE que requiere alteración o cese del tratamiento)
1 randomised trials
serious1 no serious inconsistency
no serious indirectness
serious5 none113/879 (12.9%)
31/235 (13.2%)
RR 0.97 (0.63 to
1.49)
4 fewer per 1000 (from 49 fewer to 65
more)
LOW
IMPORTANT
relapse (5 months vs longer) (follow-up mean 24 months; bacteriológica y/o clínica 3)
1 randomised trials
serious1 no serious inconsistency
no serious indirectness
no serious imprecision2
none11/129 (8.5%)
11/261 (4.2%)
RR 2.24 (0.9 to 5.59)
52 more per 1000 (from 4 fewer to 193
more)
MODER
ATE
CRITICAL
Author(s): Gelband H. Date: 2008-07-02Question: Should regimens of less than six months vs longer be used for tuberculosis treatment Bibliography: Regimens of less than six months for treating tuberculosis. The Cochrane Library 1999;(4):CD001362.
GPC TuberculosisGPC Tuberculosis
Test findings
Range of sensitivity Best: 0.74 Worst: 0.09
Range of specificity Best: 1 Worst: 0.84
Consequences (number per 1000)
Baseline risk 38.7% Importance
Best: Worst:
True Positives 29 3 Critical
Treu Negatives 961 807 Critical
False Positives 0 154 Critical
False Negatives 10 35 Critical
GPC TuberculosisGPC Tuberculosis
GPC TuberculosisGPC Tuberculosis
¿Es GRADE realmente ¿Es GRADE realmente necesario en Programa?necesario en Programa?
VirtudesVirtudes
• Transparente y estructurado• Aborda limitaciones previas de otros sistemas
– Graduar la importancia de las variables de resultado– Evaluar la calidad por variable de resultado– Proceso estructurado para clasificar calidad y fuerza
• Sistema vivo que va incorporando los avances en el campo metodológico– Diagnóstico– Network metanálisis
VirtudesVirtudes• Adopción en el ámbito internacional
– Amplia difusión (sintonía con el resto) y experiencias positivas
– El propio SIGN lo ha adoptado– Las RS Cochrane también
• Software libre para elaborar materiales de trabajo (GRADEpro)– Tablas de síntesis útiles para la elaboración y
actualización de las GPC– Importación automática de archivos Revman
DificultadesDificultades
• Sistema en evolución• Complejo, mayor tiempo (curva aprendizaje)• ¿Mayor coste? • ¿Mayor tiempo de elaboración?
En resumenEn resumen• GRADE es un sistema riguroso, explícito y transparente
con amplia aceptación internacional
• Las experiencias actuales son positivas
• Es más complejo por lo que requiere más tiempo y recursos
• Es necesaria una implantación progresiva en el marco del Programa de GPC en el SNS
– Mayor formación y quizás más recursos (quizás solo tiempos)
– Cambio en la filosofía de las guías• Abordaje con preguntas clave• Plazos para su elaboración
Top Related