Metaanálisis en Red - AURELIO TOBIAS · Asunción para comparaciones indirectas Las comparaciones...

Metaanálisis en Red

Aurelio Tobí[email protected]

Objetivo

• Conocer los fundamentos y principales aspectos metodológicos del metaanálisis en red con comparaciones directas, indirectas y mixtas

Contenidos

• Introducción• Tipos de comparaciones• Metaregresión• Metaanálisis multivariante• Ranking de tratamientos• Lectura crítica de un NMA

Necesidad de evidencia

• Decisiones de atención de salud debe basarse en la mejor evidencia (MBE) disponible a partir de revisiones sistemáticas y metaanálisis

• Ensayos con placebo son suficiente para la aprobación de nuevos tratamientos, pero … de uso limitado para decidir cual es el mejor tratamiento

• Comparaciones directas entre tratamientos alternativos suele ser limitada o inexistente

http://bestpractice.bmj.com/best-practice/evidence/0312.html

ModerateLowVery low

Creciente interés

Number of systematic reviews with at least three interventions that derived at least one indirect or mixed estimate – search PubMed until January 2011 (Salanti et al. 2012)

… 2017

567

2013

145

¿Nuevo paradigma?Ca

lidad

de

la e

vide

ncia

Revisión sistemática y metaanálisis

Ensayo clínico aleatorizado

Estudios de cohortes

Estudios transversales

Series de casos

Mayor

Menor

¿Revisión sistemática y metaanálisis en red?

Contenidos


Metaanálisis

• Análisis de resultados obtenidos en estudios individuales con la finalidad de integrarlo (Glass 1976)

• Consiste en calcular un efecto promedio

• A partir de ahora lo definimos como comparación directa

• Objetivosa) Aumentar el poder y la

precisiónb) Evaluar la consistencia de

los resultadosc) Responder preguntas que

no se plantean en los estudios individuales

Metaanálisis

• Todos los estudios incluidos en el metaanálisis ha de responder a la misma pregunta de investigación

• Sólo combinar medidas del efecto del mismo tipo de diseño de investigación

• Misma medida del efecto y de variabilidad en todos los estudios (datos secundarios/primarios resumidos)

• Técnicas de metaanálisis sólo permiten combinarmedidas del efecto aditivas (en escala simétrica)

• Se pueden utilizar otras medidas descriptivas (prevalencia o incidencia) o de efecto (correlación)

Modelos para metaanálisis

A favor del tratamiento

A favor del control

Efectos Fijos

yi = qyi



A favor del control

(ei)

Efectos Fijos

yi = q + ei

ei ~ N(0, si2)

Efectos aleatorios

yi yi = µ + ei + di

di~N(0, t2) ei~N(0, si

2)

Distribución aleatoria de los efectos

(ei)

t2


A favor del control

yi


• Efectos Fijos– Asume homogeneidad de

efectosH0: y1 = y2 = … = yk

• Estimador combinado

– Pesos wi = 1/si2

– Método del inverso de la varianza (Cochran 1937)

• Efectos Aleatorios– Asume que las medidas del

efecto se distribuyen aleatória-mente con media y varianza fijas

• Estimador combinado

– Pesos wi* = 1/(si

2+t2)– Método de DerSimonian y Laird

(1986)

θ̂= wiyi∑ / wi∑

con$sθ̂

2 =1 / wi∑

µ̂ = wi*yi∑ / wi

*∑

con$sµ̂

2 =1 / wi*∑


• Efectos fijos– Asume que todos los estudios

comparten un mismo efecto del tratamiento

– Metaanálisis permite estimar este efecto

• Ventajas– Sencillo de entender y fácil de

calcular

• Limitación– Asumir homogeneidad de

efectos

• Efectos aleatorios– El efecto del tratamiento en

cada estudio está distribuido aleatoriamente

– Metaanálisis estima el promedio de dichos efectos

• Ventajas– Considera todas la variabi-

lidad, intra- y entre- estudios

• Limitación– No explica las diferencias

entre- estudios

Heterogeneidad

• Prueba de heterogeneidad

H0: y1 = y2 = … = yk

– Problema de potencia estadística. Baja con pocos estudios y demasiada con muchos estudios

• Índice de heterogeneidad

con I2=0 si I2<0

– Proporción de la variabilidad total explicada por la heterogeneidad

– Valores de I2 de 25%, 50% y 75% pueden considerarse como heterogeneidad baja, moderada, alta y muy alta

!!!!

€

Q = wi yi −⌢ θ ( )

2

∑ ~ χk−12 !!

€

I2 =Q −(k −1)

Q×100%

Ejemplo

Ejemplo

• Comprar el efecto de distintos tratamientos, a partir de estudios que comparan los distintos tratamientos con un comparador común

• Si sabemos cuanto más grande son B respecto A, y C respecto a A ¿cuanto más grande es C respecto B?

Comparaciones indirectas

B CAB-A

C-A

C-B = (C-A) – (B-A)

Método de Bucher

• Con medidas del efecto absolutas (D, DR)qC vs. B = qC vs. A – qB vs. A

con, s2qC vs. B

= s2qC vs. A

+ s2qB vs. A

luego, IC 95% = qC vs. B� 1.96�√s2qC vs. B

• Con medidas del efecto relativas (RR, OR)log(qC vs. B) = log(qC vs. A) – log(qB vs. A)

con, s2log(qC vs. B) = s2

log(qC vs. A) + s2log(qB vs. A)

luego, IC 95% = log(qC vs. B) � 1.96�√s2log(qC vs. B)

Ejemplo

• ¿C vs. B?log(ORC vs. B) = log(4.14) – log(1.42) =

= 1.42 – 0.35 = 1.07ORC vs. B = exp(1.07) = 2.92

• ¿B vs. C?log(ORB vs. C) = log(1.42) – log(4.14) =

= 0.35 – 1.42 = -1.07ORB vs. C = exp(-1.07) = 0.34

Ejemplo con Excel

• Calculadora Excel para comparaciones indirectashttp://metaanalisisenred.weebly.com/excel.html

(Tobías & Catalá-López 2014)

¿Cuando son necesarias?

• Cuando no hay estudios con una comparación directa entre tratamientos

• Cuando si hay estudios que comparan de forma directa los tratamientos, pero éstos son muy pocos y/o de baja calidad

Laws A, Kendall R, Hawkins N. A comparison of national guidelines for network meta-analysis. Value Health. 2014;17:642-654.

• Asunción subyacente es que podemos comparar B vs. C a través de un comparador común A

Asunción para comparaciones indirectas

Las comparaciones directas (B vs. A y C vs. A) deben ser epidemiológicamente y clínicamente similares para permitir transitividadB C

A

1. El comparador común A debe ser definido de manera similarcuando aparece en comparaciones directas B vs. A y C vs. A– Aunque a veces se puede permitir cierta flexibilidad– La transitividad no se cumplirá cuando el comparador común A sea

diferente en comparaciones directas B vs. A y C vs. A

Condiciones para transitividad

B C

A

B C

A A

?B C

A A

1. El comparador común A debe ser definido de manera similarcuando aparece en comparaciones directas B vs. A y C vs. A –Transitividad• En los ensayos B vs. A que no tienen brazo C, y en los ensayos C vs. A

que no tienen tratamiento B, estos brazos ausentes se supone que son al azar

• Los pacientes incluidos en las comparaciones directas C vs. A y B vs. A podrían ser asignados al azar a cualquiera de los tratamientos (A, B y C)

2. Los ensayos con comparaciones directas B vs. A y C vs. A no difieren con respecto a la distribución de posibles variables modificadoras del efecto – Similitud

Condiciones para transitividad

Comparaciones mixtas• Otra situación habitual es tener alguna evidencia directa

sobre la comparación directa entre los tratamientos de interés (C vs. B)

• Las comparaciones mixtas, combinando evidencia directa e indirecta, permiten incrementar la precisión de las estimaciones

Tratamiento APlacebo Tratamiento B

Evidencia indirecta

Evidencia directa

Ejemplo

Método de Bucher

• Con medidas del efecto absolutas (D, DR)qdir�wdir + qind�wind

wdir + wind

Pesos w = 1/s2q

y con s2qm = 1/(wdir + wind)

• Con medidas del efecto relativas (RR, OR)log(qdir)�wdir + log(qind)�wind

wdir + wind

Pesos w = 1/s2log(q)

y con s2log(qm) = 1/(wdir + wind)

qm =

log(qm) =

Más asunciones …

• Además de transitividad hay que asumir que la evidencia directa e indirecta son estimaciones de un mismo parámetro (efecto) ⇒ consistencia

• Factor de inconsistencia– FI = |θdir − θind|– Puede complementare junto con su intervalo de confianza

y/o evaluarse estadísticamente con un z-test

Ejemplo con Excel

• Calculadora Excel para comparaciones mixtashttp://metaanalisisenred.weebly.com/excel.html

(Tobías & Catalá-López 2014)

Ejemplo OR (95% CI)

B-A dir 1.42 (0.55 , 3.58)C-A dir 4.14 (2.58 , 6.63)

C-B ind 2.91 (1.46 , 5.87)dir 2.95 (1.81 , 4.80)mxt 2.94 (1.97 , 4.38)

OR (95% CI)A-B dir 0.70 (0.28 , 1.82)C-B dir 2.95 (1.81 , 4.80)

C-A ind 4.21 (1.47 , 12.08)dir 4.14 (2.58 , 6.63)mxt 4.15 (2.70 , 6.39)

OR (95% CI)A-C dir 0.24 (0.15 , 0.39)B-C dir 0.34 (0.21 , 0.55)

B-A ind 1.42 (0.72 , 2.79)dir 1.42 (0.55 , 3.58)mxt 1.42 (0.78 , 5.58)

Metaanálisis en red

• Metaanálisis en red aprovecha toda la informacióndisponible, combinando comparaciones directas e indirectas

• Proporciona estimaciones más precisas para la comparación entre dos tratamientos

Limitaciones• No permite analizar adecuadamente estudios con

más de dos brazos, hay que asumir comparaciones independientes

• Metaanálisis separados para cada comparación

Contenidos


Metaanálisis como modelo lineal

• Efectos fijosyi = q + ei

ei~N(0, si2)

• Efectos aleatoriosyi = µ + di + ei

di~N(0, t2)ei~N(0, si

2)

yi

q

yi

µ

Metaregresión

• Metaanálisis como modelo de regresión lineal ponderado con efectos aleatorios

yi = µ + bxi + di + ei

di~N(0, t2)ei~N(0, vi)

con variable explicativa (x) que identifica– Características del diseño de los estudios– Características de las poblaciones de los estudios

µ

yi

xi

b

Metaregresión para MA en red

• Algoritmo de codificación de efectosa) Definir el tratamiento comparador común (A)b) Crear variables de codificación de efectos cada

tratamiento distinto de A (k=B, C, …)• Xk = +1 si el tratamiento k no es el de comparación en el estudio• Xk = −1 si el tratamiento k si es el de comparación en el estudio• Xk = −0 en otro caso

c) Omitir el término constante en la metaregresión• Variables de codificación de efectos serán la

comparación de cada tratamiento vs. A

Comparaciones mixtas y MA en red

• Codificación alternativa para metaanálisis en redyi = µ1xi1 + µ2xi2

yB-A = µ1

yC-A = µ2 µ2–µ1 = yC-B

!!

€

yB−AyC−AyC−B

#

$

% % %

&

'

( ( (

=

10−1

011

#

$

% % %

&

'

( ( (

µ1

µ2

#

$ %

&

' (

Comparacionesdirectas

Comparaciónmixta

Parámetrosbásicos

Parámetrofuncionalµ2–µ1 = yC-B

. use ejemplo , clear

. foreach T in B C {2. generate `T' = 03. replace `T' = +1 if trt1 == "`T'"4. replace `T' = -1 if trt2 == "`T'"5. }

. list id design C B, sepby(design) noobs

+----------------------+| id design C B ||----------------------|| 1 B-A 0 1 || 2 B-A 0 1 || 3 B-A 0 1 ||----------------------|| 3 C-A 1 0 || 4 C-A 1 0 || 5 C-A 1 0 ||----------------------|| 3 C-B 1 -1 || 6 C-B 1 -1 |+----------------------+

. metareg y C B , wsse(se) nocons mm z eform

Meta-regression Number of obs = 8Method of moments estimate of between-study variance tau2 = 0% residual variation due to heterogeneity I-squared_res = 0.00%------------------------------------------------------------------------------

y | exp(b) Std. Err. z P>|z| [95% Conf. Interval]-------------+----------------------------------------------------------------

C | 4.153739 .827999 7.14 0.000 2.810362 6.139263B | 1.415356 .2903205 1.69 0.090 .9468161 2.115757

------------------------------------------------------------------------------

. lincom C - B , eform------------------------------------------------------------------------------

y | exp(b) Std. Err. z P>|z| [95% Conf. Interval]-------------+----------------------------------------------------------------

(1) | 2.934767 .595358 5.31 0.000 1.971948 4.367688------------------------------------------------------------------------------

Limitaciones

• No permite analizar adecuadamente estudios con más de dos brazos, hay que asumir comparaciones independientes

• Modelos que asumen consistencia y la misma variabilidad entre- estudios t2 para cada comparación

Contenidos


Metaanálisis multivariante

• Estudios incluidos en revisión sistemática pueden estar interesados en diversas variables de respuesta – Pruebas diagnósticas (sensibilidad y especificidad)– Economía de la salud (medidas de coste y efectividad)– Ensayos clínicos (dosis-respuesta, o más de 2 brazos)

• Metaanálisis multivariante permite una síntesis conjunta de múltiples resultados, que con variables explicativas se extiende a metaregresión multivariante

• Metaanálisis univariante (clásico)

• Metaanálisis multivariante

!!

€

yi = yi1( )

!!

€

Si = var yi1( ) = si12( )

!!

€

yi =yi1yi2

"

# $

%

& '

Si = varyi1yi2

⎛

⎝

⎜⎜

⎞

⎠

⎟⎟=

si12 si12

si12 si22

⎛

⎝

⎜⎜

⎞

⎠

⎟⎟



• Metaanálisis multivariante

Si = varyi1yi2

⎛

⎝

⎜⎜

⎞

⎠

⎟⎟=

si12 ρwisi1si2

ρwisi1si2 si22

⎛

⎝

⎜⎜

⎞

⎠

⎟⎟

!!

€

yi = yi1( )

!!

€

Si = var yi1( ) = si12( )

!!

€

yi =yi1yi2

"

# $

%

& '


Correlación intra-estudio

• Nunca (o raramente) aparece en publicaciones, su estimación requiere de datos individuales

• La covarianza entre dos estimaciones en un estudio de múltiples brazos es la varianza de los datos en el comparador común (A)

• Respuesta binaria– DR, cov = ab/(a+b)3

– log(RR), cov = (1/a)-(1/(a+b))– log(OR), cov = (1/a) + (1/b)

• Respuesta continua– D, cov = sA

2/nA

– d, cov = 1/nA


• Metaanálisis multivariate

Si = varyi1yi2

⎛

⎝

⎜⎜

⎞

⎠

⎟⎟=

si12 s12s12 si2

2

⎛

⎝

⎜⎜

⎞

⎠

⎟⎟+

τ12 τ12τ12 τ2

2

⎛

⎝

⎜⎜

⎞

⎠

⎟⎟

!!

€

Si = var yi1( ) = si12( ) + τ1

2( )!!

€

yi = yi1( )

!!

€

yi =yi1yi2

"

# $

%

& '



• Metaanálisis multivariate

Si = varyi1yi2

⎛

⎝

⎜⎜

⎞

⎠

⎟⎟=

si12 ρwisi1si2

ρwisi1si2 si22

⎛

⎝

⎜⎜

⎞

⎠

⎟⎟+

τ12 ρBτ1τ2

ρBτ1τ2 τ22

⎛

⎝

⎜⎜

⎞

⎠

⎟⎟

!!

€

Si = var yi1( ) = si12( ) + τ1

2( )!!

€

yi = yi1( )

!!

€

yi =yi1yi2

"

# $

%

& '


Correlación entre-estudios

• La covarianza entre dos efectos aleatorios es una combinación de sus heterogeneidades

• En estudio de múltiples brazos con comparador común A, podemos yB-C = yC-A – yB-ACon t2

B-C = t2B-A + t2

C-A – 2cov(tC-A, tC-A) luego, cov(tB-A, tC-A) = (t2

B-A+t2C-A–t2

B-C )/2• Cuando hay un único estudio en algunas de las

comparaciones, asumir misma heterogeneidadcov(tC-A, tB-A) = (t2+t2–t2)/2 = t2/2

. use examplenma, clear

. network setup d n , studyvar(id) trtvar(trt) ref(A) or

. network meta consistency , eform bscovariance(unstruc) Multivariate meta-analysisVariance-covariance matrix = unstructuredMethod = reml Number of dimensions = 2Restricted log likelihood = -6.785767 Number of observations = 6------------------------------------------------------------------------------

| exp(Coef) Std. Err. z P>|z| [95% Conf. Interval]-------------+----------------------------------------------------------------Overall_mean |

_y_B | 1.443464 .3217844 1.65 0.100 .9325063 2.234396_y_C | 4.237956 .9080151 6.74 0.000 2.784709 6.449603

------------------------------------------------------------------------------

Estimated between-studies SDs and correlation matrix:SD _y_B _y_C

_y_B 3.898e-10 1 ._y_C 1.873e-10 .99582581 1

. lincom _y_C - _y_B , eform

------------------------------------------------------------------------------| exp(b) Std. Err. z P>|z| [95% Conf. Interval]

-------------+----------------------------------------------------------------(1) | 2.935962 .6408768 4.93 0.000 1.914017 4.503551

------------------------------------------------------------------------------

Modelo interacción ciclo-diseño

(Higgins et al. 2012)

Modelo de y AdesLu

. network meta inconsistency , bscovariance(unstruc) Multivariate meta-analysisVariance-covariance matrix = unstructuredMethod = reml Number of dimensions = 2Restricted log likelihood = -6.151355 Number of observations = 6------------------------------------------------------------------------------

| Coef. Std. Err. z P>|z| [95% Conf. Interval]-------------+----------------------------------------------------------------_y_B |

des_AB | .1911016 .5185159 0.37 0.712 -.8251709 1.207374_cons | .2383801 .3995358 0.60 0.551 -.5446956 1.021456

-------------+----------------------------------------------------------------_y_C |

des_AC | .2038221 .4895833 0.42 0.677 -.7557435 1.163388des_BC | .0377129 .4985892 0.08 0.940 -.9395039 1.01493_cons | 1.299267 .3768151 3.45 0.001 .5607225 2.037811

------------------------------------------------------------------------------

Estimated between-studies SDs and correlation matrix:SD _y_B _y_C

_y_B 2.538e-13 1 ._y_C 1.271e-09 -.31793799 1

Testing for inconsistency:( 1) [_y_B]des_ABC = 0( 2) [_y_C]des_AC = 0( 3) [_y_C]des_BC = 0

chi2( 3) = 0.24Prob > chi2 = 0.9710

Ejemplo

OR (95% CI)B-A dir 1.42 (0.55, 3.58)

mxt 1.42 (0.78, 5.58)mva 1.44 (0.93, 2.23)

C-A dir 4.14 (2.58, 6.63)mxt 4.15 (2.70, 6.39)mva 4.24 (2.78, 6.45)

C-B dir 2.95 (1.81, 4.80)mxt 2.94 (1.97, 4.38)mva 2.94 (1.91, 4.50)

Contenidos


Ranking de tratamientos

• Necesidad de determinar cual es el mejor tratamiento (?)

• Establecer una clasificación de los tratamientos a través de simulación (método de Monte Carlo)

• Clasificación ordenada de los tratamientos estimando la probabilidad de que cada tratamiento sea el mejor

• Utiliza en efecto de cada tratamiento respecto el comparador común, del modelo de red completo

Simulación

• Aproximación frecuentista por remuestroi) Establecer distribución a posteriori para el efecto de

cada tratamientoii) Simular un número grande de muestras aleatorias

(n=1,000)iii) Evaluar cual es el tratamiento con mejor efecto en

cada muestraiv) Contar cuantas veces un tratamiento ocupa el 1er

lugar entre todas las muestras simuladas

Rankograma

• Muestra gráficamente la probabilidad posterior de que cada tratamiento tenga el rango 1 (el mejor), ≤2, ≤3, etc.

• Permite acumular las probabilidades posteriores de cada tratamiento hasta 100%

Índice SUCRA

• Clasificación basada en probabilidades debe ser interpretada con precaución (!)

• Clasificación basada en SUCRA considera mejor la incertidumbre en efectos estimados del tratamiento

• SUrface under the Cumulative RAnking curveSUCRAj = Spij/(T-1)– La clasificación obtenida está condicionada al conjunto de

tratamientos que se comparan– La clasificación puede cambiar si se compara un

subconjunto de los tratamientos

Ejemplo

• Calculadora Excel para ranking de tratamientoshttp://metaanalisisenred.weebly.com/excel.html

Ejemplo

• Calculadora Excel para ranking de tratamientoshttp://metaanalisisenred.weebly.com/excel.html

(Tobías y Catalá-López 2018)

Ejemplo

Consideraciones

• El ranking no es un sustituto del efecto relativo del tratamiento, no puede interpretarse clínicamente

• Distintas variables de resultado pueden producir distintas clasificaciones

• ¿Es esta la forma correcta de elegir un tratamiento?– La teoría de la decisión sugiere elegir el tratamiento que

maximiza la utilidad esperada– El mejor mejor tratamiento dependerá del riesgo basal en

el grupo de referencia

Contenidos


Elementos básicos de un NMA

PRISMA-NMA

PRISMA-NMA

(Hutton et al. 2015)

Geometría de la red

(Catalá-López & Tobías 2013)(Hutton et al. 2015)

Asunciones NMA


Reportar resultados


Ranking de tratamientos


Ítems básicos NMA

ü Red de tratamientosü Resultados

– Estudios individuales– Comparaciones directas con heterogeneidad– Comparaciones network

ü Ranking de tratamientos– Rankograma con SUCRA

ü Asunciones– Transitividad y similitud– Consistencia

Evaluar aplicabilidad

• ¿Cuál es la calidad de la evidencia global?• ¿Se discuten las limitaciones del metanálisis en red?• ¿Hay una descripción de los conflictos de interés y/o

financiación?• ¿Se pueden aplicar los resultados a la toma de

decisiones?• ¿Cuáles serían las consecuencias para la toma de

decisiones en la práctica clínica?

Resumen

• Comparaciones indirectas son una herramienta útil en ausencia de comparaciones directas entre múltiples tratamientos que compiten entre sí

• Metaanálisis en red combina comparaciones directas e indirectas, proporcionando estimaciones más precisas

• Validez cuando estén disponibles estudios que satisfacen los supuestos de transitividad y consistencia

Colaboración Cochrane

Plantilla de protocolo NMA

Bibliografía adicional

• Dias et al. Network meta-analysis for decision making. Wiley, 2018

Instituto de Diagnóstico Ambiental y Estudios del Agua

IDAEA – CSICC/ Jordi Girona 18–2608034 Barcelona

Tel. 93 400 61 00Fax 93 204 59 04

[email protected]://www.idaea.csic.es/

Técnicas Estadísticas para Metaanálisis en http://www.metaanalisis.weebly.com/

Comparaciones Indirectas y Metaanálisis en Reden http://www.metaanalisisenred.weebly.com/

Metaanálisis en Red - AURELIO TOBIAS · Asunción para comparaciones indirectas Las comparaciones...

Documents

Transcript of Metaanálisis en Red - AURELIO TOBIAS · Asunción para comparaciones indirectas Las comparaciones...