Post on 24-Jan-2016
The material was supported by an educational grant from Ferring
Cómo evaluar un estudio clínico de manera crítica
Nikolaos P. Polyzos M.D. PhD
Objetivos de aprendizaje
• Al terminar esta presentación, usted debería notar que no aceptará las conclusiones de ningún artículo científico sin cuestionarlas.
• Esta presentación lo guiará sobre cómo debería cuestionar las conclusiones de los artículos científicos.
Es menos probable que un descubrimiento de un estudio sea certero cuando: • los estudios que se llevan a cabo en un campo son más
pequeños
• los tamaños de los efectos son menores
• hay mayor flexibilidad en el diseño, las definiciones, los resultados y los modelos analíticos
• hay grandes intereses financieros o de otros tipos y prejuicios
Ioannidis JP, Plos Med 2005
Ensayo: Por qué la mayoría de los hallazgos de investigaciones que se publican son falsos - John P.A. Ioannidis
Por qué debería cuestionar los resultados en todas las publicaciones científicas
Los artículos más citados NO SIEMPRE dicen la verdad
• Los descubrimientos iniciales....pueden resultar erróneos en el futuro
• Entre los estudios más citados (>1000 citas) con argumentos de eficacia – el 16% fue refutado por investigaciones posteriores
– el 16% tuvo efectos iniciales más fuertes
– el 44% fue replicado también con un tamaño mayor de muestra en estudios posteriores comparados con el estudio original más citado originalmente
– el 24% se mantuvo mayormente sin cambios
Los artículos más citados no siempre dicen la verdad
Ioannidis JP, JAMA 2005
Cómo debería cuestionar los resultados en todas las publicaciones
La fabricación de datos existe aún en las revistas más prestigiosas
Sudbø case (Lancet)
De 908 pacientes incluidos en el estudio, 250 tenían la misma fecha de nacimiento.
La fabricación de datos existe aún en las revistas más prestigiosas
Por qué debería cuestionar los resultados en todas las publicaciones científicas
Los estudios randomizados de baja calidad pueden mostrar efectos de tratamiento inflados
• Base de datos de embarazo y nacimientos de Cochrane – 250 ensayos controlados de 33 meta-análisis
• Mayores efectos aparentes de tratamiento en estudios de menor calidad– Temas de randomización
• Las razones de momios. Los rangos de probabilidad se exageraron hasta un 41%
– Puesta a ciego inadecuada • Las razones de momios. Los rangos de probabilidad se
exageraron hasta un 17%
Los estudios randomizados de baja calidad pueden mostrar efectos de tratamiento totalmente inflados
Schulz. JAMA 1995; 273 (5): 408–412
GRÁFICO DE META-ANALISIS PARA NACIMIENTO PRETÉRMINO <37 SEMANAS DE GESTACIÓNEstudio o subgrupo Con
TratamientoSin
tratamientoPeso Razón de momios
Relación de probabilidades
(M-A, fija)IC del 95 %
Eventos/total Eventos/total (%)
Estudios de baja calidadSubtotal (IC del 95%) 114/996 147/725 35.2 0.52 (0.38 a 0.72)Prueba de heterogeneidad: χ2 = 4.95, df = 5, P = 0.42, I2 = 0%Prueba de efectos totales: z = 4.01, P<0.001
Estudios de alta calidadSubtotal (IC del 95%) 250/2303 219/2290 64.8 1.15 (0.95 a 1.40)Prueba de heterogeneidad: χ2 = 4.02, 4.95, df=4, = 5, P = 0.40, I2 = 1% Prueba de efectos totales: z = 4.01, P<0.001
Total (IC del 95%) 364/3299 366/3015 100 0.93 (0.79 to 1.10)Prueba de heterogeneidad: χ2 = 25.94, df = 10, P = 0.004, I2 = 61%Prueba de efectos totales: ut2}z = 0.86, P
= 0.39 z = 0.86, P = 0.39
M-H = Modelo de efectos fijos de Mantel-Haenszel
0.1 0.2 0.5 1 2 5 10
Favorece al tratamiento Favorece al no tratamiento
Razón de momiosRelación de probabilidades
(M-A, fija)IC del 95 %
Los estudios de baja calidad demostraron que los efectos del tratamiento no se confirmaron en los estudios de mayor calidad.
Polyzos NP et al., BMJ 2010
Por qué debería cuestionar los resultados en todas las publicaciones científicas
Los estudios con resultados negativos no se publican o se publican más tarde
Entre los estudios presentados en las principales conferencias científicas, los estudios con resultados positivos tienen mayores posibilidades de ser publicados (en comparación con los de resultados negativos)
0 20 40 60 80 100
1.0
0.8
0.6
0.4
0.2
0.0
Tiempo hasta la publicación (meses)
Pro
po
rció
n d
e r
esú
men
es
pu
bli
cad
os
en
te
xto
co
mp
leto
Resultado a favor de el brazo experimental
No positivo
Positivo
No positivo - censurado
Positivo -censurado
Los estudios con resultados negativos no se publican o se publican más tarde
Polyzos NP et al., Hum Reprod 2011
Por qué debería cuestionar los resultados en todas las publicaciones científicas
Los meta-análisis a menudo se basan en evidencia insuficiente o inconsistente
• 61 revisiones sistemáticas publicadas durante julio de 2012 en Cochrane– 15% de las revisiones incluyeron 1 ó o 0 ensayos
– La mitad abarcaron menos de 1.000 pacientes randomizados
– 31 fueron revisiones actualizadas
– 11 de estas 31 revisiones actualizadas incluyeron la misma cantidad de ensayos y participantes que la revisión anterior que buscaban actualizar
Los meta-análisis a menudo se basan en evidencia insuficiente o inconsistente
Humaidan & Polyzos Nat Med 2012
Por qué debería cuestionar los resultados en todas las publicaciones científicas
Los estudios avalados por la industria pueden demostrar efectos de tratamiento mayores
Los estudios avalados por la industria pueden demostrar efectos de tratamiento mayores
Lexchin J et al., BMJ. 2013OR 4.05; 95% CI 2.98-5.51
Las investigaciones financiadas por las empresas farmacéuticas tienen 4 veces más probabilidades de arrojar resultados que favorecen al producto del patrocinador auspiciante que las investigaciones financiadas por otras fuentes
Estudio (primer autor) Razón de momios Relación de probabilidades
0.1 0.2 0.5 1 2 5 10 100 1000 10000
Azimi12
Cho14
Clifford15
Davidson16
Dieppe18
Djulbegovic19
Djulbegovic20
Friedberg23*
Friedberg23┼
Kamal-Bahl26╪
Kamal-Bahl26§
Koep30
Mandelkern32
Sacristan36¶
Sacristan36**
Thomas38
Vandenbroucke39
Yaphe41
El 82% de los análisis de efectividad de costos patrocinados por la industria demuestran que las drogas son efectivas desde el punto
de vista del costo.
Los estudios avalados por la industria pueden demostrar efectos de tratamiento mayores
Valachis et al., J Clin Oncol 2012
Los análisis de efectividad de costos comprometidos donde se involucra la industria estaban asociados con supuestos de referencia más bajos de la sensibilidad de la prueba de Papanicolaou.
El comparador “hombre de paja” Straw-man" (testaferro) Hombre Sorbete)
100
90
80
70
60
50
40
30
20
10
00 10 20 30 40 50 60 70 80 90 100
Afiliación del autor o financiación o conflicto de interés con el fabricante
Estimaciones de CEA sin autores afiliados, financiación o conflictos de interés con el fabricante.Estimaciones de CEA con al menos un autor afiliado con el fabricante o la financiación o con conflictos de interés con el fabricante.
1 - Especificidad
Sen
sib
ilid
ad
Los estudios avalados por la industria pueden demostrar efectos de tratamiento mayores
Polyzos NP et al., BMJ 2010
Por qué debería cuestionar los resultados en todas las publicaciones científicas
Estudios financiados por la industria, y hasta también los patrocinados por el gobierno, se han publicado tarde en el pasado.
• Tiempo hasta la publicación – Industria (24 meses) vs. No industria (20 meses) luego de la
terminación del estudio p<0.001Ross JS et al., JAMA 2013
• Tasas de publicación dentro de los dos años – Industria (40%) vs. No gobierno / No industria (56%) – RR = 0.73, 95% CI 0.61–0.87; p<0.001– Industria (40%) vs. ensayos del gobierno (47%); p = 0.22
Ross JS et al., Plos Med 2009
Los estudios auspiciados por la industria pueden publicarse más tarde que los no auspiciados
• Ensayos de los Institutos Nacionales de Salud, INS. Los ensayos de la NIH NO FUERON PUBLICADOS luego de su finalización – 30 meses - la mitad sin publicar – 51 meses - 1/3 sin publicar
Aun los ensayos patrocinados por el gobierno pueden no publicarse enseguida
80
60
40
20
00 20 40 60 80 100
Tiempo desde la finalización del estudio (meses)
Por
cent
aje
de e
stud
ios
publ
icad
os
N° en riesgo
635 635 635 635 493 330 220 153 95 54 44
N° de estudios sin publicarEnsayo terminado antes de 2007
269 264 259 235 221 197 175
Ensayo terminado en 2007-8
366 356 324 282 244 215 176
80
60
40
20
00 5 10 15 20 25 30
Tiempo desde la finalización del estudio (meses)
Por
cent
aje
de e
stud
ios
publ
icad
os
P<.001
Ensayo terminado antes de 2007
Ensayo terminado en 2007-8
Ross JS et al., BMJ 2011
Cómo debería cuestionar los resultados
No rechace de antemano un estudio basándose en su condición, ya que la gestión y la presentación de informes han mejorado con el tiempo
Menores probabilidades hasta de querer leer el artículo completo!!!
La relación de la industria con una publicación disminuye su valor para los médicos.
El patrocinio de la industria:•influye negativamente en la percepción de los médicos sobre su calidad metodológica•reduce la voluntad de creer y actuar en función de los hallazgos del estudio , independientemente de la calidad del mismo.
1.25
1.00
0.75
0.50
Industria vs ninguna No Industria vs NIH(Institutos Nacionales de Salud)
Financiación
Raz
ón
de
mo
mio
s R
elac
ión
de
pro
bab
ilid
ades 0.68 (95% CI, 0.49-0.94)
P = .020.52 (95% CI, 0.37-0.71)
P<.001
Voluntad de los médicos de recetar un medicamento
No rechace de antemano un estudio basándose en su condición
Kesselheim NEJM 2012
• The Good Clinical Practice Directive (Directiva sobre Buenas Prácticas Clínicas 2005/28/EC de 8 de abril de 2005 del Parlamento Europeo y del Consejo)
• EudraCT v9 vs. 9 (Registro de Ensayos Clínicos de la Unión Europea)
• Se deben proporcionar los resultados de todos los ensayos clínicos intervencionales que comenzaron en la UE desde el 1° de Mayo de 2004 en adelante
• El informe y la divulgación pública incluyen:
– Ensayos que terminaron prematuramente
– Ensayos con resultados tanto positivos como negativos
– Ensayos de productos CON O SIN autorización de venta dentro de la comunidad
https://eudract.ema.europa.eu/index.html
Por qué no se debe rechazar de antemano un estudio basándose en su condición
• Para que la industria farmacéutica introduzca Pharma lance, una nueva droga, ésta tiene que pasar satisfactoriamente ensayos clínicos de Fase II para establecer la seguridad y la dosificación, luego los de Fase III para confirmar la eficacia y demostrar aun más la seguridad. Esto se monitorea externamente y debe cumplir con estudios altamente metodológicos
• Las tasas de éxito de Fase II para los nuevos proyectos en desarrollo han caído del 28% (2006-2007) al 18% (2008-2009)
• La tasa de éxito combinada en la Fase III y en la presentación ha bajado a ~50% de 2007 a 2010
Esta situación mejoró a través del tiempo?
Arrowsmith. Nature Reviews Drug Discovery 2011
Arrowsmith. Nature Reviews Drug Discovery 2011
No rechace de antemano un estudio basándose en su condición
Cómo debería cuestionar los resultados
Utilice un criterio de evaluación crítica científica estándar al evaluar un artículo científico
Evalúe críticamente el objetivo del estudio•Cuál es la base para llevarlo a cabo• Está (n) formulada (s) claramente la (s) pregunta (s) del estudio? Si no, lo están, cómo deberían estar?
Pautas sobre cómo leer y criticar un estudio de investigaciónAmerican Nurses Association http://www.nursingworld.org
Utilice un enfoque crítico estándar al evaluar un artículo científico
Evalúe críticamente el diseño del estudio•¿El diseño es adecuado para el estudio?•¿La muestra es coherente con el diseño del estudio? ¿Es suficiente el tamaño? •¿Cómo se recolectaron los datos? •¿El enfoque analítico es consistente con las preguntas del estudio y el diseño de la investigación?
Utilice un enfoque crítico estándar al evaluar un artículo científico
Pautas sobre cómo leer y criticar un estudio de investigaciónAmerican Nurses Association http://www.nursingworld.org
Determine si el estudio se inscribió en un registro público •¿El estudio fue inscripto antes del comienzo del ensayo?•¿Los objetivos primarios son los mismos que los de la versión inscripta del ensayo?
Utilice un enfoque crítico estándar al evaluar un artículo científico
Revise siempre la literatura existente•¿La literatura reciente es relevante para el estudio? ¿Es exhaustiva? ¿Contiene investigaciones recientes? •¿La revisión de la literatura apoya la necesidad de este estudio? •¿Los hallazgos son consistentes con la literatura existente?
Utilice un enfoque crítico estándar al evaluar un artículo científico
Pautas sobre cómo leer y criticar un estudio de investigaciónAmerican Nurses Association http://www.nursingworld.org
Evalúe de manera crítica los resultados y conclusiones•¿Los resultados están presentados claramente en el texto, tablas, figuras y gráficos? •¿Las estadísticas están explicadas claramente? •¿Los resultados están explicados en relación con el fundamento científico y las preguntas de la investigación?•¿Se debatieron las limitaciones presentadas y sus implicancias? •¿Hay recomendaciones para la práctica clínica?
Utilice un enfoque crítico estándar al evaluar un artículo científico
Pautas sobre cómo leer y criticar un estudio de investigaciónAmerican Nurses Association http://www.nursingworld.org
• Ningún estudio carece de limitaciones, los resultados pueden ocurrir por casualidad
• También existe el riesgo de que los resultados sean engañosos. Pueden presentar el riesgo de llevar a conclusiones falsas.
• Cuánto mas robusto es el estudio, más posibilidades de que sea certero.
• Revise siempre toda la literatura y busque la consistencia y las incoherencias en lo que se informa.
• No acepte ni rechace de antemano los resultados de un estudio basándose solamente en la revista que lo publica, el grupo de investigación o su relación con la industria.
Conclusiones
¡GRACIAS!