Validez Interna-Externa

Dr. Pere VentayolServei de Farmàcia HUSD

VIA: Válidos, Importantes, Aplicables

¿son válidos? ¿son importantes? ¿son aplicables a mis pacientes?

Para aplicar los resultados me tienen que convencer de:

VALIDEZ INTERNA

VALIDEZ EXTERNA

Evaluar la validez interna

validez interna: grado en que los resultados obtenidos proporcionan o no una respuesta correcta a la pregunta planteada

1. la definición clara y precisa del objetivo del estudio -> donde está la pregunta?

2. la elección del diseño adecuado

3. rigor metodológico

www.bandolier.com May 2003

1.¿dónde está la pregunta?

Dejar claro qué tratamiento se evalúa

Qué intervención es la de referencia

Qué variable se utiliza y cuando se mide

Definición del tipo de sujetos a estudiar

Variable (cuantitativa)

Métodos

Variable

(cualitativa)Introdución

Momento

Métodos

Resultados

Discusión

Objetivo

Población estudiada:

Objetivo Variable(cualitativa)Introdución

Variable (cuantitativa)

Métodos

Momento

Métodos

Resultados

Discusión

1 Respuesta clínica

Respuesta viral sostenida

% pac CV indetectable 24 semanas tras finalizar tto

2 Adherencia

Cuestionario SmaqRecogida medEscala visual

%Nº dosis/total de dosis previstasAdherencia >80%

Media 4 medidasTras 1er-2º mescada 2 meses

3 Permanencia

Recogida de medicación

% nº días con tto/respecto al nº total previstoPermanencia >80%

Media 4 medidasTras 1er-2º mescada 2 meses

4 Satisfacción

Encuesta % pac con escala >5 encuesta satisfacción

24, 48 semanas

5 Coste

Valoración coste tto Valores en € Hasta finalizar tto.Población estudiada:

2.¿Es el diseño adecuado?

?

?

?

2.¿Es el diseño adecuado?

•Factor aparetemente simple•No predecible•Aplicarse despues de decidir incluir al paciente

•El azar tiende a producir grupos comparables

•Produce distribución equilibrada variables pronósticas•Conocidas•Desconocidas: factores de confusión

•Cuanto mayor sea N mayor equilibrio

•Previene sesgos y permite cálculo de probabilidades (P)

•Distintos tipos de aleatorización: Bloques, estratificada, adaptativas

Aleatorización

2.¿Es el diseño adecuado?

•No confundir con ocultación de la secuencia de aleatorización

•El ciego protege la aleatorización una vez se ha producido la asignación

•Simple ciego, doble, triple, cuadruple….

•No siempre puede cegarse: Ej: Dietas, procedimientos quirúrgicos, ARV,…

•Cuanto más subjetiva la variable más necesario es el cegado (analgesia, calidad de vida, etc…)

Ciego

2.¿Es el diseño adecuado?

•Procedimiento que garantiza el proceso del cegado

•Pretende evitar las espectativas/prejuicios de pacientes, investigadores,…•Ej: hipolipemiantes

•Presentar un formato del fármaco lo más idéntico posible

•Se puede romper por toxicidad, efectos secundarios

Enmascaramiento

2.¿Es el diseño adecuado?

•Seguimiento exhaustivo de los pacientes

•Diagramas de flujo de pacientes•Drop-outs o pérdidas•Withdrawals o retiradas

•La aceptabilidad del estudio depende no tanto del número de pérdidassino de los motivos que las hayan condicionado

•% de perdidas similares pueden invalidar los resultados?•Hay algún % de pérdidas considerado máximo?

Comparabilidad

Objetivo: CV <400 a las 48 semanas

RandomizadosN=100

Datos disponibles a 48 semanasN=75

Datos no disponibles a 48 semanasN=25

CV<400N=65

CV>400N=10

CV<400N=11

CV>400N=14

Análisis PP87% (65/75)

ITT (ultima observación)76% (65+11/100)

ITT (perdidas=F)65% (65/100)

Dilución de la respuesta: ¿Cuál es la verdadera?

Estrategia de análisis2.¿Es el diseño adecuado?

3.¿Se ha realizado con rigor?

El grado con el que el diseño, desarrollo, análisis y presentación de los datos ha minimizado o evitado sesgos

¿Convencimiento de que no está sesgado?

"Inclinación parcial de la mente"

la existencia de sesgos favorece que los resultados sobreestimen el efecto de los tratamientos

Perfectafenoel mejor analgésico

www.bandolier.com December 2001

30% 20% 25% 40% 30%

Sesgos

¿Cómo medir la Validez Interna?

o Existen al menos 9 check-list y 25 escalas

oJadad

oCONSORT

Escala de Jadad

ESCALA DE VALIDACIÓN DE ENSAYOS CLÍNICOS ( A. JADAD)

¿Se describe el estudio como aleatorizado? (*) ¿Se describe el estudio como doble ciego? (*)

¿Se describen los abandonos y exclusiones del estudio? (*)

¿Es adecuado el método de aleatorización? (**)

(*) SÍ= 1 / NO= 0

(**) SÍ= 1 / NO= -1

Rango de puntuación: 0-5-

Estudio de baja calidad: Puntuación < 3

¿Es adecuado el método de doble ciego? (**)

Consort www.consort-statement.org

o Formada por 22 itemso1 Titulo y resumeno1 Introduccióno10 sobre métodoso7 sobre resultadoso3 Sobre discusión

CONSORT 2001 Ver fuente original en http://www.consort-statement.org/revisedstatement.htm

Sección Item Descripción. Debe constar:

TITULO Y RESUMEN 1 ¿ Cómo fueron los participantes asignados a la intervención ? ( ej:

"adjudicación aleatoria", "aleatorizados", "asignados aleatoriamente") INTRODUCCION Antecedentes 2 Antecedentes científicos y explicación racional METODOS Participantes 3a

3b Criterios de elegibilidad de los participantes y lugar de recogida los datos

Intervenciones 4 Detalles precisos de la intervención a realizar en cada grupo y como y cuando será aplicada

Objetivos 5 Objetivos específicos e hipótesis Resultados 6a

6b Definición clara de las medidas de los resultados primarios y de las medidas de lso resultados secundarios, y cuando sea aplicable métodos usados para garantizar la calidad de las medidas ( Ej: observaciones múltiples, formación de los asesores).

Tamaño de la muestra

7a 7b

Cómo fue calculado el tamaño de la muestra y, cuando sean aplicables, exposición de análisis intermedios y criterios de suspensión del ensayo

Aleatorización: generación de la secuencia

8a 8b

Método usado para generar la secuencia de aleatorización , incluyendo detalles de cualquier restricción ( Ej :bloques, estratificación, ...)

Aleatorización: asignación oculta

9 Método usado para ocultar la asignación aleatoria. (Ej: sobres numerados, teléfono central), especificando si la secuencia es oculta hasta que la intervención es asignada.

Aleatorización: aplicación

10 Quién genera la secuencia de la asignación, quién incorpora a los participantes, y quién asigna los participantes a sus grupos.

Ciego ( enmascaramiento)

11a 11b

Si aquellos que administran las intervenciones y evaluan los resultados son ciegos respecto a la asignación de grupos. Si ello es así cómo se evaluó el proceso y éxito de cegar.

Los métodos estadísticos

12a 12b

Métodos estadísticos usados para comparar grupos en los resultados primarios. Métodos para los análisis adicionales, tales como análisis del subgrupo y análisis ajustados.

RESULTADOS Flujo de los particpantes

13a 13b

Flujo de los participantes a través de cada etapa (se recomienda un diagrama). Específicamente, para cada grupo estudiado, comunicar el número de participantes asignados aleatoriamente, los que han recibido el tratamiento previsto, los que han terminando el protocolo del estudio, y los analizados para el resultado primario. Descripción de las desviaciones del protocolo del estudio previsto, junto con las razones de dichas desviaciones.

El reclutamiento 14 Fechas que definen los períodos de reclutamiento y seguimiento. Datos base 15 Características demográficas y clínicas cada grupo. Números analizados

16 Los números de participantes (denominador) en cada grupo incluidos en cada análisis y especificar si el análisis se ha realizado "por intención de tratar". Indique los resultados en números absolutos cuando es factible (Ej: 10/20, no 50%).

Resultados y estimación

17 Para cada resultado primario y secundario, un resumen de los resultados para cada grupo, y del tamaño estimado del efecto y su precisión (Ej:., intervalo de la confianza del 95%).

Análisis auxiliares

18 Comunicar cualquier otro análisis realizado, incluyendo análisis de subgrupo y análisis ajustados, indicando aquellos que se han pre-especificado y aquellos que son exploratorios.

Efectos adversos

19 Todos los acontecimientos adversos importantes o efectos secundarios en cada grupo de la intervención.

DISCUSIÓN Interpretación 20 Interpretación de los resultados, considerando la hipótesis del

estudio, fuentes de sesgos potenciales o de imprecisión, así como los peligros asociados con la multiplicidad de análisis y resultados.

Generalización 21 Generalización (validez externa) de los resultados de ensayo. Evidencia general

22 Interpretación general de los resultados en el contexto de la evidencia actual.

Ensayos superioridad Ensayos equivalencia/Noinferioridad

Lectura críticae interpretación

HUSD: Aplicación de la Lista-Guía CONSORT en ensayos publicados

Los criterios que menos se cumplen son: métodos usados para garantizar

calidad de la medida de los resultados (12%)

descripción detallada de cómo se aplica la aleatorización (12%)

evaluación del proceso y éxito de cegar (20%)

criterios de suspensión del ensayo (33%)

presentación de resultados con intervalos de confianza (50%).

Conclusiones en validez interna

La publicación de un estudio no es garantía de su validez metodológica

En “Métodos” se encuentran la mayoría de respuestas

La validez interna es condición necesaria pero no suficiente

VIA: Válidos, Importantes, Aplicables

¿son válidos? ¿son importantes? ¿son aplicables a mis pacientes?

Para aplicar los resultados me tienen que convencer de:

VALIDEZ INTERNA

VALIDEZ EXTERNA

Eficacia

Probabilidad de que un promedio de individuos,en una poblacióndeterminada, se beneficie de la aplicaciónde una tecnología sanitariaa la resolución de unproblema de salud concreto,bajo condiciones IDEALESde actuación establecidaspreviamente

Office of Technology Assessment. Assessing the Efficacy and Safety of Medical Technologies. Washington: Government Printing Office, 1978 (Modificada)

Efectividad

Probabilidad de que un individuo, en una poblaciónindeterminada, se beneficiede la aplicación de unatecnología sanitaria a laresolución de un problemade salud determinado, bajocondiciones REALES deaplicación por personal desalud

Relación Válidez interna - Válidez externa

1.¿son importantes?

o Cualidad:¿Qué se mide?

o Cantidad: ¿Cúal es la magnitud?

Cualidad:¿Qué se mide?

oEn ocasiones se “magnifica” el efecto de variables secundariasoUn buen resultado en una variable subrogada no implica un buen resultado clínico

Cualidad:¿Qué se mide?

o Consenso SORT (Strenght Of Recommendation Taxonomy) establece un algoritmo de gradación de la evidencia con 3 niveles de evidencia (1, 2 y 3)

oSolo alcanza el nivel 1 o 2 estudios que se centran en variables finales clínicasoUn metanálisis con variableintermedias no tiene calificación superior a 3

Cualidad: Las variables combinadas ¿Qué se mide?

El uso de variables combinadas es cada vez más frecuente

Se suele emplear cuando el efecto esperado sobre cada uno de los desenlaces de interés es pequeño

Puede que el efecto se haya producido sobre uno de los componentes y se atribuya erróneamente a todos

Ej: AAS en Prevención del reinfarto y ACV de cualquier etiología

Hay que analizar la variable combinada y tener en cuenta los efectos por separado

Cualidad: Las variables combinadas ¿Qué se mide?

La diferencia en el efecto combinado se debe ppalmente a las flebografías subclínicas pero no ha mostrado reducción en trombosis venosa sintomática ni en embolia pulmonar.

Cualidad: Análisis de subgrupos ¿Qué se mide?

La realización de múltiples comparaciones aumenta la probabilidad de encontrar un resultado estadísticamente significativo

Si el subgrupo es de pequeño tamaño el análisis puede ser incapaz de detectar diferencias relevantes

Si el estudio presenta análisis de subgrupos: Magnitud del efecto clínicamente relevante Efecto estadísticamente muy significativo Hipótesis planteada a priori Análisis realizado dentro de una estrategia de comparaciones

múltiples Resultados consistentes con otros estudios Evidencia indirecta que avale los resultados (plausibilidad

biológica)

Cualidad: Análisis de subgrupos ¿Qué se mide?

Efecto de factor de confusión en EECC para enfermedad con elevada mortalidad (n=78)

TH Diferencia

Mortalidad

%

27/40 18/38

67,5 47,4 20,1

H T

Pacientes alto riesgo 32/40

% 80% 36,8%

14/38

Cualidad: Análisis de subgrupos ¿Qué se mide?

Efecto de Factor de confusión en EECC para enfermedad con elevada mortalidad (n=78)

TH Diferencia

Bajo riesgo

%

2/8 4/18

25% 22,2% 2,8%

Alto riesgo

%

25/32 18/38

78,1% 70% 8,1%

La distinta distribución del factor pronóstico ha producido un fenómeno de confusión y la diferencia inicial (20%) estaba distorsionada)

Cualidad: Análisis de subgrupos y multivariante

Incorporar la estadística al análisis de subgrupos = análisis de subgrupos; evaluar el efecto del tto sobre la variable respuesta dentro de cada estrato

TH Diferencia

Bajo riesgo

%

2/8 4/18

25% 22,2% 2,8% p>0.05

Alto riesgo

%

25/32 18/38

78,1% 70% 8,1% p<0.05

Las técnicas multivariante implican un modelo matemático. Variable dependiente (respuesta) Variable independiente ppal (tto) Variables independientes a controlar (estimación de coeficiente de

regresión)

¿Con quién nos comparamos? ¿Cuánta debe ser la diferencia?

-% 0%

Tratamiento estándar superior

Tratamiento nuevo no inferior

Tratamiento nuevo superior

Cantidad:¿Cuál es su magnitud?

Con quien nos comparamos?Elección del comparador no coincide con el tratamiento estándar.

Estudio Ramsey WB. NEJM 1999. Eficacia Tobramicina inhalada vs placebo (no colistina)

Estudio Zeuzem S., NEJM 2000; Heathhcote E., 2000; Reddy KR., 2001. Peg-interferon alfa 2-a vs Interferon alfa 2-a,

ambos en monoterapia

Herbrecht R, NEJM 2002. Voriconazol en aspergilosis invasiva vs anfotericina deoxicolato

Dosificación del fármaco en estudio o del comparado no coincidente con la ficha técnica del nuevo fármaco o con las dosis admitidas del comparador (dosis aas Caprie es 325mg, que no es lo habitual, dosis dobutamina en Lido vs levosimendan)

Duración de tratamiento no adecuada.

Tto antibiótico exacerbaciones EPOC

- incluyen pacientes desde 18 años

- % no fumadores

Comparador adecuado?

El comparador es adecuado. Aunque hubiera sido más adecuada una comparación con Pamidronato.

Comparador adecuado?

El beneficio al aplicar los resultados en pacientes no se ha estudiado versus verteporfino, con lo que su ventaja a las 54 semanas respecto a este no queda claro.

Término Definición

Generalización o Validez Externa

Aplicación de los resultados fuera del estudio (por generalización)

Extrapolación Aplicación de los resultados a un grupo más amplio del estudiado (por inferencia, extensión, predicción o proyección de lo observado o experimentado) Ej: resultados 40-65 años extrapolados a población de más edad.

Aplicabilidad Aplicación de los resultados a grupos o pacientes individuales. Si un estudio muestra eficacia en la población estudiada, se espera que lo tenga en un individuo.

2. ¿son aplicables a mis pacientes?

100% Población Hipertensa

90% Cobertura Programa

95% Precisión Diagnóstica

76% Eficacia Fármaco

66% Prescripción correcta

65% Cumplimiento paciente

EFECTIVIDAD 28%

Mejoría salud

Registro

Tugwell P, Bennet KJ, Sackett DL, Haynes B. The measurement operative loop: a framework for the critical appraisal of need, benefits and costs of health interventions. J Chron Dis 1985; 38: 339-351.

La dilución de la respuesta...

Población total (mujeres)

Población diana (mujeres 13-48 años)

Población accesible (13-48 que vienen a consulta)

Muestra (incluimos estudio)

La representatividad de la muestra es el condicionante de la validez externa. M.Bobenrieth

Los 5 demasiados:

Selectos restringidos breves reducidos controlados

Válidez externa en efectos secundarios…

Tratamientos en nuestro medio

Efectos 2ºs

medios, capacidades, accesibilidad y seguimiento

Preguntas para establecer la validez externa:

1. ¿Considera adecuado el comparador?

2. ¿Son importantes clínicamente los resultados?

3. ¿Considera adecuada la variable medida utilizada?

4. ¿Considera adecuados los criterios de inclusión/exclusión de los pacientes

5. ¿Cree que los resultados pueden ser aplicados directamente a la práctica clínica?

6. Otros sesgos o limitaciones encontradas en el estudio

Conclusiones en Validez Externa

Magnitud Cuidado con:

variables combinadas Análisis por estratos o subgrupos Tipo de medida u objetivo

Aplicabilidad Cuidado con:

Tipo de población estudiada Comparador adecuado la dilución de la respuesta

Que no nos hagan ver lo que quieran, sino lo que hay!!!!A veces evaluar la validez es tan dificilcomo saber si el naranjo esdulce o amargo

Las ilusiones cognitivas se subdividen en:- ambigüedades- deformaciones- paradojas- ficciones