8b. Propiedades de las 8b. Propiedades de las pruebas de diagnósticopruebas de diagnóstico

Cómo determinar los valores Cómo determinar los valores umbralesumbrales

Juan José Romero Zúñiga, DMV, PhDJuan José Romero Zúñiga, DMV, PhDPrograma de Investigación en Medicina PoblacionalPrograma de Investigación en Medicina Poblacional

Escuela de Medicina VeterinariaEscuela de Medicina VeterinariaUniversidad NacionalUniversidad Nacional

CURSO DE EPIDEMIOLOGÍA BÁSICA

Centro de Capacitación – Alto de OchomogoLunes, 3 de mayo 2010

Valor umbral (Valor umbral (cut offcut off) de una ) de una prueba diagnóticaprueba diagnótica

Es un valor límite para la positividad y negatividad deEs un valor límite para la positividad y negatividad de llaa pruebaprueba. . En función de éstos se determinará la sensibilidad (Se), la En función de éstos se determinará la sensibilidad (Se), la especificidad (Sp) y los valores predictivos (VP) de dicha prueba.especificidad (Sp) y los valores predictivos (VP) de dicha prueba.

Se puede hacer mediante (al menos) dos métodos:Se puede hacer mediante (al menos) dos métodos: Usando la distribución de las muestras controles (positivos y Usando la distribución de las muestras controles (positivos y

negativos).negativos). Mediante curvas de ROC (Receiver Operating Characteristic)Mediante curvas de ROC (Receiver Operating Characteristic)

Cambiar el punto de corte modifica la sensibilidad, especificidad Cambiar el punto de corte modifica la sensibilidad, especificidad y valores predictivos de un estudio, y por ende, la forma en que y valores predictivos de un estudio, y por ende, la forma en que este se utiliza.este se utiliza.

Método de “desviaciones Método de “desviaciones estándar”estándar”

Se requiere de al menos 100 muestras de controles Se requiere de al menos 100 muestras de controles positivos y 300 muestras de controles negativospositivos y 300 muestras de controles negativos ( (Se debe Se debe esperar una distribución normalesperar una distribución normal !!! !!!))

Se debe aplicar la prueba y medir el resultado.Se debe aplicar la prueba y medir el resultado.

Posteriormente se describen los datos para obtener la Posteriormente se describen los datos para obtener la desviación estándar de cada grupo de muestras control desviación estándar de cada grupo de muestras control (positivas y negativas). (positivas y negativas).

Se selecciona el número de desviaciones estándar en que Se selecciona el número de desviaciones estándar en que los resultados de las muestras incógnita serán clasificadas los resultados de las muestras incógnita serán clasificadas como positivos o negativos.como positivos o negativos.

0

1

2

3

4

5

6

7

8

9

2 4 8 16 32 64 128 256

Método de “desviaciones Método de “desviaciones estándar”estándar”

Controles positivos

1 2 3 1 2 3

Zona de problema

Controles negativos

Método de curvas ROCMétodo de curvas ROC

Método desarrollado en la década de los 50 para discriminar Método desarrollado en la década de los 50 para discriminar entre las señales de radar y el ruido.entre las señales de radar y el ruido.

Fue empleado por primera vez en medicina para la valoración Fue empleado por primera vez en medicina para la valoración radiológicaradiológica

Hanley J.A., McNeil B.J. (1982) The meaning and use of the area under a Hanley J.A., McNeil B.J. (1982) The meaning and use of the area under a receiver operating characteristic (ROC) curve. receiver operating characteristic (ROC) curve. RadiologyRadiology. . 143143: 29-36: 29-36

Hanley J.A., McNeil B.J. (1983) A method of comparing the areas under Hanley J.A., McNeil B.J. (1983) A method of comparing the areas under receiver operating characteristic curves derived from the same cases. receiver operating characteristic curves derived from the same cases. Radiology.Radiology. 148148: 839-43: 839-43

Método de curvas ROCMétodo de curvas ROC

Gráfica que representa la sensibilidad (Y) versus el complementario de la especificidad (1-espec) para todos los valores de corte posibles.

Permite obtener una valoración gráfica sobre la utilidad de una prueba diagnóstica, independientemente de la incidencia de la enfermedad en la población.

Método de curvas ROCMétodo de curvas ROC

Las áreas a la derecha del valor de corte x corresponden a la sensibilidad (áreas clara y oscura) y 1-especificidad (área oscura), equivalente a los falsos positivos

x

Método de curvas ROCMétodo de curvas ROC

Una prueba diagnóstica perfecta se ubicaria en la esquina superior izquierda

Una prueba que no discrimina haría una curva de 45º, desde el 0 hasta la esquina superior derecha

Método de curvas ROCMétodo de curvas ROCValor T4 Hipotiroide

oEutiroideo

<5 18 1

5.1-7 7 17

7.1-9 4 36

>9 3 39

total 32 93

Se cuantificaron los valores de T4 de 125 pacientes, 32 de los cuales eran conocidos hipotiroideos (mediante gamma)

Método de curvas ROCMétodo de curvas ROC

Se calcula la sensibilidad y Se calcula la sensibilidad y especificidad para cada especificidad para cada valor, mediante tablas de valor, mediante tablas de 2x2.2x2.

Nuestro punto de corte Nuestro punto de corte definira quién se tomará definira quién se tomará como “positivo” y como “positivo” y “negativo”“negativo”

T4 Hipotiroideo Eutiroideo

< 5 18 1

> 5 14 92

Total: 32 93

Sensibilidad: 0.56 Especificidad: 0.99

T4 Hipotiroideo Eutiroideo

< 7 25 18

> 7 7 75

Total: 32 93

Sensibilidad: 0.78 Especificidad: 0.81

Método de curvas ROCMétodo de curvas ROC

Punto corte

Sensibilidad Especificidad

5 0.56 0.99

7 0.78 0.81

9 0.91 0.42

Conociendo estos valores, Conociendo estos valores, se puede elaborar la se puede elaborar la gráficagráfica

Método de curvas ROCMétodo de curvas ROC

Área bajo la curvaÁrea bajo la curva El área bajo la curva se puede emplear para conocer en forma El área bajo la curva se puede emplear para conocer en forma

simple la exactitud global se una pruebasimple la exactitud global se una prueba

Area total hacia la izq= 1 (prueba perfecta)Area total hacia la izq= 1 (prueba perfecta) Area de la diagonal= 0.5Area de la diagonal= 0.5

Entre más cercana a 1, la prueba es mejorEntre más cercana a 1, la prueba es mejor

Permite hacer comparaciones entre pruebasPermite hacer comparaciones entre pruebas

Método de curvas ROCMétodo de curvas ROC

0.90-1 = excelente 0.80-0.90 = bueno 0.70-0.80 = regular 0.60-0.70 = pobre 0.50-0.60 = fallida

Método de curvas ROCMétodo de curvas ROC

VentajasVentajas Representación gráfica simple y de fácil comprensión.Representación gráfica simple y de fácil comprensión.

Incluye todos los rangos de valores posibles, facilita toma Incluye todos los rangos de valores posibles, facilita toma

de decisiones con respecto al valor más adecuado.de decisiones con respecto al valor más adecuado.

Es independiente de la prevalenciaEs independiente de la prevalencia

Facilita la comparación visual entre varias pruebasFacilita la comparación visual entre varias pruebas

Aplicable a pruebas con resultados tanto ordinales, como Aplicable a pruebas con resultados tanto ordinales, como

escalonados o continuosescalonados o continuos

Método de curvas ROCMétodo de curvas ROC

Aspectos operativosAspectos operativos

Toma en cuenta los resultados de muestras Toma en cuenta los resultados de muestras diagnosticadas con una prueba de oro, la cual mide el diagnosticadas con una prueba de oro, la cual mide el resultado de muestras controles positivas y negativas.resultado de muestras controles positivas y negativas.

Se debe correr las muestras incógnitas tanto en la prueba Se debe correr las muestras incógnitas tanto en la prueba de oro como en la alternativa.de oro como en la alternativa.

Luego se debe hacer una tabla comparativa para Luego se debe hacer una tabla comparativa para determinar, por clases (rangos de valores para la prueba determinar, por clases (rangos de valores para la prueba alternativa), cuántas muestras fueron clasificadas como alternativa), cuántas muestras fueron clasificadas como positivas o negativas. positivas o negativas.

Método de curvas ROCMétodo de curvas ROC

Método de curvas ROCMétodo de curvas ROC

Propiedades de las pruebas Propiedades de las pruebas de diagnóstico de diagnóstico

Medidas de concordancia entre Medidas de concordancia entre pruebaspruebas

Prueba de concordancia entre Prueba de concordancia entre pruebas diagnósticas pruebas diagnósticas (valor (valor kappa)kappa)..

En esta prueba se analiza, mediante una tabla de En esta prueba se analiza, mediante una tabla de contingencia, la concordancia entre dos pruebas contingencia, la concordancia entre dos pruebas diagnósticas, o entre el diagnóstico de dos clínicos.diagnósticas, o entre el diagnóstico de dos clínicos.

Se utiliza cuando no se conoce la sensibilidad o Se utiliza cuando no se conoce la sensibilidad o especificidad de una nueva prueba, o cuando se quiere especificidad de una nueva prueba, o cuando se quiere probar si se puede utilizar una prueba más barata o probar si se puede utilizar una prueba más barata o rápida. En este caso se corren las dos pruebas y los rápida. En este caso se corren las dos pruebas y los resultados se comparan tomando como buenos los del resultados se comparan tomando como buenos los del “golden standard test”“golden standard test”..

Prueba de concordancia entre Prueba de concordancia entre pruebas diagnósticas pruebas diagnósticas (valor (valor kappa)kappa)..

Kappa expresa la proporción de concordancia más allá del Kappa expresa la proporción de concordancia más allá del azar.azar.

La concordancia entre dos pruebas diagnósticas no indica La concordancia entre dos pruebas diagnósticas no indica que ambas posean la misma sensibilidad y especificidad ni que ambas posean la misma sensibilidad y especificidad ni sirve como medida de las mismas.sirve como medida de las mismas.

Kappa no indica cual es el método que da los mejores Kappa no indica cual es el método que da los mejores resultados en términos del número correcto de resultados en términos del número correcto de individuosindividuos sanos o enfermos diagnosticados. sanos o enfermos diagnosticados.

Tabla de contingencia para Tabla de contingencia para determinar el valor determinar el valor kappakappa..

Golden standard testGolden standard test (ó clínico 1)(ó clínico 1)

++ -- Prueba Prueba ++ aa bb a+ba+b alternativa alternativa -- cc dd c+dc+d (ó clínico 2) (ó clínico 2) a+c b+d a+c b+d N N

Fórmula de cálculo para Fórmula de cálculo para kappakappa

Kappa=Kappa=

a + da + d Ea + Ed Ea + Ed N N N N Ea + EdEa + Ed NN

--

--11

Donde:Donde:EaEa es igual a es igual a : [(a + b) * (a + c)] / N: [(a + b) * (a + c)] / NEd es igual aEd es igual a : [(c + d) * (b + d)] / N: [(c + d) * (b + d)] / NEa+Ed/N Ea+Ed/N : proporción esperada o de : proporción esperada o de

resultados iguales debidos al azarresultados iguales debidos al azar

Comparando los diagnósticos de dos experimentadores Comparando los diagnósticos de dos experimentadores clínicos debería obtenerse un valor de kappa alrededor clínicos debería obtenerse un valor de kappa alrededor de 0.6.de 0.6.

La concordancia de los diagnósticos clínicos realizados La concordancia de los diagnósticos clínicos realizados sobre los mismos sujetos en diferentes ocasiones por sobre los mismos sujetos en diferentes ocasiones por un mismo experimentador debería dar un valor de un mismo experimentador debería dar un valor de kappa entre 0.6 y 0.8kappa entre 0.6 y 0.8

Interpretación de kappaInterpretación de kappa

Valores de kappa:Valores de kappa: 0.0 - 0.4 malo0.0 - 0.4 malo0.4 - 0.50.4 - 0.5 moderadomoderado0.5 - 0.6 0.5 - 0.6 aceptableaceptable0.6 - 0.8 0.6 - 0.8 buenobueno0.8 - 1.00.8 - 1.0 perfectoperfecto

El cálculo usando El cálculo usando WinEpiscopeWinEpiscope

Propiedades de las pruebas Propiedades de las pruebas de diagnóstico de diagnóstico

Uso de múltiples pruebasUso de múltiples pruebas

Pruebas diagnósticas Pruebas diagnósticas múltiplesmúltiples

Algunas veces se necesario el uso de dos pruebas Algunas veces se necesario el uso de dos pruebas diagnósticas o más para aumentar la fiabilidad de un diagnósticas o más para aumentar la fiabilidad de un diagnóstico realizado.diagnóstico realizado.

Se pueden realizar pruebas múltiples de dos formasSe pueden realizar pruebas múltiples de dos formas En serieEn serie En paraleloEn paralelo

PruebasPruebas en paralelo en paralelo

Se considera que dos pruebas se realizan en paralelo Se considera que dos pruebas se realizan en paralelo cuando ambas se hacen simultáneamente.cuando ambas se hacen simultáneamente.

Se consideran negativas aquellas muestras que obtienen Se consideran negativas aquellas muestras que obtienen resultados negativos para ambas pruebas, y positivas a resultados negativos para ambas pruebas, y positivas a todas las demás (con cualquiera de las dos pruebas todas las demás (con cualquiera de las dos pruebas positivas). positivas).

El resultado es un aumento de la Sensibilidad.El resultado es un aumento de la Sensibilidad.

PruebasPruebas en serie en serie

Se realizan aplicando una prueba en primer lugar y a Se realizan aplicando una prueba en primer lugar y a continuación se aplica una segunda prueba a aquellas continuación se aplica una segunda prueba a aquellas muestras positivas a la primera.muestras positivas a la primera.

Se consideran positivas las muestras que dan positivo a Se consideran positivas las muestras que dan positivo a ambas pruebas, y negativas todas las demás. ambas pruebas, y negativas todas las demás.

El resultado es un aumento de la Especificidad.El resultado es un aumento de la Especificidad.

Se y Sp usando múltiples Se y Sp usando múltiples pruebas pruebas

CaracterísticaCaracterística ParaleloParalelo SerieSerie

SensibilidadSensibilidad 1-[(1-Se1-[(1-Se11) x (1-Se) x (1-Se22)])] SeSe11 x Se x Se22

EspecificidadEspecificidad SpSp11 x Sp x Sp22 1-[(1-Sp1-[(1-Sp11) x (1-Sp) x (1-Sp22)])]

El cálculo usando El cálculo usando WinEpiscopeWinEpiscope

Links recomendadosLinks recomendados

http://www.stat.uiuc.edu/~jeffdoug/medstats/medov5.pdf

http://www.emedicine.com/emerg/TOPIC779.HTM#section~Bayes'TheoremandLikelihoodRatios

http://www.aepap.org/EvidPediatr/numeros/vol3/2007_numero_1/2007_vol3_numero1.24.htm

http://books.google.co.cr/books?id=HhxhlETYsfgC&pg=PT204&lpg=PT204&dq=caracter%C3%ADsticas+de+las+pruebas+diagn%C3%B3sticas&source=web&ots=Jkbh2YIOG7&sig=P6uBr5nj8h47oGVmb1v9EFMHuSM&hl=es&sa=X&oi=book_result&resnum=3&ct=result#PPT6,M1

Consideraciones finales, discusión y Consideraciones finales, discusión y consultas.consultas.