Cr e a c ió n y v a l id a c ió n d e in s t r u me n t o s d e me d id a Cr e a c ió n y v a l id a c ió n d e in s t r u me n t o s d e me d id a e n P s iq u ia t r íae n P s iq u ia t r ía

J A R a mo s B r ie v aJ A R a mo s B r ie v a

S e r v ic io d e P s iq u ia t r íaS e r v ic io d e P s iq u ia t r íaHo s p it a l Un iv e r s it a r io “R a mó n y Ca j a l ”Ho s p it a l Un iv e r s it a r io “R a mó n y Ca j a l ”

Un iv e r s id a d d e A l c a l áUn iv e r s id a d d e A l c a l á(M a d r id )(M a d r id )

TIPOS DE INSTRUMENTOSTIPOS DE INSTRUMENTOS

•Instrumentos de cribaje o de screening.

•Entrevistas clínicas, de registro psicopatológico o diagnósticas.

•Escalas que miden intensidad o son sensibles al cambio.

•Escalas especiales.

Instrumentos de cribaje o de screening.

Objetivosdetectar casos en amplios grupos de población

TiposGenerales (GHQ)Específicas (depresión: WHO/SADD, CES-D)Autoaplicadas (GHQ, CES-D)

problemas:*dependen de niveles de lectura y comprensión.*restrictivos (hipocondría, delirios).*respuestas socialmente indeseables.

ventajas: *economía de medios.

Heteroaplicadas: (WHO/SADD)problemas:*aplicación costosaventajas: *minimizan problemas autoaplicadas.

Entrevistas clínicas

Objetivos

Especificar diagnósticos en posibles casosEntrenamiento en captación de la psicopatología

Tipos

Heteroaplicadas: >estructutadas (para legos)>semiestructuradas (para psiquiatras)

Generales (DIS, SCAN, SCID)Específicas: depresión (WHO/SADD)

depresión y esquizofrenia...

Suelen desarrollarse con programas informáticos que contienen algoritmos diagnósticos

Escalas que miden intensidad o son sensibles al cambioy especiales

Objetivo

Evaluar de modo mensurable aspectos parciales ocompletos de un tópico psicopatológico.

Tipos

Específicas: depresión, ansiedad, calidad de vida, alexitimia....Autoaplicadas: Problemas: dependencia de niveles de lectura, (Zung, Beck) comprensión y motivación.

restrictivos (hipocondría, delirios,crónicos.

Ventajas: comodidad de aplicación.

Heteroaplicadas: Ventajas: minimizan problemas autoaplicadas.(Hamilton) Problemas: entrevistadores cualificados.

(médicos, enfermeras, psicólogos)

VALIDEZVALIDEZ: el instrumento mide lo que dice medir.

SEGURIDADSEGURIDAD: el instrumento mide lo que dice sin error.

Existen diferentes conceptos de validez y seguridad, cada uno de loscuales persigue fines diferentes.

Algunos son comunes, otros no son aplicables a todos los tipos de escalas.

VALIDEZ y SEGURIDAD están relacionados...

Exigencias básicas que deben cumplir las escalas

Va I II III IV V Vesp Ve

1,00R

h2

VARIANZA TOTAL OBTENIDA: VaI + VaII + VaIII… + Vesp + Ve = 1,00

VaI + Va II + Va III... = proporciones de la varianza total explicada por los distintos factores de la prueba.

Vesp= varianza específica del test, exclusivamente suyo, que introduce sistemáticamente.

Ve= varianza de error (fluctuaciones aleatorias).

FIABILIDAD o SEGURIDAD = proporción de la varianza total obtenida que es verdadera, sin error (R= 1- Ve).

VALIDEZ= varianza de factor común o comunalidad (h2), compartida por todos los componentes o factores dela prueba (h2= VaI + VaII + VaIII + VaIV + VaV= R - Vesp).

Primer Teorema de la Teoría del Análisis Factorial

Instrumentos de cribaje o de screening.

Criterios de validez y seguridad

Validez de contenido.Validez de constructo.Validez concurrente.Validez predictiva (criterio externo).Seguridad (consistencia interna, temporal).Estabilidad temporal.

Entrevistas clínicas.

Criterios de validez y seguridad

Validez de contenido.Validez predictiva (criterio externo).Seguridad (entre entrevistadores): Seguridad (frente al criterio diagnóstico).Estabilidad temporal.

Escalas que miden intensidad o son sensibles al cambioy especiales

Validez de contenido.Validez de constructo.Validez concurrente.Seguridad entre entrevistadores.Seguridad (consistencia interna).Sensibilidad al cambio.Estabilidad temporal.

Criterios de validez y seguridad

Validez de contenido

Selección de ítems relevantes.Alta proporción de presencia en la muestra destinataria (%).

Consulta de instrumentos preexistentes.Consulta de textos relacionados.Selección propia arbitraria.Amplio listado y selección estadística casos/controles.

-No comparaciones emparejadas.-Análisis Discriminante Escalonado (100% varianza total explicada...).

---- Atención a la construcción de los ítems ----

Definición: clara, breve y sin ambigüedades.Inclusión: relevante.Intervalos de medida:

si/no (relativamente informativa)incluir escalas de intervalos

Escalas de intervalos:ventajas: respuestas más flexibles

manejables como si fueran continuas.inconvenientes: definiciones imprecisas.Ejemplos: 0 (No)* 0 (No)**

1 (ligero) 1 (ligeramente, rara vez)2 (moderado) 2 (bastante, a menudo)3 (extremo) 3 (extremadamente, siempre)

*Beck; **Osgood

Validez de constructo.

El mejor estadístico para evaluar la estructura interna y la validez de constructo de un instrumento es el ANÁLISIS FACTORIAL.

Permite conocer las dimensiones contenidas (factores)Permite expresar esa validez de forma mensurable (h2).

Valores >50% (ó 0,50) de varianza total explicada.

Validez concurrente.

Si un instrumento es válido debe medir el objetivo de forma semejante a otro instrumento semejante preexis-tente y si no existe, una ICG.

Estadístico a emplear: correlación.

Validez predictiva.

Si un instrumento está destinado a realizar diagnósticos debe disponer de una buena validez predictiva respecto a un criterio externo aúreo.

-sensibilidad (V+)-especificidad (V-)-% casos mal clasificados-fiabilidad diagnóstica kappa (κ)-probabilidad pi de acertar (π)

-sensibilidad (V+): a/(a+b)

-especificidad (V-): d/(c+d)

-% casos mal clasificados: c+b/Total

SI NoSI a b a+b

NO c d c +da+c b+d Total

Cri

teri

o ex

tern

o

Instrumento

F+: c/(c+d): 1-especificidad

F-: b/(a+b): 1-sensibilidad

Validez predictiva.

-fiabilidad diagnóstica kappa (κ)

Fiabilidad diagnóstica kappa (κ):

kappa es un coeficiente de concordancia; κ = 2 (ad-bc)/(p1q2+p2q1)

SI NoSI a b p2

NO c d q2p1 q1 1,00

Cri

teri

o ex

tern

o

Instrumento

κ Interpretación

< 0 Pobre

0.0 – 0.20 Baja

0.21 – 0.40 Bastante

0.41 – 0.60 Moderada

0.61 – 0.80 Importante

0.81 – 1.00 Casi perfecta

Fleiss y Cohen (1973)

-fiabilidad diagnóstica kappa (κ) con valores a partir de 0,70

Validez predictiva, seguridad entre entrevistadores (κ, r, ρ)...

r (Pearson) para variables continuas; ρ (Spearman) para ordinales.

SI NoSI a b a+b

NO c d c +da+c b+d Total

Cri

teri

o ex

tern

o

Instrumento

Probabilidad pi de acertar (π)

H = a+d / Total π = (1+ √2H-1)/2

-Correlación ítem/total (r Pearson). El cuadrado de esa correlación (r2) es un coeficiente de determinación.

-Método de las dos mitades.Correlación más corrección de Spearrman-Brown: R= 2.r/(1+r)

-Coeficiente correlación intraclase alfa de Cronbach (α) α = n.ř/ [1+(n-1) ř] n= número de ítems; ř =correlación media del ítem con los demás

Seguridad (consistencia interna).

-Diferencias estadísticamente significativas entre Día 0 y Día XX

-Correlación con una ICG u otra escala en el tiempo.

-Otros procedimientos (Día XX: R+..., R-..., Análisis Discriminante, de Regresión...)

Sensibilidad al cambio.

Prueba test-retets (r, ρ)

Pruebas de concordancia (κ)

Estabilidad temporal.

Prueba test-retets (r, ρ)

Pruebas de concordancia (κ)

Estabilidad temporal.