Psicometría

Tema 4

Tema 4

Fiabilidad como precisición y estabilidad en la medida

Coeficiente de fiabilidad

Introducción

• Temas 1-3 Construcción test• Temas 4-8 Evaluación de la calidad de la prueba piloto basada en la

respuesta de los sujetos:– Fiabilidad– Validez– Calidad de los ítems

• Fiabilidad como medida de:– Precisión de las medidas– Estabilidad de las medidas

• Coeficiente de Fiabilidad• Objetivos del tema:

– Tipos de error– Estimar puntuación del sujeto en el rasgo a evaluar (conocer puntuación

verdadera) a partir de la obtenida en el test– Estimar el coeficiente de fiabilidad

Fiabilidad

• Error de medida = puntuación del sujeto en el test -puntuación verdadera en el rasgo a medir

• Diseño test:– Procuramos minimizar el error de medida

• La n aplicación de un test a un sujeto genera diferentes puntuaciones debidas– Error debido al Diseño test

– Errores aleatorios impredecibles (fiabilidad)

Modelo de la TCT. Spearman

Modelo de Spearman. TCT• X=V+E• Para cada sujeto X es una variable aleatoria. Se define V como E(X)• Diseño test: busca minimizar error de medida (tests de alta fiabilidad). Si aplicamos un test n veces a un sujeto surgen

diferentes puntuaciones x:– Error debido al diseño– Errores aleatorios (impredecibles y no controlados). De estos se ocupa la fiabilidad.

SUPUESTOS:• Para cada sujeto, X es una variable aleatoria, se define V= E(X)• En cada muestra de n sujetos rve =0 (no hay correlación entre puntuaciones V y errores de medida)• Para dos tests diferentes aplicados a = muestra re1e2= 0Propiedades que se deducen de los supuestos:

– Error de medida para cada sujeto E = X-V– Para cada sujeto E(e) = 0

Para una muestra grande de sujetos

– Media de x = media de v, por lo que media de E=0 ഥ𝑿 = ഥ𝑽 ഥ𝑬 = 0

– Cov (V,E)=0 o de forma equivalente, rve =0

– S2x=S2v+S2e

– Cov(X,V)=S2v

– 𝑟𝑥𝒆 =𝑠𝑒

𝑠𝒙y 𝑟𝑥𝑣 =

𝑠𝑣

𝑠𝑥

– Para dos tests: Cov(X1,X2)=Cov(V1,V2)

Tests paralelos• Dos tests aplicados a la misma muestra son paralelos si:

– Cumplen los supuestos de Spearman– V=V’

– S2e=S2e’

• Propiedades que se deducen de la definición:– La media de las puntuaciones empíricas obtenidas en los tests

supuestamente paralelos es la misma ഥ𝑿 = 𝑿′– Las varianzas de las puntuaciones empíricas obtenidas en dos tests

paralelos son iguales S2 x=S2x’– La correlación entre puntuaciones empíricas de dos tests paralelos es

𝑟𝑥𝑥′ = 𝑟2𝑥𝑣 =

𝑆2𝑣

S2𝑥

– Dados dos o más tests paralelos, las intercorrelaciones entre cada dos de ellos son iguales

• Si x1, x2, x3, …. Son paralelos entonces rX1,X1’ = rX2,X2’ = rX3,X3’

Interpretación coeficiente de fiabilidad• Coeficiente de fiabilidad

– 𝑟𝑥𝑥′ = 𝑟2𝑥𝑣 se denota 𝑟𝑥𝑥

– Correlación entre las puntuaciones empíricas obtenidas por una muestra de sujetos en dos formas paralelas del test

– Implica la proporción de varianza verdadera en las puntuaciones empíricas del test. Adquiere valores entre 0 y 1

– Proporciona información para estimar la cuantía del error de medida

• Índice de fiabilidad:

– 𝑟𝑥𝑥′ = 𝑟2𝑥𝑣 =

𝑆2𝑣

S2𝑥

𝑟𝑥𝑣 = 𝑟𝑥𝑥′

– 𝑟𝑥𝑥′ = 1-𝑆2

𝑒

S2𝑥

= 1- 𝑟2𝑥𝑒

– 𝑟𝑥𝑒 = 𝑆𝑒

S𝑥𝑟𝑥𝑒 = 𝟏 − 𝑟𝑥𝑥′

Ejercicio interpretación coef fiabilidad

• Hallar el coeficiente de fiabilidad de un test sabiendo que la varianza verdadera es 34 y la varianza del error es 9

• S2v=34 S2e= 9

• S2x=S2v+S2e S2x=34+9 =41

• 𝑟𝑥𝑥′ = 𝑟2𝑥𝑣 =𝑆2𝑣S2𝑥

=34

41= 0,83

Tipos de errores de medida

– Error de medida: E = V- X medida individual

– Error típico de medida: 𝑆𝑒 = 𝑆𝑥 𝟏 − 𝑟𝑥𝒙′

– Error de estimación en la puntuación verdadera• E=V-V’ siendo V’ = a+bX

– Error típico de estimación de la puntuación verdadera

• 𝑆𝑣𝑥 = 𝑆𝑥 𝟏 − 𝑟𝑥𝒙′ 𝑟𝑥𝒙′ = 𝑆𝑒 𝑟𝑥𝒙′

– Error de sustitución e=X1-X2 diferencia entre puntuaciones obtenidas por un

sujeto en un test y las obtenidas en su paralelo

– Error de predicción e=X1-X’1 donde X’1 =puntuación pronosticada a partir de su forma paralela. Diferencia con la pronosticada.

Ejercicio• Hallar el error típico de medida y el error de estimación

de la puntuación verdadera de un test sabiendo que la proporción de varianza verdadera es del 80% y que la varianza de las puntuaciones empíricas es de 45.

• 𝑆2𝑥=45 𝑆2𝑣S2𝑥

=0,80 = 𝑟𝑥𝑥′

• 𝑆𝑒 = 𝑆𝑥 𝟏 − 𝑟𝑥𝒙′= 𝟒𝟓 𝟏 − 𝟎, 𝟖 = 𝟒𝟓 ∗ 𝟎, 𝟐 = 𝟗 = 𝟑

• 𝑆𝑣𝑥 = 𝑆𝑥 𝟏 − 𝑟𝑥𝒙′ 𝑟𝑥𝒙′ = 𝑆𝑒 𝑟𝑥𝒙′=3 𝟎, 𝟖 = 2,67

Factores que afectan a la fiabilidad • Longitud del test

– A mayor número de ítems mayor fiabilidad (mayor información acerca del rasgo a medir)

– Relación longitud-fiabilidad viene dada por la fórmula Spearman-Brown. El coeficiente de fiabilidad tiende a 1

– Sirve también para estimar el número de ítems paralelos necesarios para aumentar la fiabilidad

– 𝑅𝑥𝑥 =𝑛𝑟𝑥𝑥

1+ 𝑛−1 ⋅𝑟𝑥𝑥n=

𝐸𝐹

𝐸𝐼número de veces que aumenta o disminuye

– n= 𝑅𝑥𝑥(1−𝑟𝑥𝑥)

𝑟𝑥𝑥 1−𝑟𝑥𝑥 ⋅EF= n.EI total de ítems finales

• Variabilidad de la muestra

– El coeficiente de fiabilidad puede variar en función de la mayor o menor homogeneidad del grupo. A mayor dispersión, mayor fiabilidad.

– Se mantiene constante el error típico de medida de un test

– 𝑟22= 1 −𝑆21

S22(1-𝑟11)

ejercicio

• Si un test tiene 50 elementos y un coeficiente de fiabilidad de 0,64

• Cuántos elementos paralelos hay que añadirle para obtener un coeficiente de fiabilidad de 0,80?

DATOS: N=50 elementos rxx =0,64 Rxx=0,80

• n =𝑅𝑥𝑥 1−𝑟𝑥𝑥

𝑟𝑥𝑥 1−𝑅𝑥𝑥

• n= 0.80(1−0.64)0.64 (1−0.80)

=2.25

• n= elementos finaleselementos iniciales

= 2.25 = x

50 = 50.2,25 = 113 elementos finales

Elementos a añadir = 113- 50 = 63

ejercicio

• Un test de 80 preguntas tiene un coeficiente de fiabilidad de 0,80. Cuál será el coeficiente de fiabilidad si se duplica la longitud del test?

• Y si añaden 20 preguntas?• Averiguar n: número de veces que se ha alargado /reducido test

• Aplico fórmula 𝑅𝑥𝑥 =𝑛𝑟𝑥𝑥

1+ 𝑛−1 ⋅𝑟𝑥𝑥𝑅𝑥𝑥 =

2 (0,80)

1+ 2−1 ⋅0,80=

1,6

1+0,80=

1

1,8= 0,89

• 80+20 =100 n = 100/80 =1.25

• Aplico fórmula 𝑅𝑥𝑥 =𝑛𝑟𝑥𝑥

1+ 𝑛−1 ⋅𝑟𝑥𝑥𝑅𝑥𝑥 =

1,25 (0,80)

1+ 1,25−1 ⋅0,80=

1,25 (0,80)

1+ 0,25 ⋅0,80=

1

1+0,2= 0,83

ejercicio• Hemos aplicado un test a una muestra de sujetos en la que la desviación típica de

las puntuaciones empíricas obtenidas es igual a 20 y la razón entre la desviación típica de los errores y la desviación típica de las puntuaciones empíricas es 0,4. Aplicado el test a otra muestra de sujetos en la que la desviación típica de las puntuaciones empíricas es igual a 10

• Cuál sería el coeficiente de fiabilidad del test?

– Datos: Sx1= 20 Se

Sx=0,4 Sx2= 10

– Calculamos r11 = 1-S2e

S2 x= 1-0,16 =0,84

– partiendo del supuesto de que el error típico de medida de un test se mantiene constante independientemente de la variabilidad del grupo S2e1 = S2e2

– Teniendo en cuenta que S2e = S2x (1- rxx) establecemos la igualdad

– S2x 1(1- r11 ) = S2x 2(1- r22 ) 400(1-0,84)=100(1- r22 ) 64=100-100 r22

– r22 =100−64

100= 0,36

La fiabilidad como equivalencia y como estabilidad en las medidas

• Un test debe cumplir dos requisitos– Medir el rasgo que pretende medir (válido)– Las puntuaciones empíricas deben ser estables y precisas (libre de errores)

• Dos aplicaciones del test. Estabilidad: No debería haber mucha diferencia entre dos aplicaciones del test• Métodos basados en la estabilidad de las medidas para obtener el coeficiente de fiabilidad (se basan en la

aplicación directa de la correlación): Pearson

• Método 1º (formas paralelas): – Construir dos formas paralelas del test y aplicarlas a la misma muestra amplia– Calcular coeficiente de correlación de Pearson entre las puntuaciones de los sujetos en ambas formas– Coef. de fiabilidad = Coef. de correlación entre las dos formas. – Es estos casos a rXX se le denomina Coeficiente de equivalencia– Inconveniente: dificultad de construir dos formas paralelas. Ventaja: Posibilidad de aplicar al mismo

tiempo=control

• Método 2º (test-retest):– Aplicar el mismo test a una misma muestra en dos ocasiones diferentes. – Coef. de fiabilidad = Coef. de correlación. – Es estos casos a rXX se le denomina coeficiente de estabilidad. – Ventaja: No requiere construcción de dos test . Inconvenientes:

• Memorización de ítems

• Intervalo del tiempo mejor si es mayor aunque puede cambiar el rasgo• Actitud de los sujetos (cooperación)

Fiabilidad como consistencia interna– Cuando sólo es posible una única aplicación

– Método división en dos mitades

• Spearman-Brown– Dividir en dos mitades (pares e impares) y calcular correlación

– Calcular fórmula de Spearman-Brown

– 𝑅𝑥𝑥= 2𝑟𝑥𝑥

1+𝑟𝑥𝑥

• Rulon– TAU equivalente: Se sigue asumiendo que la varianza de las puntuaciones verdaderas

son iguales aunque no lo sean las varianzas de los errores.

– Se calcula la varianza de las diferencias en las puntuaciones.

– 𝑟𝑥𝑥= 1-𝑆2𝑑

S2𝑥=

• Guttman-Flannagan– Utiliza la varianza de los pares y la varianza de los impares para calcular el

coeficiente

– 𝑅𝑥𝑥= 2 1 −𝑆2𝑝+𝑆2𝑖

S2𝑥

Test de fluidez verbal de 6 ítems a 6 sujetos

Fiabilidad como consistencia interna– Método una aplicación test.– Requiere un análisis de varianza y covarianza de las

respuestas de los sujetos a los ítems. Cuanto más covaríen los ítems, mayor será la fiabilidad del test.

– De esta forma, el coeficiente obtenido proporciona una estimación de la consistencia de los ítems.

– Coeficiente Alpha de Cronbach (tests no dicotómicos)– Constituye un indicador de la consistencia interna del test.

– 𝛼 =𝑛

𝑛−11 −

σ𝑗=1𝑛 S2𝑗S2𝑥

=𝑛

𝑛−1

σ𝑗=1σ 𝐶𝑜𝑣(𝑖,𝑗)

S2𝑥

– Estimador insesgado de α– Es un estimador del intervalo inferior del coeficiente de fiabilidad de un test,

siendo su valor menor o igual que el coeficiente de correlación rxx

– Otro estimador del límite inferior del coeficiente de fiabilidad es el coeficiente Delta

Inferencias sobre α• Inferencias sobre Alpha

– Sobre un valor de α contraste bilateral. Saber coeficiente alpha en la población (intervalo) o si es estadísticamente significativo• Estadístico de contraste . Contraste Bilateral H𝑶 :𝜶 = 𝜶𝑶

• F= 𝟏−𝜶𝑶

𝟏−ෝ𝜶𝒇𝑵−𝟏,(𝑵−𝟏)(𝒏−𝟏)

– Para dos muestras independientes (1 test 2 muestras)• Estadístico de contraste. Contraste Bilateral H𝑶 :𝜶𝟏 = 𝜶𝟐

• W= 𝟏−ෝ𝜶𝟏

𝟏−ෝ𝜶𝟐

𝑓𝑁𝟏−𝟏, 𝑵𝟐−𝟏

– Para k muestras independientes• Estadístico de contraste UX1

– para muestras dependientes (2 tests 1 muestra)• 2 muestras dependientes utilizo t• K muestras dependientes utilizo UX2

Ejercicio libro

• Hemos aplicado un test de percepción espacial compuesto de 35 items a una muestra de 60 sujetos y tenemos un alpha de 0.83.

– Es el coeficiente estadísticamente significativo?

– Entre qué valores estará se encontrará el coeficiente alpha en la población al 95% nivel de confianza?

Hipótesis nula α = 0 hipótesis alternativa α ≠ 0

Ejercicio

A)Hipótesis nula α = 0 hipótesis alternativa α ≠ 0

Calculamos el valor de contraste

F= 𝟏−𝜶𝑶

𝟏−ෝ𝜶=

𝟏−𝟎

𝟏−𝟎,𝟖𝟑=5,88 𝒇𝑵−𝟏,(𝑵−𝟏)(𝒏−𝟏)𝒇𝟔𝟎−𝟏,(𝟔𝟎−𝟏)(𝟑𝟓−𝟏)

F(0.975)= 1,39 tabla F(0.025) = calcularlo 1/F(0.975,2006,59)=1

48=0,67

5.88 fuera del intervalo de confianza rechazamos hipótesis nula. Es estadísticamente significativo

B)Calcular los valores entre los que se encontrará el coeficiente de la población

Se despeja ecuación.

𝟏−𝜶

𝟏−𝟎,𝟖𝟑≤ 1,39; 𝜶≥ 1-1,39(1-0,83) 𝜶≥ 0,76

𝟏−𝜶

𝟏−𝟎,𝟖𝟑≥ 0,67; 𝜶 ≤ 1-0,67(1-0,83) 𝜶≥ 0,89

Al nivel de confianza del 95% el valor de 𝜶 está comprendido entre 0,76 y 0,89

Fiabilidad como consistencia interna– Método una aplicación test– Caso particulares Alpha de Cronbach

• tests dicotómicos– Kuder –Richardson 20 (KR20) Varianza del ítem=p.q (aciertosxerrores)– La media de un ítem dicotómico es igual a la proporción de aciertos– a) Ejemplo: Se ha aplicado un test con 5 ítems a una muestra de 100 sujetos.

El número de sujetos que ha respondido correctamente a cada uno de los ítems ha sido, respectivamente, 70, 40, 80 y 50. La varianza del test ha sido 2. Hallar el coeficiente de fiabilidad

– KR20= 𝑛

𝑛−11 −

σ 𝑝𝑞

S2𝑥

• Tests dicotómicos con igual dificultad – Kuder –Richardson 21 (KR21)– b) Ejemplo: Se ha aplicado un test con 5 ítems a una muestra de 100 sujetos.

El número de sujetos que ha respondido correctamente a cada uno de los ítems ha sido de 70 en todos los casos. La varianza del test ha sido 2. Hallar el coeficiente de fiabilidad.

– KR21= 𝑛

𝑛−11 −

𝑛𝑝𝑞

S2𝑥=

𝑛

𝑛−11 −

ҧ𝑥−ഥ𝑥2

𝑛

S2𝑥

Ejercicio

• Se ha aplicado a una muestra de 300 alumnos un test de 5 ítems dicotómicos. Las medias obtenidas para cada ítem han sido: 0,30; 0,80;0,40; 0,60; 0,90 respectivamente.

• Sabiendo que la varianza total del test ha sido de 4 puntos, calcula el coeficiente de fiabilidad del test.

• La media de un ítem dicotómico es igual a la proporción de aciertos y su S2x=p.q

• Datos N = 300 n =5 S2x =4

• P1= 0,30 p2=0,80 p3= 0,40 p4=0,60 p5=0,90 • Σ p.q= 0,30x0,7+0,8x0,2+0,4x0,6+0,6x0,4+0,9x0,1=0,21+0,16+0,24+0,24+0,24+0,9=0,94

• Aplico fórmula KR20

– KR20= 𝑛

𝑛−1

σ 𝑝𝑞

𝑛−1=KR20=

5

5−1

0,94

4=0,96

Fiabilidad como consistencia interna

– Coeficientes basados en el análisis factorial de los ítems• Theta y Omega (Conceptos no estudiados)

– Coeficiente beta de Raju

• Cuestionario dividido en varios subtests. Se desconoce la puntuación en los ítems

• Proporciona estimación adecuada de la fiabilidad del test compuesto de dif subtests con dif numeros de ítems

Estimación de la puntuación verdadera de los sujetos en el atributo de interés

Hacer estimaciones acerca de V y del E que afecta a las XNo puede calcularse la puntuación verdadera de un sujeto en un test pero sí

establecer el intervalo confidencial dentro del cual se encontrará dicha puntuación a un determinado nivel de confianza.

• Estimación mediante la desigualdad de Chebyshev– No considera la distribución de las puntuaciones empíricas o de los errores.– Si no se hace ningún supuesto se aplica.

– Se = Sx 𝟏− 𝑟𝑥𝑥 1-1

𝐾2= nivel de confianza utilizado =

1

𝐾2=1-NC

– Se busca K

• Estimación basada en la distribución normal de los errores– Asume una distribución normal de los errores de medida y de las puntuaciones empíricas

condicionadas a un determinado valor de V

• Estimación basada en el Modelo de regresión– La correlación entre puntuaciones verdaderas y errores= 0 pero no sucede lo mismo con las

puntuaciones empíricas que sí se ven afectadas por un cierto componente de error. Se establece el intervalo confidencial a partir de la puntuación verdadera estimada, mediante el modelo de regresión lineal según el criterio de mínimos cuadrados.

Estimación basada en la distribución normal de los errores

• Supuesto: Errores siguen una normal N(0,Se)Para determinar el intervalo confidencial dentro del que se encontrará la puntuación verdadera del sujeto:

• Se fija nivel de confianza, donde Zc es el valor de una normal N(0,1) que deja una probabilidad de

α

2a su derecha. Ej:(N.C. 95%) y se determina valor de Zeta

crítico Zc=+-1.96

• Calcular el error típico de medida

– Se = Sx 𝟏 − 𝑟𝑥𝑥 para puntuaciones directas o diferenciales

– Sze = 𝟏 − 𝑟𝑥𝑥 para puntuaciones típicas

• Calcular el error de medida máximo

– Emax= Zc. Se Emax= Zc. Sze

• Calcular el intervalo confidencial en el que se encontrará la puntuación verdadera

– IC = X+- Emax

ejercicio• N=200 sujetos ҧ𝑥=52 Sx=7 rxx= 0,73 Puntuación directa X= 65 y NC95%• Convertir puntuación directa en diferencial y en típica

• x=X- ҧ𝑥= 65-52=13 Zx= X− ҧ𝑥

Sx=

65−52

7=1,86

• Calcular el error típico de medida para puntuación directa y diferencial

– Se = Sx 𝟏 − 𝑟𝑥𝑥 = Se = 7 𝟏 − 𝟎, 𝟕𝟑 = 𝟑, 𝟔𝟒

• Calcular el error típico de medida para puntuaciones típicas

• Sze = 𝟏 − 𝑟𝑥𝑥 = 𝟏 − 𝟎, 𝟕𝟑= 0,52

• Calcular el error de medida máximo – Emax= Zc. Se =1,96*3,64=7,13– Emax= Zc. Sze =0,52*1,96=1,02

• Calcular el intervalo confidencial en el que se encontrará la puntuación verdadera IC = X+- Emax

• IC= 65+-7,13 57,85 ≤ V≥ 72,13• IC=13+-7,13 5,87 ≤ v≥ 20,13• IC=1,86+-1,02 0,84 ≤ Zv≥ 2,88

Estimación basada en el Modelo de regresión

• Supuesto: V sigue una normal N(V’*Svx)donde V’ es la estimación de V a partir de X por regresión y Svx el error típico de estimación de la puntuación verdadera. Tener en cuenta que ഥ𝑿 = ഥ𝑽

• Ecuación de regresión de V sobre X para hallar V’ – en puntuaciones directas V’= rxx (X- ҧ𝑥)+ ҧ𝑥– en puntuaciones diferenciales v’= rxx (X- ҧ𝑥) = v’= rxx *x– en puntuaciones típicas Zv’= rvx *Zx

• Calcular el error típico de estimación Svx

– Svx = Sx 𝟏 − 𝑟𝑥𝑥 𝑟𝑥𝑥 para puntuaciones directas o diferenciales

– Szvzx = 𝟏− 𝑟𝑥𝑥 𝑟𝑥𝑥 para puntuaciones típicas

• Calcular el error máximo de estimación siendo Emax=Zc* Svx

• Establecer el intervalo confidencial– en puntuaciones directas V’+- Emax

– en puntuaciones diferenciales v’ +- Emax

– en puntuaciones típicas Zv’ +- Emax

ejercicio• N=200 sujetos ҧ𝑥=52 Sx=7 rxx= 0,73 Puntuación directa X= 65 y NC95%• Convertir puntuación directa en diferencial y en típica

• x=X- ҧ𝑥= 65-52=13 Zx= X− ҧ𝑥

Sx=

65−52

7=1,86

• Hallar la estimación de V– en puntuaciones directas V’= rxx (X- ҧ𝑥)+ ҧ𝑥 = 0,73*13 +52= 61,49– en puntuaciones diferenciales v’= rxx (X- ҧ𝑥) = v’= rxx *x =0,73*13= 9,49– en puntuaciones típicas Zv’= rvx *Zx = 𝟎, 𝟕𝟑 * 1,86 = 1,58

• Calcular el error típico de estimación

– Svx = Sx 𝟏 − 𝑟𝑥𝑥 𝑟𝑥𝑥 = 7 𝟏 − 𝟎, 𝟕𝟑 𝟎, 𝟕𝟑 =3,09

– Szvzx = 𝟏 − 𝑟𝑥𝑥 𝑟𝑥𝑥 = 𝟏 − 𝟎, 𝟕𝟑 𝟎, 𝟕𝟑 = 0,44

• Calcular el error máximo de estimación– Emax= Zc. Svx =1,96*3,09=6,06– Emax= Zc. Szvzx =1,96*0,44=0,86

• Calcular el intervalo confidencial en el que se encontrará la puntuación verdadera I= V’+- Emax

• I= 61,49+-6,06 I=55,43;67,55• I=9,49+-6,06 I= 3,43; 15,55• I=1,58+-0,86 I=0,72 ;2,44