Tema 7

Validez de las inferencias II

Validez referida al criterio

Procedimientos para la validación referida al criterio:

– Un predictor y un indicador de criterio (regresión simple Tema 6)

– Varios predictores y un indicador de criterio (regresión múltiple)

– Varios predictores y varios indicadores del criterio (no veremos)

– Basados en la teoría de la decisión: selección de sujetos (test y criterios dicotómicos)

Validez referida al criterio

Varios predictores y un indicador de criterio (regresión múltiple)

Objetivo: predecir en función de varias variables (tests) y evaluar la validez

Dos variables cuantitativas independientes y una dependiente también cuantitativa

Correlación Parcial

Permite interpretar grado de correlación entre Y y una de las predictoras eliminando de antemano el efecto que sobre dicha CORRELACIÓN puedan estar ejerciendo el resto de variables

Correlación semiparcial

Permite interpretar grado de correlación entre Y y una de las predictoras eliminando el efecto que sobre dicha VARIABLE PREDICTORA puedan estar ejerciendo el resto de variables

Validación con varios predictores y un solo indicador de criterio

– Coeficiente de validez múltiple: ryx1x2 viene dado por la correlación múltiple entre las puntuaciones obtenidas por la muestra de sujetos en la variable criterio y las obtenidas en el conjunto de variables predictoras

– Ry.x1x2=

𝑟𝑦𝑥1−

2 +𝑟𝑦𝑥2−

2 −2𝑟𝑦𝑥1−

𝑟𝑦𝑥2−

𝑟𝑥2𝑥11−𝑟𝑥2𝑥1

2=

𝑏1 ∗ 𝑟𝑦𝑥1+𝑏2 ∗ 𝑟𝑦𝑥2

Modelo de regresión linealmúltiple

– No son ecuaciones de una recta sino de un plano

– hiperplano de regresión de Y sobre X: Y’=a + b1X1+b2x2+…bnxn

– En puntuaciones típicas, la ordenada en el origen es = 0

Zy’ = b1*Zx1+b2Zx2

b1*= 𝑟𝑦𝑥1

−−𝑟𝑦𝑥2

−.𝑟𝑥2𝑥1

1−𝑟𝑥1𝑥22

b2*= 𝑟𝑦𝑥2

−−𝑟𝑦𝑥1

−.𝑟𝑥1𝑥2

1−𝑟𝑥2𝑥12

𝑟𝑦𝑥2− −𝑟𝑦𝑥1−

correlaciones entre la variable criterio y cada una de las

variables predictoras

𝑟𝑥1𝑥2correlación entre las dos variables predictoras

Modelo de regresión linealmúltiple

– No son ecuaciones de una recta sino de un plano

– hiperplano de regresión de Y sobre X: Y’=a + b1X1+b2x2+…bnxn

– En puntuaciones diferenciales, la ordenada en el origen es a= 0

y’ = b1x1+b2x2

b1= b*1

𝑠.𝑦

𝑠𝑥1

B2= b*2

𝑠.𝑦

𝑠𝑥2

– En puntuaciones directas

– Y’=a + b1X1+b2x2

– a = ഥ𝑌 - b1ഥ𝑥1 − b2ഥ𝑥2

Los coeficientes b de regresión son iguales en puntuaciones directas y diferenciales

Modelo de regresión linealmúltiple

– Varianza residual o varianza del error y error típico de estimación múltiple

– Coef de validez múltiple indica la eficacia de las variables predictoras para estimar el criterio.

– Error de estimación: E= Y-Y’

– Error cuadrático medio:

𝑆2x .y x1x2=

𝑦− 𝑦′ 2

𝑁

– Representa la variabilidad media de las puntuaciones de los sujetos respecto a la puntuación que se les pronostica mediante recta de regresión

– Error típico de estimación múltiple

𝑆 x .y x1x2=

σ 𝑦 − 𝑦′ 2

𝑁

Modelo de regresión mútliple

– Coeficiente de determinación múltiple: equivale al coeficiente de validez múltiple al cuadrado y representa la proporción de varianza de puntuaciones de los sujetos en el criterio que se puede pronosticar a partir de vbs predictoras

– varianza común o asociada entre criterio − predic CD = R𝑦.𝑥

2𝑥1

−

2

– Coeficiente de alienación múltiple: proporción que representa el error típico de estimación múltiple respecto la desviación típica de las puntuaciones en el criterio. Representa la inseguridad

CA = K =𝑠𝑦.𝑥1𝑥2

𝑠𝑦= 1 − 𝑅𝑦𝑥1𝑥2

2

– Coeficiente de valor predictivo múltiple: complementario al coeficiente de alineación y expresa capacidad de variables predictoras de pronosticar el criterio

– Proporción de seguridad con la que se hacen los pronósticos 1-CA

– 𝐶 ⋅ V ⋅ P = 1 − 1 − 𝑅𝑦𝑥1𝑥22

Intervalos de confianza

– Asumimos una distribución normal cuya desviación típica viene dada por el error típico de estimación múltiple. Se busca:

• Determinar el nivel de confianza y buscar su puntuación típica asociada

• Calcular el error típico de estimación múltiple

• Calcular el error máximo

• Aplicar la ecuación de regresión correspondiente y obtener la puntuación pronosticada

Métodos para seleccionar variables predictoras

• Métodos forward– Stepwise (paso a paso)

– Se calculan las intercorrelaciones entre distintas variables

– Se selecciona en primer lugar la variable predictora (VI) cuya correlación con el criterio sea más alta y se construye la ecuación de regresión

– Se añaden las demás variables predictoras (cuál? correlación semiparcial con el criterio sea más alta)

– Cada vez que se incluye una variable predictora se calcula el aumento que se produce en el procentaje de varianza del criterio que explican el conjunto de vbs seleccionadas

Métodos para seleccionar variables predictoras

• Métodos backward– Inverso al anterior y menos utilizado

– Se calculan la correlación múltiple al cuadrado coeficiente de determinación (CD) entre las variable criterio y todo el conjunto de predictores de que se dispone

– Se van eliminando una a una las variables menos relevantes calculando en cada proceso de eliminación la reducción que se produce en el CD

– El proceso se detiene cuando la reducción observada sea significativa

Interpretación de la evidencia obtenida x su capacidad predictora

CRITERIOTEST

A R

A NAA NAR NAT

R NRA NRR NRT

NAC NRC N

• NAA+NRR=ACIERTOS

• NRA=FALSOS NEGATIVOS

• NAR=FALSOS POSITIVOS

Índices de validez y de selección

• Índices de validez

• Proporción de clasificaciones correctas𝐴A+𝑅𝑅

𝑁

• Coeficiente kappa de Cohen permite evaluar consistencia o acuerdo entre las decisiones adoptadas a partir de las puntuaciones obtenidas en el predictor y el criterio

• K = 𝐹𝑐−𝐹𝑎

𝑁−𝐹𝑎• Índice de sensibilidad: Proporción aspirantes correctamente seleccionados

• S = 𝑁𝐴𝐴

𝑁𝐴𝐶

• Índice de especificidad: proporción de aspirantes rechazados

• E = 𝑁𝑅𝑅

𝑁𝑅𝐶

• Razón de eficacia: proporción de aspirantes seleccionados mediante prueba de admisión que rindieron satisfactoriamente en el criterio

• R. E.= 𝑁𝐴𝐴

𝑁𝐴𝑇

Índices de validez y de selección

• ÍNDICES DE SELECCIÓN

• Razón de idoneidad: proporción de aspirantes que rindieron satisfactoriamente en el criterio

• R.J. = 𝑁𝐴𝐶

𝑁

• Razón de selección: proporción de aspirantes que han sido seleccionados mediante el test

• R.S. = 𝑁𝐴𝑇

𝑁

Interpretación de la evidencia obtenida x su capacidad predictora

TEST CRITERIO

A R

A NAA3 NRA 2 NAT5

R NAR 1 NRR 4 NRT5

NAC4 NRC6 N10

• NAA+NRR=ACIERTOS

• NRA=FALSOS NEGATIVOS

• NAR=FALSOS POSITIVOS

Índices de validez y de selección

• Coeficiente kappa de Cohen permite evaluar consistencia o acuerdo entre las decisiones adoptadas a partir de las puntuaciones obtenidas en el predictor y el criterio

• K = 𝐹𝑐−𝐹𝑎

𝑁−𝐹𝑎=7−5

10−5= 0,40 𝐹𝑎 (AA)=

4𝑥5

10= 2 𝐹𝑎 (RR)=

6𝑥5

10=3 𝐹𝑎=2+3=5

• Proporción de clasificaciones correctas𝐴A+𝑅𝑅

𝑁= 3+4

10= 0,70

• Índice de sensibilidad: Proporción aspirantes correctamente seleccionados

• S = 𝑁𝐴𝐴

𝑁𝐴𝐶= 3

5=0,6

• Índice de especificidad: proporción de aspirantes rechazados

• E = 𝑁𝑅𝑅

𝑁𝑅𝐶= 4

4= 0,8

• Razón de eficacia: proporción de aspirantes seleccionados mediante prueba de admisión que rindieron satisfactoriamente en el criterio

• R. E.= 𝑁𝐴𝐴

𝑁𝐴𝑇= 3

4=0,75

Modelos de selección

• Compensatorio (aditivo)

• Conjuntivo (mínimos prefijados en c/u)

• Disyuntivo (nivel competencia en algún predictor)

• Conjuntivo-compensatorio (seleccionados por conjuntivo, se suman puntuaciones parciales)

• Disyuntivo-compensatorio

Eficacia de una selección

• Utilizando la razón de eficacia:• Razón de eficacia: proporción de aspirantes seleccionados mediante prueba de

admisión que rindieron satisfactoriamente en el criterio

• R. E.= 𝑁𝐴𝐴

𝑁𝐴𝑇

• Utilizando el modelo de regresión Y=a+bx

ejercicio

• Supongamos que la ecuación de regresión obtenida a partir de un test x para predecir un criterio ha sido Y’=0,5+2x, que la desviación típica del criterio es Sy=5, el coeficiente de validez es rxy=0,80 y que para considerar que ha tenido éxito en el criterio es necesario obtener en el mismo una puntuación de 8. suponiendo que no hay número limitado de plazas, qué probabilidad de éxito tendrán los sujetos que en el test hayan obtenido 6?

• Y’=0,5+2x Sy=5 C=8 X=6 rxy=0,80

• Y’=0,5+2(6)= 12,5

• Error típico de estimación Sy.x =Sy 1 − r𝑦.𝑥2 = 5 1 − 0,64 =3

• Error máximo =Zc= 𝑌𝑐 −𝑌′

𝑆𝑦.𝑥= 8 −12,5

3=-1,5

• Buscamos tabla N por tanto 0,9332

• Cuando se limitan las plazas (ex. 10%) se busca la puntuación que deja por debajo el 90% Zx=1,28

• 1,28=𝑥− ҧ𝑥

𝑆𝑥=

𝑥 −7

2= X=7+1,28(2)=9,56 Y luego se procede igualmente

Factores que influyen en el coeficiente de validez

• Variabilidad de la muestra

• Fiabilidad del test y del criterio

• La longitud del test

– Cálculo del coeficiente de validez si varía la variabilidad de la muestra

– Cálculo del coeficiente de validez si varía la fiabilidad del test o del criterio

– Cálculo del coeficiente de validez si varía la longitud del test

Cálculo del coeficiente de validez si varía la variabilidad de la muestra

Supuestos

• La pendiente de la ecuación de regresión que permitirá pronosticar el criterio a partir de la variable predictora es la misma en el grupo de aspirantes que de seleccionados

• El error típico de estimación es igual en ambos grupos

• Rxy = 𝑟𝑥𝑦=𝑟𝑥𝑦𝑠𝑥

𝑠𝑥2.𝑟𝑥𝑦

2 +𝑠𝑥2 −𝑠𝑥

2.𝑟𝑥𝑦2

• Sy= 𝑠𝑦 1 − 𝑟2𝑥𝑦+𝑟2𝑥𝑦

𝑆𝑥2

𝑠𝑥2

Cálculo del coeficiente de validez si varía la fiabilidad del test o del criterio• Estimación del coeficiente de validez en el supuesto de que test y criterio tienen

fiabilidad perfecta

– Rvxvy= 𝑟𝑥𝑦

𝑟𝑥𝑥 .𝑟𝑦𝑦

• Estimación del coeficiente de validez en el supuesto de que test tuviese fiabilidad perfecta

– Rvxy= 𝑟𝑥𝑦

𝑟𝑥𝑥 .

• Estimación del coeficiente de validez en el supuesto de que criterio tuviese fiabilidad perfecta

– Rxvy= 𝑟𝑥𝑦

𝑟𝑦𝑦′ .

• Estimación del coeficiente de validez del test si en el supuesto de que se mejorara la fiabilidad de test y criterio

– Rxy= 𝑟𝑥𝑦

𝑟𝑦𝑦

𝑅𝑦𝑦

𝑟𝑥𝑥

𝑅𝑥𝑥

• Estimación del coeficiente de validez del test si en el supuesto de que se mejorara la fiabilidad de test

– Rxy= 𝑟𝑥𝑦

𝑟𝑥𝑥

𝑅𝑥𝑥

• Estimación del coeficiente de validez del test si en el supuesto de que se mejorara la fiabilidad de criterio

– Rxy= 𝑟𝑥𝑦

𝑟𝑦𝑦

𝑅𝑦𝑦

ejercicios

• El coeficiente de fiabilidad de un test es de 0,80 y el del criterio 0,82. El coeficiente de validez del test corregidos los errores de atenuación es 0,87. cuál es el coeficiente sin corregir dichos errores?

• Datos Rvxvy=0,87 rxx=0,80 ryy=0,82

• Fórmula atenuación fiabilidad perfecta

• Rvxvy= 𝑟𝑥𝑦

𝑟𝑥𝑥.𝑟𝑦𝑦

ejercicios

• Datos Rvxvy=0,87 rxx=0,80 ryy=0,82

• Fórmula atenuación fiabilidad perfecta

• Rvxvy= 𝑟𝑥𝑦

𝑟𝑥𝑥.𝑟𝑦𝑦= 0,87

• 𝑟𝑥𝑦 = 0,87 0,80.0,82 =0,70

Cálculo del coeficiente de validez si varía la longitud del test

• 𝑅𝑥𝑦 = 𝑟𝑥𝑦 𝑛

1+(𝑛−1)𝑟𝑥𝑥

• n= 𝑅2

𝑥𝑦(1−𝑟𝑥𝑥)

𝑟2𝑥𝑥−𝑅2𝑥𝑦𝑟𝑥𝑥

ejercicio

• En un test de 100 preguntas considerado como buen predictor de los resultados de las pruebas de acceso a la universidad (criterio), un grupo de 200 alumnos de COU obtuvo una puntuación media de 6 puntos y una varianza de 4, siendo 0,90 el coeficiente de fiabilidad del test. En la prueba de acceso (criterio) este grupo de sujetos obtuvo una puntuación media de 8 puntos y una desviación típica de 3. La correlación entre las puntuaciones del test y las del criterio fue de 0,80 y el coeficiente de fiabilidad de criterio 0,85.

• Datos: Nítems=100 N=200 alumnos ҧ𝑥 = 6 𝑆𝑥2 = 4 𝑟𝑥𝑥 = 0,90 ത𝑌= 8

𝑆𝑦 = 3 𝑟𝑥𝑦 = 0,80 𝑟𝑦𝑦 = 0,85

• Cuál sería la validez del test si se le añadieran 50 elementos paralelos a los 100 iniciales?

• Validez y longitud del test

• n = 150100

= 1,5 𝑅𝑥𝑦 = 𝑟𝑥𝑦 𝑛

1+(𝑛−1)𝑟𝑥𝑥=

0,80 1,5

1+0,5,0,90=0,82

Valor máximo delcoeficiente de validez

• Se obtiene a partir de:

– Rvxvy= 𝑟𝑥𝑦

𝑟𝑥𝑥.𝑟𝑦𝑦≤1

– es la q permite estimar el coeficiente de validez cuando se han eliminado los errores de medida del test y del criterio. Por tanto,

– rxy ≤ 𝒓𝒗𝒙 índice de fiabilidad