Post on 01-Mar-2018
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
1/34
VALIDEZ Y CONFIABILIDAD
Tcnicas Psicomtricas
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
2/34
PROPIEDADESPSICOMTRICAS- Estndares Tcnicos
VALIDEZ
Se refiere a lo que mide una
prueba y no puede expresarse en
general sino que debe consignarse
el uso particular para el que se
planea utilizar el instrumento
MIDE LA PRUEBA
EL CONSTRUCTO QUEPRETENDE MEDIR?
CONFIABILIDAD
Se relaciona con la
consistencia de la medicin,
al margen de que lo mida exactamente
Una prueba es confiable si es
consistente y precisa
LA PRUEBA FUNCIONA
DE MANERA SIMILAR o CONSTANTEBAJO DIFERENTES
CONDICIONES o CIRCUNSTANCIAS?
(Hogan, 2004)
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
3/34
CONFIABILIDADRefiere a:
a) la confianza que puede tenerse en una medicin
b) la consistencia de los puntajes obtenidos por las mismas
personas cuando son evaluadas con una misma tcnica, con
tcnicas equivalentes o en situaciones diferentes
NOCIN DE ERROR
TODA MEDICIN CONTIENE CIERTA CANTIDAD DE ERROR
La confiabilidad permite saber hasta qu punto las diferencias en las
puntaciones se deben a diferencias verdaderas existentes en la variable que
intentamos medir o hasta que punto se deben
a errores del proceso de medicin
VARIANZA DE ERROR
(Hogan, 2004)
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
4/34
TIPOS DE ERROR
ERRORES SISTEMATICOS Genera constantemente una
puntuacin elevada o bajaindependientemente de loscambios en el rasgo medido
Sesgo de medicin: fuente devariacin quesistemticamente afecta a laspuntuaciones de undeterminado grupo (secontrola a travs de
procedimientos de validez)
ERRORES ALEATORIOS Son impredecibles y forman parte
de todo proceso de medicin.
Se controla a travs de losmtodos para verificar la
confiabilidad
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
5/34
Supuesto fundamental de la medicinpsicolgica (TCT):
La puntuacin observable de una personaen un test es en funcin de doscomponentes:
su puntaje verdadero (no observable)
el error de medicin implcito en la prueba
Oi= Vi + Ei
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
6/34
* Desde la TCT la confiabilidad: proporcinde la variancia observada de laspuntuacin del test que se debe a la
variancia verdadera
Variancia: dispersin promedio de los
puntajes de test alrededor de la media
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
7/34
La confiabilidad se verifica mediante uncoeficiente de correlacin entre las medidasrepetidas de un fenmeno.
Un coeficiente de correlacin .80 sugiere queun 64% de la varianza observada se debe a la
variabilidad de la puntuacin verdadera.
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
8/34
FUENTES DE INESTABILIDADQUE AFECTAN A LA CONFIABILIDAD
CALIFICACIN DE LA PRUEBA: Variaciones en los criterios
de calificacin. Evitar que los contenidos sean tendenciosos oinsuficientes
CONTENIDO DE LA PRUEBA: Variaciones en el muestreo delos reactivos
CONDICIONES DE APLICACIN: Variaciones en laadministracin de la prueba: consigna, condiciones delambiente, tiempo, protocolos, etc
CONDICIONES PERSONALES: Variaciones que pueden darseen los evaluados: motivacin, atencin, preocupacionespersonales, estado de salud, cansancio, sueo, etc.
(Hogan, 2004)
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
9/34
DIMENSIONES DE LACONFIABILIDAD
1- ESTABILIDAD: en qu grado el puntaje de un individuo est libre deerrores de medicin por cambios personales aleatorios o en lascondiciones de administracin?. Metodo Test- retest y el metodo deformas equivalentes, cuando ambas formas del test son aplicadas conun intervalo de tiempo.
2- CONSISTENCIA INTERNA: en que grado la muestra de items es unafuente de error en la medicion?. En que grado los distintos items midenel mismo constructo o dominio?. Metodo de formas equivalentes, elmetodo de particion en mitades y el metodo del coeficiente alfa deCronbach.
3- CONFIABILIDAD INTER-EXAMINADORES: en que grado la medicionde un rasgo es independiente de la subjetividad del evaluador?.Metodo: Acuerdo inter-juez.
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
10/34
MTODOS PARA ESTABLECER LA CONFIABILIDAD
MTODO TEST-RETEST Evala: los cambios en las
condiciones personales y en las
condiciones de aplicacinConsiste en repetir
la toma en una segunda
oportunidad
Se obtiene coeficiente de estabilidad:coeficiente de correlacin
INCONVENIENTES
EFECTO DE LA PRCTICA y DE LA MEMORIAEL PROBLEMA DE LA MOTIVACION
DIFICULTAD PARA ESTABLECER TIEMPO ENTRE
TOMAS: atender a caractersticas variable medida yde la poblacin meta del testPOCA PRACTICIDAD
DEPENDE DEL TIPO DE CONSTRUCTO QUE SEMIDA
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
11/34
FORMAS EQUIVALENTES oPARALELAS
Busca evaluar falta de
confiabilidad debido al
muestreo del contenidoSe preparan dos formasequivalentes de la misma tcnica,
se las administra y se calcula la
correlacin entre los puntajes
obtenidos por las mismas personas
INCONVENIENTES
REDUCE PERO NO ELIMINA ELEFECTO DE LA PRCTICA
COSTOSODIFICULTAD PARA ESTABLECER LAEQUIVALENCIA Y DIFERENCIA ENTRELAS FORMAS
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
12/34
CONSISTENCIA INTERNA
Consiste en dividir la tcnica en mitadescomparables que luego se correlacionan.
Mtodo: separar tems pares e impares. Poco empleado.
Dificultad para lograr que las mitades obtenidas sean comparables
DIVISIN POR MITADES
METODO DE COVARIANZA DE LOS ITEMS
COEFICIENTE ALFA DE CRONBACH Y KUDER-RICHARDSON
Permiten evaluar si laprueba es homognea
Enpruebas
politmicas
En
pruebasdicotmicas
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
13/34
Coeficiente Alfa de Cronbach es la media de todaslas correlaciones de particion por mitades posibles.
En que medida los diferentes items miden unamisma variable?
El mtodo ms popular para estimar la consistenciainterna
No es apropiado para los test de velocidad o tiempolimitado (test-retest o formas equivalentes).
Aumenta con el nmero de items (uso adicional delcoef. de correlacin inter-item- entre 0.15 Y 0.50)
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
14/34
CONFIABILIDAD INTERJUECES:ndice de Kappa, permite estimar la concordancia
entre observadores (superior a .80) cuando se tratade escalas nominales.Coeficiente de Correlacin Intraclase, w de Kendallo kappa modificado, con escalas ordinales o
intervalares.
Se evala la variacin no sistemtica debida
solo a quienes califican la prueba
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
15/34
Dimensin de laconfiabilidad
Mtodo N de sesiones deadministracin
Estadsticos
Estabilidad Test-retest
Formas paralelas
2
2
r de Pearson
r de Pearson
Consistencia interna Coeficiente alfa deCronbach
Formas paralelas
Particin en mitades
1
1
1
Alfa, Kuder-Richardson
r de Pearson
r y frmula decorreccinSpearman-
BrownConfiabilidad entreexaminadores
Acuerdo entreexaminadores
1 Kappa, w deKendall,coeficiente decorrelacinintraclase
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
16/34
O= V + E Puntuacin verdadera es terica. Puedo
estimar la ubicacin del PV con un ciertogrado de confianza.
Error estndar de medicin (EEM)
Establecimiento de intervalos de confianza
Cuanto mayor es el coeficiente deconfiabilidad, menor el error estndar demedicin: ms confianza en la precisin delpuntaje observado (menor el intervalo)
Confiabilidad y puntuacionesindividuales
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
17/34
VALIDEZ
Se relaciona con la investigacin delsignificado terico de las puntuaciones de untest
Constructo terico: representacin abstractade un conjunto de comportamientosrelacionados (ej. personalidad, inteligencia,ansiedad, etc.)
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
18/34
HISTORIA VALIDEZ: Tres fases
1- OPERACIONAL (hasta 50): predominaperspectiva pragmtica de aplicaciones de lostests. Validez predictiva.
2- TEORA PSICOLGICA: Validez decontenido y de constructo
3- PERODO ACTUAL: se agrega importancia aluso del instrumento
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
19/34
VALIDEZ DE CRITERIO
VALIDEZ PREDICTIVA
En qu medida es posible anticipar un logroo comportamiento futuro?
MTODO: Se correlaciona el desempeo en la prueba con
algn criterio externo, establecido a futuroVALIDEZ CONCURRENTE
Se establece comparando las puntuaciones de una tcnica con
un criterio externo, pero en forma inmediata y no a futuro
MEDIDAS DECRITERIO
Criterio Externo
Otras Pruebas
Grupos Contrastados
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
20/34
VALIDEZ CONVERGENTE Y DISCRIMINANTE
Indica una correlacin alta entre
la prueba y algn criterioque se considera mideel mismo constructo
Supone una baja correlacincon constructos distintosal que se pretende medir
Mtodo: multirasgo-multimtodo
Alta correlacin entre los mismos rasgos medidos condiferentes mtodos.
Baja correlacin entre distintos rasgos
medidos con el mismo mtodo
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
21/34
VALIDEZ DE CONTENIDO
CONSTRUCTO
PRUEBA
ITEMS
Comprende la prueba una
muestra representativa delconstructo que mide?
MTODO: ANLISIS SISTEMTICO DE LOSCONTENIDOS DE LA TCNICA
MTODO: JUICIO DE EXPERTOS
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
22/34
TIPOS DE VALIDEZ
En qu medida la
prueba mide
el constructo
terico?
MTODOS:
ANLISIS FACTORIAL
CORRELACIN CON OTRAS PRUEBAS
VALIDEZ DE CONSTRUCTO: aspecto fundamental
e inclusivo de las restantes dimensiones de validez
TEORA
CONSTRUCTO
PRUEBA
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
23/34
ANALISIS FACTORIAL
Flia. de tcnicas estadsticas que ayudan aidentificar dimensiones comunes quesubyacen en mediciones diferentes
Matriz de correlaciones Formas diferentes de extraer los factores de
acuerdo a criterios matemticos
Varios procedimientos de rotacin parafavorecer la interpretacin
Tabla 1.Anlisis Factorial exploratorio del Juego Simn Dice, Parte I. Mtodo de rotacin Varimax.
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
24/34
Factor I
Inhibicin
Factor II
Activacin
A correr ,441
Tocarse la cabeza ,662
Hacer un giro ,734
Aletear los brazos,847
A saltar,774
Simn dice: a sentarse,333
Simn dice: a correr,441
Aplaudir ,824
Dar un paso adelante ,843
Dar un paso atrs ,872
Tocarse la nariz ,666
Simn dice: Hacer un giro ,747
Simn dice: Aletear los brazos ,775
p g ,
P i d t l t t l d l
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
25/34
Periodo actual o contextual delconcepto de validez
Importancia del uso del instrumento: nunca sevalida un test en si mismo sino que se verifica lavalidez para determinado proposito.
No se habla de tipos de validez sino de un
proceso de recoleccion de evidencia de validezpara un concepto unitario.
VALIDEZ: adecuacion, significacion y utilidad delas inferencias especificas hechas a partir de laspuntuaciones de un test
FUENTES INTERNAS DE
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
26/34
FUENTES INTERNAS DEEVIDENCIA
1- Evidencia basada en el contenido del test: esmas factible en pruebas de rendimiento dondese verifica la representatividad y relevancia del
contenido con respecto a objetivos, actividades,conocimientos y destrezas. Metodo: Juicio deexpertos
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
27/34
2- Evidencia basada en la estructura interna deltest: relaciones entre items y las dimensiones(factores o escalas) permiten confirmar la
existencia del constructo a medir.Metodo: Analisis Factorial
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
28/34
3- Evidencia basada en el proceso de respuesta
Se analizan los procesos cognitivos
comprometidos en el proceso de respuesta altest (por ej. Razonamiento, tendencia a laconformidad social, diferencias entre subgrupos
varones mujeres, grupos etnicos, etc)Metodo: entrevistas, protocolos de respuesta,procedimiento que analice cualitativamente lasrespuestas .
FUENTES EXTERNAS DE
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
29/34
FUENTES EXTERNAS DEEVIDENCIA DE VALIDEZ
Analisis de las relaciones de las puntuacionescon variables externas:
- medidas en base a algun criterio que el test
intenta predecir, o- Puntuaciones de otros tests que miden
constructos semejantes o diferentes
FUENTES EXTERNAS DE
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
30/34
FUENTES EXTERNAS DEEVIDENCIA DE VALIDEZ
1- Evidencia convergente- discriminante: secompara los puntajes con:
- otros test elaborados para medir el mismo
atributo- otros diseados para medir otros atributos
Mtodo: matriz multi-rasgo- multi-metodo
(matriz de correlaciones entre dos o masinstrumentos construidos para medirconstructos semejantes) Anlisis FactorialConfirmatorio.
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
31/34
2- Evidencia de las relaciones entre las puntuacionesdel test y criterios externos: muy importante encontextos aplicados (predecir)
a) Correlacin bivariada con un criterio: efectividaddel test para predecir el desempeo de unamuestra en una situacin real diferente del test ensi mismo.
Coeficiente producto-momento de Pearson para 2variables continuas
Coeficiente punto-biserial para escalas intervalares
Coeficiente de rangos de Spearman para escalasordinales
2- Evidencia de las relaciones entre las puntuaciones del
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
32/34
test y criterios externos: muy importante en contextosaplicados (predecir)
b) Correlacin mltiple con un criterio: enfoque multivariado quepermite esclarecer las interrelaciones entre un conjunto depredictores y uno o mas criterios. Finalidades:
- Predecir la pertenencia a un grupo
- Explicar la variabilidad de una variable dependiente- Verificar la estructura de un constructo
Mtodos:
- Anlisis Factorial
- Regresin Mltiple- Anlisis de senderos
- Anlisis discriminante
3 E id i d l i d l
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
33/34
3- Evidencia de las consecuencias de laaplicacion de tests
Son relevantes para la validez cuando se relacionacon alguna fuente de invalidez:
- Una pobre representacion del constructo
- Existencia de componentes no relevantes para el
constructo
No afectan a la validez la informacion referida a las
decisiones en politicas sociales (diferenciasintergrupales no necesariamente implica una falta devalidez del test)
7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez
34/34
Validez ecolgica
Grado en que la prueba tiene sentido en el mbito en elque se aplica.
Insiste por un lado en la semejanza entre las condiciones
de investigacin y las condiciones del mundo real en que
se produce un fenmeno; y por otro, en que el sujetoexperimente la situacin de investigacin con las mismas
propiedades que el investigador supone (Bronfenbrenner,
1977)