SERCESegundo Estudio Regional Comparativo y Explicativo
LABORATORIO LATINOAMERICANO DE EVALUACIÓN DE LA CALIDAD DE LA EDUCACIÓN (LLECE)
Autores:
Martha Rocha Carlos Pardo
Antigua, septiembre 2006
MANUAL DE PROCESAMIENTO DE DATOSPARA EL ANÁLISIS DE ÍTEMS Y
LA PRODUCCIÓN DE RESULTADOS
1. FUNDAMENTACIÓN TEÓRICA DEL MODELO DE ANÁLISIS
2. CONSTRUCCIÓN DE LA BASE DE DATOS PARA ANÁLISIS DE ÍTEMS
3. DEPURACIÓN DE BASE DE DATOS PARA ANÁLISIS DE ÍTEM
4. INDICADORES ESTADÍSTICOS PARA ANÁLISIS DE ÍTEMS
5. INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE GRUPOS DE ÍTEMS
CONTENIDO DEL MANUAL
6. DEPURACIÓN DE BASES DE DATOS PARA GENERACIÓN DE
ESCALAS DE CALIFICACIÓN
7. ESCALAS DE CALIFICACIÓN
8. BASE DE DATOS DE RESULTADOS 9. SOFTWARE PARA PROCESAMIENTO
10. REPORTES
11. FASES DEL PROCESAMIENTO
CONTENIDO DEL MANUAL
SUPUESTOS:• Dimensionalidad• Independencia local• ICC
MODELOS• Rasch• Tres parámetros
TEORÍA DE RESPUESTA AL ÍTEM
DIFICULTAD
Indica la posición de la curva del ítem a lo largo de la escala de habilidad; entre más difícil es un ítem su curva estará localizada más a la derecha en la escala de habilidad.
Criterio: distribución de valores
INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS
DEPURACIÓN INICIAL
• Módulo de captura de datos• Rutinas de verificación
BASES DE DATOS PARA ANÁLISIS DE ÍTEM
ESTRUCTURA BASES DE DATOS
Código de paísCódigo de centro educativoGradoAulaCódigo de estudiante en el aulaNombre del cuadernilloBloque en primera posiciónBloque en segunda posiciónRespuestas bloque 1Respuestas bloque 2Respuestas bloque 3Respuestas bloque 4Respuestas bloque 5Respuestas bloque 6.
BASES DE DATOS PARA ANÁLISIS DE ÍTEM
• INFORMACIÓN INSUFICIENTE
• PREGUNTAS NO ALCANZADAS
• DESAJUSTE ESTUDIANTE
DEPURACIÓN DE BASES DE DATOS PARA ANÁLISIS DE ÍTEM
DISCRIMINACIÓN Poder de un ítem para diferenciar a los evaluados en
distintos niveles de habilidad frente a un constructo medido. Pendiente de la curva en el punto de máxima inflexión.
Criterio: valores superiores o iguales a 0.7
INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS
CORRELACIÓN PRODUCTO MOMENTO PUNTO MEDIDA
Relación entre la respuesta correcta a un ítem de una
prueba y el valor de habilidad obtenido en dicha prueba
Criterio: valores superiores a 0.25
INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS
FUNCIONAMIENTO DIFERENCIAL DE ÍTEMS - DIF
Grado en el cual un ítem presenta propiedades
estadísticas diferentes en distintos grupos poblacionales, cuando se controla la habilidad de los grupos.
Criterio: se rechaza el funcionamiento diferencial cuando se encuentran valores inferiores a 1.96 de la prueba t con (n1+n2-2) grados de libertad.
INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS
CURVA CARACTERÍSTICA DEL ITEM – ICC
Función matemática que relaciona la probabilidad de
éxito en un ítem con la habilidad medida por el ítem
Criterio: curvas empíricas (ECC) que se comportan de acuerdo con la curva característica del modelo.
INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS
AJUSTE PRÓXIMO Y LEJANO (INFIT Y OUTFIT)
Correspondencia entre un grupo de datos y el modelo estadístico utilizado para representarlos. El ajuste próximo se refiere a la relación entre los datos que se encuentran cerca del valor de dificultad del ítem y el valor de dificultad; el ajuste lejano se refiere a la relación de los datos que se encuentran lejos de dicho valor de dificultad y esa dificultad.
Criterio: valores entre 0.8 y 1.2.
INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS
PROMEDIO DE HABILIDAD POR OPCIÓN
Promedio de las habilidades de quienes eligen cada opción de respuesta de un ítem.
Criterio: el mayor promedio de habilidad debe ser el de
la clave.
INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS
MAPA DE DISTRIBUCIÓN DE HABILIDADES Y DIFICULTADES *
Relación gráfica, en una misma escala, entre la distribución de las dificultades de los ítems y la distribución de las habilidades de los evaluados.
Criterio: distribuciones de habilidades y dificultades con
posición y dispersión semejantes entre sí.
INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS
CORRELACIONES INTER – ÍTEM*
Correlaciones entre los ítems de un mismo bloque.
Criterio: las correlaciones deben ser positivas y altas.
INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS
ERROR ESTÁNDAR DE MEDICIÓN
Desviación estándar de una distribución imaginaria de errores que representan la posible distribución de valores observados alrededor del valor teórico verdadero.
Criterio: un juicio profesional experto de quienes conocen procedimientos psicométricos.
INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS
PROMEDIO
Valor medio de las dificultades de los ítems del bloque y
de las habilidades de las personas que abordan el bloque.
.
INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE GRUPOS DE ÍTEMS
DESVIACIÓN ESTÁNDAR
Medida de la dispersión de la distribución de las dificultades de los ítems de un bloque y de la distribución de las habilidades de las personas que abordan dicho bloque.
.
INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE BLOQUES
PUNTUACIÓN MÁXIMA Y PUNTUACIÓN MÍNIMA
Puntuaciones logit más alta y más baja alcanzadas por una población particular.
.
INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE BLOQUES
CONFIABILIDAD
Grado de precisión en la medición. En la TRI se utiliza la Función de Información como
indicador de la confiabilidad. .
.
INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE BLOQUES
• INFORMACIÓN INSUFICIENTE
• PREGUNTAS NO ALCANZADAS
• DESAJUSTE ESTUDIANTE
• ASISTENCIA PARCIAL
• ANÁLISIS DE ÍTEM
DEPURACIÓN DE BASES DE DATOS PARA GENERACIÓN DE ESCALAS
• PUNTUACIÓN TOTAL EN LA PRUEBA
• NIVEL DE DESEMPEÑO
• DESEMPEÑO RELATIVO POR CATEGORÍAS DE LA ESTRUCTURA DE PRUEBA
ESCALAS DE CALIFCIACIÓN
• PROMEDIO = 500 puntos
• DESVIACIÓN ESTÁNDAR = 100 puntos
PUNTUACIÓN TOTAL EN LA PRUEBA
-3.000
-2.000
-1.000
0.000
1.000
PUNTUACIÓN TOTAL EN LA PRUEBA
200
300
400
500
600
1 -1.399 360 2 .230 523 3 -1.090 391 4 .563 556 5 .797 580
PUNTUACIÓN TOTAL EN LA PRUEBA
NIVEL DE DESEMPEÑO
3 . + . |T . | M6B2IT17 . | M6B4IT17 . | M6B8IT05 . | M6B1IT11 M6B4IT15 M6B6IT16 2 .# T+ M6B2IT03 .# | M6B2IT09 M6B2IT12 .## |S M6B1IT07 M6B2IT16 .## | M6B1IT15 M6B2IT10 M6B5IT12 .### | M6B1IT13 M6B3IT14 .###### | M6B1IT08 M6B1IT12 M6B2IT04 M6B7IT12 1 .#### S+ M6B1IT03 M6B1IT16 M6B2IT11 M6B7IT09 M6B8IT07 .###### | M6B1IT14 M6B2IT05 M6B6IT14 M6B7IT04 .####### | M6B1IT09 M6B2IT02 .######## |M M6B2IT08 M6B5IT10 M6B6IT12 M6B7IT16 .###### | M6B1IT06 .############ | M6B3IT05 M6B6IT02 0 .#### M+ M6B1IT05 M6B7IT11 M6B7IT15 .############ | M6B5IT01 M6B8IT12 .######### | M6B1IT02 M6B7IT03 M6B7IT05 .###### | M6B3IT04 M6B3IT13 M6B6IT10 .######## |S M6B2IT01 M6B3IT12 M6B6IT09 M6B8IT02 .#### | M6B1IT04 M6B3IT02 M6B4IT08 M6B7IT02 -1 .###### S+ M6B3IT06 M6B8IT08 .##### | M6B1IT01 M6B3IT11 M6B5IT03 .# | .## | M6B8IT01 .## | .# |T -2 . T+ M6B8IT06 . | M6B4IT10 .# | . | M6B4IT01 M6B7IT01 . | . | -3 . +
NIVEL DE DESEMPEÑO
NIVEL DE DESEMPEÑO
B
C
D
E
F
SUPERFICIAL YFRAGMENTADA.
SIGNIFICADOBASICO DELTEXTO
INFERENCIAS
ENTRETEXTOS
CRITICA
8.09 %
6.32 %
DESEMPEÑO RELATIVO POR CATEGORÍA
DESEMPEÑO RELATIVO POR CATEGORÍA
Código de paísCódigo del centro educativoGradoAulaEstudiante en el aulaNombre del cuadernilloPonderadorPuntuación en la prueba de lecturaNivel de desempeño en la prueba de lecturaPuntuación en la prueba de matemáticaNivel de desempeño en la prueba de matemáticaPuntuación en la prueba de ciencias naturalesNivel de desempeño en la prueba de ciencias naturales.
BASE DE DATOS DE RESULTADOS
R 1. Indicadores por ítem. R 2. Indicadores por opción.R 3. Correlaciones Interitem.. R 4. Mapa de distribución de habilidades y dificultades.R 5. Promedio, desviación estándar, valores máximo y mínimo de dificultades de ítems, por bloque.R 6. Función de InformaciónR 7. Curva Característica del Ítem y Curva Empírica del Ítem.
REPORTES
Reporte A. Dificultad.Reporte B. Ajuste próximo.Reporte C. Ajuste lejano.Reporte D. Discriminación.Reporte E. Porcentaje de respuestas correctas.
REPORTES CON INFORMACIÓN POR PAÍS
Ítem Dificultad Error Discrim. r pbisAjuste
Próximo (Infit)
Ajuste Lejano (Outfit)
N
L3B1IT01 -1.019 0.035 1.17 0.61 0.90 0.86 4861
L3B1IT02 -1.234 0.036 1.12 0.60 0.93 0.85 4861
L3B1IT03 0.515 0.034 1.26 0.58 0.87 0.86 4861
L3B1IT04 0.515 0.034 1.06 0.54 0.96 1.00 4861
L3B1IT05 0.243 0.033 0.89 0.51 1.04 1.11 4861
L3B1IT06 -2.023 0.042 1.08 0.61 0.92 0.90 4861
L3B1IT07 -0.561 0.034 1.28 0.62 0.87 0.79 4861
L3B1IT08 -0.160 0.033 1.01 0.55 0.99 1.00 4861
L3B1IT09 -1.658 0.039 1.10 0.60 0.91 0.94 4861
L3B1IT10 0.475 0.034 0.99 0.52 1.00 1.03 4861
L3B1IT11 1.312 0.037 0.30 0.28 1.43 1.89 4861
L3B1IT12 -0.714 0.034 1.19 0.60 0.90 0.88 4861
L3B1IT13 1.483 0.038 0.71 0.38 1.14 1.80 4861
I. 2A INDICADORES POR ÍTEM L3
1 4 6 7 10 12 14 16 17 18 19 20 21
1 PL3B1IT01 -3.891 -2.313 -2.625 -4.521 10.83 2.255 -0.236 0.169 -2.256 0.201 -1.959 5.461 -1.238
2 PL3B1IT02 -2.246 -1.488 2.715 -0.804 2.068 -0.413 -1.845 0.321 -1.462 0.631 -1.987 3.049 1.406
3 PL3B1IT03 0.748 -1.918 2.153 -0.191 -4.75 2.25 0.557 0.601 -1.264 2.513 1.343 0.155 -2.096
4 PL3B1IT04 2.287 1.501 -8.062 -0.191 7.873 2.478 -2.513 -0.16 -0.052 -0.75 -1.575 -1.567 1.265
5 PL3B1IT05 0.042 -0.014 1.612 0.791 -1.434 -0.893 1.156 -1.422 2.894 -0.186 1.651 -8.009 3.099
6 PL3B1IT06 1.921 -1.896 2.525 1.179 -2.107 -3.087 -0.465 -0.748 -1.73 -2.443 -1.408 7.381 -0.78
7 PL3B1IT07 2.741 -4.242 -3.406 -2.369 -6.6 4.203 -2.968 4.368 1.491 1.975 2.403 -0.455 1.632
8 PL3B1IT08 1.236 -0.909 1.248 -4.375 7.035 -0.36 -1.421 -0.299 1.096 -1.265 -0.334 1.041 -1.797
9 PL3B1IT09 -0.341 1.146 -1.206 -0.665 -1.13 -2.965 -0.107 0.367 0.282 0.858 -2.466 5.624 -1.19
10 PL3B1IT10 0.159 0.792 1.23 -1.058 -3.676 1.104 1.252 -0.473 1.845 -0.724 0.455 -1.132 -0.495
11 PL3B1IT11 0.736 4.116 0.279 7.742 0.081 -6.728 7.941 -5.322 -3.91 -2.899 -0.009 -9.559 1.025
12 PL3B1IT12 -0.99 -2.047 1.751 -0.424 -2.518 -0.789 0.172 0.132 0.407 2.008 -0.642 3.376 -0.746
13 PL3B1IT13 -2.718 6.659 2.649 3.964 -6.177 1.765 -2.84 1.626 2.113 -0.748 4.552 -16.13 -0.477
P A Í S
Item
I. 2B DIF POR ÍTEM L3
Ítem Clave OpcionesPromedio
de habilidad
Error Estándar
de Medición
Ajuste (Outf it)
CorrelaciónPorcentaje
de respuesta
1 -0.79 0.04 1.08 -0.14 15
2 -1.52 0.05 0.51 -0.21 8
3 -1.17 0.06 0.72 -0.13 5
4 0.59 0.02 0.91 0.61 64
Multimarca -3.48 0.17 0.20 -0.19 1
Omisión -3.73 0.08 0.74 -0.51 6
1 -1.15 0.05 0.76 -0.18 10
2 0.53 0.02 0.92 0.60 68
3 -1.00 0.06 0.88 -0.12 7
4 -1.07 0.06 0.97 -0.14 7
Multimarca -3.51 0.17 0.28 -0.19 1
Omisión -4.09 0.06 0.42 -0.53 6
4L3B1IT01
2L3B1IT02
I. 3 INDICADORES POR OPCIÓN L3
I. 4 CORRELACIONES INTERITEM L3
Itemes Correlación 1 2 .29 1 3 .27 1 4 .21 1 5 .14 1 6 .27 1 7 .27 1 8 .23 1 9 .28 1 10 .17 1 11 -.01 1 12 .28 1 13 .01 2 3 .23 2 4 .18 2 5 .11 2 6 .25 2 7 .29 2 8 .18 2 9 .23 2 10 .16 2 11 .00 2 12 .24 2 13 .08
I. 5 MAPA DE DISTRIBUCIÓN DE HAB. Y DIF. L3 3 .## + | .##### | T| | | | | 2 + .######## |T | | | PL3B1IT13 S| .######### | PL3B1IT11 | 1 + |S .########### | | | PL3B1IT03 PL3B1IT04 PL3B1IT10 .############ | | PL3B1IT05 | 0 .############ M+ | PL3B1IT08 |M .########### | | PL3B1IT07 | .########## | PL3B1IT12 | -1 + PL3B1IT01 | .######### |S PL3B1IT02 S| | | PL3B1IT09 .####### | | -2 + PL3B1IT06 | .#### | |T |
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
1.10
-3.00 -2.00 -1.00 0.00 1.00 2.00 3.00
Promedio de dificultad items
Desvia
ció
n e
stá
nd
ar
dif
icu
ltad
ite
ms
B1
B2
B3
B4
B5
B6
B7
B8
I. 6 PROMEDIO, D.E., MAX Y MIN DIFICULTAD L3
I. 7 FUNCIÓN DE INFORMACIÓN L3
I. 8A CCI Y CEI L3
I. 8B CEI POR OPCIÓN L3
Azul: ANaranja : BLila : CVerde : DAzul Claro : OAmarillo : M
N. A INDICADORES POR ÍTEM ???LEN6
MT País MT País MT País MT País MT País MT País
L6B1IT01 -1.210 -1.371 0.034 0.095 1.05 1.03 0.48 0.34 0.98 0.99 0.93 0.92L6B1IT02 -0.405 -0.402 0.031 0.083 1.25 1.15 0.50 0.41 0.92 0.96 0.89 0.95L6B1IT03 1.118 0.822 0.034 0.086 1.13 1.15 0.42 0.42 0.93 0.93 0.91 0.93L6B1IT04 0.670 0.519 0.032 0.083 0.35 0.35 0.20 0.14 1.26 1.20 1.34 1.29L6B1IT05 -0.076 -0.067 0.031 0.082 0.73 0.76 0.37 0.30 1.08 1.06 1.09 1.07L6B1IT06 0.015 0.013 0.031 0.081 1.12 1.16 0.45 0.41 0.97 0.97 0.95 0.93L6B1IT07 0.652 0.402 0.032 0.083 0.93 0.94 0.38 0.35 1.03 1.02 1.04 1.02L6B1IT08 0.455 0.582 0.031 0.084 0.75 0.73 0.34 0.27 1.09 1.09 1.10 1.12L6B1IT09 -0.091 -0.253 0.031 0.082 1.48 1.60 0.53 0.53 0.86 0.85 0.82 0.81L6B1IT10 -0.014 -0.167 0.031 0.082 1.05 0.80 0.44 0.31 0.99 1.05 0.97 1.05L6B1IT11 0.705 0.668 0.032 0.085 1.18 1.18 0.45 0.43 0.93 0.94 0.90 0.90L6B1IT12 0.813 0.807 0.032 0.086 1.03 1.03 0.40 0.37 0.98 0.99 1.00 0.98L6B1IT13 0.398 0.193 0.031 0.082 1.10 1.09 0.44 0.39 0.97 0.98 0.95 0.95L6B1IT14 -0.721 -0.512 0.032 0.083 0.74 0.70 0.37 0.26 1.09 1.07 1.18 1.19L6B1IT15 0.429 0.126 0.031 0.082 1.20 1.39 0.46 0.47 0.93 0.90 0.92 0.89
Ajuste Lejano Ajuste Próximo Ítem
Dificultad Error Discriminación r pbis
N. B INDICADORES POR OPCIÓN ???LEN6
MT País MT País MT País MT País MT País
1 0.23 0.17 0.02 0.04 0.99 0.99 0.48 0.34 71.00 77
2 -0.61 -0.47 0.04 0.10 0.90 0.96 -0.11 -0.16 8.00 8
3 -0.72 -0.63 0.04 0.14 0.87 0.92 -0.15 -0.18 9.00 6
4 -0.62 -0.56 0.04 0.09 0.93 0.84 -0.11 -0.20 8.00 9
Multimarca -1.16 0.00 0.26 0.00 0.83 0.00 -0.06 0.00 0.00 0
Omisión -3.51 0.00 0.08 0.00 1.12 0.00 -0.56 0.00 4.00 0
1 -0.76 -0.59 0.03 0.07 0.67 0.78 -0.18 -0.25 11.00 12
2 -0.83 -0.85 0.06 0.18 0.73 0.65 -0.12 -0.18 4.00 3
3 0.39 0.31 0.02 0.04 0.93 1.00 0.50 0.41 56.00 59
4 -0.39 -0.28 0.02 0.05 1.00 1.02 -0.11 -0.19 24.00 26
Multimarca -1.45 0.00 0.47 0.00 0.73 0.00 -0.05 0.00 0.00 0
Omisión -3.38 -0.75 0.08 0.40 0.60 0.67 -0.56 -0.07 4.00 1
Ítem Clave Opciones
Promedio de habilidad
Error Estándar de Medición
Ajuste (Outf it) CorrelaciónPorcentaje de
respuesta
L6B1IT01 1
L6B1IT02 3
0.60
0.70
0.80
0.90
1.00
1.10
1.20
1.30
1.40
-3.00 -2.00 -1.00 0.00 1.00 2.00 3.00
Promedio de dificultad items
Desvia
ció
n e
stá
nd
ar
dif
icu
ltad
ite
ms
B1
B2
B3
B4
B5
B6
B7
B8
N. C PROMEDIO, D.E., MAX Y MIN DIFICULTAD ???LEN6
Top Related