Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.
description
Transcript of Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.
![Page 1: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/1.jpg)
1
Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.
‘X Congreso de Metodología de las Ciencias Sociales y de la Salud’. Universidad de Barcelona.
Fco.P. Holgado-Tello, S. Chacón-Moscoso, M.I. Barbero-Garcia, J.A. Perez-Gil; J.A. Ruiz-Rivas; M. Sánchez-Martín y J.R. Campos-Vega
![Page 2: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/2.jpg)
2
Elabora acciones formativas (AAFF) que ayudan a la formación y perfeccionamiento de los miembros del P.A.S. de la Universidad de Sevilla
- Evaluación actual:- Satisfacción- Aprendizaje/adquisición conocimientos- Estudio piloto de Transferencia
Objetivo general de este trabajo: describir estado de la evaluación del conocimiento mediante TAIs.
CONTEXTOCentro de Formación del PAS de la USE
![Page 3: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/3.jpg)
3
OBJETIVO de la construcción de un TAI en FORPAS
Delimitar criterios para acreditar el nivel de conocimiento que presentan los usuarios de un programa de formación.
Influirá en: Asignación inicial de los usuarios a los distintos grupos
de la AAFF que se conformen. (comparabilidad intergrupos).
Acreditación inicial de conocimientos o niveles de aptitud (bajo, medio y avanzado).
Valoración final que se haga del nivel de adquisición.
![Page 4: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/4.jpg)
4
OBJETIVO de la construcción de un TAI en FORPAS
Principales ventajas:
Elección de los reactivos más apropiados en función de los parámetros conocidos de los ítems.
Estimaciones precisas del nivel de aptitud de los examinados (incluso con menor número de ítems que en formato tradicional).
Escasa intrusividad (realización desde puesto de trabajo).
Alta validez ecológica (potencia la precisión en la medida).
![Page 5: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/5.jpg)
5
OBJETIVOS DEL ESTUDIO
Estado actual de ‘Lindogatito’(plataforma para la gestión y administración de test adaptativos vía web).
Limitaciones y vías de desarrollo futuro
![Page 6: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/6.jpg)
6
SITUACIÓN ACTUAL DE LA EVALUACIÓN DE ADQUISICIÓN DE CONOCIMIENTO
PRETESTPRETEST IMPLEMENTACIÓN IMPLEMENTACIÓN A.F.A.F. POSTESTPOSTEST
Análisis calidad métrica Análisis calidad métrica
de la pruebade la prueba
Estadístico Estadístico
de contrastede contraste
Dependiendo de características de la muestra y tipo de datos se realiza la prueba pertinente
![Page 7: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/7.jpg)
7
EJEMPLO RESULTADOS MÉTRICOS (pre) 1 (METRIX)EJEMPLO RESULTADOS MÉTRICOS (pre) 1 (METRIX)CALIDAD METRICA PRUEBA POSTERIOR (metrix)
Descriptivos de la escala Valores
Tipo de ítems Dicotómicos
Número de alternativas 3
Número de ítems 10
Ítems seleccionados 10
Sujetos seleccionados 20
Parámetros Valores
Dif. óptima 0,667
*Dif. promedio 0,080
*Discr. promedio 0,397
*Var. promedio 0,214
Var. máxima 0,250
Punt. promedio 3,450
Punt. desv. std. 1,883
Punt. min 1,000
Punt. max 7,000
*Fiabilidad 0,442
Asimetría 0,100
Apuntamiento -1,189
Ajuste Chi-q 2,916
gl 1
![Page 8: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/8.jpg)
8
EJEMPLO RESULTADOS MÉTRICOS (pre) 2 (METRIX)
Dificul discri varian asime apunta adec.A
1 % A1 rbis
A1 % A2 rbis
A2 % A3 rbis
A3 c r
0 0,212 0,16 0 -2 0 0,2 0,212 0,4 -0,303 0,4 0,13 1
0 -0,098 0,21 0 -2 2,571 0,5 0,08 0,3 -0,098 0,2 0,013 2 1
0,025 0,326 0,227 6,085 35,026 0,667 0,1 0,186 0,2 0,146 0,35 0,326 3 0,325 0,643 0,248 0,747 -1,442 2,667 0,05 -0,055 0,55 0,643 0,25 -0,261 2
0,175 0,744 0,248 1,711 0,926 2,778 0,45 0,744 0,1 0,009 0,35 -0,509 1
0 -0,015 0,188 0 -2 2,571 0,5 -0,133 0,25 -0,015 0,2 0,345 2 3
0 0,713 0,21 0 -2 2,571 0,2 -0,186 0,5 -0,504 0,3 0,713 3
0,1 0,834 0,24 2,667 5,111 9 0 0,4 0,834 0,45 -0,43 2
0,175 0,264 0,248 1,711 0,926 2,778 0,45 0,264 0,1 0,009 0,35 -0,008 1
0 0,345 0,16 0 -2 1,333 0,2 -0,119 0,2 0,345 0,4 0,076 2
![Page 9: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/9.jpg)
9
EJEMPLO RESULTADOS MÉTRICOS (post) 3 (METRIX)EJEMPLO RESULTADOS MÉTRICOS (post) 3 (METRIX)
CALIDAD METRICA PRUEBA POSTERIOR (metrix)
Descriptivos de la escala Valores
Tipo de ítems Dicotómicos
Número de alternativas 3
Número de ítems 10
Ítems seleccionados 10
Sujetos seleccionados 15
Parámetros Valores
Dif. óptima 0,667
*Dif. promedio 0,690
*Discr. promedio 0,312
*Var. promedio 0,131
Var. máxima 0,250
Punt. promedio 7,933
Punt. desv. std. 1,236
Punt. min 5.000
Punt. max 10,000
*Fiabilidad 0,161
Asimetría -0,720
Apuntamiento 0,221
Ajuste Chi-q 0,908
gl 1
![Page 10: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/10.jpg)
10
EJEMPLO RESULTADOS MÉTRICOS (post) 4 EJEMPLO RESULTADOS MÉTRICOS (post) 4 (METRIX)(METRIX)
discri varian asime apunta adec. A1
% A1 rbis A1
% A2 rbis A2
% A3 rbis A3
c r
0,296 0,116 -1,5 0,25 2 0,867 0,296 0,133 -0,296 0 1
0 0 0 -2 0 1 0 0 2
0,647 0,16 -0,873 -1,238 3 0 0,2 -0,647 0,8 0,647 3
0,202 0,062 -2,667 5,111 1 0,067 -0,202 0,933 0,202 0 2
0,613 0,116 -1,5 0,25 2 0,867 0,613 0 0,133 -0,613 1 0,455 0,196 -0,408 -1,833 0,333 0,067 0,014 0,733 0,455 0,133 -0,137 2 0,375 0,249 1,5 0,25 4,5 0,067 -0,634 0,467 -0,058 0,467 0,375 3
0,377 0,16 -0,873 -1,238 0,333 0,133 -0,296 0,8 0,377 0,067 -0,202 2
0 0 0 -2 1 0 0 0 1
0,159 0,249 1,5 0,25 4,5 0,467 0,05 0,467 0,159 0,067 -0,418 2
![Page 11: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/11.jpg)
11
0
0,2
0,4
0,6
0,8
1
1,2
item
1
item
2
item
3
item
4
item
5
item
6
item
7
item
8
item
9
item
10
dificultaddiscri.varianza
PERFIL DE ÍTEMSPERFIL DE ÍTEMS
![Page 12: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/12.jpg)
12
Estadísticos de contraste b. *POSC3
PREC3 *POSC4 PREC4
*POSC5 PREC5
*POSC6 PREC6
*POSC7 PREC7
POSC9 PREC9
*POSC10 PREC10
POSGLOBAL PREGLOBAL
Z -2.887ª -3.162ª -2.236ª -3.464ª -2.449ª -1.667ª -2.449ª -3.857ª
Sig.asintót.(bila) .004 .002 .025 .001 .014 .096 .014 .000
a. Basado en los rangos negativos b. Prueba de los rangos con signo de Wilcoxon.
EJEMPLO DIFERENCIA DE MEDIASEJEMPLO DIFERENCIA DE MEDIAS
![Page 13: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/13.jpg)
13
LIMITACIONES de la evaluación actual de adquisición de conocimientos
Progresiva disminución de AAFF que cumplimentan el cuestionario pre-post (23 en 2000; 13 en 2001; 14 en 2002; 37 en 2003; 28 en 2004 y 17 en 2005) . Razón del incremento en 2003: seminario para
formadores.
Imposibilidad de retroalimentación evaluadores-formadores (falta de tiempo entre ‘pre-post’).
Realización manual de los análisis e informes.
![Page 14: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/14.jpg)
14
RECALIBRACIÓN AUTOMÁTICA
BANCO DE ÍTEMS
MóduloTEST CLÁSICO
CALIBRACIÓN A PARTIR DE
TEST CLÁSICOS
MóduloENTRADA Y
REVISIÓN DE ÍTEMS
MóduloCONSULTA
RESULTADOS TEST
USUARIO
AVANZADO
1
2
3Módulo
TEST ADAPTATIVO INFORMATIZADO
ESQUEMA DEL PROCESO
![Page 15: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/15.jpg)
15
‘Lindogatito’(plataforma para la gestión y administración
de test adaptativos vía web)
Estado actual en el uso como sistema experto para generar informes que sirvan de orientación al diseñador de la prueba.
Avances en módulo para el análisis bajo la TCT de los ítems utilizados en las distintas acciones formativas.
![Page 16: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/16.jpg)
16
Estado actual en el uso como sistema experto
Instalado y configurado el servidor Linux que soporta la aplicación web.
Diseño e implementación de la base de datos SQL que soporta el banco de ítems y los TAIs.
Introducción de 375 ítems sobre ofimática.
Implementación del módulo de calibración por expertos.
Implementación del módulo de introducción y edición de ítems (migrado a Linux).
Diseño del programa PHP que permite administrar los TAIs.
![Page 17: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/17.jpg)
17
![Page 18: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/18.jpg)
18
![Page 19: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/19.jpg)
19
![Page 20: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/20.jpg)
20
![Page 21: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/21.jpg)
21
![Page 22: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/22.jpg)
22
![Page 23: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/23.jpg)
23
‘Lindogatito’(plataforma para la gestión y administración de
test adaptativos vía web)
Estado actual en el uso como sistema experto para generar informes que sirvan de orientación al diseñador de la prueba.
Avances en módulo para el análisis bajo la TCT de los ítems utilizados en las distintas acciones formativas.
![Page 24: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/24.jpg)
24
Módulo para el análisis bajo la TCT. Características. Permite realizar una valoración inmediata vía web de
la calidad métrica de los test utilizados en las distintas AAFF.
Opcionalmente esta información se puede almacenar directamente.
Funciona como sistema experto para generar informes que sirvan de orientación al diseñador de la prueba.
Disponible libremente vía web para cualquier usuario (http://lindogatito.us.es)
![Page 25: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/25.jpg)
25
Avances en módulo para el análisis bajo la TCT
Análisis de los ítems bajo TCT:
No Items
No Rs. expertos Análisis bajo TCT
Agrupación ítems en función de parámetros de TCT (ítems con condiciones mínimas de calidad)
Simulaciones desde TRI
Calibración desde TRI
![Page 26: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/26.jpg)
26
CONTINUACIÓN DEL TRABAJO
Realización de los análisis bajo la TCT en items disponibles
Depuración de los ítems existentes
Ajuste y Calibración ítems desde TRI
Simulaciones Incremento del nº ítems: base para realización de TAIs
Depuración de ‘Lindogatito’
![Page 27: Elaboración de un Test Adaptativo Informatizado. Un estudio de caso.](https://reader036.fdocuments.es/reader036/viewer/2022062409/568150c4550346895dbee4b0/html5/thumbnails/27.jpg)
27
MUCHAS GRACIAS POR SU ATENCIÓN
http://innoevalua.us.es