Sistemas de evaluación

en líneaELVIRA NAVAS P

EVALUACIÓN Y RECURSOS DIGITALESCEPR08

EL DESARROLLO DE LAS EVALUACIONES “EN-LÍNEA” RESPONDE FUNDAMENTALMENTE A

Facilidad de desarrolloEn el mundo tecnológico es

relativamente sencillo el desarrollo de herramientas que faciliten la producción

de pruebas de evaluación. De hecho existe una variada oferta, colocando

estas herramientas al alcance de cualquier docente interesado.

Amplitud de usoEl uso de las evaluaciones se ha expandido

más allá de evaluar conocimientos. Se están usando para exponer a las personas a

experiencias de aprendizaje, reducir curvas de aprendizaje, afianzar habilidades,

conocimientos y destrezas adquiridas, y para motivar proporcionando un sentido de logro.

¿QUIÉNES SON LOS ACTORES?

El diseñadorEncargado de elaborar las preguntas de evaluación.

El instructor/docenteEncargado de diseñar y

realizar las pruebas.Puede ser el mismo

diseñador.

El usuarioLa persona que toma las pruebas de evaluaciones.

BENEFICIOS

Diversidad de pruebas

Reutilización de elementos

Evaluaciones adaptativas

Retroalimentación oportuna

Facilita el desarrollo

DESVENTAJAS

Dudas sobre la identidad del usuario

Corrección de respuestas abiertas

Corrección de preguntas con respuestas cortas.

Dificultades de tipo técnico

CARACTERÍSTICAS DE LAS EVALUACIONES

“EN-LÍNEA” Registro automático de resultados

Uso de banco de preguntas

Orden aleatorio de las preguntas

Retroalimentación

Puntaje

Almacenar resultados

Tiempo

Esquemas de navegación por las pruebas

RECOMENDACIONES AL DISEÑAR PRUEBAS

Incorpore instrucciones claras

Cuando coloque al usuario frente a una pregunta de completación o selección

múltiple, asegúrese de incluir instrucciones claras y completas.

Por ejemplo, aclare si errores de tipeo bajarán puntos o si hay más de una

respuesta correcta.

Al utilizar un puntaje variable, asegúrese de proveer instrucciones

precisas al usuario sobre cómo serán corregidas sus respuestas.

Tome previsiones de diseño tales

como…

Número de preguntas

Tiempo estimado de la prueba

Tipo de preguntasPuntuación

estimada para cada pregunta.

Criterios de corrección de cada

pregunta.

RECOMENDACIONES AL DISEÑAR PRUEBAS

PELIGROS DE LOS PROGRAMAS PARA GENERAR EVALUACIONES

Las preguntas NO están relacionadas a los

objetivos del curso.(debe estar de acuerdo además

al nivel del objetivo)

Número inadecuado de preguntas. No debe ser ni

muy bajo que resulte insuficiente ni muy alto

que resulte en cansancio que desmejore el

resultado real.

Evaluación desproporcionada de la

memorización

DISEÑO DE ÍTEMS

DE EVALUACIÓN

COMPONENTES DEL ÍTEM DE EVALUACIÓN

Enunciado de la pregunta que presenta un problema.

Opciones de respuesta

Navegación

Evaluación de la respuesta

No ofrece información alguna.

Ofrece la respuesta correcta e información complementaria.

Ante un error, explica porque no es correcta la respuesta.

Ante un error, ofrece asistencia (“coaching”).

Ofrece una pista para facilitar un nuevo intento.

Ofrece oportunidad de desplazarse a otro lugar (hipervínculo).

Ofrece mensajes de motivación.

Según la estrategia

Muestra un texto.

Muestra clip de sonido o

animado.Mezcla de

los anteriores.

Según medios

utilizados

Genérica

Para buenas y para malas

Específica a cada opción

Según el alcance

Inmediata

Al finalizar la prueba

Bajo solicitud del usuario

Según el Momento

COMPONENTES DEL ÍTEM DE EVALUACIÓN

RETROALIMENTACIÓN.

TIPOS DE ÍTEMS DE EVALUACIÓN

ARRASTRAR Y SOLTARDRAG AND DROP

En este tipo de ítem se evalúa que el usuario sea capaz de

seleccionar y arrastrar un objeto para dejarlo caer (soltarlo) en la

posición correcta. Exige que el usuario tenga la habilidad para arrastrar y soltar

objetos en la pantalla.

Por su contenido visual y por exigir cierta interactividad, es un ítem de

evaluación atractivo para los usuarios.

RESPUESTA LARGA O ENSAYO

En este tipo de ítem el usuario debe responder a preguntas abiertas.

Para la evaluación de este tipo de

ítems, existen al menos dos opciones:

Evaluación automática- Se localizan palabras claves (su presencia o ausencia) predefinidas por el diseñador.- Es previsible cierto margen de error en esta identificación automática.

Con la ayuda de un experto en contenidos

- Las respuestas son enviadas electrónicamente a un especialista para que verifique su correctitud y las comente.- Obviamente habrá retardo para conocer los resultados.

ÁREA ACTIVA HOT SPOT

En este tipo de ítem se le exige al usuario que

seleccione una posición sobre una imagen.

Requiere utilizar un ratón o una pantalla sensible al

toque.

Se presentan dos categorías de elementos para que el usuario relacione un elemento de una categoría con uno de la otra categoría.

La representación visual del pareo puede diferir desde una línea de conexión hasta un conjunto de cajas de selección.

Las preguntas de pareo evalúan a nivel de memorización y son consideradas una variación de preguntas de selección.

PAREO (ENTRE DOS LISTAS)

Para desarrollar este tipo de preguntas:- Verifique el diseño de interface para que los elementos ocupen la pantalla sin la necesidad de desplazarse (scroolling).- Considere el efecto de distintas resoluciones de pantalla sobre su diseño.- Evite utilizar herramientas que dibujan una línea entre los elementos conectados.- Provea algunos distractores y evite que las columnas contengan la misma cantidad de elementos, ya que esto facilita la respuesta a medida que quedan eliminados los elementos.

SELECCIÓNVERDADERO Y FALSO

Las preguntas de verdadero y falso son apropiadas para evaluar memorización de

información factual.

Son preguntas generalmente sencillas de escribir. Si memorizar no es acorde al objetivo, re-evalúe

su uso.

Para desarrollar preguntas de verdadero y falso:- Escriba una pregunta de verdadero y falso para cada hecho que deba memorizarse.- Evalúe hechos significativos, en lugar de trivialidades.- Escriba enunciados que inequívocamente sean verdadero o falso.- Escriba oraciones cortas.- Elimine detalle innecesario que pueda confundir al usuario.- Evite oraciones negativas y doble negaciones que pueden añadir una sobrecarga cognitiva innecesaria.

SELECCIÓN SIMPLE

Se le presenta al usuario un conjunto de opciones para que seleccione aquella que es

correcta.

Dentro de esta categoría también se encuentran los ítems de “verdadero y falso”.

Para que tengan una buena efectividad es necesario un buen diseño del ítem (redacción

de la pregunta y de las opciones).

Existe el peligro de redactar opciones muy sencillas de responder.

SELECCIÓN MÚLTIPLESimilar a la de selección simple, se le presenta un conjunto de opciones al usuario para que seleccione todas aquellas que son ciertas o verdaderas.

Este tipo de ítem exige al usuario reflexionar sobre cada una de las opciones, por tanto ofrece una buena oportunidad de aprendizaje.

Las preguntas de selección múltiple evalúan hechos y la aplicación de conocimientos. Son preguntas más difíciles de escribir pero son la base para bifurcaciones, análisis de ítems, aprendizaje adaptativo y personalización.

• Para desarrollar preguntas de selección múltiple:– Evalúe una sola pieza de información por pregunta.– Utilice sólo distractores creíbles.– Utilice 4 ó 5 distractores.– Evite utilizar respuestas que sean fácilmente descartadas.– Revise la pregunta para identificar pistas que haya colocado

inadvertidamente.– Chequee que la herramienta permita dar crédito a respuestas

parcialmente correctas.– Evite utilizar “ninguna de las anteriores” o “todas las anteriores”

como distractores.– En caso de utilizarlas, verifique que pueden pasar como respuestas

posibles.– Coloque las respuestas en un orden lógico. Por ejemplo cuando

aparecen fechas o números, colóquelos en orden.

SELECCIÓN MÚLTIPLE

COMPLETACIÓNEn los ítems de evaluación de “completación” el usuario debe colocar las palabras faltantes a un texto dado.

El diseñador debe tener en cuenta (prever) cómo debe reaccionar la prueba ante errores tipográficos del usuario y asegurarse de incorporar múltiples opciones correctas.

Las preguntas de completación (fill in the blanks) evalúan hechos o aplicación de conocimientos. Son preguntas retadoras al escribirlas debido a limitaciones existentes en algunas herramientas para aceptar sólo palabras o frases exactas.

• Para escribir preguntas de completación:– Escriba preguntas que tengan una respuesta sencilla.– Mantenga presente las limitaciones de la herramienta.– Utilice un solo espacio vacío por pregunta.– Utilice este tipo de pregunta cuando desee que el usuario

recuerde información en lugar de seleccionar o identificar información.

– Considere el riesgo de errores de tipeo y de respuestas debatibles.

– Si la herramienta no puede aceptar un conjunto de respuestas posibles, prepárese para una revisión manual para ser justo.

COMPLETACIÓN

RECOMENDACIONES AL DISEÑAR ITEMS DE EVALUACIÓN

Minimice el “adivinar” y evite preguntar información trivial.

Evite que se necesite scrolling.

En cuanto al diseño de las opciones redáctelas de manera que….

RECOMENDACIONES AL DISEÑAR ITEMS DE EVALUACIÓN

Sean comparables en contenidos, longitud y lógica.• Facilita la validez de los distractores.• Además, estadísticas demuestran que el 65% de las veces la opción

correcta es la más extensa. Se debe a que suele ser la más detallada y completa. Asegúrese que la correcta no sea la opción más larga.

No se repitan.• Evite que aparezcan palabras repetidas en cada opción. Hace más

difícil su entendimiento. Las palabras repetidas deben formar parte del enunciado.

Sean semejantes en su lenguaje .• Evite que por la sintaxis pueda inferirse cual es la opción correcta.

RECOMENDACIONES AL DISEÑAR ITEMS DE EVALUACIÓN

Ordenadas lógicamente.

• Si son números, colóquelos ordenadamente.

Distractores reales (creíbles).

• Esto puede ser lo más difícil. Un distractor luce razonable, pero no es técnicamente correcto.

• Deben utilizarse para separar a los usuarios en dos grupos: aquellos que entienden el material y aquellos que no tienen el suficiente conocimiento.

• Errores que comúnmente cometen los usuarios, son excelentes distractores.

No incluyan “ninguna de las anteriores” o “todas las anteriores”.

BIBLIOGRAFÍA CONSULTADA

• QuestionMark. Learning about assesment. • Creating Effective Assessments- (Question Mark

Presentación en Power Point)

• How to Write Good Test Questions – (Question Mark Presentación en Power Point)

• Evaluación durante el proceso de aprendizaje. (Question Mark Documento PDF)