1

Experto en Metodologías educativas innovadoras

Metodologías de enseñanza y aprendizaje:aprendizaje activo y modelo inverso

Evaluación y feedback como herramientas para el fomento y la evaluación del aprendizaje

Undécima sesión interactiva

ProfesorAlfredo Prieto MartínUniversidad de Alcalá

2

¿Dónde estamos?Asignatura Preguntas importantes1.Paradigmas educativos y modelos de (enseñanza) aprendizaje (3 ECTS)

¿Qué queremos que aprendan nuestros estudiantes?Los resultados de aprendizaje que deseamos para nuestros alumnos

2. Definiendo el aprendizaje que perseguimos y estableciendo planes para lograrlo y comprobarlo (3 ECTS)

¿Cómo vamos a ayudarles a hacerlo?Diseño en retrospectiva y Gamificación del diseño

3.Metodologías de enseñanza y aprendizaje (6 ECTS)

¿Con qué métodos vamos a ayudarles a hacerlo?Modelo inverso fomento del estudio previoMetodologías innovadoras, activas, inductivas, sociales

Evaluación y feedback como herramientas para el fomento y la evaluación del aprendizaje (4 ECTS)

¿Cómo valoraremos su aprendizaje?¿Cómo utilizaremos la evaluación para producir más aprendizaje?

Evaluación formativa y acreditativa

¿Cómo evaluaremos la utilidad y eficacia de lo que hemos hecho para ayudarles a aprender?

Investigación sobre el efecto de la innovación y mejora de la calidad de la docencia

3 D10 D 17D

Tareas pendientes y recursos adicionales de la tercera asignatura

1. Recetario aprendizaje activo 142 comentarios, 12 participantes2. Recetario de metodologías inductivas fuertes 3comentarios, 3

participantes3. Propuesta de clase o unidad usando un modelo de aprendizaje

inverso (del modo como lo haríais con vuestros alumnos)

Recursos adicionales • He añadido materiales (3 ppt)sobre metodologías de aprendizaje

en equipos

4

Mi plan para lo que resta de la cuarta asignatura del experto (evaluación)

• Debéis preparar una estrategia de evaluación del aprendizaje producido en una unidad

• Esto incluye 1. Repasar los objetivos/resultados de una unidad y clasificarlos en cuatro tipos o

categorias 1 adquisición de conocimientos, 2 desarrollo de habilidades, 3 entendimientos o ideas que deben comprender 4 transferencias que deben ser capaces de hacer

2. Un plan de actividades a realizar de preparación y evaluación formativa durante el tiempo presencial de clase pero relacionándolas con el tipo de resultados que pretendemos que alcancen.

3. Un plan de evaluación acreditativa que produzca juicios validos y fiables acerca de si vuestros alumnos han alcanzado esos resultados.

• No hace falta que lo hagáis corriendo pues en estas ultimas tres sesiones trataremos temas de evaluación y os aportaremos información sobre como afrontar la planificación de la evaluación y maneras de evaluar distintos resultados de aprendizaje.

Actividad de integración (y de recuperación al final del experto)

• Mi idea es que al final y como tarea de culminación del experto (y de recuperación para los que no hayáis podido realizar algunas de las tareas de las cuatro asignaturas) integréis en relación a una unidad de una de vuestras asignaturas los siguientes aspectos de la planificación UbD

• Estadio 1 Selección de resultados de aprendizaje clasificándolos en:• A) Adquisición de conocimientos y habilidades• C) Comprensión y extracción de sentido • T) Transferencia a nuevas situaciones• Estadio 2 Evaluación acreditativa Selección de procedimientos de evaluación

apropiados a la evaluación válida de cada uno estos resultados (en función de su tipo).

• Estadio 3 Actividades de enseñanza aprendizaje y Evaluación formativa Selección de actividades que faciliten el que los alumnos se ejerciten en todo aquello que pueda propiciar la consecución de los distintos tipos de resultados de aprendizaje. Planificar cómo podéis realizar el seguimiento de los alumnos y cómo les podéis proporcionar Feedback formativo .

6

Plan de la sesión interactiva 1. Aprendizaje en equipos

2. Tipos de evaluación

1. Diagnóstica formativa acreditativa

2. Baja repercusión y alta repercusión

3. Cómo evaluar distintos tipos de resultados de aprendizaje

1. A) Adquisición de conocimientos y habilidades

2. C) Comprensión y extracción de sentido

3. T) Transferencia a nuevas situaciones

4. Preguntas de los participantes.

Aprendizaje en equipos

Actividad ¿Para qué sirve la evaluación?

1. Para calificar a los alumnos (y cumplir con una obligación burocrática)2. Para certificar, acreditar, comprobar y medir el aprendizaje que produce una

enseñanza.3. Para estimular y motivar el esfuerzo de los alumnos4. Para detectar lo que debe corregirse mejorarse y proporcionar al alumno

feedback sobre su aprendizaje5. Para obtener información con la que mejorar el proceso enseñanza

aprendizaje y la labor del profesor6. Para proporcionar otra manera de aprender superando retos7. Para entrenar al alumno para que rinda mejor en situaciones de evaluación

acreditativa similares al procedimiento utilizado para la evaluación formativa. 8. Cuando el mismo proceso sirve para lograr tantos fines a la vez podemos

tener problemas intentar poder más énfasis en unos puede perjudicar la consecución de otros

Tipos de Evaluación

DiagnósticaFormativa

AcreditativaContinua

De baja repercusiónDe alta repercusión

Evaluación diagnóstica (ED)

• Nos sirve para conocer de donde parten nuestros alumnos y construir a partir de ahí

• ED Acreditativa– Inventarios conceptuales sirven

para poner el nivel de partida de cada alumno y contrastrarlo con el que alcanza tras la instrucción

• ED formativa – Nos da ideas de por donde

debemos empezar a instruir y aportar feedback

Lo que faltaba aprender a principioLo que sabían ya al principio

0% x% 100%

x%

empieza a partir de este nivel

Evaluación formativa (durante el proceso con la intención de que contribuya a la formación)

• Orientada a estimular esfuerzos que produzcan aprendizaje y ofrecer oportunidades para el feedback o retroinformación

• Tradicionalmente sin valor acreditativo

• Ejemplo evaluación tras estudio previo

– Antes de clase • JITT• PEPEOLA

– En clase• Peer instruction• TBL• Ejercicios

Esto es que te faltaba aprender a principioEsto es lo que ya has aprendido con el estudio previoEsto es lo que todavía te falta por aprender

al principio partiste de aquí

Evaluación acreditativa (esto es lo que has logrado aprender y por tanto tu calificación es)

• Tradicionalmente orientada a la obtención de medidas precisas y objetivas del aprendizaje

• No suele aprovecharse para proporcionar feedback ni para estimular esfuerzo más que al final del proceso

• Recomendaciones 1. Introducir evaluación acreditativa

en momentos intermedios y2. aprovechar su peso en la

evaluación para inducir mayor esfuerzo Lo que faltaba aprender a principio

Lo que aprendieronLo que faltaba aprender al final

Lo que sabían ya al principio

Problemas de esta dicotomíaevaluación formativa- evaluación acreditativa

• Al no conceder valor calificativo a la evaluación formativa ni los profesores ni sus alumnos se la toman suficientemente en serio

• Si queremos aprovechar la evaluación para que nuestros alumnos aprendan más y mejor debemos tomarnos mucho más en serio la evaluación formativa

• Para ello hay que darle valor calificativo

Solución 1 demos a la evaluación continua algo de peso en la calificación

• Evaluación continua durante el proceso que ademas de ser fuente de feedback aporta elementos de calificación.

• Tradicional en niveles escolares, pero no en universidad• La excusa para no usar EC en universidad era la perdida de

rigor acreditativo (creo que la razón verdadera es que la evaluación por acto final era más cómoda y llevadera para el profesorado). El lado oscuro tentaba a seguir usando la EF y casi nadie se resistía

• Pero la EF era más ineficaz que la EC. El nuevo EEES ha obligado a usar un sistema de EC.

• Sin embargo, muchos profes universitarios no saben usar la EC para estimular y proporcionar feedback a sus alumnos

La EC también tiene su lado oscuro

• Lado Bueno o luminoso estimulamos mas trabajo del alumno durante todo el periodo de la asignatura

• Lado Malo u oscuro perdemos nivel de exigencia en evaluación acreditativa

• Perdemos validez de la acreditación al asignar puntuaciones a evaluaciones no seguras no validas no fiables.

• Los alumnos adaptan sus estrategias para sacar el 5 con el mínimo esfuerzo posible y este mínimo se reduce sensiblemente

Solución 2 combinación de evaluaciones con distinto nivel de repercusión sobre la calificación

• La evaluación de baja repercusión calificativa aporta un valor bajo de peso en calificación a las actividades de evaluación formativa, el mínimo suficiente para estimular el esfuerzo.

• No nos debe preocupar su fiabilidad o validez como método de medida pues lo que queremos es que tenga impacto educativo sobre las acciones que emprenden nuestros alumnos.

• Su misión es estimular el trabajo continuo y posibilitar múltiples oportunidades para proporcionar feedback, que permita ir eliminando ideas erróneas, desarrollando habilidades, profundizando la comprensión y facilitando la transferencia, pero sin comprometer un alto valor de la nota

• La evaluación de alto impacto calificativo debe mantener un peso preponderante que estimule mayores niveles de esfuerzo y mantenga el poder discriminativo de la evaluación acreditativa

El mejor método es el que combina lo mejor de distintos métodos

• Estudio previo participación 10%• Trabajos en equipo 10%, • Ejercicios en clase y evaluación con quizzs MCQ (peer

instruction) 5%• Exámenes módulos(test MCQ y casos de alta fiabilidad y

validez)• 25% primer módulo • 25% segundo módulo (test MCQ y)• 25% tercer módulo (con repesca módulos 1 y 2)

High stakes assessment 75%

Low Stakes Assessment 25%

Características de los instrumentos de evaluación (van der Vleuten)

• Cada instrumento de evaluación tiene una serie de características :

1. Validez (autenticidad)2. Fiabilidad (reproducibilidad, seguridad)3. Impacto educativo (produce estímulo y feedback)4. Aceptabilidad5. Coste/practicabilidad en medios humanos,

materiales y económicos

Función de utilidad de un método• U= pf F x pv V x pie IE x pa A /pc C• U= Utilidad• F = fiabilidad ¿es repetible el resultado?• V= validez ¿vale para medir lo que quiero?• IE = Impacto educativo ¿cómo afecta al aprendizaje?

¿estimula el esfuerzo del alumno? ¿le proporciona feedback sobre como mejorar?

• A = Aceptabilidad ¿es aceptable para alumnos y profesores?• C = coste ¿podemos permitírnoslo?• P= peso relativo• En Evaluación formativa importa el impacto en Evaluación

acreditativa importa la fiabilidad y validez

El compromiso en evaluación es …

• que no podemos tener todo lo bueno en un único método o instrumento de evaluación

• Tenemos que conformarnos con tener unos puntos fuertes comprometiendo otros menos esenciales

• Debemos por ello combinar distintos métodos e instrumentos para evaluar mejor

• Debemos diferenciar entre distintos tipos y finalidades de la evaluación

Discusión de la importancia de las características de la evaluación

• Fiabilidad (Reproducibilidad)• ¿Es más fiable una medida aislada o la

combinación de muchas?• ¿Qué hacemos?• Combinar varias medidas fiables• (tres es mejor que una)• Validez • ¿Es valido evaluar casi todo al nivel inferior de la

pirámide de la autenticidad de Miller (Sabe) cuando lo importante está en los niveles superiores (hace)?

• ¿Qué solemos hacer?• Evaluar a los niveles en los que es más fácil

medir, en lugar de evaluar a los niveles más intergrdores

• ¿Cómo debemos cambiar esto?• Intentar evaluar cuando sea posible a niveles

superiores de la pirámide• Usar herramientas de distintos tipos mejor que

de uno solo

1 Hacemos varios exámenes y tareas evaluables2 Que sean fiables : Muestreo suficiente y representativo de los resultados pretendidos 3 combinando distintos métodos y herramientas

La solución de van der Vleuten

• Pasa por diferenciar dos tipos de evaluación del aprendizaje.• Evaluación de baja repercusión (low stakes assessment) de utilidad es principalmente

formativa (estimuladora de esfuerzo, ejercicio de competencias y ocasión para el feedback formativo), pero también tiene un peso (aunque bajo) en la calificación. Su objetivo es inducir al alumno a hacer cosas que fomentarán su aprendizaje.

• Evaluación de alta repercusión (high stakes assessment) en la que se pone el énfasis en su validez y fiabilidad para medir el aprendizaje y calificarlo y acreditarlo de manera precisa y exacta.

• Esta división Low stakes/high stakes mejora la división tradicional en evaluación formativa (pero de ninguna repercusión) y la acreditativa (de total repercusión en la calificación).

• El sistema de evaluación continua que integra una evaluación formativa de baja repercusión/riesgo (low stakes assessment) con una evaluación acreditativa de alta repercusión/riesgo (high stakes assessment)

• Further learning Conferencias en el Karolinska institutet• What Research has to Say about Assessment by Cees van der Vleuten

• Assessment of the Future by Cees van der Vleuten

Cees van der Vleuten

¿Qué es lo que no se puede comprometer en cada tipo de evaluación?

• ¿Qué es lo que no se puede comprometer en la evaluación formativa? – El impacto formativo: estímulo del esfuerzo y feedback sobre el

resultado– La practicabilidad: debe ser soportable y coste eficaz.

• ¿Qué es lo que no se puede comprometer en la evaluación acreditativa? – seguridad, ¿es la prueba segura y confidencial? ¿conocen los

items? ¿Se los pueden esperar?– validez ¿vale para medir los resultados de aprendizaje que

pretendemos lograr?– Fiabilidad no existe ningún método que alcance la fiabilidad en

una hora.

Procedimientos para el fomento del estudio previo por evaluación adelantada en el flipped classroom

• El trabajo en el estudio previo se bonifica usando un modelo de evaluación por pequeñas recompensas o low stakes assessment (evaluación formativa pero con algo de repercusión sobre la calificación)

• Sólo queremos premiar a los que trabajan y darles feedback sobre sus dudas no queremos medir con precisión lo que han aprendido ni falta que hace.

• Esta evaluación de baja repercusión (lowh stakes) no requiere fiabilidad pues su finalidad no es medir sino premiar, tan sólo queremos que impacte positivamente en el esfuerzo y el aprendizaje de los alumnos

Procedimientos para una evaluación acreditativa más válida

• La evaluación de alta repercusión (high stakes) de impacto mayor y función acreditativa (al final de cada unidad o módulo) requiere de mayor validez y fiablilidad en las pruebas y las medidas para evitar errores de tipo I y de tipo II El que no comprende

Supera la evaluación El que comprende no supera la evaluación

¿Cómo saber si mi evaluación esta alineada con el objetivo de comprensión?* Muy probable

Algo improbable

Muy improbable

Error I falso positivo ¿Cómo de probable es que un alumno pueda hacer bien la evaluación …haciendo suposiciones inteligentes, repitiendo lo memorizado o conectando la clavija en el enchufe, tal vez con un recuerdo preciso pero sin o muy poca comprensión?Haciendo un esfuerzo y mucho trabajo y entusiasmo, pero con comprensión limitada? Produciendo un producto admirable o una presentación muy bonita pero con comprensión limitada Error 2 Falso negativo ¿Cómo de probable es que un alumno pueda no superar la evaluación …Sin cumplir los requerimientos de esta tarea , pero a la vez revelan una buena comprensión de las ideas? No son hábiles en algunos aspectos de la tarea , pero esas habilidades no son centrales al objetivo o implican algun aprendizaje o talento natural sin relación con el objetivo* Algún muy probable significa que la evaluación no esta alineada con los objetivos de comprensión

Distintos tipos de objetivos/resultados de aprendizaje requieren distintos métodos de evaluación formativa y

acreditativa

1. Cómo evaluar distintos tipos de resultados de aprendizaje

AC) Adquisición de conocimientos declarativos sobre hechos definiciones y conceptos básicos

AH) Adquisición de habilidades para realizar acciones o procesos competentemente

(conocimiento procedimental)

C) Comprensión y extracción de sentido los alumnos que comprenden pueden analizar

sintetizar y evaluar información no solo recordar lo previamente aprendido y aplicarlo directa y

mecánicamente

Los que comprenden hacen conexiones, extraen conclusiones y son capaces de explicarlas con

sus propias palabras

T) Transferencia a nuevas situaciones aplicación de lo previamente aprendido a nuevas

situaciones requiere

28

Sesión de próxima semana

• El jueves 10 de diciembre a las 9:00 h.

29

Cuestiones