ALFREDO PRIETO

1

Evaluación continua más formativa y eficiente

en los nuevos grados

11

CSIC/UAH

Agenda de la sesión2

1. Evaluación continua mas formativa y eficiente

2. Cómo evaluaremos las competencias genéricas

3. Evaluación de ganancias de aprendizaje FCI

4. Evaluación de la comprensión profunda (SOLO) y de

operaciones de alto nivel cognitivo (Bloom)

5. Construcción de preguntas de calidad para pruebas

de elección entre múltiples opciones

6. Estudios de caso en evaluación alineada.

7. ¿Qué problemas tenemos para evaluar a nuestros alumnos?

8. Selección de instrumentos de evaluación

ASSESSMENT PRACTICES MUST SEND THE RIGHT SIGNALS,

THE PURPOSE OF ASSESSMENT MUST BE CLEAR, AND THE

ASSESSMENT TASKS SHOULD COVER THE OBJECTIVES OF

LEARNING.

JOHN BIGGS 2003 TEACHING FOR QUALITY LEARNING AT

UNIVERSITY: WHAT THE STUDENT DOES,

01 Evaluación continua más formativa y eficiente

en los nuevos grados sanitarios3

¿Por qué la evaluación del aprendizaje es importante en la enseñanza?

4

Porque es la herramienta más poderosa que tenemos los

profesores para estimular y orientar el trabajo y el aprendizaje

de nuestros alumnos.

You get what you assess

And you don’t get what you

don’t assess

¿ Cuál es la fuerza más poderosa para producir aprendizaje ?

5

La evaluación

¿Por qué?

Pues dependiendo de ella se determina:

1 qué se aprende,

2 cómo se aprende y

3cuándo se aprende.

¿Por qué es importante que los profesores universitarios aprendamos a evaluar?

6

Porque no hemos sido formados para ello y seguimos las

tradiciones departamentales casi a ciegas sin habernos planteado

otras alternativas.

Muchas veces evaluamos como nos evaluaron cuando fuimos

estudiantes (al menos hasta que nos obligaron a cambiar de método).

Nuestra práctica evaluativa suele basarse más en la tradición

departamental que en las mejores prácticas descritas en la

literatura sobre enseñanza universitaria.

En el EEES se exige aplicar sistemas de evaluación continua.

Para salir de esta situación hay que estudiar la literatura sobre

evaluación en educación universitaria.

¿ Cómo debemos evaluar para que nuestros alumnos aprendan más y mejor?7

1. De manera auténtica, continua y frecuente

2. proporcionando retroinformación (feedback)

1. sin dilación (lo más inmediato posible)

2. Discriminativa

3. Amable

4. Colectiva (para que nuestro trabajo sea eficiente) el

feedback personalizado es muy bonito pero si tienes

100 alumnos puede ser insostenible.

Evaluación continua (EC)8

¿Qué es la EC? ¿es formativa? ¿es sumativa?

¿Qué diferencia a la buena EC de la evaluación fragmentada o dividida?

¿Por qué debemos usar la EC?

¿Cómo debe ser la EC para que motive más el trabajo de nuestros alumnos?

¿Qué ventajas e inconvenientes tiene la EC?

¿Es útil la evaluación continua?

¿Qué información útil nos puede proporcionar la evaluación continua de

nuestros alumnos?

¿Qué características son importantes en la EC y no se pueden

comprometer?

¿Cómo debe ser la evaluación continua para que motive más el trabajo de

nuestros alumnos?

¿Qué es la evaluación continua (EC)?

La que se hace durante el proceso de

aprendizaje.

¿Es formativa?

¿Es sumativa?

La buena evaluación continua debe ser

ambas cosas, formativa y sumativa?

9

Debe tener repercusión en la calificación (impacto) aunque lo ideal es que esta sea baja

Falsas (pero útiles) dicotomías en evaluación:

Evaluación sumativaCalificativa, acreditativa, certificativaMedir con validez, fiabilidadEstimula al estudio por obtener el resultado deseado

Evaluación formativa mejora el aprendizajeDirigir el esfuerzo y aportar retroinformación Para la mejora

La buena Evaluación Continua

es formativa y sumativaEstimula y formaLOW STAKESASSESSMENT

impactoEducativo

HIGH STAKESASSESSMENTValidezFiabilidad

¿Qué diferencia a la buena evaluación continua de la evaluación fragmentada o dividida?

11

La buena evaluación continua es formativa se aprovecha

para proporcionar retroinformación de los alumnos

para que puedan mejorar su ejecución en reevaluaciones

ulteriores.

La evaluación fragmentada libera partes, la continua

no, sigue evaluando y permitiendo la reevaluación de

partes ya evaluadas pero así estimula al alumno a no dejar

de estudiar ciertas partes ya superadas.

Hay que especificar esto en la guía, de lo contrario los

alumnos asumirán que los exámenes son liberatorios.

¿Por qué debemos usar la la evaluación continua?

La práctica distribuida produce aprendizaje de más

calidad que la práctica masiva.

ECTS 40h/semana. Ofrece oportunidad de corrección

de aprendizaje. La Evaluación final lo produce más

tarde y de menos calidad en la mayoría de los

alumnos.

Permite la administración de feedback

Summer learning loss

Five minutes university

https://www.youtube.com/watch?v=ceMeiaGaFeo

12

¿Qué ventajas e inconvenientes tiene la evaluación continua?

13

Ventajas

1. La EC puede ser una parte importante de la solución a los

problemas de aprendizaje de nuestros alumnos.

2. Ayuda a detectarlos a tiempo.

3. La retroinformación ayuda a solucionarlos.

El inconveniente

Es mucho, mas trabajosa que la evaluación final.

No vamos a centrar en como evitar que sea demasiado trabajosa

Si no cuenta en calificación los alumnos no se la tomaran en serio

Si cuenta demasiado puede disminuir el nivel de exigencia

¿Es útil la evaluación continua?

Depende de cómo se use. ¿Cuándo será útil la EC?

Será útil si proporciona

estimulo para que los alumnos emprendan las actividades que

producirán los aprendizajes deseados. (valor de cambio de la EC

sumativa)

información que es aprovechada por el alumno y el profesor.

El alumno para mejorar su aprendizaje .

El profesor para mejorar su enseñanza .

Si es aprovechada para una retroinformación inmediata, frecuente,

discriminativa, amable y eficiente (si tenemos muchos alumnos

deberemos darlo colectivamente). (valor retroinformador de la EC

formativa)

14

¿Qué características son importantes en la EC?15

1. Que sea formativa

1. Debe proporcionar retroinformación inmediata, frecuente,

informativa, discriminativa y empática (Fink).

2. Que sea estimulante.

1. Las Actividades de Aprendizaje-evaluación deben tener valor intrínseco y

formativo y deben tener valor de cambio (peso en calificación)

3. Que este alineada y sea coherente con lo que queremos que

aprendan y lo que hacen para aprender (evaluación

auténtica). Si es coherente será orientadora (alineada)

indica el camino a seguir para lograr los resultados de

aprendizaje.

1. Lo que hacemos para aprender, debe también servirnos para evaluar.

¿Cómo debe ser la evaluación continua para que motive más el trabajo de nuestros alumnos?

16

1. Anticipada, que los alumnos sepan con claridad que se les va a pedir que

hagan para demostrar lo que han aprendido.

2. Alineada con los resultados de aprendizaje que deseamos, así será

provechosa en términos de aprendizaje, de lo contrario no los

conseguiremos.

3. Rentable, que de puntos en la calificación de la asignatura, que premie al

alumno que trabaje en actividades formativas

4. Basada en actividades interesantes y atractivas para ellos

5. Con criterios de evaluación explícitos y una idea clara de los. niveles

esperados (rubricas).

6. Coste eficaz para el alumno y el profesor que contribuya a los aprendizajes

deseados sin costes excesivos de trabajo para el alumno y profesor que debe

supervisar y proporcionar feedback

¿Qué información útil nos puede proporcionar la evaluación continua de nuestros alumnos?

1.Discrimina los que trabajan de los que no

2.Te permite seguir su progreso

3.Te permite relacionar distintas formas de trabajar del profesor o del

alumno con los resultados.

4.Te permite descubrir (a tiempo) qué es lo que los alumnos no aprenden y

sus dificultades. Detectar los problemas de comprensión que hay que

corregir a nivel individual y grupal. Da pie a discutir sobre ello.

5.Te permite retroinformar a tus alumnos e indicarles que aspectos deben

mejorar.

6.Te informa de cómo funciona tu sistema de enseñanza y tus items de

evaluación

7.Si mide aprendizajes de distinto nivel sabrás el nivel que alcanza cada

uno de tus alumnos.

8.Si mide aprendizajes de calidad me permitirá saber si mis alumnos

adquieren esos aprendizajes de calidad. Debo identificar que aprendizajes

de calidad debo medir

17

Una serie de preguntas (y respuestas) sobre la evaluación continua

18

¿Por qué la evaluación del aprendizaje es

importante en la enseñanza?

¿Por qué es importante que los profesores

universitarios aprendamos a evaluar?

¿ Cómo debemos evaluar para que nuestros

alumnos aprendan más y mejor?

Ejercicio presencial ¿Qué aprenden los alumnos en una asignatura?

Lo que más les interese

Lo que hagan y practiquen

Pero sobre todo lo que piensan que va a

ser evaluado

19

20

Ejercicio presencial ¿Para qué evaluamos el aprendizaje ?

1. Para calificar

2. Para medir y valorar el aprendizaje

3. Para estimular esfuerzo

4. Para detectar lo que debe mejorarse y aportar feedback sobre el aprendizaje

5. Para mejorar el proceso enseñanza aprendizaje

6. Para proporcionar otra manera de aprender

7. Para entrenar al alumno en situaciones de evaluación

Para CalificarObligación burocrática

Motivar Estimular esfuerzo

Empollada final

Aprender de otra manera

Entrenar proceso

evaluación

Corregir

aprendizaje

Obtener Información mejorar Proceso EA

Medir y valoraraprendizaje

21

¿Cómo debe ser la evaluación en el EEES?

1. Continua (cuando)

2. Formativa (generadora de retroalimentación)

3. Estimulante (de la actividad de los estudiantes)

4. Coherente con los objetivos docentes (competencias)

5. Coherente con los métodos de aprendizaje (aprendemos

aplicando conocimento en ejercicios y evaluamos con esos

ejercicios)

6. Debe aplicarse a los resultados de aprendizaje y a los procesos

de enseñanza

7. Será compleja y trabajosa (más que un examen de test ) (cuanto)

BASE PARA LA NUEVA

PROPUESTA CURRICULAR

DE LOS GRADOS(PUNTO 3 .2 DEL ANEXO I DEL R .D. 1393 /ORDENACIÓN DE

ENSEÑANZAS UNIVERSITARIAS OFICIALES)

22

02 Las competencias genéricas

y su evaluación

Competencias genéricasAl término del ciclo, los alumnos podrán

demostrar:

Poseer y comprenderConocimientos

Aplicar Conocimientos y resolver problemas

Capacidad de informarse, fundamentar yemitir juiciosCapacidad

de comunicar

Habilidades de aprendizajeautónomo

1

5

4 3

2Y además en ingles, utilizando TICS y en

equipo

PROCEDIMIENTOS PARA LA EVALUACIÓN

DE LAS CINCO COMPETENCIAS

GENÉRICAS DE DUBLIN

24

¿Cómo evaluaremos las competencias genéricas?

Evaluación de los aprendizajes25

Resultado de aprendizaje Método

Recordar y comprender conocimientos básicos

MCQ, preguntas cortas

Aplicación Problemas, MCQ sobre problemas

Obtención de información, búsqueda, integración y juicio

Casos, viñetas clínicas, PBL (presentación solución), Examen libro abierto, ECOE,

Comunicación apropiada al entorno profesional

ECOE ,TOSBA

Aprendizaje autónomo PBL, estudio de casos

Interacción personal, trabajo en equipo

Trabajos y proyectos en equipo

Desarrollo de sensibilidad apreciación y preocupación

Portafolio, diario reflexivo

Dimensión humana, autoimagen, autoideal profesional

Portafolio, diario reflexivo, cuestionarios autoreflexivos

Competencias clínicas ECOE, OSLER, TOSBA Diario clínico

Competencia 1 (RD 1393): “poseer y comprender conocimientos de un área de estudio”

Sobre textos que han debido estudiar antes de clase, les hacemos

preguntas, les pedimos que rellenen un mapa conceptual con huecos.

Comprobamos si recuerdan la idea principal, las ideas secundarias, si

relacionan los conceptos entre sí.

Les pedimos que resuman lo fundamental indicando la idea principal

y las ideas secundarias.

Material texto a leer debe ser escogido por su interés formativo.

Les podemos enviar el próximo tema y pedirles que nos lo resuman en 200

palabras.

Tarea los alumnos deben estudiar un documento para responder a un

cuestionario.

¿Cómo evaluaremos las competencias

genéricas?

26

Comprender implica que somos capaces de explicar en nuestras propias palabras sin repetir como loros

Explica las similitudes y diferencias entre la respuesta

inmune frente a bacterias intracelulares y extracelulares.

Explica como los anticuerpos desencadenan distintos

mecanismos de respuesta inmunitaria

Explica por qué …

Explica cómo se relaciona esto (caso, experimento)

con lo que has aprendido en la asignatura

Infiere una concusión a partir de los resultados de este

experimento.

27

Reflexión metacognitiva

Se puede añadir un cuestionario metacognitivo

para que el profesor pueda correlacionar los

resultados de aprendizaje de cada alumno con

las estrategias que empleó para estudiarlo y

hacer una reflexión.

Describe con detalle lo que has hecho para:

estudiar este tema, preparar esta práctica,

entender este artículo.

28

Síntesis y relación entre los conceptos más esenciales

29

Valora el interés que te ha suscitado la

lectura de este texto.

Resume en 250 palabras o una página lo que

consideras fundamental del texto estudiado

Diseña un mapa conceptual del tema que

establezca las relaciones entre los conceptos

más importantes.

Instrumento de calificación de un mapa conceptual Oleguer Camerino U Lleida

Calificación del segundo mapa conceptual

 

CRITERIOS FORMALES (deben existir para empezar la

corrección)

a. El contenido del mapa está correctamente expresado y no tiene

errores ortográficos ni sintácticos.

b. Existen referencias documentales y están bien citadas según las

normas APA:

 c. Existen los conceptos claves del tema, el esquema, el artículo y las

paginas web de forma relacionada mediante conectores y enlaces.

 

CRITERIOS DE CONTENIDO

 1. Documentación nueva aportada: la documentación usada se ha

introducido en el contenido del mapa y afecta a su estructura y

significado (30%) 3puntos

 

2. Relación entre diferentes conceptos: existe una comprensión

global de los elementos del mapa producido por relaciones entre los

conceptos expuestos (30%) 3 puntos

 

3. Aspectos estéticos: se ha cuidado la presentación incorporando

colores, distintivos y señales que facilitan la lectura (10%) 1 punto

 

4. Crítica personal: existe una opinión personal y crítica sobre la

frase planteada que indique una alternativa de cambio para la

actualidad (30%) 3 puntos

 

Puntuación

Justificación

  

 

Puntuación

Justificación

 

 

 

Puntuación

Justificación

 

 

 

Puntuación

Justificación

 

30

Competencia 2 (RD 1393): aplicar sus conocimientos a su trabajo, en elaboración y defensa de argumentos y resolución de problemas dentro de su área de estudio

Argumentar a favor y en contra de …

Resolver un problema fundamentando la elección de

solución con tus conocimientos sobre la disciplina

Elige cuál sería el mejor método para … y justifica

por qué

Cómo utilizarías …. Para tal propósito.

Explica como diseñarías un experimento para

demostrar…

31

Estructura de un ejercicio de aplicación

Aplica tus conocimientos a la interpretación de esta

situación.

Explica lo que pasa e hipotetiza sobre los mecanismos

causales por los que ese produce esta situación.

Formula conclusiones a partir de los datos mostrados.

Deduce posibles aplicaciones del principio ilustrado.

Deduce implicaciones sobre la práctica.

32

Ejemplo de ejercicio de aplicación de conocimientos

Explica como diseñarías una placa de enzima inmunoensayo

para estimar la precisión, la exactitud y la sensibilidad de la

prueba. Indica en cada pocillo de la placa las cantidades de

sustancia problema

A B C D E F G H I J K L

1

2

3

4

5

6

7

8

33

Competencia 3 (RD 1393): reunir e interpretar datos relevantes … para emitir juicios

Saber buscar información, interpretarla.

Realizar un trabajo de investigación bibliográfica.

Interpretar una imagen (tabla o figura)

Qué información te aporta el grafico

Qué ha pasado en la evolución de los sistemas de defensa de los

seres vivos

Comenta ejemplos de homologías y analogías a partir de la

información mostrada en la tabla.

¿Qué información te aporta la tabla sobre la evolución del

sistema inmune?

34

Competencia 4 (RD 1393): “transmitir información, ideas, problemas a distintos públicos ”

Explícale a un compañero de clase las razones de la

crisis económica en España y el efecto de su negación

por el gobierno

Explícale a tu profesor por qué suspendiste en la

convocatoria ordinaria y que has hecho para merecer

aprobar en la extraordinaria.Muy correcto

Adecuado

Poco adecuado

No adecuado

Lenguaje

Sintaxis

Conecta con el punto de vista ajeno

Ideas principales

orientación disciplinar

35

Ejercicio Competencia 4

Defiende por qué son necesarios los cambios que

implica el EEES ante una audiencia de

profesores que se resisten a los cambios.

Explica los cambios que supone el EEES ante

una audiencia de alumnos desinformados.

¿Qué diferencia hay entre los argumentos que

presentas a unos y a otros ? ¿Por qué?

36

Competencia 5 (RD 1393): Habilidades de aprendizaje necesarias para

emprender estudios posteriores con autonomía

Aprende por tu cuenta sobre ….

Léete esto y sintetiza

Busca en tales URLs información para resolver este problema

Busca con las siguientes keywords

Busca sobre este tema

Busca sobre lo que te haga falta para resolver este problema

Esta es la situación, define tu el problema y busca la información

que necesites para plantear el problema y resolverlo

Decide cuál es el problema principal por ti mismo y resuélvelo.

Escoge tus propios objetivos de aprendizaje y diseña un plan para

alcanzarlos.

37

Metodología:Proyecto de investigación bibliográfica

Asignación de una patología distinta para cada grupo que toma su

nombre de la patología que estudia.

Una discusión de calentamiento

Unas directrices para búsqueda de información especifica sobre el

problema de cada grupo.

Puesta en común y selección de key words.

Directrices para trabajo de grupo y elaboración de un documento de

síntesis

Directrices para estructuración y un modelo de presentación

Tutoría para dar feedback sobre documento de síntesis y presentación

38

Genéricas olvidadas39

Las que no son ni genéricas genéricas, ni específicas

específicas.

Las que son especificas de la titulación pero no son

específicas de ningún área

En biología

Diseño experimental y razonamiento hipotético de ductivo

Buscar información bibliográfica

Lectura e interpretación de información bibliográfica

comunicación profesional escrita y oral

Instrumentos evaluación de competencias

40

Presentación

Guía para la evaluación de las competencias

en Medicina

02 ¿Cómo lograr que la Evaluación continua sea formativa y eficiente incluso con grandes grupos

de alumnos?

COMUNICACIÓN EN DOS DIRECCIONES

E VA LUA C I Ó N C O M O P R O C E S O D E C O M U N I C A C I Ó N E N D O S

D I R E C C I O N E S D U R A N T E E L P R O C E S O D E A P R E N D I Z A J E

DOS CARAS DE LA EVALUACIÓN

E VA LUA C I Ó N C O M O P R O C E S O F O R M AT I VO Y O R I E N TA D O R

D E E L E S F U E R Z O D E L A LU M N O

E VA LUA C I Ó N C O M O P R O C E S O D E O B T E N C I Ó N D E

E V I D E N C I A S VA L I D A S D E L A C O N S E C U C I Ó N D E L O S

R E S U LTA D O S D E A P R E N D I Z A J E

¿Qué cambios en mi sistema de evaluación pueden ayudar a que mis alumnos

aprendan más y mejor?

Sin ahogarme en un mar de tareas por

corregir.

Sin atosigarles con trabajos

innecesarios o desal ineados con nuestros

objet ivos formativos y que probablemente

no fomentarán aprendizajes relevantes.

Cómo puedo obtener una evidencia más

valida y fiable del aprendizaje de mis

alumnos.

Mejorar mi sistema de evaluación

43

Llevará a me jorar e l aprend iza je de mis a lumnos

pero requ iere es tud iar l a in formac ión sobre

me jores prác t i cas y metodo log ías de eva luac ión .

Apl icar l as mejores práct icas supone tener que

abandonar hábitos cómodos y confortables

para e l pro fesor y l os a lumnos como la

evaluación f inal y las c lases magistrales .

¿Cómo puedo lograr que trabajen más por su aprendizaje

sin que yo (su profesor/a) sea el que tenga que trabajar

intensivamente?

Para que la evaluación continua logre un máximo impacto debemos incorporarla al inicio del aprendizaje

De evaluación final a evaluación inicial. Al principio de

cada cuatrimestre (detección de concepciones

erróneas)

¿De qué niveles parten nuestros alumnos?

¿Qué concepciones erróneas traen mis alumnos?

Al principio de cada tema (promoción del estudio y

detección de dificultades).

¿Cómo puedo estimularles para que empiecen a estudiar antes de

que yo empiece a explicar cada tema y se planteen preguntas sobre

la materia?

Evaluación en un modelo de enseñanza inversa45

¿Qué significa enseñanza inversa?

Lo que antes se hacia en clase primer contacto

con la materia ahora se hace fuera leyendo

documentos y escuchando podcasts lo que antes

se hacia fuera resolución casos y problemas ahora

se hace en clase.

La evaluación antes final pasa ahora a comprobar

el estudio previo

Metodologías para la enseñanza inversa 46

Hay varias:

JITT, Just in time teaching (Novak)

TBL, Team Based Learning (Michaelsen)

PEPEOLA, Preparación y Estudio Previo

Por Evaluación on Line automática (Robles,

Barahona , Prieto)

PI peer instruction Mazur

Tecnologías para la enseñanza inversa 47

Podemos usar distintas tecnologías:

tarjeas de respuesta, flash cards

cuestionarios con hojas de respuesta de lectura

óptica (OMR optical mark reader),

plataformas de e-learning (moodle, blackboard,)

Sistemas de repuesta personal a distiancia (SRP)

Clickers

softwares on line (Test moz, Socrative) para usar

smartphones, como clickers

Llevar la evaluación al principio de cada tema

Llevar la evaluación al proceso de desarrollo de cada

tema para estimular el trabajo continuo de los alumnos.

Sin que la carga de trabajo suponga riesgo para la

salud y la integridad mental de su profesor pero

que tenga un efecto significativo y doble estudio y

el aprendizaje medio en la clase.

¿Es esto realmente posible?49

¿Es eficaz?

50

Si, con metodologías de fomento y comprobación del

estudio previo

Se ha demostrado experimentalmente para el aprendizaje

de la física, la química y biología y otras disciplinas.

Por un 5-15 % de la calificación los alumnos estudiarán

antes de que les expliquemos los temas.

La ganancias de aprendizaje se doblan en Física y

Biología

Evidencias del éxito de estas estrategiasTons of it. Richard Felder

51

R R Hake Interactive engagement versus traditional methods: A six-thousand-student

survey of mechanica test data for introductory physics courses Am J of Physics 66 1p 64 (1998)

Knight JK, Wood WB Teaching more by lecturing less. Cell Biology education; 2005; 4: 298-

310

Peer instruction: ten years of experience and results CH Crouch E Mazur Am J Phys 69:9 70-77

Farewell, lecture? Mazur Science 2009 323:50-51

Eric Mazur, Peer Instruction: A User’s Manual ~Prentice–Hall, Upper Saddle River, NJ, 1997!.

Additional information and resources for PI can be found at http://galileo.harvard.edu.

Catherine H. Crouch, ‘‘Peer Instruction: An Interactive Approach for Large Classes,’’ Opt.

Photonics News 9 ~9!, 37–41 ~September 1998!.

Gregor Novak, Evelyn Patterson, Andrew Gavrin, and Wolfgang Christian, Just-in-Time

Teaching: Blending Active Learning and Web Technology ~Prentice–Hall, Upper Saddle River,

NJ, 1999!, and http://webphysics.iupui.edu/jitt/jitt.html.

Infusing active learning into the large-enrollment biology class: seven strategies, from

simple to the complex D Allen, K Tanner Cell Biology education 2005 4:262-68

¿Es eficiente?¿Merece la pena el coste de la ganancia?

52

Clases en gran grupo Arons, A. B. (1997) Teaching introductory physics. New York: Wiley.

Bligh, Donald A. (1998) What's the use of lectures? Exeter: Intellect Books.

Brandford, John D., Ann L Brown and Rodney R. Cocking (eds.) (1999) How people

learn: brain, mind, experience, and school. Washington, D.C.: National Academy Press.

Carbone, Elisa and James Greenberg (1998) "Teaching Large Classes: Unpacking the

Problem and Responding Creatively". In Matthew Kaplan (ed.), To Improve the

Academy 1998, Resources for Faculty, Instructional and Organizational Development..

Professional & Organizational Development Network in Higher Education.

McDermott, L. C. (1997) "Bridging the gap between teaching and learning: The role of

research". In International Conference on Undergraduate Physics Education. AIP

Conference Proceedings.

Redish, E. F. (1994) "Implications of cognitive studies for teaching physics", American

Journal of Physics, 62, 796-803.

Wulff, Donald H., Jody D. Nyquist and Robert D. Abbott (1987) "Students' Perceptions

of Large Classes". In M. E. Weimer (ed.), Teaching Large Classes Well. San Francisco,

CA: Jossey-Bass.

Aprendizaje activo

Bonwell, Charles C. and James A. Eison (1991) Active Learning: Creating

Excitement in the Classroom. 1991 ASHE-ERIC Higher Education Reports: The

George Washington University.

Johnson, D. W., R. T. Johnson and K. A. Smith (1991) Active Learning: Cooperation

in the college classroom. Edina, MN: Interaction Book Company.

Heller, Patricia, Ronald Keith and Scott Anderson (1992) "Teaching problem

solving through cooperative grouping. Part 1: Group versus individual problem

solving", American Journal of Physics, 60, 7, 627-36.

Smith, Karl A., Sheri D. Sheppard, David W. Johnson and Roger T. Johnson (2005)

"Pedagogies of Engagement: Classroom-Based Practices", Journal of Engineering

Education, January, 87-101.

Thornton, Ronald K. and David R. Sokoloff (1998) "Assessing student learning of

Newton's Laws: The force and motion conceptual evaluation and the evaluation of

active learning laboratory and curricula." American Journal of Physics, 66, 338-52.

Instrucción por compañeros en ciencias

Biología

Allen, Deborah and Kimberly Tanner (2005) "Infusing

Active Learning into the Large-enrollment Biology

Class: Seven Strategies, from the Simple to

Complex", Cell Biology Education, 4, Winter 2005,

262-8.

Knight, Jennifer K., Wood, William B. (2005)

"Teaching More by Lecturing Less". Cell Biology

Education, vol. 4, pp. 298-310.

Instrucción por compañeros en ciencias

Astronomía Green, P. (2003) Peer Instruction for

Astronomy: Prentice-Hall.

Química

Landis, C.R., A.B. Ellis, G.C. Lisensky, J.K. Lorenz, K.

Meeker and C.C. Wamser (2001) Chemistry

ConcepTests: A Pathway to Interactive Classrooms:

Prentice-Hall.

Geología

McConnell, David A, David N Steer and Katharine D Owens (2003) "Assessment

and active learning strategies for introductory geology courses." Journal of

GeoScience Education, 51, 2, 205-16.

McConnell, David A, David N Steer, Katharine D Owens, Jeffrey R Knott and et

al (2006) "Using Conceptests to Assess and Improve Student Conceptual

Understanding in Introductory Geoscience Courses", Journal of Geoscience

Education, 54, 1, 61.

Matemáticas

Cline, Kelly (2006) "Classroom voting in calculus", Mathematics Teacher

(forthcoming).Preprint:

http://www.carroll.edu/~kcline/Classroom-Voting-in-Calculus.htm

Loman, David O. and Maria K. Robinson (2004) "Using ConcepTests in Single

and Multivariable Calculus". In Proc. 16th Annual International Conference on

Technology in Collegiate Mathematics. New York: Addison Wesley.

Pilzer, Scott (2001) "Peer Instruction in Physics and Mathematics." Primus, 11,

1, 185-92.

Medicine

Rao, Sumangala P. and Stephen E. DiCarlo (2000) "Peer Instruction Improves

Performance on Quizzes." Advances in Physiology Education, 24, 1, 51-5.

Robertson, L. J. (2000) "Twelve tips for using a computerised interactive audience

response system", Medical Teacher, 22, 3, 237-9.

Pharmacology

Piepmeier, E. (1998) "Use of concepTests in a large lecture course to provide active

student involvement and peer teaching." American Journal of Pharmaceutical

Education, 62.

Psychology

Chew, S. L. (2004) "Using concepTests for formative assessment", Psychology Teacher

Network, 14, 1, 10-2.

Chew, S. L. (2005) "Student misperceptions in the psychology classroom". In B. K.

Saville, T. E. Zinn and V. W. Hevern (eds.), Essays from excellence in teaching, 2004:

Retrieved 9th April, 2006 from the Society for the Teaching of Psychology Web site:

http://teachpsych.org/resources/e-books/eit2004/eit04-03.html

Statistics

Wit, E. (2003) "Who wants to be... The use of a personal response system in statistics

teaching", MSOR Connections, 3, 2, 5-11.

Research On the Effectiveness of PI Crouch, Catherine H. and E Mazur (2001) "Peer Instruction: Ten years of experience and

results", American Journal of Physics, 69, 9, 970-7.

Kennedy, G. E. and Q. I. Cutts (2005) "The association between students' use of an electronic

voting system and their learning outcomes", Journal of Computer Assisted Learning, 21, 260-

8.

Fagen, Adam P., Catherine H. Crouch and E Mazur (2002) "Peer instruction: results from a

range of classrooms", The Physics Teacher, 40, April, 206-9.

Hake, Richard R (1998) "Interactive engagement vs. traditional methods: A six-thousand-

student survey of mechanics test data for introductory physics courses",American Journal of

Physics, 66, 64-74.

Meltzer, David E. and K. Manivannan (2002) "Transforming the lecture-hall environment: The

fully interactive physics lecture", American Journal of Physics, 70, 6, 639-54.

Sharma, M. D., J. Khachan, et al. (2005). "An investigation of the effectiveness of electronic

classroom communication systems in large lecture classes." Australasian Journal of

Educational Technology 21 (2): 137-154.

Shapiro, Joel A. (1997) "Electronic student response found feasible in large science lecture

hall", Journal of College Science Teaching, 26, 408-12.

Poulis, J., C. Massen, E. Robens and M. Gilbert (1998) "Physics lecturing with audience paced

feedback", American Journal of Physics, 66, 439-41.

Electronic Response Systems Boyle, J. and D. Nicol (2003) "Using classroom communication systems to support interaction and

discussion in large class settings", Association of Learning Technology Journal, 11, 43-57.

Burnstein, Ray A. and Leon M. Lederman (2001) "Using wireless keypads in lecture classes", The

Physics Teacher, 39, 8-11.

Burton, K. (2004). "Interactive Powerpoints: Is there any point in giving power to students?" Murdoch

University Electronic Journal of Law. 11 (4).

Draper, S. W. and M. I. Brown (2004) "Increasing interactivity in lectures using an electronic voting

system", Journal of Computer Assisted Learning, 20, 81-94.

Draper, S. W., Cargill J. and Q. I. Cutts (2002) "Electronically enhanced classroom interaction",

Australasian Journal of Educational Technology, 18, 13-23.

Dufresne, Robert J., William J. Gerace, William J. Leonard, Jose P. Mestre and Laura Wenk (1996)

"Classtalk: A classroom communication system for active learning", Journal of Computing in Higher

Education, 7, 3-47.

Duncan, Douglas (2005) Clickers in the classroom. San Francisco: Pearson Education Inc.

Elliot, C. (2003). "Using a personal response system in economics teaching." International Review of

Economics Education 1 (1).

Simpson, V. and M. Oliver (2007). "Electronic voting sysems for lectures then and now: a comparison of

research and practice." Australasian Journal of Educational Technology 23(2): 187-208.

Williams, J. (2003). Learning by remote control: exploring the use of an audience response system as a

vehicle for content delivery. Interact, Integrate, Impact: Proceedings ASCILITE Conference, Adelaide, 7-

10 December.

Esquema general de los métodos de fomento del estudio previo

61

Profesor

Alumnos

Clase

envía

Evalúa dificultades y replantea , se prepara para superar dificultades que

tienen los que tienen que aprender

estudia reflexiona y responde

Van preparados a clase habiéndose formulado preguntas sobre lo que han estudiado

Aumenta la cantidad Y la calidad de la participación

Comprobación

Metodologías de estudio previo y clase interactiva

62

Principio Mecanismo de comprobación y garantía del estudio previo

Nombre de la metodología(Autores)

Ponemos a disposición de los alumnos o mejor les enviamos los materiales a ser estudiados con antelación al inicio de la clase presencial

Bonificamos con hasta un 10%-15% a los estudiantes que demuestren un máximo rendimiento en el estudio previo

Cuestionario de preguntas abiertas sobre lo que se ha entendido en el estudio previo y lo que necesita explicarse másProfesor analiza este feed back y replantea su clase presencial

JITT Just In Time Teaching(Novak) Just-In-Time Teaching: Blending Active Learning with Web Technology

Cuestionarios de preguntas MCQ on line en pataforma e-learning con feedback que se cierra antes de la calse

PEPEOLAPreparación y Estudio Previo por Evaluación On Line Automática (Robles Barahona y Prieto)

La clase empieza con un examen test MCQ individual continua con un examen e n grupo formal se sigue con casos y problemas en equipo

TBL Team Based LearningMichaelsen y Fink Team-Based Learning: Small Group Learning’s Next Big Step

La clase se basa en intercalar preguntas MCQ con discusión en parejas y discusión general

PT Peer teaching (Mazur) Peer instruction: A User’s Manual

Tecnologías al servicio de la clase interactiva con evaluación formativa

63Metodología Tecnología para la garantía (aseguramiento) del

estudio previo

Just in time teaching

Cuestionarios on line Survey monkeyGoogle driveBases de datos en Moodle

PEPEOLA Exámenes de test MCQ on lineMoodle Blackboard Test moz

Team Based Learning

Scratch tests (rasca)Cuestionarios de MCQ de lectura automática con copia Test moz

Peer teaching Flash cards (evaluación formativa)Clickers (mandos a distancia de respuesta personalizada) Evaluación formativa y sumativaSocrative

Métodos de Estudio y trabajo previo a las clases interactivas

Team based Learning (TBL)Team-Based Learning: Small Group Learning’s Next Big

Step. New Directions for Teaching and Learning, Eds. Larry

K. Michaelsen, Michael Sweet & Dean X. Parmelee, (2008)

 

Just in time teaching Just-In-Time Teaching: Blending Active Learning with Web

Technology Gregor Novak , Andrew Gavrin, Wolfgang

Christian, Evelyn Patterson

Peer teachingPeer instruction: A User’s Manual 1997 Eric Mazur

Tests de conceptos en física permiten que el alumno

determine su propia comprensión y al profesor comprender

el nivel general de comprensión de una idea y decidir si es

necesario invertir mas tiempo en ese concepto 

Larry Michaelsen

Gregor Novak

Gregor Novak

Eric Mazur

Trabajo previo más uso de cuestiones y clickers. Sistemas de respuesta personal a distancia

 Teaching with classroom response

systems: Creating active learning

Environments 2009

Derek Bruff

  Cómo incorporar los clickers a

nuestra docencia

Herramientas para evaluación diagnóstica y continua:

“concept tests”66

Force Concept Inventory FCI (Hestenes)

30 preguntas de este tipo

Un camión pesado y un utilitario chocan de frente. Durante la

colisión la fuerza ejercida por el camión sobre el coche es:

A Mayor que la del coche sobre el camión.

B igual a la que el coche ejerce sobre el camión.

C menor que la del coche sobre el camión.

D No ejerce ninguna fuerza sobre el coche simplemente

esta justo en su camino.

Pensarlo durante un minuto y contestar con la tarjeta o flash card.

CÓMO LOGRAR QUE LA EVALUACIÓN

CONTINUA SEA COSTE-EFICAZ

67

03 Gestión de la carga de trabajo asociada a la EC para el

alumno y el profesor

La realidad es que estudian menos horas de las establecidas

68

69

Crédito ECTS realidad o ficción

Video teaching teaching & understanding understanding parte 1

70

Es necesario que los alumnos hagan cosas

para aprender ergo debemos evaluar lo

que hacen para estimularles a hacerlo.

http://www.youtube.com/v/_eF4934qsas&fs=

1&source=uds&autoplay=1

Stop 4.09

¿Cuál es el problema que os plantea este caso?71

¿Cuáles son vuestras hipótesis sobre las causas de que

tengamos tantos estudiantes pasivos?

¿Qué consecuencia tiene la abundancia de alumnos con el

planteamiento de Robert sobre nuestra función docente?

Seguimos con el vídeo

http://www.youtube.com/v/_eF4934qsas&fs=1&source=u

ds&autoplay=1

Teacher perspective

Distintos tipos de cuatrimestres:cuatrimestres europeos

72

18 semanas de duración

Cuatrimestre Yorkshire 120 dias / 7 días = 19 semanas750/19= 40 horas por semana

40

hora

s/se

man

a

Cuatrimestres europeos 73

18,5 semanas

Cuatrimestre Landrace 120 dias / 7 días = 19 semanas750/19= 40 horas por semana

40

hora

s/se

man

a

Cuatrimestre ibérico “cutrimestre patanegra”

74

13,5 semanas de duración (2 fiestas, 3

exámenes)

55

hora

s/se

man

a El aprobado

en la evaluación continua se premia con

tres semanas de vacaciones

por cuatrimestre

Cuatrimestre patanegra 13,5 semanas750/13,5= 55 horas por semana

Pata Negra

Si aguanto cuatro años retozando en la dehesa del campus me darán el título de grado en…

Mala planificación de los “cuatrimestres”

75

Si los “cuatrimestres” fueran de 18 semanas de clase

150 horas/asignatura x 5 asignaturas = 750 horas /

cuatrimestre

750 horas /18 semanas =41.6 horas por semana

Como los “Cuatrimestres” son de 13-14 semanas

“hábiles”

750/14= 53.6 horas por semana

750/13= 57,7 horas por semanaAplicando un desajuste de 42,25 % las 55 horas por semana se quedan en 23,23 horas por semana

Wonder: the hearth of the alchemistWilliam Prosser

La EC como estímulo: el sueño del profesor

Quiero que os olvidéis de lo que ha pasado en los últimos años.

Volvamos a 2008 en un pasado en el que la evaluación

continua no se estilaba.

Imagina… que un mago y alquimista de Bolonia te dijera que

tus alumnos iban a hacer todo lo que tu les mandases para

que aprendiesen. Lo hiciesen dedicándole tiempo y esfuerzo

suficiente y te entregasen sus tareas en los plazos establecidos.

Antes era un sueño imposible, muy pocos de nuestros alumnos

hacían lo que les mandábamos. La motivación intrínseca no era

suficiente para poner a trabajar a la mayoría.

77

Ahora tienes ese sueño al alcance de tu mano (y puede transformarse en pesadilla)

78

Si les mandas algo razonable y justificado a los alumnos de

grado, lo harán casi todos gracias a la motivación que les

proporciona la evaluación continua y a la inercia de haberse

acostumbrado a hacer lo que les mandan para sacar puntos de

evaluación continua y aprobar.

Otra cosa es cómo lo hagan de bien pero eso dependerá de:

1. cómo les orientes para la realización de la tarea,

2. cómo les entrenes,

3. qué tarea les mandes y

4. cómo perciban que va a ser corregida (rúbrica).

¿Cuál es nuestro desafío en la nueva situación? crédito ECTS y evaluación continua

Nuestro desafío es

1 Escoger las mejores tareas, aquellas que ayudarán a aprender a

nuestros alumnos aquellas cosas que queremos que aprendan.

2 Debemos aprender medir su carga y dosificarlas de modo que

nuestros alumnos trabajen una mediana de 8 horas por semana en

nuestra asignatura.

Deben trabajar 100 horas no presenciales en cada asignatura de

seis créditos ¿lo hacen en realidad? ¿lo hacen en tu asignatura?

¿Se lo preguntamos?

¿Queremos saber la respuesta?

O no será que preferimos no conocerla

79

Ese sueño tiene otro lado, la pesadilla de corregir tantas tareas

80

El efecto boomerang de hacer trabajar a

nuestros alumnos

¿Qué papel tiene la evaluación en la promoción del trabajo y el ajuste del volumen de carga de

trabajo de nuestros alumnos?81

La EC estimula al trabajo

La EC puede informarnos

del volumen de trabajo que realizan nuestros alumnos

Del aprendizaje producido

Niveles de evolución del profesorado82

El profesor que consigue mejores aprendizajes es el del nivel

tres. El que se centra en lo que el alumno debe hacer para

aprender.

“What the student does, that is the important thing.”

Debemos conocer como se aprende construyendo significado

(lo veremos en la segunda parte dentro de un rato).

Una evaluación acorde con esta filosofía debería evaluar:

1) lo que el alumno hace para aprender

2) y lo que el alumno ha aprendido a hacer.

El efecto boomerang de las tareas de aprendizaje

Cada tarea que el profesor manda a sus X alumnos

se convertirá en X tareas a corregir

Que los alumnos trabajen es lo mejor para que aprendan mucho y bien.

El problema es que si haces trabajar a tus alumnos, tu tendrás que

hacer el trabajo de evaluar sus tareas.

Si tienes muchos, 100 (demasiados) alumnos tendrás que encontrar

maneras de controlar lo que hacen, calificarles y retroinformarles

rápidamente con eficacia de tiempo y economía de medios.

¿Alternativas?

83

¿Qué tiene que ver esto con las tareas de evaluación continua?

Afortunadamente no es necesario

corregir y calificar siempre todas las

tareas de todos.

¿Conoce el dingo cuál es la diferencia

entre un boomerang y un palo?

Sale corriendo cuando el aborigen lo

lanza

¿La conoce el profesor universitario?

La acabaremos conociendo por la

cuenta que nos trae

Debemos controlar el abuso del

boomerang o nos daremos con él en

la cabeza

84

Debemos cambiar el boomerangPor la varita mágica de Harry Potter

Gestión del trabajo para el profesor derivado de la evaluación continua

1. Separación de los aspectos:

1. 1 control-

2. 2 calificación-

3. 3 retroinformación

2. Divide y vencerás trabajo en grupo

3. Seleeciona ¿Es necesaria esta tarea que aprendan lo que

quiero que aprendan?

4. Convierte a tus alumnos en profesores ayudantes peer

teaching talleres de coevaluación, equipos

5. Da feedback coletiva y presencialmente

85

Análisis vectorial y gestión del volumen de carga de corrección

86

Números de alumnos

Dividir en Grupos, coevaluación autoevaluación Herramienta taller y RúbricasCalificación por muestreo

La t

are

a d

el

pro

feso

r C

on

trol,

cali

ficació

n,

fe

ed

back

Tipos

de ta

reas

,

numer

o de

repet

icio

nes

¿Son re

almen

te fo

rmat

ivas?

¿Es n

eces

ario re

petirl

as

tanta

s vec

es?

Disociar los tres elementos :

1. Automatizar el Control

2. simplificar la calificación

3. Administrar el feedback

colectivamente

Estrategias para disminuir la carga del proceso:87

1. Simplificación sistema de calificación+(muy bien 10 ), OK (bastante bien

7,5), ν (pasable 5 ),- (tienes que volver a hacerlo mejor 2,5).

2. Semi-Automatización del proceso C-C-R plataforma, survey monkey

clickers.

3. Incorporación de los alumnos al proceso de evaluación: evaluación por

compañeros, autoevaluación. Rúbricas

4. Control parcial

1. Sorteo. A cada alumno le voy a corregir 4 tareas.

2. Lee y contesta: ¿Qué es lo que no entiendes? ¿Cuál ha sido la mayor dificultad? Uso

de indicadores Controlando tu respuesta a esto controlo si has hecho lo otro.

5. Retroinformación colectiva en clase o por medios electrónicos

6. Evaluación por compañeros outsourcing de la evaluación

Importancia de los tres elementos de la tarea del profesor

El control es necesario para producir efecto

estimulador.

La calificación tiene un efecto estimulador extra para

hacer mejor la tarea. Debe ser muy discriminativa pero

no tiene por que ser muy precisa . (0-2-4-6-8-10)

El feedback o retroinformación es necesaria para la

mejora del rendimiento

Pero si no queremos ahogarnos en montañas de papeles

por corregir debemos disociar estos tres aspectos

88

Los otros factores del volumen de carga de corrección

El número de alumnos.

La frecuencia o número de repeticiones de la tarea

¿Cuántas veces debe repetirse para que se produzca el

aprendizaje?

El número de las distintas tipologías de tareas.

problemas y casos resolución y discusión en clase.

Presentaciones ,ejercicios escritos

Exámenes de autoevaluables

Debemos seleccionar las más formativas

89

METODOLOGÍA DE LOS INVENTARIOS

CONCEPTUALES

CONCEPT TEST INVENTORY

90

Evaluación de ganancias de aprendizaje

¿Cómo hacer un inventario conceptual para una asignatura?

91

Decidir cuáles son los conceptos esenciales

Realizar un cuestionario diagnostico sobre ellos

(survey monkey) primero de preguntas abiertas después

de test.

Ejercicio y evaluación formativa

Diseñar tares para trabajarlos que permitan ejercitarse en su uso y

recibir retroinformación

Evaluación acreditativa

Diseñar pruebas para evaluarlos que permitan obtener evidencia

de que se han conseguido

Ejercicio . Estructura conceptual de tu asignatura o disciplina en relación a sus actividades de

enseñanza-aprendizaje y evaluación.92

¿Qué conocimiento es el más importante en tu asignatura?

1. Escoge los 15-20 conceptos más importantes de tu asignatura. Aquellos

que es necesario comprender y recordar como un primer paso hacia un

conocimiento profundo de la asignatura. Redacta una lista con ellos

2. Diseña un cuestionario breve para medir el conocimiento previo que tus

alumnos tienen sobre ellos en 15 minutos del primer día de clase de la

asignatura.

3.  Diseña actividades o tareas para que trabajen con algunos de ellos a la

vez que ejercitan competencias que pienses que son importantes para su

futuro profesional

4. Diseña preguntas para un examen en el que tengan que aplicar a un caso

real o verosímil algunos de estos conceptos más importantes de tu

asignatura

Sugerencia de aplicación a tu docencia (en el próximo cuatrimestre).

93

Aplica el cuestionario diagnóstico a tus alumnos. Discute

con ellos los resultados en la siguiente clase. Pídeles que

durante el curso estén atentos a todo lo relacionado con

estos conceptos esenciales.

Avísales de que las actividades de aprendizaje y las

pruebas de evaluación se centrarán en la comparación, la

interrelación y la aplicación de estos conceptos esenciales.

Veras como mejora el aprendizaje de tus alumnos acerca

de esos conceptos que consideras más esenciales.

Metodología de diseño de inventarios conceptuales el ejemplo

del FCI (Force Concept Inventory)

Hestenes

Diseñó force concept inventories y concept tests para

evaluar estos conceptos (ejercicio 5)

Con pregunas conceptuales abiertas investigaban las

concepciones erróneas más frecuentes en los alumnos y las

convertían en distractores de preguntas de test de opción

múltiple.

Los test se redactaban sin jerga especializada por lo pueden

aplicarse a los alumnos antes y después de la instrucción

Así puede determinarse la ganancia que produce la

enseñanza durante el periodo formativo (si es que se produce

alguna)

Con esta metodología podemos comparar científicamente la

eficacia de distintas metodologías para que los alumnos

aprendan.

Diagramas de Puntuación pretest vs. Ganancia: El rendimiento de métodos tradicionales

es muy inferior al de los interactivos 95

Monkey

Aristotelian Newtonian

Utilidad del FCI96

El FCI sirve para comparar instituciones, alumnos de distintos cursos,

distintas metodologías y sirve para medir la ganancia que produce

una asignatura.

Mide en que grado la instrucción ha cambiado las concepciones

erróneas que los alumnos tenían al principio de la asignatura.

Se han diseñado CI o concept tests para múltiples disciplinas.

Podemos crear un FCI para nuestra propia asignatura y publicarlo

¿Por qué es tan importante conocen el nivel de partida de

nuestros estudiantes y saber lo que no comprenden antes de

explicarles ?

Video Biggs 2

http://www.youtube.com/watch?v=2DMnYxc3ank&feature=player_

embedded

¿Qué podemos concluir de estos resultados?

Porc

en

taje

de g

an

an

cia

C

on

resp

ecto

a l

a m

áxim

a p

ote

ncia

l

La incorporación de más métodos interactivos mejora los resultados del peer instruction

PIPI + JITT

STRUCT URE OF OB SERV ED LEA RNING OU TCOM ES ( SOLO)

TA XONOM ÍA DE LA EST RUCTURA DEL A P RENDIZA J E

OBSERVA DO

J OHN BIG GS

TA XONOM IA DE NIV ELES DE RA ZONA M IEN TO CON EL

CONOCIM IEN TO

BEN J A M IN B LOOM

98

Evaluación de la comprensión profunda (SOLO) y de operaciones

de alto nivel cognitivo (Bloom)

99

Taxonomía de la estructura del aprendizaje observado (SOLO taxonomy) J Biggs

Describe el aumento de complejidad en la

comprensión de un tema por el estudiante en cinco

estadios Uni-estructuralConexiones SimplesEnfca en elementosIdentifica Sigue prodedimientorecita

Pre-estructuralPiezasNo comprendeTautologíasconfunde

RelacionalRelación y significación de las partes con el todoRelaciona compara analiza integra

Multi-estructuralMás conexionesSin significación globalClasificaCombinaenumera

Abstracto extendidoCon conexiones fuera del área de estudioGeneraliza estructura y transfiere los principios e ideas a otros temas Generaliza , hipotetiza, teoriza

COMPRENSIÓN PROFUNDA

COMPRENSIÓN SUPERFICIAL

100

Diagnosis de los niveles de respuesta a nuestras preguntas

1. Aumento de los conocimientos: Preestructural. No tienen ni idea, confunden unos

conceptos con otros. Intentan encubrir la falta de comprensión con tautologías y vaguedades. 0

Uniestructural: Respuesta bien orientada pero se queda en la terminología y faltan datos. 2,5

Multiestructural: Apabullan con datos, pero faltan conexiones y una estructura de relación. 5

2. Profundización en la comprensión: Relacional: Se relacionan unos conceptos con otros

y se integran en una estructura. 7,5 Abstracta ampliada: es la que trasciende de lo dado

lo relaciona con otros temas y contextos e incluso abre perspectivas nuevas incluso para el profesor. 10

101

La taxonomía solo también puede aplicarse a la ejecución de tareas que demuestran

competencias

La tarea no es realizada de modo apropiado (preestructural), abordaje simplista.

Uno (uniestructural) o varios (multiestructural) aspectos de la tarea son realizados

correctamente pero otros no y además no son integrados correctamente.

Relacional comprende, relaciona e integra correctamente los distintos aspectos en

una ejecución correcta.

Abstracta-extendida la ejecución no es solo correcta sino modélica, ejemplar.

Veamos que relación tiene esto con lo que debemos evaluar para producir

aprendizajes

Parte tercera del vídeo sobre las teorías de John

Biggs. The solution constructive alignment

http://www.youtube.com/watch?v=AuCG0kdj5DQ

Iconografía de los niveles SOLO102

4. Relacional

1. Preestructural

2. Uniestructural

3. Multiestructural

5. Abstracto extendido

http://pamhook.com/free-resources/downloadable-resources/

Selecciona los verbos para tareas

y preguntas de distinto nivel. 103

Generaliza

r

Predecir

Evaluar

Reflexionar

Hipotetizar

Crear

Probar

Planificar

Definir

Identificar

Nombrar

Encontrar

Etiquetar

emparejar

Recordar

Describir

Enumerar

Esquematizar

Seguir un

procedimiento

Ordenar

Clasificar

Comparar y contrastar

Explicar causas

Explicar efectos

Analizar

Hacer una analogía

Organizar

Distinguir

Cuestionar

Aplicar

Justificar

Argumentar

Componer

Priorizar

Diseñar

Construir

Desempeñar

Inventar

Desempeñar

ejercer

Abstracto extendidoUniestructural Multiestructural Relacional

104

Preguntas de evaluación y niveles SOLO Algunas preguntas son muy fáciles de corregir para el

profesor pero limitan el nivel de las posibles respuestas Enumera… cuatro especies de mosquitos transmisores de

enfermedades Estudiante con comprensión preestructural (se sabe 2

mosquitos de memoria) la aprobará .. e indica los riesgos sanitarios que crea cada una Estudiante con comprensión multiestructural la clava. …y discute su importancia en los programas de salud

pública Invita a una respuesta relacional con criterios e incluso a

una abstracta sobre cómo valorar la importancia de una amenaza sanitaria

Con esta pregunta podemos explorar todos los niveles SOLO:

105

Discute cómo podrías juzgar la

importancia relativa de amenazas a la

salud pública, utiliza como ejemplos

para tu discusión varios tipos de

mosquitos tropicales.

106

Ejercicio toma una pregunta de recuerdo de hechos y conviértela en la base de preguntas que inviten a respuestas multiestructurales

Tus alumnos deben practicar la contestación a este tipo de

preguntas en clase o en tareas asignadas como “Deberes”.

Después de que tus alumnos practiquen ya puedes ponerles

preguntas de este tipo en tu examen

Verás que con este tipo de preguntas podrás discriminar

mucho mejor los distintos niveles de conocimiento de tus

alumnos y animarles a qué hagan durante el cuatrimestre los

deberes que les asignas.

Compara las tres preguntas 107 Nombre:

1) Explica las infecciones intracelulares desde la perspectiva de la teoría de juegos. ¿Cómo

denominarías los distintos niveles de juego?,¿ cuáles son sus posibles protagonistas?

¿Cuáles las estrategias para intentar ganar o seguir en el juego de las bacterias intracelulares

y de los mecanismos inmunes dirigidos a defenderse contra ellas?

¿Cuáles son los desenlaces más probables de cada tipo de interacción y su consecuencia

sobre la evolución del juego posterior?

¿Cuáles son las posibilidades de equilibrios permanentes y desenlaces finales?

Ejemplificar estos conceptos en los casos de infecciones por microrganismos del género

Mycobacterium

Valor hasta cuatro puntos

2) Explica las diferencias y similitudes entre los diferentes factores implicados en la etiología

de

las enfermedades autoinmunes y el cáncer.. Valor hasta tres puntos

3) Describe la clasificación de las inmunodeficiencias primarias. Características generales. Se

valorará la citación de un ejemplo representativo. Valor hasta tres puntos

E VA LU A M O S C O N O C I M I E N T O S P E R O …

¿ Q U É T I P O S D E O P E R A C I O N E S C O N E S O S C O N O C I M I E N T O S S O N L A S

Q U E E VA LU A M O S ?

L O S E S T U D I O S D E M U E S T R A N Q U E L A M A Y O R Í A D E L O S P R O F E S O R E S E N

L A M A Y O R Í A D E L A S O C A S I O N E S E VA LÚ A N R E C U E R D O ,

L A E VA LU A C I Ó N D E R A Z O N A M I E N T O D E N I V E L S U P E R I O R A N Á L I S I S

S Í N T E S I S Y E VA L U A C I Ó N S U P O N E U N A PA R T E D E M A S I A D O P E Q U E Ñ A D E

L O Q U E E VA LU A M O S

A L H A C E R L O E N V I A M O S E L M E N S A J E D E Q U E M E M O R I Z A R C O N C E P T O S

E S L O I M P O R T A N T E PA R A A P R O B A R Y E S O E S L O Q U E N U E S T R O S

A LU M N O S H A C E N

PA R A C A M B I A R E S T O D E B E M O S C A M B I A R L A S P R E G U N T A S Y E N C A R G O S

Q U E H A C E M O S A N U E S T R O S A LU M N O S

108

Aplicación de la taxonomía de Bloom a las pruebas de

evaluación

109

Nivel Básico:

1. Recordar (Reproducir)

Nivel Intermedio:

2. Resumir (identificar lo mas importante)

3. Enumerar (identificar puntos)

4. Comprender (explicar e interpretar el significado) 1ª CG de Dublín

5. Comparar identificar similitudes y diferencias

Alto nivel:

6. Aplicar (usar para resolver un problema nuevo) 2ª Dublín

7. Analizar (Estudiar componentes e interrelaciones)

8. Sintetizar (producir algo nuevo integrando partes)

9. Evaluar (hacer un juicio basado en criterios) 3ªDublín

Niveles de razonamiento con el conocimiento (taxonomía de Bloom ampliada)

110

Uso de la taxonomía de Bloom para diseñar ejercicios y pruebas (recuerdo)1. Conocimiento: recuerdo de información específica.

Define el término tolerancia inmunológica.

Identifica las principales poblaciones de linfocitos antígeno-específicos.

¿Quién ganó el premio Nobel por el descubrimiento de los

reordenamientos genéticos de las inmunoglobulinas?

Escribe la ecuación que relaciona la fuerza motivadora con la inercia

mental del estudiante y su actividad formativa.

¿Cuáles son las cinco secciones de un artículo original de

investigación?

¿Qué son las bacterias gram-positivas?

Enumera en una lista

Las características peculiares de la respuesta autoinmune

111

Uso de la taxonomía de Bloom para diseñar ejercicios y pruebas (comprensión)2. Comprensión: Ser capaz de comunicar sin repetir.

Indica que operaciones matemáticas debes realizar para resolver este

problema.

Explica los resultados del experimento mostrado en la gráfica.

A partir del plano describe el artículo representado

Dada una cuestión establece un diseño experimental que pueda

responderla.

Traduce el siguiente párrafo del inglés al Español.

Resume en cien palabras la teoría de la selección clonal

Resume en una oración lo mas importante que has aprendido en este curso.

Compara y contrasta en una tabla

Explica las similitudes y diferencias entre los linfocitos T y los linfocitos B

Explica similitudes y diferencias entre respuestas inmunes a bacterias

extracelulares e intracelulares

112

Uso de la taxonomía de Bloom para diseñar ejercicios escritos (aplicación)

3. Aplicación: El uso de abstracciones en situaciones

concretas.

Relaciona el principio de refuerzo positivo con tus

comportamientos en la clase.

Describe un experimento para conocer los efectos de un profesor

en el aprendizaje de sus alumnos.

Determina el porcentaje de la población de células NK en el

siguiente estudio.

Entrena a tus alumnos para que desarrollen la competencia X.

Aplica sombreado para producir profundidad en un dibujo.

113

Uso de la taxonomía de Bloom para diseñar ejercicios escritos (análisis)

4. Análisis: La descomposición de una situación en las partes

que la componen.

Identifica las asunciones que subyacen a una teoría.

Dado un argumento para la aprobación de los xenotrasplantes,

enumera razones a favor y en contra de ellos.

Analiza los resultados del siguiente experimento y ofrece una

interpretación.

Dado un diseño experimental, identifica las variables predictora y

dependiente.

Identifica premisas no explicitas en una argumentación lógica

Interpreta esta gráfica

114

Uso de la taxonomía de Bloom para diseñar ejercicios escritos (síntesis y evaluación)

5. Síntesis: reunir elementos y partes para formar un todo

coherente.

Escribe un argumento lógico a favor de una determinada posición.

Dados un conjunto de datos formula una hipótesis que pueda

explicarlos

Dadas dos teorías opuestas diseña un experimento para

compararlas.

Diseña un separador de urea para un acuario marino de 200 l.

Especifica flujo de agua requerido y condiciones de mantenimiento y

limpieza.

Escribe una historia corta relacionando una experiencia personal en

el estilo de la novela picaresca.

115

Uso de la taxonomía de Bloom para diseñar ejercicios escritos (evaluación)

6. Evaluación: Realización de juicios acerca del valor de las

cosas y la validez de los métodos y argumentos

Dado un argumento, detectar y enumerar las falacias lógicas que

contiene.

Dados los datos acerca de una cuestión, tomar una posición y

defenderla.

Dado un estudio de investigación, evaluar si las resultados obtenidos

justifican las conclusiones alcanzadas.

En una situación clínica, seleccionar la intervención más razonable y

predecir los efectos y los posibles efectos no deseados.

Evaluar el trabajo de un compañero dando las razones para tu

evaluación.

¿Cómo puede la evaluación favorecer el aprendizaje significativo, reflexivo, crítico y relevante?

Pidamos a nuestros alumnos que demuestren:

Capacidad de transferir y aplicar sus

conocimientos a situaciones nuevas.

Comprensión en profundidad.

Capacidad de síntesis.

Capacidad para la creación

116

Tus alumnos reaccionarán al cambio en la estrategia de evaluación

Tus alumnos al saber que se les va a exigir comprensión profunda,

aplicación, integración e interrelación de conocimientos

estudiarán de otra manera, preparándose para este tipo de evaluación.

Tus alumnos tendrán que aprender más para aprobar y de esta manera

aprenderán más.

Recuerda el dicho anglosajón : “You get what you assess” El único inconveniente es que te pasaras una semana extra corrigiendo

los exámenes de tus alumnos. Recuerda mi consejo: “Lo mejor para el

aprendizaje, casi nunca es lo más cómodo para el profesor”

117

118

Un ejemplo de evaluacióncon viñeta experimental Comenta estas gráficas indicando qué

fenómenos muestran.

Explica, con lo que sabes de la biología de

las células B, los mecanismos celulares y

moleculares que explican los datos

mostrados en ambas gráficas.

Deben leer las gráficas interpretar los datos

y relacionarlos con lo que saben del

temario.

¿Qué ocurre? ¿Qué mecanismos de los

estudiados explican cada cosa que ocurre?

¿Transmite honestamente la información?

Herramienta pruebas de evaluación a prueba de abordaje superficial

Interpretar un contexto de inmunización

Dif

ere

nci

ar

con

cen

traci

ó n

de a

fin

idad

Un examen de un curso de formación del profesorado

119

Defiende con argumentos pedagógicos ante una

audiencia de profesores que se resisten a cualquier

innovación por qué es conveniente cambiar al sistema de

mas aprendizaje activo, enseñanza mediante retos y

evaluación continua propugnado por el EEES.

¿Por qué es mejor para el aprendizaje…

…el aprendizaje activo?

…la clase interactiva?

…usar metodologías inductivas?

120

121

Ejercicio de interpretación de figuras.

Estudia detenidamente la figura e interprétala:

¿Qué se muestra en cada uno de sus gráficos? ¿Cuáles son las conclusiones que se pueden extraer de los

resultados presentados en la figura? ¿Cuál es el mensaje principal de la figura?

Lo sacan los que han pensado en clase y han hecho los ejercicios

Herramienta pruebas de evaluación a prueba de abordaje superficial medido/real

Error/medida

122

¿Cuál es la similitud?Herramienta pruebas de evaluación a prueba de abordaje superficial

123

Ejercicio de interpretación y extracción de conclusiones.

Responda a las siguientes preguntas¿Qué muestran los resultados mostrados en la grafica?

¿Qué podemos concluir, qué demuestran los resultados mostrados en la grafica?

¿Esperarías estos resultados si los anticuerpos fueran la causa necesaria de la enfermedad? ¿Por qué?

¿A la vista de los resultados cual puede ser el mecanismo necesario para que se produzca la enfermedad?

¿Cómo lo confirmarías en un modelo animal?

Efectos del tratamiento con Rituxan anticuerpo monoclonal anti CD20 de pacientes con LES

Lee el documento y explícalo relacionándolo con lo que sabes de presentación antigénica y coestimulación linfocitaria¿Qué aplicaciones se te ocurre que podría tener este descubrimiento?

Herramienta ejercicios que entrenan para esas pruebas de evaluación

124

Utilidad del FCI125

Se utilizó el Force concept inventory

(FCI) para medir la comprensión de

leyes de Newton en high schools

Community colleges, and state

universities

Se descubrió que con docencia

tradicional la ganancia media era un

cuarto de la máxima potencial en una

asignatura

Con docencia interactiva incluso

cohortes de alumnos de alto nivel

doblaban su ganancia con respecto a

la típica de la tradicional

Puntuación pretest

Gan

acia

pre

test

-post

test

Tradicional

Interactiva

Ganancia potencial máxim

a

50

25

¿Por qué el aprendizaje activo?

126

El aprendizaje activo produce más y

mejor aprendizaje que el aprendizaje

pasivo. (Interactive engagement vs.

Traditional methods. Hake 1988)

Compara resultados de 6542 alumnos

de 62 asignaturas

La ganancia en aprendizaje es

significativamente superior en las

asignaturas que usan implicación

interactiva con respecto a las que usan

metodología tradicional.

El aprendizaje activo ofrece

oportunidades para ejercicio de

competencias.

R.R. Hake, Am. J. Phys. 66, 64 (1998).

Traditional

Active interactive

Problemas convencionales vs. Problemas conceptuales

127

¿Qué será más difícil?

Diseñar un experimento para responder a esta pregunta

Explorar el mismo contenido de las dos maneras en el

mismo examen.

En apariencia lo conceptual es más sencillo pero los

alumnos obtienen peores resultados en el “sencillo” test

conceptual que en el complicado problema.

Hagamos un experimento

Problemas complejos

(pero esperados)

128

Problemas complejos vs. Tests conceptuales“No podemos regalar el 20% del examen”

“Llámalo problema de calentamiento” Test conceptual

(inesperados)

¿Los que resuelven problemas convencionales entienden los conceptos básicos?Muchos aprenden de memoria la mecánica de resolución de los problemas esperados

Los mismos alumnos en el mismo examen

nota media 6,9 > nota media 4,9

Problemas convencionales esperados vs. Problemas conceptuales inesperados

¿Hay alguna correlación entre los resultados?129

¿Cómo interpretáis estos

resultados?

Relación en la mitad

Pocos hicieron mejor el

conceptual que el

convencional

Muchos hicieron peor el

conceptual que el

convencional

¿Qué son?

52 %

Problema convencional

Pro

ble

ma c

on

cep

tual

20 40 60 80 100

20

4

0

6

0

8

0

10

039 %

9 %

¿Qué podemos concluir de estos resultados?

Porc

en

taje

de g

an

an

cia

C

on

resp

ecto

a l

a m

áxim

a p

ote

ncia

l

La incorporación de más métodos interactivos mejora los resultados del peer instruction

PIPI + JITT

Tradicional teaching vs. Peer teaching

Ganancia media

Física25% de la máxima posible

Biología 17%

Ganancia media

Física50-60% de la máxima posible

Biología33%

Trabajo extra que nos da el peer teaching a los profesores

Los temas deben estar preparados con más antelación.

Debemos preparar preguntas de test sobre aquello que

queremos que nuestros alumnos aprendan.

Centradas sobre la comprensión profunda y aplicación de

los conceptos esenciales de nuestra asignatura.

Esas preguntas deben servir para poner en evidencia si

nuestros alumnos comprenden las ideas más importantes

Estrategia sugerida empezar con JITT ir preparando

preguntas para peer teaching

Una vez conocidos estos resultados ¿Es ético seguir utilizando la metodología tradicional de enseñanza universitaria ?

Una analogía con el ensayo clínico de tratamientos.

La eficacia de distintos tratamientos se compara aplicando uno a un

grupo de pacientes otro a otro y comparando los resultados.

En medicina cuando se demuestra que un tratamiento es el doble de

eficiente que otro y se publica y se admite como un hecho la

superioridad del tratamiento I (Innovador) sobre el tratamiento T

(Tradicional)

Si tu propones otro estudio comparando los tratamientos I y T el comité

de ensayos clínicos te lo tirará para atrás por que “No es éticamente

admisible negar a un grupo de pacientes el mejor tratamiento conocido”

¿Por qué negamos a nuestros alumnos el tratamiento que produce más

aprendizaje?

¿Es ético que sigamos utilizando la metodología tradicional a sabiendas de que hay otras

metodologías mas eficaces pero menos cómodas para el profesor?

La evidencia publicada demuestra que no

¿Por qué ignoramos la evidencia publicada?

Más allá de la intuición y la experiencia personal (Cees van der

Veluten)

¿Por qué el profesor de medicina basa su práctica médica en la medicina basada en la

evidencia publicada y su práctica docente en la tradición y su opinión personal?

¿Por qué a su paciente le administra el tratamiento que según la última literatura

médica es el mas eficaz y sin embargo a su alumno le enseña de aquella manera que

simplemente le resulta más cómoda a él?

Ha sido formado en medicina pero no en docencia es y se comporta como un

profesional de la medicina y sin embargo se comporta como un amateur en la docencia

Debemos esforzarnos por convertirnos en profesionales de la docencia . Debemos

basarnos en las mejores prácticas puestas a prueba en los países más avanzados

Debemos informarnos

Investigación original

Revisiones y meta análisis

Libros y manuales para la innovación y la mejora

135

¿Qué es la práctica profesional basada en la evidencia?136

Hacer lo más correcto en cada situación.

Por ejemplo en medicina

“… the conscientious, explicit, and judicious use of

current best evidence in making decisions about

the care of individual patients.”

David Sackett MD (1994)

¿Por qué no hacemos esto mismo con los alumnos?

¿Se vuelven tontos los profesores de medicina al ir del hospital a la facultad?

137

Obviamente no

¿Por qué cada servicio del hospital

realiza sesiones clínicas todos los días y

pasa un lustro sin que en el Dpto. de

Medicina se haga nada para modernizar

la docencia?

Estamos tan acostumbrados a que esto

sea así, que lo que debería ser normal

nos parece lo anormal.

Una selección histórica de la literatura sobre enseñanza universitaria para el gran público

51- 80 McKeachie teaching tips

1985 Assessing educational outcomes Ewel

1987 Developing critical thinkers Brookfield

1991 Active learning Creating excitement in the

classroom

1994 Classroom assessment techniques Cross , Angelo

1997 Peer instruction: A User’s Manual

1997 How to use problem-based learning in the

classroom.

1997 Adviser, teacher, role model, friend on being a

mentor to students in science and engineering.

1998 Educative assessment Grant Wiggings

1999 The Chicago handbook for teachers: a practical

guide to the college classroom. A Brinkley y cols

1999 Teaching for quality learning at University J.biggs

1999 Just-In-Time Teaching: Blending Active Learning

with Web Technology

1999Discussion as a way of teaching

1999 A handbook for teaching and learning in higher

education

2000 teaching with your mouth shut

2000The Internet and problem based learning developing

solutions through the Web.

• 2001 Understanding by design Wiggings G• 2001 The Power of Problem-Based Learning: A Practical 'How To' for teaching Undergraduate Courses in Any Discipline

• 2002 Learner-Centered Teaching: Five Key Changes to Practice Weimer M

• 2003 Creating Significant Learning Experiences: An Integrated Approach to Designing College Courses Fink

• 2004 What the Best College Teachers Do Bain • 2004 building faculty learning communities Cox• 2004 An introduction to rubrics Stevens D• 2005The joy of teaching P Filene • 2006 Exploring research based learning Kreber C

• 2008 Team based learning Micaelsen • 2008 Teaching unprepared students • 2009 Designing courses for significant learning: voices of experience Fink

• 2009 Teaching with classroom response systems: Creating active learning Environments Bruff D

• 2010 2nd edition The Art And Craft of College Teaching: A Guide for New Professors And Graduate Students Rotenberg

• 2010 XIII edition of teaching tips of Mc Keachie• 2011 Engaging Ideas : The Professor's Guide to Integrating Writing, Critical Thinking, and Active Learning in the Classroom Bean

¿Cómo puedo incorporar estas metodologías a mi docencia?

Introducir preparación previa

JITT muy fácil sólo comunicación

virtual bidireccional

DIFICULTAD

Team based learning

Scracth system

Si queremos usarlo para

Evaluación contiua se necesitan

lectores OMR para lectura

automática

PEPEOLA muy fácil cuestionarios

en plataforma se pueden

importar preguntas desde word

Preguntas solo comprueban

pregunta y

Aprendizaje activo

Introducir actividad y reflexión en clase

preguntas ejercicios

Peer teachning más complejo

pero puede ir haciéndose

gradualmente

Se puede empezar con

cartulinas

Si queremos usarlo para

evaluación-calificación continua

se necesitan clickers

Diagrama de flujo de las discusiones en clase

en el peer teaching

Escalera hacía el máximo aprendizaje

Dictatio Monólogo magistral lectio, lectio, y lectio

Clase expositiva interrogativa (evolución del lectio, comentatio disputatio) hay que hacerles pensar como profesionales con la información que les damos

Aprendizaje activo ejercicios y estudio previo, reorientación de presentaciones y retroinformación colectiva

Estudio previo y retroinformación Just in time teaching reorientación de explicación a lo que no se entiende . Aumenta atención. FAQ

Partic

ipac

ión, implic

ación ap

rendiza

je, d

esar

rollo

de c

ompeten

cias

PEPEOLA Preparación y Estudio Previo con Evaluación On-Line Automática

Peer teaching alumnos como recursos, ayudantes del profesor

Team based learning

Estudio previo, tema empieza con un

examen, finaliza con trabajo en equipo

Cómo implementar los distintos métodos

Dictatio no tenemos que cambiar nada

Clase expositiva interrogativa planificar preguntas y casos para intercalar en las explicaciones y dar lugar a diálogo

introducir ejercicios y reflexión, estudio previo, retroinformación colectiva

Just in time teaching aplicación creación gestion y análisis de formularios Survey monkey y google docs . Estudio previo y retroinformación se explica lo que no se entiende

Partic

ipac

ión, implic

ación ap

rendiza

je, d

esar

rollo

de c

ompeten

cias

PEPEOLA Poner preguntas en plataforma

Peer teaching Crear preguntas que pongan de relieve concepciones erróneas

clickers

Team based learning PEPEOLA en aula

info lectores OMR

Servicio correcciónScracth

Com

od

idad

para

el a

lum

no y e

l pro

feso

r

Compartir vuestros resultados de aprendizaje

¿Qué hemos aprendido hoy?

Consejos para el futuro

Escoge un objetivo de aprendizaje

Diseña una prueba que lo evalúe

Diseña actividades apara aprenderlo

ejercitarlo

Rediseña tu prueba de evaluación, rediseña

tus actividades de enseñanza aprendizaje

¿Aportan nuestras asignaturas experiencias de aprendizaje de calidad a nuestros alumnos?

¿Obtienen aprendizajes que permanecerán y usarán en el futuro?

¿Obtienen aprendizajes valiosos para sus perfiles profesionales?

¿Obtienen aprendizajes que les hacen cambiar y madurar? ¿les ayudan a

desarrollarse como personas y profesionales?

¿Obtienen aprendizajes novedosos pero que se apoyan en el nivel de base

que tienen?

No podremos responder a esta cuestión hasta que conozcamos las

respuestas de nuestros alumnos. Deberíamos preguntárselo a ellos.

Hagámoslo.

Debemos aprender a crear experiencias de aprendizaje significativo

para ellos , no basta con planificar temas y clases.

Batería de preguntas para la reflexión metacognitiva

146

5) Reflexión sobre el aprendizaje en la

asignatura

¿Qué cosas importantes has aprendido en esta

asignatura?

Incluye: conocimientos que has adquirido,

competencias (Aprender a hacer cosas) y

visiones (nuevas formas de ver y pensar las

cosas) que has desarrollado.

 ¿De los aprendizajes que has adquirido en

esta asignatura cuáles piensas que te serán

más útiles en tu futuro profesional?

 ¿Qué aspectos de la asignatura han sido más

novedosos para ti?

 ¿Qué aspectos de la asignatura te han gustado

más?

¿Qué te ha parecido el sistema empleado

de enviaros los materiales antes de

empezar a explicarlos para que los leáis y

respondáis a preguntas?

¿Notabas que te era más fácil entender un

tema cuando lo habías estudiado antes?

 ¿Te has sentido más responsable de tu

propio aprendizaje en esta asignatura?

¿Te has sentido más motivado a trabajar en

ella que en otras asignaturas de este curso?

¿Por qué?

 ¿De lo que han hecho los profesores que es lo

que más te ha ayudado a aprender?

¿Qué has aprendido de las actividades

formativas y ejercicios que has realizado?

¿Qué actividades formativas te han gustado

más? ¿Por qué?

¿Qué has echado en falta?

  ¿Cómo mejorarías la asignatura?

¿Algún otro comentario que quieras hacer

(puedes usar también la cara de atrás)?

 

DEPENDIENDO DE CÓMO SE HAGA LA

EVALUACIÓN CONTINUA

PUEDE MEJORAR EL NIVEL DE

APRENDIZAJE PRETENDIDO O EMPEORARLO

147

Estudios de caso en evaluación continua

alineada y desalineada

En general la evaluación continua suele mejorar los resultados de calificación

Cuando se cambia de evaluación final a evaluación

continua los estudiantes aprueban más y sacan

mejores notas.

¿Es esta una prueba valida de la bondad del método?

¿No será que estamos disminuyendo la dificultad

más que mejorar el resultado del aprendizaje?

Hay una metodología para responder a esta pregunta

148

Estudiamos la evolución de los resultados de distintas promociones

149

Manteniendo una serie de preguntas con

índice de dificultad conocido en los exámenes.

Voy a presentar dos casos: uno con muy buenos

resultados (lo que hay que hacer ) y el otro con

muy malos resultados (lo que no hay que repetir).

Una lección: El efecto de la EC depende de cómo

se haga esta.

Caso 1. EC que no mejora los resultados sino que los empeora (se dice el pecado pero no el pecador)

Experiencia piloto de los nuevos grados incorporan evaluación continua pero mantienen

los tests de conocimiento que empleaban en licenciatura.

Profesores y alumnos trabajan más en actividades no alineadas con los tests de evaluación.

Los resultados tests van bajando en años sucesivos. ¿Nos sorprende?

¿Por qué no debería sorprender nos a profesores capaces de ponernos en el lugar del

alumno?

1. Porque el que va a aprobar gracias a los puntos de evaluación continua puede dormirse

en los laureles, ya no necesita estudiar tanto como antes para sacar los puntos que le

faltan en el test.

2. La evaluación continua no esta alineada con los aprendizajes evaluados en la evaluación

final

¿Conclusión?

No están aprovechando el potencial de la evaluación continua para que mejoren los

resultados de aprendizaje pretendidos. Los alumnos trabajan más y no mejoran los

resultados

150

Caso 2. EC que contribuye a mejorar los resultados de la EF

(los cracks de Inmunología de la UAH)

Tras una serie de años endureciendo las pruebas de evaluación.

Aumentando el porcentaje de preguntas discriminativas nos dimos

cuenta de que el porcentaje de suspensos aumentaba. Nuestro

progresivo incremento en exigencia no era equilibrado por nuestra

mejora en apoyo. Nos estábamos convirtiendo en una de las asignaturas

huesos de la licenciatura en biología.

Tras aumentar nuestro nivel de exigencia debíamos aumentar el

entrenamiento para pruebas tan exigentes.

Decidimos incorporar una evaluación continua que prepara para

evaluación certificativa test con preguntas que vamos retirando de

los “exámenes finales” y las incorporamos a exámenes formativos.

También preguntas de casos.

151

Resultados obtenidos152

Resultados de los tests “finales” mejoran con la

realización de tests al final de los módulos y

espectacularmente cuando se añaden pre-tests al

principio de los módulos temáticos.

Claves del éxito: menos valor (no se aprueba sólo con

los puntos de la continua) pero más alineamiento de

evaluación continua con evaluación final

Hay que alinear bien y no pasarse con el valor.

2007/08 2008/09 2009/100

20

40

60

80

100

120

matrículasobresalientenotableaprobadosuspensono pre-sentado

Mejora de resultados incorporando evaluaciónformativa (convocatoria ordinaria junio)

Sólo final test post test pre

Test post redujo el porcentaje de suspensos en 2008/09 y aumento el porcentaje de alumnos con calificaciones de notable o superior.Test pre aumentó en 2009/2010 el porcentaje de notables y sobresalientesEvaluación continua alineada con la final y no permite dormirse en los laureles

Porc

en

taje

de a

lum

nos

(Ju

nio

)

153

Incremento en calificación de pruebas finales

Incremento calificación media

con respecto a 2007/08

Casos y peguntas de desarrollo

2008/09 27,0%

2009 /10 38,12%

2010/11 40,23%

Prueba MCQ

2008/09 12,5 %

2009 /10 23,36%

2010/11 25,06%

Nosotros ya hacíamos evaluación continua y AAD con ABP

Pero lo que puntuaba una parte (preparación de presentaciones orales) y otra

(casos y tests en exámenes) no estaba alineado

El cambio fue introducir actividades de evaluación formativa alineadas con las

pruebas de evaluación final. El resultado fue una mejora espectacular.

2007/08 2008/09 2009/10 2010/110

5

10

15

20

25

30

35

40

45

casosMCQ

154

Alternativas con preguntas MCQ de exámenes certificativos

1. Darlas “quemarlas” y hacer otros.

Ventaja banco creciente de preguntas

Inconveniente hay que hacerlas nuevas y desconoceremos su

dificultad y su capacidad de discriminación al elaborar la prueba

sólo la conoceremos después pero al darlas la habrán perdido.

Así no hay manera de hacer preguntas de calidad para la

evaluación certificativa.

2. Mantenerlas secretas, estudiar su dificultad y su

poder discriminativo

Sacamos algunas para evaluación continua y formativa

155

156

¿Cómo realizar el análisis y el proceso de mejora de calidad

de la prueba?

157

¿Cómo realizar el análisis y el proceso de mejora de calidad de la prueba?

1. Matriz de respuestas y calificaciones programa de corrección de tests

alumnos en filas x preguntas en columnas2. Se ordena la matriz Ranking por calificación global en la prueba3. Se hace una matriz de aciertos por comparación con la fila plantilla

=SI('RANK respuestas'!D126='RANK respuestas'!D$151;1;0)4. Se crean grupos de alumnos en función de su calificación primer

cuartil – cuarto cuartil

5. Se hallan las proporciones de acierto de alumnos de distintos

cuartiles.

6. Con índices se comparan las proporciones de acierto en distintos

grupos

7. Podemos seleccionar las preguntas mas discriminativas. Esto nos

permite diseñar una prueba de alto poder discriminativo: un test corto

de 25-50 preguntas y preguntas, casos y ejercicios (cuya capacidad

para discriminar también podemos estudiar).

8. Así podemos combinar lo mejor de ambos tipos de exámenes.

158

Los valores de los Índices permiten comparar, clasificar y mejorar preguntas

Más discriminativas diferencian más entre los que saben y los que no

(mantener)

Las que diferencian ente los mejores y el resto

Las que diferencian entre los que saben algo y los que no tienen ni idea

Menos discriminativas (corregir o eliminar)

Demasiado fáciles los que no estudian las aciertan. Hay que dificultarlas o a EC

Demasiado difíciles las fallan hasta los más estudiosos. Hay que facilitarlas o

eliminarlas

Tienen algún fallo o ambigüedad. Hay que corregirlas

=SI('RANK respuestas'!D126='RANK respuestas'!D$151;1;0)

¿Qué necesitamos?159

1.Un lector de exámenes (1989) o un servicio

universitario de corrección de exámenes que

nos facilite la tarea

2.Un programa de corrección de exámenes y

alguien que nos explique como usar el software.

3.Una hoja de cálculo de excel.

4.Para preguntas MCQ la fórmula para convertir

aciertos en (1) y los fallos en (0)

=SI('RANK respuestas'!D126='RANK respuestas'!D$151;1;0)

160

Gestión de la información generada por un sistema de evaluación multivariante

1. Las TICs nos facilitan mucho esta labor:

1. Plataformas de aprendizaje que permiten

1. la realización de foros on line para el trabajo de equipo

2. portafolios electrónicos,

3. Programas para la realización, autocorrección y autocalificación de

tests,

2. Surveymonkey, google docs

3. Lectores que califican tests automáticamente, sistemas de

respuesta a distancia clickers Educlick.

4. Hojas de datos que nos permiten

1. Procesar toda esta información numérica e integrarla en una calificación

final para cada alumno.

2. Estudiar la calidad de nuestras pruebas para discriminar distintos niveles de

aprendizaje.

2. Los profesores debemos aprender a explotar estas herramientas

Recursos sobre como hacer preguntas de test (MCQ)

Manual para la elaboración ce preguntas

http://www.nbme.org/Publications/index.html)

Ventajas e inconvenientes de distintos

métodos de evaluación por medio de pruebas

escritas.

161

Preguntas de test cómo herramienta para fomentar comportamientos éticos

Raíz

En relación a XXXXXX es cierto que:

A afirmación 1

B afirmación 2

C A y B son ciertas

D A y B son falsas

E No tengo certeza de cuál es la

correcta, debería buscar

información y estudiarla para

responder.

 

162

Raíz

Viñeta clínica:

¿Qué habría que hacer?

A distractor 1

B distractor 2

C respuesta correcta

D distractor 3

E No tengo certeza de cuál es la

correcta, debería buscar información

y estudiarla para responder.

 

Ventajas didácticas y logísticas

• Al haber una opción para abstenerse E (que no penaliza) evitamos tener que revisar manualmente si en corrector lee bien las preguntas en blanco pues sólo habría preguntas en blanco cuando el lector no lee bien u ocasionalmente el alumno olvida responder a alguna.

• Además así el alumno tiene una opción ética  para contestar reconociendo que no sabe.

• Fomentamos con nuestro sistema de calificación que el alumno reconozca cuando no sabe y actué en consecuencia.

163

Cómo funciona el sistema de penalización en preguntas que combinan dos VF

164

• Errar resta medio punto que es la probabilidad que corresponde al que sabe una, duda otra y se arriesga entre V/F (0,5)

• Pero el truco está en que al que no sabe ni una ni otra le resta  0,5 que es más su probabilidad de acertar por azar (0,25)  

• Con este test los que no tienen ni ética, ni idea sacan puntuaciones negativas,

• Al combinar dos afirmaciones no hace falta rebuscar tanto estas afirmaciones para que la pregunta sea discriminativa (diferencie entre los que saben más y los que saben menos).

Penalización variable165

A correcta CD -0,25 B-0,50

B correcta CD-0,25 A-0,50

C correcta AB-0,25 D-0,50

D correcta AB-0,25 C-0,50

Cómo funciona el sistema de penalización en preguntas con tres distractores

166

• Errar resta medio punto que es la probabilidad que corresponde al que duda entre la correcta y un distractor y se arriesga (0,5)

• Pero el truco está en que al que duda entre 3 ó 4 le resta  0,5 que es más que su probabilidad de acertar por azar si duda entre tres (0,33) o entre cuatro (0,25)  

• Con este test los que no tienen ni ética, ni idea sacan puntuaciones negativas,

• Al penalizar más a los más ignorantes se aumenta la capacidad de discriminación de la pregunta.

Nuestro modelo de evaluación continua

Concepto Valor Evaluación Continua 1

Evaluación Continua 2

Evaluación “al Final”

ABP (seminarios)

25% Tutorías 5% (individual)

Presentación ppt 10% (grupal)

Presentación oral10% (individual)

Teoría (clase grande)

50% Primer módulo E formativa pre2,5% E sumativa post 7,5%

Segundo módulo E formativa pre 2,5% E sumativa Post 7,5%

Examen “finalito” 30%15 tests15 casos

Prácticas (laboratorios)

25% 5% 5% Examen prácticas 15%

Total 100% 20% 25% 55% (repartido)Examen final en convocatoria ordinaria 100 % sólo para alumnos que no

optaron a evaluación continua

167

Aprendizajes del ABP Valor Novedad Dificultad de la tarea

Disfrute de la tarea

Desarrollo de la competencia

Presentation oral (PO) Muy Alto Muy Alto Alto Muy Alto Alto

Preparación de la PO Muy Alto Alto Alto/ Suficiente

Alto Alto

Comprensión de artículos originales de investigación

Alto Muy Alto Alto Suficiente Alto

Trabajar con bibliografía en Inglés

Alto Alto Alto Bajo Suficiente

Buscar información en Internet

Alto Suficiente Suficiente/Bajo

Alto Alto

Acquisición independente de conocimiento

Alto Suficiente Suficiente Alto Alto

Trabajo en equipo Alto Suficiente Suficiente Muy Alto Alto

Aprender a aprender con autonomía

Alto Suficiente Suficiente Alto Alto

Resolución de dudas en tutorías

Alto Suficiente Suficiente Alto Alto

Uso de TICs y softwares Alto Bajo Bajo Alto Alto168

¿Puedo mantener el nivel de exigencia utilizando evaluación continua?

Abogado del diablo ¿No estaremos aprobando a alumnos con

un nivel de aprendizaje mediocre?

Si el profesor no controla adecuadamente su sistema de

evaluación esto puede ocurrir.

Si queremos evitar que ocurra esto debemos regular nuestra

exigencia en la evaluación continua y controlar el nivel

de exigencia y dificultad de tus pruebas de evaluación

final.

Estudios de dificultad de preguntas y de su poder

discriminativo. Sistema de análisis en Excel.

169

¿Cómo mejorar la evaluación continua?

Centrarla en competencias escogidas (ejercicio 11) y

alrededor de conceptos fundamentales de nuestra

asignatura (ejercicio 6).

¿Cómo hacerla factible?

Decidir en qué ocasiones hacerla (frecuencia) y cómo gestionar control

(automático), calificación (sorteo) y feedback (colectivo).

¿Cómo vamos a explotar la información que genera nuestra evaluación?

Para mejorar aprendizaje retroinformación colectiva del profesor al alumno

Para mejorar enseñanza planificación de obtención de retroinformación

desde el Alumno al Profesor

170

Criterios de calidad de la evaluación continua

Validez ¿Qué evalúa? ¿Es la evidencia suficiente para

inferir los aprendizajes deseados?

Fiabilidad ¿Con qué reproducibilidad?

Marketing ¿Perciben los alumnos que desarrollan

competencias y aprendizajes valiosos?

Poder informativo ¿Qué información sacamos de la

EC?¿proporcionamos retroinformación a los alumnos?

¿obtenemos información útil para replantear y

mejorar nuestra enseñanza?

171

Poder informativo de la EC

¿Qué información genera sobre aprendizajes

de calidad?

¿Qué información genera sobre lo que nuestros alumnos

no aprenden y las dificultades que tienen?

¿Cómo se aprovecha esta información para

retroinformar al alumno?

¿Cómo se aprovecha esta información para mejorar el

proceso de enseñanza-aprendizaje?

172

Competencias para la evaluación a desarrollar por el profesor

1. Seleccionar resultados de aprendizaje que permitan la

evaluación competencias.

2. Escoger métodos para premiar la realización de actividades

formativas.

3. Diseño de pruebas de evaluación de utilización de conocimiento

de alto nivel.

4. Aprender a utilizar la evaluación on line automática para

estimular el estudio previo.

5. Evaluación formativa y auténtica

6. Aprender a elaborar rúbricas

173

174

COMPETENCIAS y resultados del aprendizaje Herramientas de evaluación

Competencia nº 1: Saber específico: Conocimientos de inmunología

- Definir, comparar y aplicar conceptos inmunológicos relativos a moléculas, células, tejidos y procesos del sistema inmune.- Explicar los mecanismos y procesos de regulación en la respuesta inmune normal y patológica. -Explicar el fundamento, operación y rango de aplicación de los métodos inmunodiagnósticos e inmunoterapéuticos.-Interpretar resultados experimentales de técnicas inmunológicas

Enumera similitudes y diferencias entre …

Analiza las diferencias entre respuestas inmunes primarias y secundarias

¿Qué métodos utilizarías para . . .

Interpreta los resultados experimentales mostrados en esta gráfica

Competencia nº 2:Saber hacer específico Proceso de información en inmunología).

-Buscar bibliografía de información inmunológica con herramientas electrónicas en un entorno on line. -Leer, comprender y analizar la literatura primaria en inmunología (artículos originales y revisiones).-Entender diseños experimentales y diseñar experimentos en inmunología-Comunicar información científica oralmente, por escrito y usando recursos on line.-Aplicar principios, elementos y tecnologías inmunológicas a la investigación biológica.

¿Han sido capaces de resolver autónomamente sus dudas?¿Han entendido el artículo?¿Han localizado los métodos que deben usar en prácticas?¿Han entendido los diseños experimentales del artículo?¿Han diseñado bien sus experimentos de prácticas?Su presentación merece un …Su informe merece un …¿Han elegido métodos apropiados a los fines propuestos?

175

COMPETENCIAS y resultados del aprendizaje Herramientas de evaluación

Competencia nº 3:Transversal instrumental

Resolución de problemasLengua extranjera inglés.- Uso de TICs en biología.-Comunicar información científica oralmente,

por escrito y por canales on line.

Han comprendido el articulo original en ingles y la bibliografia complementaria

Han explotado las posibilidades de Internet, Power Point, y Acrobat Reader

Han realizado una presentación comprensible y amena

Han realizado un buen informe del trabajo estudiado

Competencia nº 4: Trabajo en equipo

Trabajar en grupos cooperativos asumiendo las responsabilidades que se les han asignado

Los productos de su trabajo en equipo merecen un . . .

Evaluación por compañeros

Competencia nº 5: Transversal sistémica Aprendizaje autónomo:

-Desarrollar hábitos para el autoestudio y el aprendizaje activo autodirigido e independiente.

Han encontrado recursos en Internet para la resolución de problemas y ejercicios

Han documentado correctamente sus trabajosHan resuelto los problemas sin necesidad de

ayuda

Competencia nº 6: Transversal sistémica Pensamiento crítico y creativo

Formular hipótesis y diseños experimentales para ponerlas a prueba

Interpretar resultados experimentales Formular conclusiones y argumentos

científicos basados en datos experimentales.

Juzgar trabajos científicos

Han realizado un buen análisis crítico del trabajo estudiado

Son capaces de interpretar datos y deducir conclusiones

Son capaces de argumentar científicamenteSu juicio del artículo es incisivo y

fundamentado

Competencia nº 7: Actitudinal:

- Desarrollar confianza en la capacidad para resolver problemas inmunológicos.

- Desarrollar interés por la investigación clínica como actividad profesional.

Autoevaluación declaran haber desarrollado confianza en sus posibilidades

Han mostrado su interés participando en clase y actividades voluntarias

176

Mitos en evaluación 177

No hay un método mejor (objetivo y estandarizado) para evaluar

todo, depende de lo que queramos evaluar y del contexto

Lo mejor suele ser una combinación de métodos con muestreo suficiente

(fiabilidad)

No sólo son auténticos ciertos métodos. Lo mejor es que las

pruebas evalúen auténticamente lo que queremos evaluar (validez)

La evaluación es un asunto de psicometría en el que todo

esta inventado.

Lo mejor es que la evaluación tenga impacto educativo ayude a aprender

Este integrada en las actividades de enseñanza aprendizaje evaluamos lo que

hacemos

178

Caso clínico179

Varón de 52 años no fumador lleva tres días

con febrícula y tosiendo, produce esputo

verde .

Su presión sanguínea, pulso y ritmo

respiratorio son normales

La exploración de ruidos pulmonares es

normal

Eres su médico de cabecera ¿Qué harías?

180

A. Pedir una radiografía de torax para

descartar la neumonia

B. Prescribir un antibiotico

C. Prescribir un antiinflamtorio corticoide

D. Recomendar Pelargonim sidoides, un

remedio de herbario muy popular.

¿Qué harían la mayoría de los médicos?

181

Que nos dice la evidencia182

La radiofgrafia mno es necesaria pero al

paciente puede hacerle ilucsión

El antibiotico no no ayudará

Antitussivos no están bien estudiados pero se

prescriben