Elaboración de documentos para recoger la observación y la

autoevaluación

CEP de Málaga (Noviembre 2007)

Mª Elvira Barrios

Curso: Diseño y seguimiento de Planes y Programas educativos

La evaluación de P en la normativa

¿Qué es la evaluación?

¿Por qué y para qué

evaluamos?¿Qué

evaluamos?

¿Cuándo evaluamos?

¿Cómo evaluamos?¿Quién evalúa?

¿Qué hacemos con la info obtenida?

La (auto)evaluación en Planes y Programas

¿Qué es la evaluación?

Estudio sistemático del mérito o el valor de un plan, proyecto, intervención, innovación, procedimiento…

con un propósito determinado…

ligado a la acción…

que informa la toma de decisiones.

¿Por qué y para qué evaluamos?

para contribuir a la mejora del proyecto para identificar los puntos fuertes y débiles para conocer consecuencias no anticipadas para rendir cuentas para comunicar/difundir la experiencia y los logros porque nuestra profesión exige reflexión porque necesitamos información que apoye una intervención futura para involucrarnos en una dinámica de diseño e implementación de proyectos de mejora para determinar si hemos rentabilizado el esfuerzo para cumplir un requisito administrativo

¿Cuándo evaluamos?

Evaluación

Formativa Sumativa

Implementación Progreso

Concepción del proyecto

Conclusión del proyecto

valora si el P se están

desarrollando conforme a lo previsto

valora el progreso en la consecución de

los objetivos

aporta info sobre resultados, logros, es

decir, sobre el Impacto del P

Propósito (generalmente)

diagnóstico

Propósito de

enjuiciamiento

Consejo:

Elabora el plan de evaluación al mismo tiempo que la propuesta de P

• permite obtener información de contraste• facilita ‘centrar’ y concretar el proyecto • permite explicitar en el P intervenciones e

indicadores observables

¿Cuándo evaluamos?

No se puede evaluar todo lo que se ve afectado por un proyecto

Es preciso seleccionar qué se va a evaluar ¿De qué depende el qué (y el cómo) se evalúa?

del propósito de la evaluación de la envergadura del proyecto de los deseos de continuidad del proyecto del tiempo disponible de los recursos disponibles de la competencia de los/as evaluadores/as

¿Qué evaluamos?

Consejos:

Prioriza y distingue entre • lo que es necesario saber• lo que ‘estaría bien’ saber

Mantén la evaluación en unas dimensiones manejables

¿Qué evaluamos?

Procedimiento posible

Opciones:

Identifica resultados/logros/objetivos deseados o previstos

Identifica las características cruciales o clave del P

Elabora las preguntas que quieres que la

evaluación responda

Establece las actividades o intervenciones orientadas a obtener un resultado o logro / relacionadas con aspectos clave

Identifica indicadores (evidencia observable de logros, cambios, progreso…)

Decide el procedimiento de obtención de datos

¿La participación y/o implicación del

alumnado/profesorado/ padres/madres?

¿Los cambios o evoluciones de

actitudes?

¿La metodología puesta en marcha?

¿La coordinación entre el

profesorado ?

¿El destino del presupuesto?

¿El grado de desarrollo de

procedimientos?

¿El aprendizaje propiciado?

¿Los cambios organizativos

implementados?

¿Los recursos empleados / adquiridos y si se emplean como

se preveía?

?

¿Qué evaluamos?

Procedimiento posible

Opciones:

Identifica resultados/logros/objetivos deseados o previstos

Identifica las características cruciales o clave del P

Elabora las preguntas que quieres que la

evaluación responda

¿En qué medida están satisfechos/as los

implicados/as en el P?

¿Cómo se podrían modificar las

intervenciones para que resultaran más

efectivas ?

¿Qué se puede

aprender de la manera en que

se está desarrollando

el P?

¿Se están realizando las intervenciones o las actividades

conforme a lo previsto?

?

Preguntas de la evaluación relacionadas con el proceso

¿Cuáles han sido los efectos del P en el

Centro?

¿Ha satisfecho el P las necesidades o

carencias, etc. que el P se planteaba

satisfacer o afrontar?

¿Se han producido e identificado efectos no previstos? ¿Cuáles?

¿Han experimentado los participantes cambios/evolución

en destrezas, conocimientos, actitudes, etc.? ¿En qué medida?

?

Preguntas de la evaluación relacionadas con logros/impacto

¿Qué se podía haber hecho de manera distinta para realizar el

proyecto de manera más

efectiva?

Proceso

Opciones:

Identifica resultados/logros/objetivos deseados o previstos

Identifica las características cruciales o clave del P

Elabora las preguntas que quieres que la

evaluación responda

Establece las actividades o intervenciones orientadas a obtener un resultado o logro / relacionadas con aspectos clave

Identifica indicadores (evidencia observable de logros, cambios, progreso…)

Decide el procedimiento de obtención de datos

¿Cómo evaluamos?

Fuentes de datos (y métodos de recogida)

Documentos / Registros

Autoinformes

(encuestas y entrevistas)

Observaciones (dentro y fuera de

clase)

No son mutuamente excluyentes

Una combinación de métodos incrementa la credibilidad y validez de los datos

¿De qué depende cuál(es) elegir?

- propósito de la evaluación

- condiciones prácticas (recursos, tiempo, capacitación…)

¿Cómo evaluamos? Documentos / registros

Tipos:

De ‘uso corriente’

(trabajos realizados por el alumnado, boletines de calificaciones, exámenes, cartas a padres/madres, circulares internas, actas de reuniones, borradores del proyecto inicial…)

Elaborados para los fines de la evaluación (¡o el P!)

De elaboración para los fines del P:

fáciles y rápidos de cumplimentar

(a ser posible) que sean útiles

el propósito y características (formato, fechas límites, cantidad, etc.) han de ser negociados por los participantes implicados

¿Cómo evaluamos? Documentos / registros

VENTAJAS

• No suponen carga de trabajo adicional (los de ‘uso corriente’)

• Se perciben como objetivos y creíbles

• Documentan los acontecimientos en el momento de ocurrir

INCONVENIENTES

• Pueden ser una carga (si se han de elaborar específicamente para la evaluación (¡o el P!)

• El análisis y la extracción de información relevante pueden ser lentos

¿Cómo evaluamos? Documentos / registros

Permiten conocer las experiencias,

impresiones, opiniones, etc. de los implicados en el P

Adoptan 2 formatos

Pueden realizarse periódicamente o al concluir el P.

¿Cómo evaluamos? Autoinformes

encuesta

entrevistaAporta

credibilidad

Elabora las preguntas / ítems en grupo Asegúrate de que el modo de preguntar no dirige ni

sugiere una respuesta Presta mucha atención a la formulación de las

preguntas: el lenguaje ha de ser apropiado a los destinatarios (encuestas) incluye una opción que permita reconocer que no se tiene opinión, que ninguna de las respuestas especificadas es adecuada, que no se sabe… evita que en el mismo ítem o pregunta cuestione sobre 2 aspectos diferentes

¿Cómo evaluamos? Autoinformes: Elaboración de preguntas / ítems

Somete a prueba las preguntas / los ítems Considera la recogida de datos demográficos Presta una atención especial al aspecto del cuestionario Elige un título significativo Proporciona información (sobre el P., sobre cómo

responder, sobre el uso de la información, sobre la confidencialidad de los datos…)

Sé breve Si la encuesta es larga, divídela en apartados –y

emplea título/subtítulos para indicar el tema de grupos de preguntas.

¿Cómo evaluamos? Autoinformes: Elaboración de preguntas / ítems

¿Cómo evaluamos? Autoinformes: Encuestas

cerrados

los informantes se

pronuncian eligiendo entre

una respuesta de las

especificadas

prácticos: rapidez y facilidad

para procesar y comunicar la

info

abiertos

se solicita a los informantes que escriban la respuesta de manera ‘libre’

poco prácticos: requieren mucho tiempo para el análisis

Formatos de ítems: cerrados y abiertos

¿Cómo evaluamos? Autoinformes: Encuestas

Solución de compromiso: la encuesta se elabora a base de ítems cerrados a los que se añade(n) algún(os) ítem(s) abierto(s)

los informantes aportan información que puede ser importante y que no se ha anticipado

es una manera de reconocer la importancia de las perspectivas de los informantes

Considera…

modos de ‘aligerar’ la carga que supone el procesamiento de la información (ayudantes, alumnado, trabajo de clase o asignatura…) la posibilidad de elaborar encuestas alojadas en plataformas educativas (p. ej., Moodle) el anonimato emplear iconos como respuestas (niños/as) modos de incrementar la ‘tasa de retorno’ (si por correo) envía sobres franqueados y dirigidos establecer una fecha límite

¿Cómo evaluamos? Autoinformes: Encuestas

VENTAJAS• Eficiencia (tiempo de obtención y análisis, nº de informantes…)

• Pueden proporcionar info relativa a una variedad de asuntos

• Pueden ser respondidas anónimamente

• Permiten responder con tiempo

• Se pueden cumplimentar a distancia (Internet, correo ordinario…)

• Uniformidad en la formulación de las preguntas/los ítems

INCONVENIENTES• Carecen de la flexibilidad de la entrevistas

• La info que se obtiene puede ser más precisa en una entrevista

• En ocasiones es difícil lograr la participación cuando ésta es voluntaria

¿Cómo evaluamos? Autoinformes: Encuestas

Las preguntas suelen estar predeterminadas y ordenadas (protocolo de entrevista)

El/La entrevistador/-a puede elaborar preguntas al hilo de respuestas, solicitar más información, etc.

Normalmente se realiza un registro –escrito, en audio…

¿Cómo evaluamos? Autoinformes: Entrevistas

VENTAJAS• Puede ser utilizada para obtener info de personas que tienen dificultades de lectura

• Permite flexibilidad

• Permite aclararación

• Se puede realizar en grupo

INCONVENIENTES• Requiere (mucho) tiempo

• Es difícil asegurar la uniformidad

¿Cómo evaluamos? Autoinformes: Entrevista

Elabora y haz llegar al/a la informante con antelación una introducción explicativa (propósitos de la entrevista, uso de la información, confidencialidad…)

Ordena las preguntas en un orden lógico (de las más generales a las más específicas, agrupadas por temas…)

Procura ser breve

Prueba la entrevista (a ser posible, en formato de entrevista, con personas de características similares a las de los/as informantes)• Si alguna pregunta se interpreta consistentemente de forma no esperada, reformúlala (o elimínala)

¿Cómo evaluamos? Autoinformes_Entrevistas: Consejos

Representa la fuente más creíble y válida de información sobre la implementación de un P

“There is no substitute for direct observation as a way of finding out about language classrooms”

(Nunan, 1989)

Observación informal (vs Observación formal) aporta un conocimiento intuitivo y útil; pero no aporta información sistemática ni rigurosa como para ser incorporada como datos de evaluación

¿Cómo evaluamos? Observación

La observación (formal) requiere:

una cuidada planificación (cierto) entrenamiento del observador/-a registro

¿Cómo evaluamos? Observación

¿Qué

…puede aportar?Consciencia de la actuación en clase

Mejora de la práctica docente

… requiere?Interés genuino por averiguar/entender

Coraje

… es inevitable?

Mejora de mi práctica docente

Ansiedad

¿Cómo evaluamos? Los 3 qués de la observación

¿Qué (más) podría conocer (mejor) sobre el P a través de la observación?

¿Son claras las explicaciones y las instrucciones a las

actividades?

¿Habla el profesorado demasiado en clase?

¿Se imprime un ‘ritmo’ demasiado

acelerado?

¿Qué tipos de actividades se

realizan?

¿En qué formato(s) se presenta la

información al alumnado? ¿Cómo reacciona

el alumnado a las intervenciones

del P?

¿Se utiliza lenguaje sexista?

¿Qué tipo de preguntas se formulan? ¿A

quién? ¿Cómo se formulan?

¿Se estimula en el alumnado una variedad de procedimientos de

aprendizaje adecuados?

¿Quién participa?

DURANTE

ANTES DESPUÉS

Observación

¿Qué comprende la observación?

¿Qué se hace …

… antes?

Elaborar un listado de características clave del P

Identificar escenarios de episodios típicos del programa

Seleccionar el método de observación

Preparar un plan de muestreo para llevar a cabo las observaciones

Diseñar las hojas o formatos de observación

Familiarizarse con las hojas y el método de observación

¿Qué se hace …?

… durante?

Consideración de los observadores:

• Invitados

• No participantes

• No evaluadores

• Narradores críticos constructivos

registro

Posible aplicación a la observación entre compañeros y a la autoobservación

‘Requisitos mínimos’:

Observación entre compañeros•Negociación •Confianza mutua•Confidencialidad

Autoobservación•Moral alta

Posible aplicación a la observación entre compañeros y a la autoobservación

Materiales: Formatos/Hojas de observación

– Centran la atención – Delimitan ‘áreas posibles’ de mejora– Nos ayudan a comunicarnos en un lenguaje

profesional común y a interpretar la información

Ejemplos:

Se emplean para registrar la presencia, ausencia o frecuencia de conductas conforme ocurren

También pueden emplearse para registrar la duración de una actividad

Cuándo utilizarlos: cuando se pueden precisar los materiales, las situaciones, la actividad, etc. que evaluaciones de escasa envergadura cuando las características críticas del P consisten mayoritariamente en materiales o actuaciones observables se dispone de escaso tiempo

Consejo (si no se hace grabación) Limita el nº de conductas a observar a 10-12

¿Cómo evaluamos? Observación: Métodos: Listados o Listas (de control)

Ejemplos:

Plantean un marco o estructura de observación en el que se incluye información relevante sobre el foco de observación

Se emplean para registrar la presencia, ausencia, frecuencia y modalidad de conductas, reacciones, etc. conforme ocurren

También pueden emplearse para registrar la duración de una actividad

Cuándo utilizarlos: cuando NO se pueden precisar los materiales, las situaciones, la actividad, etc.

¿Cómo evaluamos? Observación: Métodos:

Formatos estructurados ‘abiertos’

Ejemplos:

Plantean una listado de competencias referidas a la profesora o al profesor y se valora el grado en que se manifiestan dichas competencias

Cuándo utilizarlos: cuando el foco de la observación se centra en competencias profesionales del/de la docente

¿Cómo evaluamos? Observación: Métodos:

Formatos de ‘grado de competencias’

¿Qué es la evaluación?

¿Por qué y para qué

evaluamos?¿Qué

evaluamos?

¿Cuándo evaluamos?

¿Cómo evaluamos?¿Quién evalúa?

¿Qué hacemos con la info obtenida?

La (auto)evaluación en Planes y Programas

¡Gracias!

mebarrios@uma.esM.E.Barrios65@gmail.com