Post on 04-Oct-2015
description
1
Tejada, ene-15
Jos Tejada Fernndez Grupo CIFO
UAB
Investigacin evaluativa
INVESTIGAR EN EDUCACI II: metodologa, instruments i estratgies
Curso 2014-2015
Tejada, ene-15
POLTICAS PBLICAS
despliegue
Decisiones Actividades Medidas
PLANES
PROGRAMAS
PROYECTOS
com
ple
jidad
+
-
Conceptualizacin
2
Tejada, ene-15
CONCEPTUALIZACIN
Evolucin del concepto
De metas contables a impactos sociales De eficiencia/eficacia a impacto
Definicin aceptada Coherencia de la intervencin Eficacia de la intervencin Eficiencia de la intervencin Impacto de la intervencin
Anlisis ex-ante del impacto de las intervenciones
Investigacin evaluativa
Tejada, ene-15
DEFINICIN
Entendemos por evaluacin de programas o proyectos sociales una actividad programada de reflexin sobre la accin, basada en
procedimientos sistemticos de recoleccin, anlisis e interpretacin
de informacin, con la finalidad de emitir juicios valorativos
fundamentados y comunicables sobre las actividades, resultados e
impactos de esos proyectos o programas, y formular recomendaciones
para tomar decisiones que permitan ajustar la accin presente y
mejorar la accin futura (Nirenberg, Braverman y Ruiz, 2000:32))
Evaluacin de programas
3
Tejada, ene-15
Evaluacin de programas
Planificacin/Desarrollo
y resultados Evaluacin
Definicin del programa (qu, por qu, para qu)
Diseo del programa)
Implementacin, desarrollo, gestin del programa
Resultados
Evaluacin del contexto Evaluacin de necesidades Evaluacin de la viabilidad
Evaluacin del diseo (calidad) Evaluacin de la evaluabilidad
Evaluacin implementacin Evaluacin cobertura, gestin Evaluacin proceso
Evaluacin producto Evaluacin impacto
Fuera de programa Eval. de los efectos de la evaluac Evaluacin de la evaluacin
Tejada, ene-15
Obtencin de
conclusiones y toma de
decisiones.
Valoracin de los resultado en
relacin con los objetivos y
necesidades: eficacia,
eficiencia, etc.
Equipo Evaluador DEL PRODUCTO
Ejecucin del programa. Anlisis del desarrollo del
programa: estrategias,
procedimientos, niveles de
ejecucin, coordinacin,
participacin comunitaria.
Profesionales y
participantes en el
programa
DEL PROCESO
Diseo y planificacin del
programa.
Anlisis de criterios
programticos, justificacin,
coherencia y pertinencia del
diseo.
Expertos y
profesionales en
programar y planificar
DEL DISEO
Diagnstico, planificacin
y toma de decisiones.
Estudio previo de la realidad:
problemas, necesidades,
recursos, conflictos, etc
Territorio y sociedad:
comunidad, grupos,
sujetos, etc.
DEL CONTEXTO
/NECESIDADES
MBITO DE
APLICACIN
TAREA REFERENTE TIPO DE
EVALUACIN
Evaluacin de programas
4
Tejada, ene-15
PROGRAMA
Funcionamiento normal de la
Institucin
Situacin de materializacin
de los efectos de la accin
formativa
Evaluacin
formativa
POST 2
POST 1
Funcionamiento de la
Institucin tras el
proceso de formacin
Mejora
conseguida
Situacin a la
finalizacin de la
accin formativa
Decisin de formacin Necesidades formacin Fijacin de objetivos Diseo de la accin Diseo de la evaluacin
Situacin previa a la
accin formativa
Evaluacin
diagnstica PRE
Evaluacin
de gestin y
de eficcia
Evaluacin de
efectividad
CAMPO
Autoevaluacin de
resultados. POST de la actividad
Auditoria POST
Autoevaluacin de la
situacin previa de la
actividad formativa.
Auditoria PRE
Esquema bsico de las implicaciones de la evaluacin de la formacin
Evaluacin de programas
Tejada, ene-15
Aspectos de la evaluacin de la formacin como proceso continuo
ANLISIS DEL CONTEXTO
NECESIDADES DE
FORMACIN
DISEO DEL CURSO
IMPARTICIN
DEL CURSO
APROVECHAMIENTO
DEL CURSO
APLICABILIDAD
DE LO ENSEADO
MEJORA DE LA
ORGANIZACIN
Cmo est la situacin?
cules son las necesidades formativas?
Cmo se traduce lo que se quiere
conseguir en objetivos de aprendizaje?
Cmo se han estructurado los
elementos formativos?
Cmo se ha desarrollado el
proceso de formacin?
Qu se ha conseguido con
la imparticin del curso?
Cmo se aplican en el escenario profesional
los nuevos aprendizajes?
Cmo se ha mejorado el
funcionamiento de la organizacin?
Evaluacin de programas
5
Tejada, ene-15
Propsitos y funciones
CONTROL
RENDIR CUENTAS
INTERS
CRECIMIENTO
CONFIANZA
PROFESIONALISMO
RESPONSABILIDAD
PODER Datos duros Sumativa Indicadores Standares Externa
Flexibilidad comprensin
Planeamiento Racionalidad
Evaluacin interna
Autoevaluacin
producto proceso
Finalidad PARA QU?
Tejada, ene-15
Informe de evaluacin
Toma de decisiones
Toma de decisiones a partir del
informe evaluativo
5.- Utilizacin de la
evaluacin
Recogida de informacin
Anlisis e interpretacin de la informacin
Ejecucin del proceso de evaluacin 4.- Ejecucin de la
evaluacin
Listado de los componentes bsicos
Eleccin de los ms relevantes
Anlisis crtico de la posibilidad de
analizarlos
Anlisis a priori de la credibilidad y
utilidad de la evaluacin a realizar
Reordenacin de la misma
2.- Valoracin de la
evaluabilidad
Definir la audiencia
Determinar el propsito
Identificar los aspectos relevantes
Identificacin y precisin de la
naturaleza de la evaluacin
1.- Formulacin de la
evaluacin
ACTIVIDADES QUE IMPLICA PROPSITO FASE
Eleccin del modelo
Determinacin de la metodologa
Elaboracin del diseo
Elaboracin del plan de evaluacin 3.- Planificacin de la
evaluacin
Eleccin de los criterios evaluativos
Anlisis y valoracin a partir de los criterios
Evaluacin de la evaluacin 6.- Metaevaluacin
El proceso de evaluacin de programas (a partir de Mateo, 1994)
Procedimientos y estrategias CMO?
6
Tejada, ene-15
Ideograma de flujo en evaluacin de programas (a partir de Jimnez, 1996)
TRABAJO INTERNO TRABAJO DE CAMPO
IDEA DEL PROYECTO
INFORME FINAL
PRESENTACIN
LTIMA PUESTA EN COMN
ANLISIS DE LA INFORMACIN
COMPROMISO
DOCUMENTACIN PRESENTACIN
DISEO
SISTEMATIZACIN ORGANIZACIN
ANLISIS DOCUMENTAL INSTRUMENTALIZACIN
AMPLIACIN Y CONTRASTACIN
RECOGIDA DE LA INFORMACIN
NEGOCIACIN
REF
LEX
IN
EN
EQ
UIP
O
Procedimientos y estrategias CMO?
Tejada, ene-15
Modelos Cuantitativos/Objetivistas/Conductistas:
Tyler, Cronbach, Alkin
Modelos de transicin Cuantitativa/Cualitativa: Stuffelbeam (CIPP), Scriven, Stake (Countenance)
Modelos Subjetivistas/Interpretativos: Stake (Respondente), Parlett y Hamilton (Iluminativa),
McDonald (Democrtica)
Modelos Sociocrticos: Modelos Cuasijudiciales: Owens y Wolf
Modelos Crtica Artstica: Eisner
Clasificacin de modelos generales segn paradigmas
Procedimientos y estrategias CMO?
7
Tejada, ene-15
Modelo integrador de Evaluacin de Programas (Tejada, 1991)
Contexto/input Proceso
ANTECEDENTES TRANSACCIONES RESULTADOS
Producto
EVALUACION
DIAGNSTICA
Contexto general
Necesidades
Contexto instructivo
Programa
Instrumentos
Medios y recursos, etc.
Motivacin,
Expectatives
Conocimientos
Destrezas,
Actitudes,
Autoconcepto,
Etc.
EVALUACIN INICIAL EVALUAC. CONTINUA EVALUACIN FINAL EVALUAC. DIFERIDA
EVALUACIN
DESTINATARIOS
EVALUACIN
PROGRAMAS
(REDISEO)
ADECUACIN PROGRAMA
(REDISEO)
ADECUACIN PROGRAMA
EVALUACION
FORMATIVA
Programa actual
Secuencia instructiva
Temporalizacin
Recursos, dinmica
Interaccin
Etc.
EVALUACION
SUMATIVA
Cambio en:
Conocimientos
Destrezas,
Actitudes,
Autoconcepto,
Etc.
Cambio en:
Conocimientos
Destrezas,
Actitudes,
Autoconcepto,
Etc.
Cambio en:
Conocimientos
Destrezas,
Actitudes,
Autoconcepto,
Etc.
Mrito
Valor
Impactos
Eficacia
Eficiencia
efectividad.
EVALUACIN
SUMATIVA
(REDISEO)
ADECUACIN PROGRAMA
Procedimientos y estrategias CMO?
Tejada, ene-15
Procedimientos y estrategias CMO?
EVALUACIN PROGRAMAS
CUANTIFICACIN INCLUSIVA
GLOBAL PARCIAL MIXTA
LOCALIZACIN ESPACIAL
INTERNA EXTERNA MIXTA
8
Tejada, ene-15
Evaluacin interna-evaluacin externa
EVALUACIN INTERNA EXTERNA
Conocimiento del currculum
Conocimiento del contexto
Experiencia tcnica
Implicacin afectiva
Evaluacin formativa
Evaluacin sumativa
+-
+
-
+
+
-
-+
-
+
-
-
+
Relevancia de las estrategias combinadas
Procedimientos y estrategias CMO?
Tejada, ene-15
Identificar usuarios y usos de la evaluacin
Evaluadores y fuentes de informacin QUIN?
quin?
USUARIOS USOS FORMATIVA
(Mejora)
SUMATIVA (Rendicin
cuentas)
PERSONAL INSTITUCIONAL
Directivos
Profesores/monitores
Personal de Apoyo
Alumnos
OTROS USUARIOS
Padres
Contribuyentes
Agencias acreditativas
Administracin Educativa
Centros
Empresas
x
x
x
x
x
x
x
x
x
x
x
x
x
x
9
Tejada, ene-15
Identificar
las necesidades
y caractersticas
del contexto
Identificar las
caractersticas
de los
destinatarios
Valorar la
pertinencia
del programa
Momento evaluativo CUNDO?: Evaluacin INICIAL
Contexto-necesidades
Destinatarios
Programa
Organizacin
Clima-cultura
recursos
Nec. Individuales
Nec. sociales
..................
Conocimientos
Destrezas
Actitudes
Aptitudes
Motivacin
Intereses
necesidades
Expectativas
Historia acadmica
Historia profesional
................
Objetivos
Contenidos
Actividades
Estrategias
Recursos
Evaluacin
...........
Pertinencia
Suficiencia
Actualizacin
Objetividad
Aplicabilidad
Relevancia
Coherencia
Utilidad
Disponibilidad
Factibilidad
Viabilidad
Anlisis de
contenido
Anlisis por
jueces
Cuestionarios
Escalas
Entrevistas
Observacin
Pruebas de
rendimiento
Inventarios
Expertos
externos
e internos
Gestores de
formacin
Destinatarios
Directivos
Determinacin de la
Poltica de formacin,
elaboracin del
programa, introduccin
de nuevos recursos,
reorganizacin de los
existentes,
etc.
Admisin, orientacin,
establecimiento de
grupos de aprendizaje
Adaptacin, ajuste e
implementacin del
programa
FINALIDAD OBJETO INDICADORES CRITERIOS INSTRUMENTOS /
FUENTES INFOR DECISIONES
Tejada, ene-15
Identificar los
puntos crticos en
el desarrollo del programa.
Optimizar el
programa para
su desarrollo.
Mejorar las
posibilidades
de los participantes
Aumentar la
informacin
posteriores decisiones
Dar informacin
sobre su evolucin y progreso.
Momento evaluativo CUNDO? Evaluacin DESARROLLO
Programa
actual
Clima social
Resultados parciales:
- previstos
- no previstos
Actividades
Estrategias
Temporalizacin
recursos
Dinmica
Interaccin
Formador
.........
Relaciones
Implicacin
Participacin
Motivacin
Interacciones
.............
Conocimientos
Actitudes
Destrezas
..............
Conformidad
Pertinencia
Suficiencia
Actualizacin
Aplicabilidad
Relevancia
Coherencia
Utilidad
Disponibilidad
Satisfactoriedad
Idoneidad
Cuestionarios
Escalas
Entrevistas
Observacin
Pruebas de
rendimiento
Anlisis de
prcticas
Registros
anecdticos
Diarios
Expertos
externos
e internos
Gestores de
formacin
Destinatarios
Formadores
Adaptacin de
actividades
E-A (tiempo,
recursos,
motivacin,
estrategias,
rol docente, etc.)
Reubicacin de
alumnos y profesores
Incorporar nuevos
recursos
FINALIDAD OBJETO INDICADORES CRITERIOS INSTRUMENTOS /
FUENTES INFOR DECISIONES
10
Tejada, ene-15
Verificar la
Consecucin
de los objetivos.
Valorar los
cambios
previstos y no previstos
Verificar la
vala del
programa de cara a la
satisfaccin
de las necesidades
sobre su
evolucin y
progreso.
Momento evaluativo CUNDO? Evaluacin RESULTADOS
Logros (previstos y no previstos)
(final del desarrollo)
Impacto
(diferida)
Costes
(diferida)
Conocimientos
Destrezas
Actitudes
Satisfaccin
Motivacin
Relaciones
.........
Satisfaccin de
necesidades
Transferencia
aprendido
Nivel de cambio
en el contexto
de actuacin
...........
Recursos humanos
Recursos materiales
Eficacia
Eficiencia
Comprensividad
Efectividad
Aplicabilidad
Relevancia
Suficiencia
Satisfactoriedad
Pruebas de
rendimiento
Cuestionarios
Escalas
Entrevistas
Observacin
Informes
econmicos
Auditorias
Participantes
Formadores
Expertos externos
Responsables
Colegas
Directivos
Promocin,
certificacin,
acreditacin,
reconsideracin
de los participantes
Modificacin del
contexto
de actuacin
Aceptacin o rechazo
del programa
FINALIDAD OBJETO INDICADORES CRITERIOS INSTRUMENTOS /
FUENTES INFOR DECISIONES
Tejada, ene-15
Referentes
Referentes y criterios EN FUNCIN DE QU?
adecuacin con las finalidades definidas por la poltica de formacin/prevencin/intervencin
adecuacin a las necesidades formativas del contexto inmediato
adecuacin a los principios psicopedaggicos de la intervencin
adecuacin a los participantes
11
Tejada, ene-15
POLTICA DE
FORMACIN
Se enmarca en programas ms amplios de promocin y gestin
de empleo, de desarrollo cultura, personal, prevencin,?
Favorece la insercin y movilidad en el mercado de trabajo,
contexto,..?
Considera la formacin de base?
CONTEXTO
Satisface demandas presentes o futura del contexto?
Responde a necesidades de contexto? a la realidad laboral?
Se ubica donde hay necesidades?
.
PRINCIPIOS
PSICOPEDAG.
Parte del anlisis de los escenarios socioculturales, econmicos?
Respeta los principios psicopedaggicos del aprendizaje adulto?
Se realiza la formacin en situaciones similares a las del
escenario sociolaboral?
Referente y cuestiones de evaluacin
PARTICIPANTES
Incorpora o contempla las necesidades e intereses?
Considera las experiencias de los participantes?
Facilita la participacin e implicacin de los participantes en la
planificacin desarrollo y evaluacin?
..
Referentes y criterios EN FUNCIN DE QU?
Tejada, ene-15
PERTINENCIA Adecuacin de un programa con la poltica de
formacin y el contexto de formacin
ACTUALIZACIN Adecuacin de los objetivos del programa y
necesidades reales (sociales e individuales)
OBJETIVIDAD Adecuacin a las leyes y principios cientficos
APLICABILIDAD Posibilidad de puesta en prctica de los objetivos
propuestos
SUFICIENCIA Grado con que un programa satisface las necesidades
detectadas
Criterios en la evaluacin de programas
Referentes y criterios EN FUNCIN DE QU?
12
Tejada, ene-15
EFICACIA Nivel de logro de objetivos asignados
EFICIENCIA Grado de implicacin de recursos humanos, materiales
y funcionales
RELEVANCIA Grado de importancia del programa para cubrir las
necesidades individuales y sociales
COHERENCIA Grado de adecuacin entre s de los distintos
elementos- componente de un programa
COMPRENSIVIDAD grado de optimizacin alcanzado
Criterios en la evaluacin de programas
COBERTURA proporcin de la poblacin destinataria alcanzado
Referentes y criterios EN FUNCIN DE QU?