Haga clic en el icono para agregar una imagenCURSO E

DUC 6995

PREPA

RACIÓN D

E PROPU

ESTAS PA

RA

PROYE

CTOS E

DUCATIV

OS, DE IN

VESTIGACIÓ

N

Y SERVIC

IO

Sandra

Mac

ksoud L

opez

. Ph.D

., Dep

arta

men

to d

e Es

tudio

s Gra

duados

Facu

ltad d

e Ed

ucaci

on ,

Iniv

ersi

dad d

e Puer

to R

ico,

Rec

into

de

Rio

Piedra

s

19 de

octubre

de

2011

El Componente de Evaluación de las Propuestas

¿Qué es evaluar?

DEFINICIÓN DE EVALUAREvaluar es la acción de valorar , de dar valor a algo,

juzgar, enjuiciar, apreciar, y avaluar

La evaluación es un proceso sistematico de juzgar la calidad o mérito de algo a partir de cierta información (cuantitativa y cualitativa) que se compara contra ciertos criterios. Ocurre a lo largo del tiempo, en un contexto particular, y siguiendo una secuencia establecida (Verdejo y Medina , 2007)

¿Por qué se incluye un componente de evaluación en las propuestas?

a) Para determinar el logro de los objetivos (Accountability)

b) Para conocer la efectividad de la estrategia implantada

c) Para tomar decisiones d) Para aprender y mejorar

Por que:Justificación

Que: Objetivos

Como:Plan de Trabajo

Con que:Recursos

Resultados:

Evaluación PROPUEST

A

Importancia de construir objetivos medibles, realistas, claros

La evaluación ayuda en el proceso de planificar cómo se van a lograr los objetivos , y a mejorar la implantación misma del proyecto

ESTRECHA INTERRELACIÓN CON LOS OBJETIVOS

EL DESARROLLO DEL CAMPO DE LA EVALUACIÓN

La evaluación es una de tres formas de inquirir disciplinado, junto con la investigación y el análisis de política (Lincoln y Guba , 2001)

Curso EDUC 8030Patton (2003), Scriven (2011),

Stufflebeam (2007), Yuen (2009)Diferencia evaluación de programas

versus proyectos

LA EVALUACIÓN ES REQUISITO DE TODAS LAS PROPUESTASEs necesario estudiar los parámetros que establece cada fuente

de fondos. Ejemplo- del Programa GEAR-UP

6. QUALITY OF THE PROJECT EVALUATION (20 POINTS):

In determining the quality of the project evaluation, the Secretary considers the following factors:

•The extent to which the methods of evaluation are thorough, feasible, and appropriate to the goals, objectives, and outcomes of the proposed project.

•The extent to which the methods of evaluation include the use of objective performance measures that are clearly related to the intended outcomes of the project and will produce quantitative and qualitative data to the extent possible; and

EJEMPLO (CONT.)

•The extent to which the methods of evaluation will provide performance feedback and permit periodic assessment of progress toward achieving intended outcomes.

•The extent to which the evaluation will provide guidance about effective strategies suitable for replication or testing in other settings.

INCLUIR EN EL PLAN DE EVALUACIÓN DATOS QUE REQUIERE LA FUENTE DE FONDOSMuchas veces se requiere que los proyectos formen

parte de las evaluaciones de los programas a nivel nacional

Government Performance and Results Act (GPRA) requires federal agencies to report annually on the accomplishments of their funded efforts. This requirement includes establishing broad goals or strategic outcomes, performance outcomes, and performance indicators against which progress will be assessed.

Ejemplo- Base de datos longitudinal GEAR UP

DEFINICIÓN BÁSICA DE EVALUACIÓN DE PROYECTOS

Busca medir cambios en actitudes, conocimientos, destrezas, conductas , condiciones en los participantes.

Impacto en las necesidades identificadas

No es auditoria, es para mejorar No es recopilación de datos de

indicadores

ELEMENTOS DEL PLAN DE EVALUACIÓN Foco en los objetivos medibles

Preguntas de evaluación

Establecer indicadores de logros por

cada objetivo

Tipo de evaluación

Actividades e instrumentos que utilizará para evidenciar el logro de cada objetivo que permitan recopilar datos

Quiénes van a ser responsables de qué y cuando

Preparación y divulgación de los informes

OUTCOMES BASED EVALUATION

Outcome-based evaluation (OBE) se refiere a la medición de los resultados para evidenciar el grado en que el proyecto logró los objetivos. Identifica datos cuantificables que demuestran de forma creíble el cambio logrado o las condiciones deseadas.

Los outcomes pueden ser a corto plazo, intermedios, largo plazo y relacionados a la sustentabilidad

Se deben establecer milestones /benchmarks

MODELO LÓGICO

Es una herramienta conceptual desarrollado para ayudar en la planificacion y evaluacion de los proyectos, originalmente desarrollado por Weiss (1970)

Consiste en diagramar las relaciones causales entre los elementos de un proyecto y los resultados

Controversia con causalidad

MODELO LÓGICO

15

The amount of impact desired

When data is collected

The population to be measured

Sources of information about conditions being measured

Observable and measurable behaviors or conditions

Targets (Goals)

Data Interval(When)

Applied to (Who)

Data SourcesIndicators

Mission + Influencers PROGRAM PURPOSE

Output

s

Activities

Services

Input

s

Outcom

es

Outcomes Logic Model

The amount of impact desired

When data is collected

The population to be measured

Sources of information about conditions being measured

Observable and measurable behaviors or conditions

Targets (Goals)

Data Interval(When)

Applied to (Who)

Data SourcesIndicators

PREGUNTAS PARA EVALUACIÓN SUMATIVAEl foco son los logros al final del proyecto, o periodo

determinado

¿ Se han alcanzado los objetivos y resultados esperados?

¿ Cuáles son los hallazgos clave?

¿ Qué impacto ha tenido el proyecto? Esperados e inesperados

¿ Qué beneficios hay para los partidos interesados?

¿ Fue efectiva la estrategia de implantación?

¿ Qué hemos aprendido?

¿ Qué haríamos diferente?

CIPP Stufflebeam context, input, process, and product evaluation.

EVALUACIÓN FORMATIVAEs un proceso continuo de recopilación de datos durante el

proyecto para determinar cuán adecuada es la implantación y si se está progresando hacia el logro de los objetivos.

Busca generar retrocomunicación para que el personal del proyecto pueda mejorar la implantación.

¿ Se han logrado los milestones a tiempo?

¿ Qué dificultades se han identificado ?

¿ Qué se debe hacer para corregir ?

¿Es efectiva la gerencia del proyecto?

¿Están involucrados los participantes y partidos interesados?

¿ Qué lecciones estamos aprendiendo?

¿ Es necesario revisar el plan?

EVALUACIÓN DE PROCESOS

METODOLOGÍA: CUALITATIVA, CUANTITATIVA O MIXTAEl diseño de la evaluación debe estar basada en un enfoque

adecuado para contestar las preguntas de evaluación

Diseños en la evaluación cuantitativa

Experimental con grupos aleatorios o pareados

Medidas de pre prueba o línea base y post prueba

Encuestas

Diseños en la evaluación cualitativa

Estudios de caso únicos y múltiples

Grupos focales

Entrevistas profundas

Observaciones

Análisis de documentos

FORMAS DE RECOPILAR DATOS

• Medidas directas• Encuestas • Entrevistas individuales y grupales• Observaciones • Calidad de Productos• Paneles de Expertos Externos

QUIÉN HACE LA EVALUACIÓN

Es el director del proyecto quien es responsable por que se haga una buena evaluación, pero se debe designar a un personal especializado para encargarse de llevar a cabo todo el proceso

Debe ser una persona que llene las cualificaciones y se involucre desde el inicio en el desarrollo de la propuesta

Puede ser interno o externo, o idealmente ambos que se complementan

Debe ser participativo, involucrar a los participantes, distintos sectores

MODELOS PARTICIPATIVOS

Culturally responsive evaluation

Empowerment Evaluation (Yuen 2009)

Deliberative democratic perspective Ernest R. House and Kenneth R. Howe October 2000

COSTO DE LA EVALUACIÓN

Desde 5% a 10% para evaluación sencilla- documentar satisfacción de participantes, percepciones, recomendaciones, autoinforme de resultados

Más de 10% moderado,- documentar impacto de forma directa

Avanzado- línea de base, diseño científico, seguimiento a participantes, triangulación

PROMOVER EL USO DE LOS RESULTADOS

El plan de evaluación debe contener una descripción clara de los informes que se van a generar, con un calendario.

Se incluyen los resultados de la evaluación en los informes a la fuente de fondos

Se presentan los informes internamente al personal del proyecto y a los participantes

Diseminación en diversos foros para ampliar el impacto

PREPARACIÓN DE LOS INFORMES Y COMUNICACIÓN DE RESULTADOS

Resumen ejecutivo

Presentación de métodos

Resultados e interpretación

Hallazgos mas importantes

Implicaciones

Recomendaciones para mejorar la evaluación

EJEMPLOS

Matemáticas para Todos

MATH FOR ALL

Pre y post pruebas para los participantes en cada sesion de desarrollo profesional

Evaluación de la transferencia de lo aprendido mediante analisis de las lecciones desarrolladas con unas rubricas

Impacto en el aprendizaje de los estudiantes

Entrevistas con personal de las escuelas participantes

REFERENCIASArce, J. , Bravo, M., Del llano, A. Wayland, K. (2010). Sharing

our journey to improve science and mathematics education.

http://alacima.uprrp.edu/sharing_our_journey/index.php/book/chapter/9

Grun, R. (2006 ) Monitoring and Evaluating Projects: A step-by-step Primer on Monitoring, Benchmarking, and Impact Evaluation. The International Bank for Reconstruction and Development: Washington DC

Guba , R. & Lincoln, Y. (2001) .Guidelines and Checklists for constructivist (A.K.A. 4th generation) Evaluation ht.tp://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf

Miro, A. (2009). Informe del Proyecto Math for All. Facultad de Educación, Universidad de Puerto Rico, Rio Piedras

Patton , M.Q. (2002 ). Utilization-focused evaluation checklist http://www.wmich.edu/evalctr/archive_checklists/ufe.pdf

REFERENCIAS (CONT.)Patton, M. Q. (2003). QUALITATIVE EVALUATION CHECKLIST

National Science Foundation. (2002). User Friendly Handbook for Project Evaluation. http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf

Scriven, M. (2011). Evaluating Evaluations: A meta-evaluation checklist. http://michaelscriven.info/images/EVALUATING_EVALUATIONS_8.16.11.pdf

Stufflebeam, D. (2007). CIPP Evaluation Model Checklist (2nd. Edition) http://www.wmich.edu/evalctr/archive_checklists/cippchecklist_mar07.pdf

US. Department of Energy. (2006). EERE Guide for Managing General Program Evaluation Studies . Washington D. C. http://www1.eere.energy.gov/ba/pba/pdfs/evl_mg_app.pdf

REFERENCIAS (CONT.)

Verdejo-Carrión, A. & Medina-Díaz, M.R. (2007). Evaluación del aprendizaje estudiantil, (5ta ed.). ExPERT Consultants, Inc. San Juan, Puerto Rico.

W. K. Kellogg Foundation (2004). Evaluation Handbook. http://www.wkkf.org/knowledge-center/resources/2010/W-K-Kellogg-Foundation-Evaluation-Handbook.aspx

Yuen, F. K. O., Terao, K. L., & Schmidt, A. M. (2009). Effective grant writing and program evaluation for human service professionals (3rd ed.). Hoboken, NJ: John Wiley & Sons.