Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2....
Transcript of Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2....
![Page 1: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/1.jpg)
Introducción a las evaluaciones de impacto
Francisco A. Gallego
PUC-Chile y J-PAL
![Page 2: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/2.jpg)
Contexto del Curso
1. Introducción a las Evaluaciones de Impacto
2. Teoría de Cambio e Indicadores
3. Por qué y Cómo Aleatorizar
4. Tamaño de Muestra y Cálculos de Poder
5. Inferencia Causal
6. Evaluaciones Experimentales y Políticas
Públicas
7. Evidencia de Evaluaciones Experimentales
8. Evaluación Experimental de Principio a Fin
![Page 3: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/3.jpg)
Esquema de presentación
I. Introducción
II. ¿Por qué evaluar impacto?
III. ¿Qué es una evaluación de impacto?
IV. ¿Cuándo realizar una evaluación de
impacto?
![Page 4: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/4.jpg)
I. Introducción
![Page 5: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/5.jpg)
La gran pregunta
¿Cómo decidimos cuales programas
implementar?
Piense en un programa social en el cual Usted
está involucrado y por favor indique:
• Nombre del programa
• ¿Es un buen programa?
• ¿Cómo sabe si es un buen programa?
![Page 6: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/6.jpg)
¿Es un buen programa?
6
1. 2. 3.
33% 33%33%1. Sí
2. No
3. No se
![Page 7: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/7.jpg)
La gran pregunta
• La gran mayoría de programas sociales
busca genuinamente mejorar las condiciones
de vida de la población participante.
• Pero muchas políticas son implementadas
en base a inercia burocrática, ideología o a
consideraciones políticas y administrativas.
• Existe poca evidencia rigurosa en cuanto al
impacto de la mayoría de programas
sociales. Por lo tanto, no sabemos cuales
programas son efectivos y cuales no lo son.
![Page 8: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/8.jpg)
Programas/Políticas
Conocimiento
• Evidencia
• Experiencia
• Personal
• Colectiva
Ideología
• Propia
• Externa
Apoyo
• Presupuesto
• Político
• Capacidad
La gran pregunta: ¿Cómo decidimos cuales programas implementar?
![Page 9: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/9.jpg)
Ejemplo de una evaluación
Evaluación
Evaluación de
Programas
Evaluación de Impacto
![Page 10: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/10.jpg)
Ejemplo de una evaluación
Evaluación
Evaluación de
Programas
Evaluación de Impacto
![Page 11: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/11.jpg)
Ejemplo de una evaluación de impacto
PROGRESA/Oportunidades
• Programa comenzó en 1997
• Se midieron impactos en tres dimensiones:
– Salud
– Educación
– Ingreso
• Al 2012, atiende a 5.8 millones familias con un
costo de US$4.6 mil millones
• ¿Por qué es importante determinar el impacto de
este programa?
![Page 12: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/12.jpg)
Las evaluaciones buscan contestar preguntas como la siguiente:
• ¿Cuál es el efecto de un programa social sobre sus
beneficiarios?
Ejemplos:
• ¿Cuál es el efecto de un programa de entrenamiento laboral en
los ingresos de los participantes?
• ¿Cuál es el efecto de un programa de becas en la tasa de
matriculación de los beneficiarios?
• ¿Cuál es el impacto de una programa de transferencias
condicionadas en los años de educación de niñas de hogares
participantes?
Ejemplo de una evaluación de impacto
![Page 13: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/13.jpg)
II. ¿Por qué evaluar
impacto?
![Page 14: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/14.jpg)
¿Por qué evaluar?
• Premisa: La mayoría de los programas sociales
tienen una intención genuina de mejorar las
condiciones de vida de la población de participantes.
• Realidad: Del dicho al hecho hay un trecho.
![Page 15: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/15.jpg)
¿Por qué evaluar impacto? Una buena evaluación de impacto puede ayudar a:
• Identificar programas que están funcionando bien
• Identificar aspectos de un programa que pueden ser
mejorados
• Identificar programas que no están funcionando bien
y que deben ser modificados o descontinuados
En resumen, las evaluaciones pueden contribuir a un
uso más racional de los recursos que se dedican a los
programas sociales.
![Page 16: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/16.jpg)
¿Por qué evaluar?
Cuando se encuentran bien diseñadas e implementadas, las
evaluaciones de impacto también nos pueden ayudar a entender
en mayor detalle:
• Por qué el programa funcionó o no.
• Cuál fue la magnitud de los resultados.
• Quién se benefició más o menos con el programa.
• Existieron otros impactos no intencionados.
• Existen externalidades positivas o negativas.
• Lecciones que pueden aplicarse a otros contextos.
• Cómo se compara este programa con otros que tienen
objetivos similares.
![Page 17: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/17.jpg)
III. ¿Qué es una
evaluación de impacto?
![Page 18: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/18.jpg)
Impacto
El impacto de un programa es la diferencia entre:
1. Los resultados que los participantes del programa
obtienen
2. Los resultados que esos mismos participantes
hubieran obtenido si no hubiesen participado en el
programa.
![Page 19: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/19.jpg)
Impacto
Tomamos las diferencia entre:
Qué ocurrió con el programa
- Qué hubiera ocurrido sin el programa
= Impacto
Este último escenario se denomina el contrafactual.
![Page 20: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/20.jpg)
Impacto
Tiempo
Res
ult
ado
pri
mar
io
Intervención
![Page 21: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/21.jpg)
¿Qué impacto tuvo este programa?
21
1. 2. 3.
33% 33%33%1. Positivo
2. Negativo
3. No sé
![Page 22: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/22.jpg)
Impacto
Tiempo
Res
ult
ado
pri
mar
io
Impacto
Intervención
![Page 23: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/23.jpg)
Tiempo
Intervención Impacto
Res
ult
ado p
rim
ario
Impacto
![Page 24: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/24.jpg)
Tiempo
Intervención
Impacto Res
ult
ado
pri
mar
io
Impacto
![Page 25: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/25.jpg)
Contrafactual
El contrafactual representa el estado del mundo que participantes del programa habrían experimentado en la ausencia del programa Problema: No se puede observar el contrafactual Solución: Tenemos que “replicar” o “construir” el contrafactual
![Page 26: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/26.jpg)
Contrafactual
El contrafactual generalmente se construye a partir de la selección de un grupo no afectado por el programa
Evaluación Aleatoria:
Usa una asignación aleatoria del programa para crear un grupo de control.
Evaluación No Aleatoria:
Argumenta que un cierto grupo excluido del programa “replica” el contrafactual.
![Page 27: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/27.jpg)
Cómo usar las evaluaciones
Las evaluaciones aleatorias son la metodología estrella (gold standard) para replicar una contrafactual.
![Page 28: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/28.jpg)
• Proceso: Describimos lo que ocurrió
• Impacto: Comparamos lo que ocurrió con lo que habría ocurrido en la ausencia del programa
28
¿De qué manera las evaluaciones de
impacto difieren de las de proceso?
![Page 29: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/29.jpg)
• Evaluación de necesidades: nos da la métrica
para medir el impacto
• Evaluación de proceso: nos da los costos
• Evaluación de impacto: nos da los beneficios
29
Análisis Costo-Beneficio
![Page 30: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/30.jpg)
Ejemplo 1: Comparación de costo efectividad
Fuente: Poverty Action Lab (2010)
![Page 31: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/31.jpg)
Ejemplo 2: Comparación de costo efectividad
Fuente: Poverty Action Lab (2010)
![Page 32: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/32.jpg)
IV. ¿Cuándo realizar
una evaluación de
impacto?
![Page 33: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/33.jpg)
¿Cuándo realizar una evaluación
de impacto?
33
1. 2. 3. 4.
25% 25%25%25%1. Siempre
2. Nunca
3. La mayor parte de
las veces
4. La menor parte de
las veces
![Page 34: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/34.jpg)
1. Cuando hay una pregunta importante para la cual se
requiere una respuesta
1. ¿Qué preguntas de diseño de políticas tienen sus
organizaciones?
2. El programa a ser evaluado vale la pena evaluar
3. Plazo: no muy temprano ni muy tarde
4. Tiempo, experticia y dinero para hacerlo bien
34
¿Cuándo realizar una evaluación aleatoria?
![Page 35: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/35.jpg)
• Cuando el programa es prematuro y aún requiere cambios
considerables antes de ser llevado a escala o ser replicado
– Evitar críticas: One Laptop per Child en Perú: no se
encontró impacto, pero OLPC dice que su impacto tomará
tiempo
• Cuando el programa es demasiado pequeño en escala para
aleatorizar
• Si se ha probado un impacto positivo utilizando una
metodología rigurosa y los recursos son suficientes para
cubrir a todos
¿Cuándo no se debe realizar una evaluación aleatoria?
![Page 36: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/36.jpg)
1. Determinar preguntas claves para su
organización
– ¿Cuántas ya puede responder?
2. Seleccionar preguntas de alta prioridad para la
evaluación de impacto
3. Establecer un plan para responderlas
36
Desarrollando una estrategia de evaluación
![Page 37: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/37.jpg)
¿ Volvamos a la pregunta del comienzo, es un buen programa?
37
1. 2. 3.
33% 33%33%1. Sí
2. No
3. No se
![Page 38: Introducción a las evaluaciones de impacto · 1. Introducción a las Evaluaciones de Impacto 2. Teoría de Cambio e Indicadores 3. Por qué y Cómo Aleatorizar 4. Tamaño de Muestra](https://reader033.fdocuments.es/reader033/viewer/2022041702/5e428dd233969d0f6236b631/html5/thumbnails/38.jpg)
Las evaluaciones de impacto bien hechas, son muy
importantes.
Dos principio generales que se pueden aplicar para la
elaboración de evaluaciones de impacto:
1. Algunos pocos estudios de impacto de alta calidad valen
más que muchos estudios de mala calidad
2. Si hace la pregunta correcta, es más probable que se usen
los resultados de la evaluación
38
Conclusión