Post on 29-Sep-2018
Propiedad intelectual
El contenido de la siguiente clase es propiedad del Abdul
Latif Jameel Poverty Action Lab (J-PAL).
El material está destinado a su uso como material de
estudio del curso en línea JPAL101SPAx Evaluación de
Impacto de Programas Sociales y no debe ser utilizado
para otros medios sin la autorización expresa de J-PAL.
¿Por qué evaluar impacto?
Existen varios motivos por los cuales estamos interesados
en evaluar un programa:
1. Mejorar el programa
2. Hacer más eficiente el gasto público
3. Contestar preguntas de relevancia general
Distintos usos
Distintas decisiones
• ¿Escalar un programa piloto?
• ¿Continuar o terminar un programa?
• Elegir entre diferentes alternativas
• ¿Cómo rediseñar un programa?
Uso directo e indirecto
• Usar evidencia para informar decisiones sobre el
programa evaluado
• Usar evidencia para informar decisiones sobre otro
programa
Ciclo de aprendizaje
Diagnóstico
Revisión de Literatura
Diseño y EvaluaciónImplementación
Análisis de Resultados
Expansión del programa
Rediseño o cierre de programa
Uso directo
• Usar evidencia para tomar una decisión sobre el
programa evaluado
• Más sencillo que uso indirecto
• Importante considerar la muestra que se usó
¿Cómo aleatorizar?
Población
de interésMuestra
Tratamiento
Control
Asignaciónaleatoria
Muestreoaleatorio / no aleatorio
Validez
externaValidez
interna
Ejemplos que ilustran cómo una evaluación
puede ayudar a tomar diferentes tipos de
decisiones sobre el programa evaluado
Escalamiento
1996
31.000 hogares
Piloto en Campeche
1997
300.000 hogares
Programa federal concentrado en zonas
rurales
2006
+5 millones de hogares
Programa federal llegando a casi todos los grupos en condiciones de pobreza extrema
Fuente: PNUD (2011)
Inicio
Fuente: Banco Mundial (2017)
Gran crecimiento en 10 años
Fuente: Banco Mundial (2017)
Optimizar diseño
• Programa de
transferencias
condicionadas
(Colombia)
• Buscaba aumentar
matrícula en escuela
secundaria y universidad
• Probar distintas
combinaciones de
entregar la transferencia
condicionada
Barrera-Osorio et al (2011)
Postergar parte del beneficio aumentó
la matrícula a secundaria y universidad
• Ayudó a incrementar significativamente la matrícula en la
educación secundaria sin debilitar la asistencia diaria a clases
• También aumentó la probabilidad de matricularse en la
universidad
Barrera-Osorio et al (2011)
Transferencia
mensual
Condiciones Transferencia adicional
Tradicional 15 USD80% de
asistencia a la
escuela
50 USD al momento del
pago de la colegiatura
al siguiente año
Ahorro 10 USD
PTC
Graduación
10 USD = + Graduarse
de secundaria
300 USD contra
matrícula en
educación superior
El reto de usar evidencia
• Hay un incremento dramático en el número de
evaluaciones de impacto en los últimos 20 años
• Pero es poco probable que haya una evaluación de
impacto específica sobre el programa a introducir
localmente
¿Qué debemos hacer?
• ¿Esperar a que haya más evidencia?
• ¿Siempre hacer una nueva evaluación antes de ir a un
nuevo contexto?
• ¿Usar evidencia local pero menos rigurosa?
• ¿Usar resultados de un estudio en otro contexto?
• ¿Usar evidencia de otros contextos si hay al menos X
réplicas o se han hecho en contextos similares?
• ¿Qué cuenta como contexto “nuevo” o “similar”?
El reto de usar evidencia
• Las evaluaciones de impacto son difíciles de hacer bien
y sub-utilizamos su potencial si sólo aprendemos de un
preciso programa y un contexto
• Pero, entender necesidades locales, y cómo funcionan
instituciones formales e informales es crítico para una
buena política
• Debemos de hacer más réplicas de RCT de programas
similares pero hay límites
El reto de usar evidencia
• No podemos esperar años para tomar decisiones.
• No siempre es costo-efectivo hacer una nueva
evaluación.
• Responsables de políticas nunca tienen 100% certeza:
– Basu (2014) el mañana es un nuevo escenario
Forma estructurada de pensar en el uso
de evidencia
1. Evidencia de un único estudio es sólo una parte del
rompecabezas
– Sopesamos la evidencia en base a calidad y supuestos adecuados
Ícono: Freepik
2. Combinar teoría económica, evidencia descriptiva y
resultados de evaluaciones de impacto rigurosas para
responder a estas preguntas:
• ¿Son los resultados de un país replicables en otro?
• ¿Cuándo es necesario hacer una nueva evaluación de
impacto y cuándo no?
Forma estructurada de pensar en el uso
de evidencia
Importancia de la teoría de cambio
Resultado final
Problema /
Necesidad
Insumo /
Actividad
Producto
Resultado
Intermedio
Producto
Resultado
Intermedio
Resultado
Intermedio
Resultado final
• ¿Existe el mismo problema?
• ¿Son comparables la
población objetivo y las
condiciones locales?
• ¿Qué tan similar es el
programa que se
quiere implementar?
• ¿Qué tan similar es la
organización que lo
implementaría?
• ¿El programa funciona a
través de los mismos
mecanismos?
• ¿Existe más evidencia sobre
los cambios de conducta
etc. necesarios para
producir el resultado final?
Resultado final
Dos intervenciones para reducir la venta
de merluza ilegal
Gonzalez & Mobarak, en progreso
VS.Información Fiscalización
Las dos intervenciones redujeron la
venta de merluza fresca
30%
20%15%
0%
5%
10%
15%
20%
25%
30%
35%
Sin intervención Campaña informativa Fiscalización
Po
rce
nta
je d
e p
ue
sto
s
Porcentaje de puestos vendiendo merluza
Gonzalez & Mobarak, en progreso
-10pp-15pp
La intervención más efectiva no fue la
más costo-efectiva
-15%
-10%
-16%
-14%
-12%
-10%
-8%
-6%
-4%
-2%
0%
Fiscalización Campaña
informativa
Pu
nto
s p
orc
en
tua
les
Cambio en porcentaje de
puestos con merluza fresca
CLP 2933 ≈
USD 4,30
CLP 2472 ≈
USD 3,70
0
500
1000
1500
2000
2500
3000
3500
Fiscalización Campaña
informativa
CLP
Costo para “salvar” una
merluza
Uso de evidencia
• Sernapesca decidió aumentar el uso de campañas de
información como herramienta adicional para reducir la
venta y el consumo ilegales de pescado.
• Repetición de la campaña de información de merluza
• Extensión a otras especies
– Merluza austral
– Corvina
– Centolla
¿Por qué estas especies?
Alta demanda de merluza Dificultades de regulación
Alto nivel de pesca ilegal
Campaña de información al consumidor
Consumidores reciben información acerca de la veda
Consumidores toman consciencia de la importancia de la veda
Disminución de la demanda durante la veda
Disminución de la oferta demerluza ilegal en las ferias libres
Disminución de la pesca ilegal de merluza
Condiciones necesarias:
- los consumidores son
capaces de reconocer
la merluza
- La veda es por un
período limitado
El nivel de aprendizaje de los niños
peruanos avanza rápidamente……
23
14
31
13
50
27
0
10
20
30
40
50
60
Reading Math Reading Math Reading Math
2009 2012 2015
% de estudiantes de secundaria que logran el
nivel requerido en los exámenes nacionales ECE
Lectura Matemática Lectura Matemática Lectura Matemática
Fuente: basado en Ministerio de Educación Perú (2017)
El nivel de aprendizaje de los niños
peruanos avanza rápidamente……
… Pero algunos se están quedando atrás.
23
14
31
13
50
27
12
7 74
19
12
0
10
20
30
40
50
60
Reading Math Reading Math Reading Math
2009 2012 2015
% de estudiantes de secundaria que logran el
nivel requerido en los exámenes nacionales ECE
National Rural
Lectura Matemática Lectura Matemática Lectura Matemática
Nacional
Fuente: basado en Ministerio de Educación Perú (2017)
Mayor asistencia no necesariamente implica mayor aprendizaje.
¿Qué podemos hacer para mejorar el aprendizaje?
El desafío
• Los estudiantes de las escuelas rurales se
están quedando atrás
• Escuelas en zonas rurales suelen ser
multigrados
• En promedio 30 niños y 2 profesores
• Edades y niveles de conocimiento y
aprendizaje heterogéneos
Teoría de cambio
Bajo desempeño escolar en escuelas rurales
Reagrupar los estudiantes de acuerdo a si nivel de aprendizaje
Estudiantes reciben clases de desarrollo de habilidades básicas de acuerdo a su nivel
de aprendizaje
Estudiantes son capaces de absorber el contenido de las clases
Mejora el desempeño escolar en escuelas rurales
Altos niveles de heterogeneidad en la sala
Reservar tiempo para clases de desarrollo de habilidades básicas
Programa de Vacunación en Rajasthan
• Problema: Solo 1% de los niños estaban completamente
vacunados.
• ¿Por qué?
– Precio de las vacunas?
– Los padres no se preocupan de los niños?
– Problema de acceso a infraestructura de salud? Largas
filas de espera?
– Percepciones erradas debido a mitos sobre efectos de
vacunas?
– O quizás porque las personas tienen dificultad en pasar
de la intención a la acción?
Referencia: Banerjee, Duflo, Glennerster, Kothari, 2010
Incentivos para la Vacunación
Intervención 1: hacer más fácil el proceso de vacunación (=mejorar la oferta de vacunación)
Campamentos de vacunación: Unidades móviles de
vacunación, una vez al mes en cada pueblo, con una
enfermera presente sin falta
Intervención 2: Hacer más fácil la vacunación + dar una
razón de no postergar la decisión para más tarde
(=mejorar la demanda)
Campamentos de vacunación + Incentivos
– 1kg de lentejas por cada vacunación y un juego de vajilla una
vez completo el cronograma de inmunización en su totalidad
Referencia: Banerjee, Duflo, Glennerster, Kothari, 2010
Impacto de ambos tratamientos en el nº
de vacunas recibidas
Referencia: Banerjee, Duflo, Glennerster, and Kothari, 2010.
Grupo control
Campamentos
Campamentos + incentivos
N° de
vacunas
¿Cómo aplicamos estos resultados?
Sierra Leona quiere mejorar sus tasas de vacunación
1. ¿Debería basarse en el programa de la India?
• Una sola evaluación aleatorizada en Asia del Sur
• Ninguna en África
• Programa dirigido por ONG, no el gobierno
Teoría de cambio
Pocos niños completamente vacunados
Padres quieren vacunar a sus hijos pero tienen dificultad en pasar de la intención a la acción
Incentivos alimenticios para el programa de vacunación
Incentivos entregados al centro de salud y los padres
Aumenta la tasa de vacunación
Mejora la salud
Mejora la inmunización
Supuesto:
Padres acceden a
centros de salud y los
proveedores están
presentes.
Pequeños incentivos
pueden disminuir la
procrastinación
Modelo de teoría de cambio
Visto así ya no hay sólo una evaluación,
hay mucha evidencia que puedo usar
para cada elemento de la teoría de
cambio…
1. ¿Qué evidencia tenemos de las
condiciones locales en Sierra Leona?
• Evidencia descriptiva:
– 84% reciben al menos DPT1
– 54% de los hogares están al menos a 1 una de una clínica
– Ausentismo es del 44%
• Conocimiento institucional:
– Varios trabajadores x centro solo 12% de centros cierran
1. Condiciones
locales básicas
2. ¿Qué sabemos sobre el “sesgo por el presente”?
Personas procrastinan: difícil mantener conductas que
creen beneficiosas para ellas y sus niños
• Economía conductual (Laibson, 1997): personas dan más valor a sus acciones presentes “sesgo por el presente”
• Personas dispuestas a pagar para atarse a un compromiso.
Esto solo se explica si son conscientes de su “sesgo por el
presente” (Gine et al. 2010)
2. Conductas
Referencias: Laibson, 1997; Gine et al., 2010.
2. ¿Qué sabemos sobre los incentivos?
Incentivos pequeños pueden tener grandes impactos en
el comportamiento
• Pequeños cambios en el precio de productos de salud
preventiva reduce adopción (9 + RCTs)
• 30+ RCTs muestran que TMC pueden ser efectivas (Fiszbein
and Schady, 2009)
Referencia: Fiszbein & Schady, 2009
2. ¿Qué sabemos sobre los incentivos?
• Malawi: Incentivos pequeños pueden tener impactos
tan grandes como los mayores (Baird et al, 2010)
• Incentivos pequeños para pruebas de VIH (Thornton,
2008) o para posponer la edad del matrimonio (Field et
al., en proceso)
2. Conductas
Referencia: Baird et al., 2010; Thornton, 2008; Field et al.
Sensibilidad al precio de la salud
preventiva
Referencia: Kremer and Miguel 2007, Ashraf et al 2010, Spears 2010, Dupas et al in process, & Dupas 2013. All as summarized in J-PAL Policy Bulletin. 2011..
Teoría de cambio
Pocos niños completamente vacunados
Padres quieren vacunar a sus hijos pero tienen dificultad en pasar de la intención a la acción
Incentivos alimenticios para el programa de vacunación
Incentivos entregados al centro de salud y los padres
Aumenta la tasa de vacunación
Mejora la salud
Mejora la inmunización
Supuesto:
Padres acceden a
centros de salud y los
proveedores están
presentes.
Pequeños incentivos
pueden disminuir la
procrastinación
¿Cómo saber si tenemos suficiente
evidencia?
• El contexto y la cantidad de evidencia que respalde la
efectividad de un programa importan
• Pero poco probable que haya una evaluación rigurosa
de un programa en contexto similar al que queremos
aplicar
• Y menos probable que haya múltiples estudios sobre el
mismo programa en distintos contextos (microcrédito)
¿Cómo saber si tenemos suficiente
evidencia?
• “Mañana” ya es un nuevo contexto
• Hay que actuar aunque no haya suficiente evidencia
• Subutilizamos el potencial de la evidencia existente si
sólo aprendemos del programa y contexto específicos
evaluados
Pero es importante seguir evaluando
¿Cómo usar los resultados?
• ¿¿Cómo uso los resultados de una evaluación de mi
programa?
– Pensar desde el diseño como incorporar posibles
aprendizajes (considerar ciclo presupuestal, voluntad política, factibilidad operacional)
¿Cómo usar los resultados?
• ¿Cómo usar resultados de otras evaluaciones para
informar el diseño de mi intervención?
– Cuando muchos estudios llegan a la misma conclusión,
podemos tener mayor certeza de los resultados
– Para usar evidencia de otros contextos en mi programa
puedo apoyarme en la TdC, evidencia descriptiva y de
procesos
¿Es generalizable la evidencia que
entrega una evaluación de impacto?
Pregunta demasiado amplia, hay que ir por etapas …
• ¿Cuál es la teoría de cambio detrás de la intervención?
• ¿Las condiciones locales se mantienen para que la
teoría sea válida? Evidencia Descriptiva
• ¿Cuál es la evidencia de que el proceso de
implementación fue llevado a cabo correctamente?
Procesos y pilotos
• ¿Cuán fuerte es la evidencia que indica un cambio de
conducta general?