Post on 26-Sep-2020
Francisco Haimovich
Banco Mundial
6 de Abril de 2017
Guatemala
TALLER DE EVALUACIÓN DE IMPACTO
¿Cómo realizar una evaluación de impacto relevante para las
operaciones?
Hoja de ruta de esta presentación…
• Repasando: cuatro elementos claves para una
evaluación de impacto
• Consideraciones prácticas cuando
implementamos evaluaciones en operaciones
• Ejemplos
Repasando… Cuatro elementos claves para
una evaluación de impacto
• Definición clara de la intervención
– “¿qué estamos evaluado?” Teoría del cambio clara
• Hipótesis bien definidas (impactos)
– ¿ Cuál es la pregunta de la investigación?
– Una estrategia de identificación sólida
– ¿Que metodología debemos escoger?
• Datos confiables
Diseño Cuando usarlo Ventajas Desventajas
Aleatorización
�Cuando es factible (exceso de demanda & viable)
�Regla dorada
�Mayor potencia
�No es siempre factible
�No es siempre ético
Promoción aleatoria �Cuando una intervención es implementada universalmente y sin fases
� Provee variación exógena para un subconjunto de beneficiarios
�Solo se centra en un subgrupo de la muestra
�El poder del diseño de incentivos solo se conoce ex-post
Regresión Discontinua
�Si la intervención tiene una clara regla de asignación (continua)
�Identificación causal creible (supuestos se pueden verificar/documentar)
�Solo se examina un subgrupo de la muestra
�La regla de asignación, en la practica poder ser aplicada laxamente
Diferencias en diferencias
�Línea de base y seguimiento disponibles
�Si los dos grupos “crecen” a la misma tasa
�Elimina diferencias inobservables fijas en el tiempo
�Diferencias en tendencia
�Necesita muchos datos (Idealmente, al menos dos periodos de pre-intervención)
Emparejamiento � Cuando otros métodos no son posibles
�Corrige sesgo de selección en variables observables
�Asume que no hay diferencias no obs. (muy (!) improbable)
EJERCICIOS
Aspectos claves para elegir un método
• ¿Existe exceso de demanda para el
programa?
• ¿Existe un umbral & índice de elegibilidad?
• ¿La Implementación es en fases?
ejemplo 1
• ¿Existe exceso de demanda para el programa? ✓✓✓✓
• ¿Existe un umbral & índice de elegibilidad? X
• ¿La Implementación es en fases? X
¿Qué método utilizarían?
ejemplo 2
• ¿Existe exceso de demanda para el programa? X
• ¿Existe un umbral & índice de elegibilidad? X
• ¿La Implementación es en fases? ✓✓✓✓
¿Qué método utilizarían?
ejemplo 3• Un programa de formación docente esta destinado a
todos los docentes de las municipalidades elegibles y
será implementado inmediatamente. El gobierno estima
que tiene cupos suficientes para cubrir todas las
inscripciones. Solo son elegibles las municipalidades
con una tasa de pobreza mayor a 40%
¿Qué método utilizarían?
Escogiendo el método (resumen) Programa Demanda Excesiva No Excesiva Demanda
Focalización
ImplementaciónFocalizado Universal Focalizado Universal
Por etapas1 Experimento
Aleatorio4 RDD
1 ExperimetnoAleatorio
2 PromociónAleatoria
3 DD con 5Emparejamiento
1Experimetno Aleatorio
4 RDD
1 Experimento
Aleatorio por
etapas
2 Promoción
Aleatoria
3 DD con
Emparejamient
o
Inmediato
1 ExperimentoAleatorio
4 RDD
1 ExperimentoAleatorio
2 PromociónAleatoria
3 DD con5Emparejamiento
4 RDD
Menos de utilizaciónplena:
2 PromociónAleatoria
3 DD con5Emparejamiento
ALGUNAS CONSIDERACIONESPRÁCTICAS…
Consideraciones Prácticas (1)
• La EI no es para cualquier intervención– Sean selectivos (ej: innovaciones escalables no probadas,
estratégicamente relevantes, etc.)
Sean “oportunistas” (aprovechar datos administrativos, pensar/aprovechar
reglas de elegibilidad, etc.)
• Empiecen temprano y trabajen el EI como parte del diseño del proyecto (anticipar necesidades información, estrategia de
eval, etc.)
• Piensen cuidadosamente los impactos (y como medirlos)– Teoría del cambio (que dimensiones va a afectar el proyecto)
– Seleccionen cuidadosamente los indicadores (concretos, medibles,
realistas, focalizados, etc.)
– Anticipen la duración para que los resultados se materialicen en las
encuestas
– Identifiquen desagregaciones útiles (ij. Grupos de ingresos, género, etc) y
planeen el tamaño de muestra considerando estas desagregaciones
Consideraciones Prácticas (2)
• Monitoreen la implementación del programas – el
diseño no siempre es lo mismo que la realidad. Lo
mismo vale para la recolección de datos en el campo
– La actividad de implementar una IE no termina con un buen
diseño…empieza ahí!
– Pruebas “pre-pilotos”
• Usen métodos cuanti y cualitativos– Información cualitativa puede proveer información
complementaria sobre los mecanismos en que los impactos
ocurren (o no ocurren)
• Tengan precauciones con la posible contaminación de los grupos de control y de tratamiento– En la medida de lo posible, defiendan los grupos de control y
tratamiento
Algunas preocupaciones usuales: Políticas
• No hay interés en mostrar (potenciales) malas noticias
• La larga duración de las evaluaciones no están alineadas con los tiempos
políticos
pero...
– Es peor desperdiciar recursos en algo que no funciona
– Un buen diseño puede sobrevivir a ciclos políticos (la evidencia rigurosa
aumenta las chances de que los programas “sobrevivan” y se hagan a gran
escala)
Lecciones aprendidas:
– Mostrar resultados tan pronto como se pueda (inclusive con limitaciones
en el análisis) ya que esto mantiene a los funcionarios políticos interesados en
apoyar este ejercicio.
14
Algunas preocupaciones usuales: Técnicas• Ya sabemos lo que funciona! No necesitamos una evaluación
• El concepto del proyecto ya está decidido y no hay espacio para
cambios
• La evaluación es muy cara y no podemos financiarla
pero…– En la practica, todavía quedan muchas preguntas básicas sin
contestar…– En muchos casos, las “decisiones tomadas” suelen ser sobre
algunos elementos básicos. Puede existir espacio para discutir
algunas variaciones/innovaciones.
– Pueden ser costosas, pero los resultados permiten una asignación mucho mas eficiente de los recursos (inversión) + sean
“oportunistas”
Lecciones aprendidas: Los proyectos en preparación son mejores
candidatos que aquellos que ya están siendo implementados
15
DOS EJEMPLOS DE EVALUACIONES DE IMPACTO ENOPERACIONES…
Ejemplo1: impacto de las escuelas de tiempocompleto (ETC—doble jornada) en aprendizajes
– Las escuelas de tiempo completo son bastante mas caras que las escuelas de
jornada única (mas infraestructura,
personal, etc.)
– son costo-efectivas para mejorar
aprendizaje?? (pregunta relevante!)
17
Ejemplo1: impacto de las escuelas de tiempocompleto (ETC—doble jornada) en aprendizajes
Que salió mal??
• El diseño de evaluación de impacto fue pensado ex-post: no se pudo crear un grupo de control creíble
(matching/paramiento: sólo controla por diferencias en
variables observables )
• No se evaluó si existía la info necesaria (este método
requiere mucha info, y debe ser pre-tratamiento): se
utilizaron unas pocas variables post-tratamiento para
hacer el matching
18
Ejemplo1: impacto de las escuelas de tiempocompleto (ETC—doble jornada) en aprendizajes
Consecuencias� Creo un “Sesgo negativo”:
subestimación del impacto del programa!!
* suelen ser escuelas mas vulnerables (como en
muchos de nuestros programas!): “peores” variables
inobservables (insumos, capacidad de gestión, etc.)
• Las variables “endógenas” capturan parte del impacto
• Además: Se ignoraron otros beneficios muy
relevantes (habilidades socio-emocionales?) y no se
recogió dicha información
19
Ejemplo 2: impacto de un programa de formación en servicio
La evaluación esta siendo diseñada en estos momentos.
Basada en las lecciones aprendidas en el proyecto anterior,
decidimos:
• Aprovechar que la demanda es superior a los cupos
anuales: diseño experimental en fases
• Recolectar información (línea de base y seguimiento) sobre
variables claves: practicas de enseñanza
• Incluir “pre-piloto”20
A modo de reflexión final…
¿Cuándo fue la última vez que cambiaron de opinión respecto de algo?
Evaluación de impacto del programa de subsidios a las guarderías en Quebec (Baker et al, 2008):
Suena bien, ¿cuál fue el impacto?
*** Impacto negativo en el bienestar socio-emocional de los niños, su estado de salud, etc.
¿Qué pasó?
22
¿Cuándo fue la última vez que cambiaron de opinión
respecto de algo?
¿Qué es más costo efectivo?
• ¿Una computadora por niño o campañas de información sobre
retornos a la educación?
• ¿Escuelas de tiempo completo o enviar mensajes de texto si
los alumnos no hacen las tareas/faltan a clase? ¿Becas vs.
mindset?
• Importante: lo que funciona en un país en particular puede no
funcionar en otro…
23
Evaluación
Por favor, evalúe esta sesión
Por favor, evalúe el ritmo de esta presentación
A. Adecuado
B. Demasiado lento
C. Demasiado rápido
D. Sin comentario
Por favor, evalúe la relevancia del material técnico seleccionado
A. Muy relevante
B. Relevante
C. Irrelevante
D. Sin comentario
Por favor, evalúe la claridad y eficacia de la presentación
A. Excelente!
B. Buena
C. Media
D. Mala
E. Sin comentario
Gracias!