Clase de Métodos 1: Inferencia Causal y Métodos Cuasi...
Transcript of Clase de Métodos 1: Inferencia Causal y Métodos Cuasi...
Clase de Métodos 1: InferenciaCausal y Métodos
Cuasi-Experimentales
Sveta MilushevaDIME, World Bank
Conceptos Importantes
• Indicadores de Resultados (Outcomes): Loque observamos, medimos y queremosafectar
• Impacto: Cambio en los indicadores deresultado que es causado por el programa aser evaluado
El objetivo de la evaluación de impacto esresponder la siguiente pregunta…
¿Cuál es el impacto de <<intervención>> en<<resultado>> en <población objetivo>?
Estudio de Caso ¿El mejoramiento de carreterasrurales promueve el desarrollo económico local?
Problema: Los costos de transporte hacia ydesde las zonas agrícolas secundarias son altos,y esto afecta negativamente el desarrolloeconómico local
Intervención: Mejorar las carreteras rurales
Indicador de Resultados: Consumo per cápitade los hogares
Pregunta
¿Cuál es la pregunta básica que su evaluación deimpacto debe ser capaz de responder?
Pregunta
¿Cuál es la pregunta básica que su evaluación deimpacto debe ser capaz de responder?
¿Cuál es el impacto de las mejoras de infraestructuraen el desarrollo económico local?
El Programa
2,000 pueblos con carreteras de alta prioridad sonseleccionadas y están invitados a expresar su interés enel programa.
De los 2,000, los 1,021 pueblos que solicitaron laintervención antes de marzo de 2015 tienen un caminomejorado como parte de la fase 1 del programa
Se encuestan hogares en las 2,000 pueblos concarreteras de alta prioridad y se mide su consumo.
¿Cómo podemos evaluar este programa?Participantes vs No Participantes
Idea: Comparar el consumo per cápita de loshogares en pueblos que reciben un mejor camino yde los hogares en pueblos que no reciben un mejor
camino
Participantes vs No Participantes(O Diferencia Simple)
Tratamiento Comparación
Fase 1 pueblos No Fase 1 pueblos Estimado Impacto
Promedio consumo percápita 301.6 219.1 82.5*
Participantes vs No Participantes(O Diferencia Simple)
Tratamiento Comparación
Fase 1 pueblos No Fase 1 pueblos Estimado Impacto
Promedio consumo percápita 301.6 219.1 82.5*
Problema: Sesgo de selección ¿Por qué algunos pueblos son primeros?- La gente usa la carretera más (observable)- La gente está más motivada y emprendedora (inobservable)
¿Cómo podemos evaluar este programa?Antes vs Después
Idea: Comparar el consumo per cápita de loshogares en pueblos que reciben un mejor camino
(tratados) después de la mejora de lainfraestructura con...
...el consumo per cápita de los mismos hogaresantes (control) de la mejora de la infraestructura
Antes vs Después
Tratamiento, 2014 Tratamiento, 2016
Fase 1 pueblosDespués (2016)
Fase 1 pueblosAntes (2014)
Estimado Impacto
Promedio consumo percápita 301.6 259.1 42.5*
Antes vs Después
Tratamiento, 2014 Tratamiento, 2016 Fase 1 pueblos
Después (2016)Fase 1 pueblosAntes (2014)
Estimado Impacto
Promedio consumo percápita 301.6 259.1 42.5*
Problema: Tendencia en el tiempo Otras cosas pueden haber cambiado en eseperiodo- Cambio en la economía general- Los pueblos que son parte de Fase 1 participan en otros programas
Estas dos opciones son incorrectas para laevaluación de los efectos causales
Antes - Después Participantes – No Participantes
Comparación: mismoshogares antes y despuésde la intervenciónProblema: otras cosaspueden haber ocurridodurante ese periodo
Comparación: pueblos quedecidieron participar vspueblos que decidieron nohacerlo
Problema: Sesgo deselección. No sabemos porqué decidieron participar
Ambos contrafactuales (grupos de control) pueden llevara estimaciones sesgadas del impacto de la capacitación
Monitoreo vs evaluación de impacto
Monitoreo: sigue indicadores a lo largo deltiempo para los tratadosAnálisis descriptivo tipo antes vs despuésSirve para tener un indicio de si los resultadosestán cambiando en la dirección deseada
Pero no nos dice por qué ocurre lo queobservamos
Evaluación de Impacto
Compara los resultados de:– grupo de tratamiento– grupo de control
Contrafactual– Qué pasó vs– Qué hubiera pasado (si no hubiera habido elprograma)
Identifica causa-efecto
Métodos de evaluación del impacto
Efectoscausales
Experimentos/Experimentos
Aleatorios Controlados
Regresión discontinua
Diferencia-en-diferencias
(DoblesDiferencias)
Emparejamientopor puntaje de
propensión
Non-experimentales
Métodos no experimentales
Los experimentos no siempre son posiblesRazones de implementaciónRazones políticas
Sigue siendo posible estimar impactos de formarigurosa cuando el tratamiento no se asignaaleatoriamente
Enfoques no experimentales son válidos solo sise utiliza el método adecuado
¿Cómo podemos evaluar este programa?
Sesgo de selección -> grupos no comparables Método 1: Diferencia simple
Grupo detratamiento
Grupo decontrol Diferencia
Número de usuarios 44.26 31.83 12.43*Densidad de población 111.90 109.46 2.44*
Capital local [1 = Sí] 0.86 0.85 0.01Número de hijos por hogar 4.83 5.27 -0.44*
Diversificación (%) 25.90 25.33 0.57Tamaño de la muestra 1021 979
Nota: * indica estadísticamente significativo al nivel de 5%
¿Cómo podemos evaluar este programa?Emparejamiento
Idea: emparejar pueblos basados en suscaracterísticas observables
Cómo? puntaje de propensión:probabilidad de participar en función decaracterísticas de los pueblos
Puntajes similares -> pueblos similares
Emparejar pueblos del grupo de tratamiento conpueblos del grupo de control con puntaje similar
¿Cómo podemos evaluar este programa?Emparejamiento
Después del emparejamiento
Método 1: Diferencia simple Método 2: Emparejamiento porpuntaje de propensión
Grupo detratamiento
Grupo decontrol
Diferen-cia
Grupo detratamiento
Grupo decontrol
Diferen-cia
Número de usuarios 44.26 31.83 12.43* 43.31 34.18 9.13*Densidad de
población 111.90 109.46 2.44* 111.40 110.14 1.26
Capital local [1 = Sí] 0.86 0.85 0.01 0.86 0.85 0.02Número de hijos
por hogar 4.83 5.27 -0.44* 4.95 5.18 -0.23*
Diversificación (%) 25.90 25.33 0.57 26.01 25.41 0.60Tamaño de la
muestra 1021 979 886 751
Comparación de resultados
Fase 1 pueblos No Fase 1 pueblos Estimado Impacto
Promedio consumo percápita 301.6 219.1 82.5*
Método 1: Diferencia simple
Método 2: Emparejamiento por puntaje de propensión
Fase 1 pueblos No Fase 1 pueblos Estimado Impacto
Promedio consumo percápita 290.23 234.41 55.8*
¿Cómo podemos evaluar este programa?Emparejamiento
Dos problemas- Algunos participantes no pueden seremparejados- Variables no observadas pueden ser muyimportantes
¿Cómo podemos evaluar este programa?Diferencia en Diferencias
Idea: combinar la dimensión temporal (antes ydespués del tratamiento) con la selección depueblos (participantes y no participantes)
(bajo algunos supuestos) esto soluciona losproblemas de arriba:
Diferencias en el tiempoSesgo de selección
Diferencia en Diferencias
Diferencia en Diferencias
Diferencia en Diferencias
Diferencia en Diferencias
Diferencia en Diferencias
Fase 1 pueblos No Fase 1 pueblos DiferenciaDespués de la mejora delos caminos ruralesConsumo per cápita 2016
301.6 219.1 82.5*
Antes de la mejora de loscaminos ruralesConsumo per cápita 2014
274.4 219 55.4*
Diferencia en elconsumo per cápitaentre 2016 y 2014
27.2(301.6-274.4)
0.1(219.1-219)
27.1*(301.6-274.4)-(219.1-219) =(Diferencia-
en-Diferencias)
Diferencia en Diferencias
¿Cómo podemos evaluar este programa?Diseño de Regresión Discontinua
Los 1,021 pueblos que solicitaron la intervención antesde marzo de 2015 son parte de la fase 1 del programa
Idea: comparar pueblos que solicitaron laintervención un poco después de marzo de 2015 (porlo tanto noelegibles)…
….con pueblos que solicitaron la intervención unpoco antes de marzo de 2015 (por lo tanto elegibles)
Regresión Discontinua
Regresión Discontinua
Regresión Discontinua
Método correcto si:– Elegibilidad basa en variable continua– Con umbral claramente definidoInterpretación causal (…pero local)
Problema: Impacto solo válido para los pueblos quesolicitaron la intervención cerca de marzo de 2015No necesariamente el grupo más representativo
Gracias