Clase de Métodos 1: InferenciaCausal y Métodos

Cuasi-Experimentales

Sveta MilushevaDIME, World Bank

Conceptos Importantes

• Indicadores de Resultados (Outcomes): Loque observamos, medimos y queremosafectar

• Impacto: Cambio en los indicadores deresultado que es causado por el programa aser evaluado

El objetivo de la evaluación de impacto esresponder la siguiente pregunta…

¿Cuál es el impacto de <<intervención>> en<<resultado>> en <población objetivo>?

Estudio de Caso ¿El mejoramiento de carreterasrurales promueve el desarrollo económico local?

Problema: Los costos de transporte hacia ydesde las zonas agrícolas secundarias son altos,y esto afecta negativamente el desarrolloeconómico local

Intervención: Mejorar las carreteras rurales

Indicador de Resultados: Consumo per cápitade los hogares

Pregunta

¿Cuál es la pregunta básica que su evaluación deimpacto debe ser capaz de responder?

Pregunta

¿Cuál es la pregunta básica que su evaluación deimpacto debe ser capaz de responder?

¿Cuál es el impacto de las mejoras de infraestructuraen el desarrollo económico local?

El Programa

2,000 pueblos con carreteras de alta prioridad sonseleccionadas y están invitados a expresar su interés enel programa.

De los 2,000, los 1,021 pueblos que solicitaron laintervención antes de marzo de 2015 tienen un caminomejorado como parte de la fase 1 del programa

Se encuestan hogares en las 2,000 pueblos concarreteras de alta prioridad y se mide su consumo.

¿Cómo podemos evaluar este programa?Participantes vs No Participantes

Idea: Comparar el consumo per cápita de loshogares en pueblos que reciben un mejor camino yde los hogares en pueblos que no reciben un mejor

camino

Participantes vs No Participantes(O Diferencia Simple)

Tratamiento Comparación

Fase 1 pueblos No Fase 1 pueblos Estimado Impacto

Promedio consumo percápita 301.6 219.1 82.5*

Participantes vs No Participantes(O Diferencia Simple)

Tratamiento Comparación

Fase 1 pueblos No Fase 1 pueblos Estimado Impacto

Promedio consumo percápita 301.6 219.1 82.5*

Problema: Sesgo de selección ¿Por qué algunos pueblos son primeros?- La gente usa la carretera más (observable)- La gente está más motivada y emprendedora (inobservable)

¿Cómo podemos evaluar este programa?Antes vs Después

Idea: Comparar el consumo per cápita de loshogares en pueblos que reciben un mejor camino

(tratados) después de la mejora de lainfraestructura con...

...el consumo per cápita de los mismos hogaresantes (control) de la mejora de la infraestructura

Antes vs Después

Tratamiento, 2014 Tratamiento, 2016

Fase 1 pueblosDespués (2016)

Fase 1 pueblosAntes (2014)

Estimado Impacto

Promedio consumo percápita 301.6 259.1 42.5*

Antes vs Después

Tratamiento, 2014 Tratamiento, 2016 Fase 1 pueblos

Después (2016)Fase 1 pueblosAntes (2014)

Estimado Impacto

Promedio consumo percápita 301.6 259.1 42.5*

Problema: Tendencia en el tiempo Otras cosas pueden haber cambiado en eseperiodo- Cambio en la economía general- Los pueblos que son parte de Fase 1 participan en otros programas

Estas dos opciones son incorrectas para laevaluación de los efectos causales

Antes - Después Participantes – No Participantes

Comparación: mismoshogares antes y despuésde la intervenciónProblema: otras cosaspueden haber ocurridodurante ese periodo

Comparación: pueblos quedecidieron participar vspueblos que decidieron nohacerlo

Problema: Sesgo deselección. No sabemos porqué decidieron participar

Ambos contrafactuales (grupos de control) pueden llevara estimaciones sesgadas del impacto de la capacitación

Monitoreo vs evaluación de impacto

Monitoreo: sigue indicadores a lo largo deltiempo para los tratadosAnálisis descriptivo tipo antes vs despuésSirve para tener un indicio de si los resultadosestán cambiando en la dirección deseada

Pero no nos dice por qué ocurre lo queobservamos

Evaluación de Impacto

Compara los resultados de:– grupo de tratamiento– grupo de control

Contrafactual– Qué pasó vs– Qué hubiera pasado (si no hubiera habido elprograma)

Identifica causa-efecto

Métodos de evaluación del impacto

Efectoscausales

Experimentos/Experimentos

Aleatorios Controlados

Regresión discontinua

Diferencia-en-diferencias

(DoblesDiferencias)

Emparejamientopor puntaje de

propensión

Non-experimentales

Métodos no experimentales

Los experimentos no siempre son posiblesRazones de implementaciónRazones políticas

Sigue siendo posible estimar impactos de formarigurosa cuando el tratamiento no se asignaaleatoriamente

Enfoques no experimentales son válidos solo sise utiliza el método adecuado

¿Cómo podemos evaluar este programa?

Sesgo de selección -> grupos no comparables Método 1: Diferencia simple

Grupo detratamiento

Grupo decontrol Diferencia

Número de usuarios 44.26 31.83 12.43*Densidad de población 111.90 109.46 2.44*

Capital local [1 = Sí] 0.86 0.85 0.01Número de hijos por hogar 4.83 5.27 -0.44*

Diversificación (%) 25.90 25.33 0.57Tamaño de la muestra 1021 979

Nota: * indica estadísticamente significativo al nivel de 5%

¿Cómo podemos evaluar este programa?Emparejamiento

Idea: emparejar pueblos basados en suscaracterísticas observables

Cómo? puntaje de propensión:probabilidad de participar en función decaracterísticas de los pueblos

Puntajes similares -> pueblos similares

Emparejar pueblos del grupo de tratamiento conpueblos del grupo de control con puntaje similar

¿Cómo podemos evaluar este programa?Emparejamiento

Después del emparejamiento

Método 1: Diferencia simple Método 2: Emparejamiento porpuntaje de propensión

Grupo detratamiento

Grupo decontrol

Diferen-cia

Grupo detratamiento

Grupo decontrol

Diferen-cia

Número de usuarios 44.26 31.83 12.43* 43.31 34.18 9.13*Densidad de

población 111.90 109.46 2.44* 111.40 110.14 1.26

Capital local [1 = Sí] 0.86 0.85 0.01 0.86 0.85 0.02Número de hijos

por hogar 4.83 5.27 -0.44* 4.95 5.18 -0.23*

Diversificación (%) 25.90 25.33 0.57 26.01 25.41 0.60Tamaño de la

muestra 1021 979 886 751

Comparación de resultados

Fase 1 pueblos No Fase 1 pueblos Estimado Impacto

Promedio consumo percápita 301.6 219.1 82.5*

Método 1: Diferencia simple

Método 2: Emparejamiento por puntaje de propensión

Fase 1 pueblos No Fase 1 pueblos Estimado Impacto

Promedio consumo percápita 290.23 234.41 55.8*

¿Cómo podemos evaluar este programa?Emparejamiento

Dos problemas- Algunos participantes no pueden seremparejados- Variables no observadas pueden ser muyimportantes

¿Cómo podemos evaluar este programa?Diferencia en Diferencias

Idea: combinar la dimensión temporal (antes ydespués del tratamiento) con la selección depueblos (participantes y no participantes)

(bajo algunos supuestos) esto soluciona losproblemas de arriba:

Diferencias en el tiempoSesgo de selección

Diferencia en Diferencias

Diferencia en Diferencias

Diferencia en Diferencias

Diferencia en Diferencias

Diferencia en Diferencias

Fase 1 pueblos No Fase 1 pueblos DiferenciaDespués de la mejora delos caminos ruralesConsumo per cápita 2016

301.6 219.1 82.5*

Antes de la mejora de loscaminos ruralesConsumo per cápita 2014

274.4 219 55.4*

Diferencia en elconsumo per cápitaentre 2016 y 2014

27.2(301.6-274.4)

0.1(219.1-219)

27.1*(301.6-274.4)-(219.1-219) =(Diferencia-

en-Diferencias)

Diferencia en Diferencias

¿Cómo podemos evaluar este programa?Diseño de Regresión Discontinua

Los 1,021 pueblos que solicitaron la intervención antesde marzo de 2015 son parte de la fase 1 del programa

Idea: comparar pueblos que solicitaron laintervención un poco después de marzo de 2015 (porlo tanto noelegibles)…

….con pueblos que solicitaron la intervención unpoco antes de marzo de 2015 (por lo tanto elegibles)

Regresión Discontinua

Regresión Discontinua

Regresión Discontinua

Método correcto si:– Elegibilidad basa en variable continua– Con umbral claramente definidoInterpretación causal (…pero local)

Problema: Impacto solo válido para los pueblos quesolicitaron la intervención cerca de marzo de 2015No necesariamente el grupo más representativo

Gracias