Christian Borja VegaBanco Mundial

5 de Abril de 2017Guatemala

TALLER DE EVALUACIÓN DE IMPACTO

Qué otros métodos se pueden considerar para la evaluación

Métodos Quasi-Experimentales: Regresión Discontinua

Diseño de Regresión Discontinua

Programas contra la pobreza

Pensiones

Educación

Agricultura

Muchos programas sociales seleccionanbeneficiarios usando un índice o puntaje

Dirigidos a hogares por debajo de un índice de pobreza o nivel de ingresos

Dirigidas a la población por encima de una cierta edad

Becas dirigidas a estudiantes con altascalificaciones en pruebasestandarizadas

Programas de fertilizantes dirigidos a pequeñas granjas, por debajo de un número definido de hectáreas

Diseño de Regresión Discontinua

Compara los resultados Y para unidadesjusto por arriba y por debajo de un punto

de corte

Las unidades justo arriba del punto de corte son muy similares a las unidades justo por debajo del

mismo – buena comparación

Índice de Focalización(proxy mean test)

Punto de discontinuidad

0 100POBRES NO POBRES

Ejemplo: Efecto de un programa de desarrollocomunitario sobre la asistencia escolar

Mejorar la asistencia escolar en comunidadespobres

Meta

o Comunidades con un puntaje de pobreza ≤50 son pobres

o Comunidades con un puntaje de pobreza > 50 son no pobres

Método

Las comunidades pobres reciben subsidios en bloquepara mejorar los servicios locales

Intervención

Participación en el Programa

POBRES NO POBRES

No elegibleNo elegibleElegibleElegible

0.2

.4.6

.81

enro

lled

0 10 20 30 40 50 60 70 80 90 100score

enro

lado

s

puntaje

Diseño de RegresiónDiscontinua – Línea de Base

No elegibleNo elegible

ElegibleElegible

Resultados

Puntaje

Diseño de Regresión DiscontinuaPost Intervención

IMPACTO

Resultados

Puntaje

IMPACTO

Identificación de discontinuidadaguda

i 0 1 i i iyi = β0 + β1 Di + δ(puntajei) + εi

Di =1 Si la comunidad i recibe transferencia

0 Si la comunidad i no recibe transferencia

δ(puntajei) = Función continua alrededor del punto de corte

Regla de asignación bajo discontinuidad aguda:

Di = 1

Di = 0

puntajei ≤ 50

puntajei > 50

Ejemplo: Transferencias MonetariasCondicionadas (TMC) Cambodia

Fuente: (Filmer & Schady,2011)

• La elegibilidad se basa en un índice de probabilidad de deserciónescolar

• 2 puntos de corte dentro de cada escuela:

• A los aplicantes con riesgo más alto de deserción se les ofreció una beca de US $60 por año

• A los aplicantes con riesgo medio de deserción se les ofrecióuna beca de US $45 por año

• A los aplicantes con bajo riesgo de deserción el programa no les ofreció beca

Probabilidad de deserción escolar

Beca deUS$ 60

Beca deUS$ 45

Sin beca

Corte 1 Corte 2

Gran impacto de la beca de US $45

• Sin beca versus $45 • Becas de $60 versus $45

Fuente: Filmer and Schady. 2011. “Does More Cash in Conditional Cash Transfer Programs Always Lead to Larger Impacts on School Attendance?”, Journal of Development Economics

Receptores

0

0.2

0.4

0.6

0.8

1

-25 -15 -5 5 15 25

Relative rankingP

rob

abili

ty

Recipients Non-recipients

Estimación del impacto

Prob

abilid

ad

Ranking relativo

Receptores No-Receptores

0

0.2

0.4

0.6

0.8

1

-25 -15 -5 5 15 25

Relative ranking

Pro

bab

ility

Recipients Non-recipients

Estimacióndel impacto

Prob

abilid

ad

Ranking relativo

Receptores No-Receptores

Ventajas del Diseño de RegresiónDiscontinua (DRD) para una

evaluación

Produce una estimación válida del efecto del tratamiento en la discontinuidad alrededor del corte.

Puede aprovechar una regla ya conocida paraasignar el beneficio

o Esto es común en el diseño de intervenciones socialeso No hay necesidad de “excluir” a un grupo de hogares/individuos

elegibles del tratamiento

Potenciales desventajas de DRD

Efecto promedio de tratamiento local:Estimamos el efecto promedio de tratamiento alrededor del puntode corteEsto no siempre es generalizable

Potencia estadística:El efecto es estimado en la discontinuidad, por lo que por lo general tenemos menos observaciones que en un experimento aleatorizadocon el mismo tamaño de muestra

RecuerdaDiseño de Regresión

DiscontinuaRequiere criterio continuo de elegibilidad con un claropunto de corte.

Proporciona estimación no sesgada del efecto del tratamiento: Observaciones

justo cruzando el punto de

corte son buenascomparaciones.

No es necesario excluir a un grupo of hogares/individuos elegibles para el tratamiento.

Se puede usar a veces en programas que están ya en marcha.

¿Qué se requiere para evaluar?

• ¿Qué hubiera pasada sin el programa?• El problema del contrafactual

• Métodos experimentales (aleatorización, experimentos naturales)

• Métodos cuasi-experimentales

• Pareamiento, Dif-Dif

• Regresión discontinua

• Variables instrumentales, otros

Hogares con personas de 65 a 75 años sin seguro social

Reciben "100 a los 70"

No reciben "100 a los 70"

Diferencia(4) - (5)

Educación de jefe

Bachillerato 0.02 0.06 -0.03**Superior 0.01 0.02 -0.01**

Composición del hogar

15 a 19 años 0.23 0.30 -0.07**20 a 29 años 0.32 0.40 -0.08**55 a 64 años 0.17 0.29 -0.13**

Total de integrantes 3.48 3.73 -0.25*Localidades rurales 0.801 0.716 0.085**Hogar de adultos mayores 0.351 0.261 0.089**

Método de Regresión Discontinua

• Aprovechar el criterio de edad de 70 años para recibir los beneficios del programa.

• Supuesto clave:

• Las personas próximas a los 70 años, pero que aún no los cumplen, no son diferentes a las que ya los cumplieron o tienen poco tiempo de haberlos cumplido

Estrategia empírica• Muestra de análisis:

• Grupo control: • Hogares con personas 65 a 69 • años sin acceso a la seguridad social, no reciben “100 a los 70.”

• Grupo tratamiento: • Hogares con población de 70 a 75 • años sin acceso a la seguridad social que sí reciben “100 a los 70”.

• Variables instrumentales:

• Proporción de personas de 70 años o más que reciben el progama a nivelcorregimiento

Fuentes de información

Encuesta de Mercado Laboral

(EML)

Encuesta de Propósitos

Múltiples

• 2011, 2012, 2013, 2014 • 2011, 2012, 2013

• Ventajas: Información anual y detallada sobre decisiones

laborales, ingresos, y si se es beneficiario de “100 a los 70”

• Desventajas: No cuentan con información sobre otras

dimensiones relevantes para el programa: salud, nutrición,

utilización de servicios de salud, movilidad, etc.

Estrategia de evaluación

• Método de Regresión Discontinua

• Diseño Difuso (controlar por otros factores que condicionan la elegibilidad)

• Modelo empírico:

• ���� Parámetros de impacto, �� Recibe “100 a los 70”

• �� Variables de control, �� , � efectos fijos a nivel corregimiento

���� = � + �� + ��� + �� + � + ����

Parámetros de impacto

• Decisiones laborales y productivas:

Participación laboral, horas trabajadas, ingreso laboral, negocios propios o del hogar.

• Ingresos del hogar:

Transferencias privadas, otros programas sociales

• Otras dimensiones disponibles:

Asistencia escolar

Salida de residentes del hogar

Conclusiones• Gracias al B.100/70 las personas entre 65 y 75 años destinan

más tiempo a actividades productivas dentro del hogar, y pueden depender menos del mercado laboral.

• En paralelo, los jóvenes pueden destinar más horas de trabajo en el mercado laboral, y aumentar sus ingresos.

• El efecto neto de estas decisiones más la transferencia monetaria aumenta el ingreso total del hogar.

• Los resultados sugieren que B.100/70 disminuye la vulnerabilidad económica de su población objetivo

• Un ejercicio de evaluación integral permitiría identificar impactos en otros ámbitos del bienestar: salud, nutrición, autonomía, entre otros

Otro ejemplo

Frequency histograms of recentered points for each year 2010-2015

050

100

150

200

Fre

quen

cy

-40 -20 0 20 40 60Recentered points 2010

Rejected Asignado

050

100

150

200

250

Fre

quen

cy

-30 -20 -10 0 10 20Recentered points 2011

Rejected Asignado

050

100

150

200

250

Freq

uenc

y

-20 -10 0 10 20Recentered points 2012

Rejected Asignado

050

100

150

200

Fre

quen

cy

-40 -20 0 20 40Recentered points 2013

Rejected Asignado

050

100

150

Fre

quen

cy

-40 -20 0 20 40Recentered points 2014

Rejected Asignado

050

100

150

200

Fre

quen

cy

-40 -20 0 20 40Recentered points 2015

Rejected Asignado

Programa de captacion de lluvia:

Existe un punto de discontinuidad basado en el promedio de precipitacion pluvial (50mm/mes)

Otros ejemplos: programas de asistencia social y pensiones en CANADA

Otros métodos: Marching o pareamiento

Metodo de Pareo o Matching

• Ultima opcion a utilizar

• Requiere datos de alta calidad, periodicidad, y esaltamanetedependiente del metodo estadisticopara construir un contrafactual

Matching:

Gender: Male

Age: 19

Poverty level: 3

High school GPA: 3.4

National exam score: 82

CLA+ score: 45

Grit score: 4.5

Expected salary: 700,000

Gender: Male

Age: 20

Poverty level: 3

High school GPA: 3.3

National exam score: 85

CLA+ score: 43

Grit score: 4.6

Expected salary: 500,000

Gender: Male

Age: 19

Poverty level: 3

High school GPA: 3.5

National exam score: 79

CLA+ score: 46

Grit score: 4.2

Expected salary: 900,000

Grupo tratamiento: Grupo comparación:

100 Kepler students 200 estudiantes de 4 universidades – tenemos suficientes individuos?

¿Y qué pasa con el resultado de interés?

Kepler Comparison

Baseline

Test

sco

re

42% 43%

63%

49%

Kepler Comparison

Endline

Kepler Comparison

Endline

Test

sco

re

68%

56%

UN CASO CONCRETO QUE USA METODO DE MATCHING

Programa de abasto de leche Liconsa

� El programa empezó en 1945 como La Asociación Lechera Nacional, se convierte en LICONSA en 1994.

� Los beneficiarios son familias en pobreza alimentaria de zonas urbanas con niños menores de 12 años y madres embarazadas.

�La familia tiene derecho a comprar aproximadamente 9 litros de leche a la semana, a un precio menor (la mitad) que el del mercado. Desde 1998 no hay subsidios.

�La leche distribuida por este programa se fortificó con vitaminas A y D de acuerdo a la normatividad sanitaria vigente a partir de 1970.

� En 1999, 50% de los niños entre 12 y 24 meses y 20% de los escolares mexicanos sufrían de anemia, la mayor parte de ellos por deficiencia de hierro.

�La anemia y la deficiencia de hierro cuando ocurren durante los dos primeros años de vida, tienen efectos adversos en el desarrollo físico y mental y en la capacidad para defenderse de las infecciones.

�Como consecuencia los niños tienen talla baja, más infecciones, bajo rendimiento escolar y puede afectar el desarrollo mental

Anemia y deficiencia de hierro en niños Mexicanos

La leche Liconsa se fortificó en 2002

� En abril de 2002 se fortificó la leche distribuida por el

Programa de Abasto Social de leche de Liconsa con hierro,

además de otros minerales y vitaminas.

�Su distribución comenzó a partir de agosto 2002 y se

finalizó en todos los estados en 2004

Niveles de fortificación de la leche Liconsa

Anemia, desarrollo físico y mental

Crecimiento, defensa contra las infecciones

Favorece la absorción de hierro

Malformaciones congénitas

4.5

60

17

4

0.4

4.5

80

120

13.2

13.2

0 20 40 60 80 100 120 140

Vitamina D

Ácido Fólico

Vitamina C

Zinc

Hierro

mg o ug/L

Leche sin fortificar Leche fortificada

¿Evaluación exitosa?• Se tuvo en mente una evaluación de impacto• El programa quiso hacer y financiar en parte la

evaluación• Se pudo hacer una evaluación científica, estimando

el contrafactual

• Se contrataron a buenos evaluadores externos• La operación de las evaluaciones fueron

estrechamente supervisadas• Se obtuvieron resultados positivos• Se desprendieron recomendaciones precisas• Se busca implementarlas en este año

Evaluación de impacto económico

• El objetivo fue estimar cuánto era la transferencia de ingreso y si ésta se traducía en aumento de consumo de leche

• Se contrató por concurso al Tecnológico de Monterrey ($127,000 dólares)

• Se requiere saber cuánto hubiera sido el consumo de leche sin la presencia del programa (contrafactual)

MetodologíaSin programa Con programa

Consumo X 9(litros)Precio por $7.0 $3.5litro

Ahorro inicial= X($7-$3.5)

Incremento en el consumo= 9-X

Resultados• Se hicieron encuestas a famlias beneficiarias y no

beneficiarias de las mismas localidades• Mediante el método de pareo (matching) se eligieron a las

familias no beneficiarias más parecidas a las beneficiarias.• Las características de todas las familias se agrupan en un

indicador puntual de la probabilidad de participación en el programa

• X = 7.7 litros• Ahorro=13 dólares al mes (aprox. 4% del ingreso familiar de

la familia promedio)• Aumento en consumo 18%...• ..los más pobres 50%

Evaluación de la Fortificación de leche• Los objetivos fueron:

• Analizar si la leche fortificada tenía efecto sobre la anemia de los niños• Evaluar qué le sucedía a la abosorción de hierro si la leche se calentaba, se mezclaba con

otros alimentos o si se dejaba a la intemperie

• Se contrató directamente al Instituto Nacional de Salud Pública para esta evaluación, con un costo de $420,000 dólares.

� La leche LICONSA frecuentemente forma parte del desayuno o la cena (huevo, tortillas, frijoles); las madres le agregan saborizantes (chocolate), que disminuyen la absorción de hierro.

�La calientan, la hierven o la almacenan por períodos largos lo cual destruye la vitamina C.

�Debido a lo anterior, se estudió científicamente la absorción del hierro agregado a la leche, así como el efecto de la temperatura y el tiempo de almacenamiento sobre las concentraciones de vitamina C agregada a la leche

Algunas prácticas familiares y la absorción de hierro

� La absorción se evaluó marcando la leche con dos formas de hierro diferentes a la normal (Fe57 y Fe 58).

� Absorción = Incorporación de hierro a los glóbulos rojos.

� De esta manera se mide la cantidad de hierro que pasó desde la leche hasta los glóbulos rojos de la sangre. Dimensiona la posibilidad de corregir la anemia.

Absorción de hierro

18

Absorción de hierro, ajustada al 40% de absorción de la dosis de referencia

(ANCOVA; p<0.151)

= Absorción mínima deseada

9.9

7.9

1.9

0

2

4

6

8

10

12

14

16

18A

bsor

ción

Hie

rro

(%)

Lechefortificada sola

Lechefortificada

c/chocolate +desayuno

Leche nofortificada

18

Pérdida de vitamina C por calentamiento

= Pérdida límite 85%

82.693

81 91 76 8672

81

0

20

40

60

80

100

ug/L

o %

4 60 80 91

Grados centígrados

Concentración (ug/L) Porcentaje

Pérdida de vitamina C debido al tipo de conservación

18

= Pérdida límite 85%

95

92.983.5

90.1

75.4

93.6

70.9

87.4

0

20

40

60

80

100

Por

cien

to

0 12 24 48

Horas

Temperatura ambiente Refrigeración

Medición de los efectos bajo condiciones normales de operación del programa

�Los niños recibieron 2 vasos diarios de leche fortificada o

sin fortificar durante 12 meses.

�Indicadores a evaluar: Prevalencia de anemia, de deficiencia

de hierro, zinc, vitamina C y ácido fólico.

�Después de 6 meses, se mejoró la anemia de los niños de

12 a 30 meses de edad en un 26%

Resultados

� Proyectando los datos de esta evaluación a los 5 millones de beneficiarios de Liconsa, 279,164 niños dejaron de ser anémicos en 6 meses.

� El programa cambió el rumbo de su futuro en: crecimiento físico, capacidad de pensamiento creativo, enfermedades

� Cada niño recuperado de la anemia costó $.07 dólares en los 6 meses de fortificación.

� El costo de esta evaluación fue de $0.005 por litro de leche distribuida por Liconsa en 12 meses.

Pasos a seguir para hacer un método matching

Puntajes de propension (basado en caracteristicas)

Paso 2

Paso 1

Restringir muestras o individuos a aquellos con validezestadistica (common support)

Paso 3Estimar los efectos para submuestras con diferentespuntajes y common support

Este método tiene algunas debilidades:• No se puede reducir sesgo de selección

• Difícil de estimar y con varios criterios de pareo estadístico

• Depende mucho de datos confiables y de muestras grandes

• No se puede tener muchas veces validez externa (representatividad)

GRACIAS!