Marcus Holmlund Development Impact Evaluation

Istanbul, 12 de mayo, 2015

Midiendo impactos: Experimentos

Basado sobre materiales de David Evans, Economista Senior y Laura Ralston, Economista, Banco Mundial

Nuestro objetivo:

Llegar a un diseño de evaluación que nos permite saber

• Si nuestro programa ha logrado los resultados esperados

• Como mejorar los resultados de nuestro programa

gráfico número 1

0

1

2

3

4

5

6

7

8

9

10

-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6

resu

ltad

o/

ou

tco

me

meses antes / después de la intervención

Intervención

Impacto?

0

1

2

3

4

5

6

7

8

9

10

-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6

resu

ltad

o/

ou

tco

me

meses antes / después de la intervención

gráfico número 2

Intervención

Impacto?

0

1

2

3

4

5

6

7

8

9

10

-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6

resu

ltad

o/

ou

tco

me

meses antes / después de la intervención

gráfico número 3

Intervención

Impacto?

Desafío

• Necesitamos un contrafactual

• Métodos no-experimentales requieren supuestos y datos pre-existentes de alta calidad

• Hay otra opción?

6

Criterios de un buen Contrafactual

• Tiene características idénticas (tanto observadas como no observadas) al grupo de tratamiento

• La única diferencia es la participación en el programa

• Así que la única razón para cualquier diferencia en los resultados es la participación

IDEA IMPORTANTE

El

CONTRAFACTUAL

nos dice lo que huberia occurrido sin nuestraintervención. Este forma parte fondamental de

LA INFERENCIA CAUSAL

y de la

EVALUACION DE IMPACTO

¿Una manera factible y simple de encontrar un buen contrafactual?

¡Hacer un experimento!

(ensayo aleatorio controlado, aleatorización, randomización, asignación al azar)

El experimento ideal - diseño

Abelardo “el original” Paco “el clon”

[nada]

El experimento ideal -resultado

Abelardo “el original” Paco “el clon”

[nada]

Ensayo aleatorio controlado

• Identificar a los elegibles

• Asignar cada uno o al grupo de tratamiento o al grupo de control al azar / de manera aleatoria

• Los dos grupos tendrán, en promedio, las mismas características• Características observables y no observables

• Cualquier diferencia observada al final debe ser causado por el programa ( = el impacto)

Como funciona la aleatorización?

TRATAMIENTO

CONTROLTRATAMIENTO

CONTROL

• Con una muestra más grande, las diferencias se promedian

• En promedio, las características observables y no observables son idénticas entre los grupos

• Cualquier diferencia en el resultado debe venir directamente del tratamiento

• La aleatorización con dos no funciona

Una distinción importante:muestra aleatoria

• Se empieza con una población definida

• Recogemos datos de algunos (escogidos aleatoriamente)

• Nos asegura que los datos son representativos de la población

• Pero no es una evaluación de impacto

Una distinción importante:asignación aleatoria:

• Se empieza con una población definida

• Aleatoriamente decidimos quién participa, y quien no

• Nos asegura que los grupos son parecidos (en promedio)

• La comparación entre grupos nos dará el impacto causado por el programa

Contexto

16

• El Gobierno de Marcusia quiere saber cual es el impacto de un programa de capacitación para empleados en el sector de helados

• Nuestro trabajo es de realizar esta evaluación de impacto

• Caso 1: La evaluación se hará dentro de una empresa

• Se selecciona una empresa con 800 empleados • El hipótesis es que el programa de entrenamiento mejorara el

desempeño/productividad de los empleados• Como se puede verificar si realmente el programa esta mejorando

la productividad?

Opción 1: aleatorización a nivel del individuo

• Asignar cada uno de los 800 empleados o al grupo de tratamiento (programa de capacitación) o al grupo de control

– Grupo T: 400 empleados

– Grupo C: 400 empleados

• Todos tienen la misma posibilidad de participar

17

Aleatorización a nivel del individuo

La empresa:800 empleados

Asignar al azar

Grupo “C”:400 empleados

IMPACTO:

(Productividad promedia en el Grupo T) – (Productividad promedia en el Grupo C)

Grupo “T”:400 empleados

Algún problema?

• Los no seleccionados pueden sentir frustración

– Aumentar esfuerzo?

– Disminuir esfuerzo?

• Ejemplo de la “desbordacion” (spillover)

• Cada situación va a sesgar nuestra estimación de impacto

19

Opción 2: Aleatorización por grupos

20

T

T

T

C

C

C

C

TC

• Supongamos que hay equipos de empleados

• Los grupos se asignan al azar al grupo C y al grupo T

• Hay menos riesgo de “spillovers”

• Pero este reduce el tamaño de nuestra muestra

A que nivel se debe aleatorizar?

• Depende del programa

– Individual, empleado, hogar

– Empresa, escuela, centro de salud

– Comunidad, pueblo, ciudad

– Municipio, región

21

Contexto

22

• El Gobierno de Marcusia quiere saber cual es el impacto de un programa de capacitación para empleados en el sector de helados

• Nuestro trabajo es de realizar esta evaluación de impacto

• Caso 2: La evaluación se hará con varios empresas

• Hay 800 empresas que satisfacen los criterios del programa• El hipótesis es que el programa de entrenamiento mejorara el

desempeño/productividad de los empleados• Como se puede verificar si realmente el programa este

mejorando la productividad?

Opción 3: Implementación por etapas

• Falta de capacidad o de recursos para introducir el programa en todas las empresas al mismo tiempo

• Hacer una lotería (= asignar al azar) es una manera justa, transparente, y ética de decidir quienes van primero

23

Implementación por etapas

• Asignar empresas al azar al grupo 1 (T) y al grupo 2 (C)

• A final del 2016, comparar los resultados entre los dos grupos

• Pero no se puede medir impactos al largo plazo

Grupo 1 (Enero 2016): 400 empresas

Grupo 2 (Enero 2017): 400 empresas

Y si hay empresas que tienen que estar en el Grupo 1?

Empresas en sectores prioritarios

Los demásEmpresas que no cumplen con los

requisitos del programa

Pero como hacemos si…

• El gobierno niega negar el programa a cualquier empresa que se postula y que cumple con los requisitos del programa

• Los 800 empresas se presentan

• El gobierno de Marcusia sugiere usar una comparación antes-después

• Esta bien?

• NO PARA NADA!!!

26

Opción 4: Variación del tratamiento

Variar la intensidad

Capacitacion basica

• 400 empresas

Capacitacion basica+ tutoria individual

• 400 empresas

Variar la forma del tratamiento

Capacitacion en el lugar del trabajo

• 400 empresas

Capacitacion enun lugar externo

• 400 empresas

27

1

2

3

4

Variación del tratamiento

• Nos permite evaluar diferentes opciones del diseño

– Muy útil para saber cuales son los elementos los mas importantes y así construir programas mejores

• Pero si aplicamos una variación del tratamiento a todo el mundo, se pierde el contrafactual puro

• Solución: también incluir a un grupo de control

28

Opción 5: diseño de estimulación

• Supongamos que no hay mucho interés por parte de las empresas

– Queremos hacer un piloto con 400, pero solo hubo 100 solicitudes

• Introducir algún tipo de estimulación para aumentar el interés

– Se selecciona las empresas que van a recibir la estimulación de manera aleatoria

– La probabilidad de que participen las empresas que reciben la estimulación es mayor

Opción 5: diseño de estimulación

• La estimulación tiene que servir para aumentar el interés en el programa– Sino, no funciona la estimulación, no habrá variación aleatoria en la

probabilidad que una cierta empresa participe en el programa

• Hay tres tipos de empresas:1. Las que siempre participan

2. Las que nunca participan

3. Las que participan si reciben la estimulación

• Solo se mide el impacto para el tercer grupo

Se puede aleatorizar?• Absolutamente si!

• Asignación aleatoria ≠ negar beneficios

• Normalmente, empezar un programa con cobertura universal es imposible por motivos operacionales

– Oportunidad para usar la asignación aleatoria

• La asignación aleatoria resulta la manera más justa de elegir los primeros participantes

– Mas ético que usar fondos públicos escasos para un programa universal con beneficios inciertos

• Pueden comparar varias intervenciones o varias versiones de la misma intervención

– Construir programas con mejores resultados

¿Y si la aleatorización es imposible?

• Considera de nuevo

– Muchas veces es posible en algún nivel, para alguna parte de proyecto

– Es la mejor forma de medir impacto

• Siempre vale la pena comenzar con la pregunta: “Si yo pudiera aleatorizar, ¿como lo haría?”

33

Experimentos

Si no es posible hacer un experimento, utilizar métodos

no-experimentales validos

Antes-Después

Participantes-No

Participantes

RD

Diff-en-Diff

Variostratamientos

IDEA PRINCIPAL:

La

MEJOR MANERA

de

EVALUAR EL IMPACTO

directamente causado por una intervención es mediante un

ENSAYO ALEATORIO CONTROLADO

Gracias! facebook.com/ieKnow

#impacteval

blogs.worldbank.org/impactevaluations

microdata.worldbank.org/index.php/catalog/impact_evaluation

http://dime.worldbank.orgWEB