Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II....

1

Estudios Aleatorizados Francisco Gallego PUC Chile y J-PAL Santiago, 9 de abril de 2013

Mapa I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos IV. Otros Estudios Aleatorios

I. Con muestra seleccionada II. Con cumplimento parcial

V. Validez Externa VI. Material adicional: ¿Cómo aleatorizar?

2

I. Recapitulando

3

Mapa

1. Recapitulando

Algunos conceptos claves : • Evaluaciones de impacto en un contexto de

inferencia causal • Desafío fundamental de identificación del impacto

de un programa: – ¿Cómo habría sido la vida del individuo o grupo son el

programa? ¡NO OBSERVABLE! – Aproximarse a lo “no observable”: Grupo de control o

grupo contrafactual. Problema central: sesgo de selección.

– ¿Cómo? Métodos observacionales o experimentales

I. Recapitulando II. Motivación

5

Mapa

2. Motivación

• En muchos campos (en el pasado en la medicina), hoy en ciencias sociales y políticas públicas, la mejor evidencia de contrafactuales es generada por ensayos aleatorios.

• Bajo ciertas condiciones, los ensayos aleatorios aseguran que los resultados en el grupo control realmente capturen el contrafactual para un grupo tratamiento

6

I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos

8

Mapa

3.1. Aleatorización e inferencia causal • Los estadísticos recomiendan un modelo en

etapas: – Primera etapa: una muestra aleatoria de unidades

seleccionada de una población definida – Segunda etapa: esta muestra de unidades es

asignada aleatoriamente a los grupos tratamiento y control

• La idea de aleatorización en ambas etapas cumple objetivos muy diferentes…

9

3.2. Caracterización básica de una evaluación aleatoria bi-etápica

10

Población objetivo

No está en la evaluación

Muestra aleatoria de la

evaluación

Asignación aleatoria

Grupo de tratamiento

Grupo de control

Primera Etapa Segunda Etapa

3.3. Aleatorización e inferencia causal • Primera etapa: buscar ayudar a asegurar validez

externa (pero no es condición necesaria ni suficiente, más sobre esto más adelante) – Asegurar que la muestra utilizada en la evaluación

represente a la población (dado un cierto error muestral) – Puede ser una aleatorización estratificada

• Segunda etapa: busca ayudar a asegurar validez interna: – Asegurar que el impacto observado se debe al tratamiento

y no a otro factor (o sea, ayudar a definir adecuadamente el contrafactual)

– Puede ser una aleatorización estratificada 11

• En este tipo de ensayos aleatorios (bietápicos): • Si la muestra es grande (cálculo de potencia/poder),

se asegura que: • ¿Por qué? • Y, por tanto,

estima consistentemente ATE. ¿por qué?

12

[ ] [ ] [ ] [ ]0|1|y 0|1| 0011 ====== DYDYDYDY

[ ] [ ]1|ˆ1|ˆˆ01 =−== DYDYδ

3.3. Aleatorización e inferencia causal

I. Recapitulando II. Motivación III. Estudios Aleatorios Bietápicos IV. Otros Estudios Aleatorios


13

Mapa

4. Aleatorización: Otros

• Sin embargo, hay otras formas de aleatorización diferentes que se usan en la práctica – Típicamente se desvían del diseño bi-etápico y, por ello es

interesante entender qué permiten estimar y qué limitaciones pueden tener.

• Veremos dos casos – Ensayos aleatorios sin aleatorización en la primera etapa:

• Caso particular: ensayos aleatorios con auto-selección previa

– Ensayos aleatorios con cumplimiento imperfecto

14



V. Material adicional: ¿Cómo aleatorizar?

15

Mapa

16

Población objetivo


Muestra seleccionada

de la evaluación



Grupo de control

4.1.2. Evaluación aleatoria con muestra seleccionada

4.1.3. Evaluación aleatoria con Voluntarios

17

Población objetivo


Voluntarios Asignación aleatoria


Grupo de control

• Es una sub-población auto-seleccionada (denotemos V=1 si postula) que postula a recibir el tratamiento. – Tratados (D=1|V=1): los que quisieron participar y fueron

asignados al programa con una lotería. – Control (D=0|V=1): los que quisieron participar y no fueron

asignados al programa.

18


• ¿Qué asegura la aleatorización?

y, por lo tanto, nuestro estimador estima consistentemente para los que quisieron participar:

• O sea estamos estimando el efecto del tratamiento en los tratados y no en la población completa. – ¿Es una problema esto? ¿Cuándo? Según Duflo et al.

(2007) este grupo es el que justamente sería afectado por lo política si se expandiese, entonces también es de interés de evaluación.

19

[ ] [ ][ ] [ ]1,0|1,1|y

1,0|1,1|

00

11

=====

=====

VDYVDY

VDYVDY

[ ] [ ]1,0|ˆ1,1|ˆˆ011 ==−==== VDYVDYVδ




V. Material adicional: ¿Cómo aleatorizar?

20

Mapa

4.2.1. Caracterización básica de una evaluación aleatoria con cumplimento imperfecto

21

Población objetivo


Muestra de la evaluación



Participantes

No participan

Grupo de control

No participantes

Controles tratados

• Algunos individuos en el grupo de control reciben tratamiento

• Ej. Programa de desparasitación (Miguel y Kremer, 2004); Baird et al. (2011): – Los padres podrían intentar cambiar a sus hijos desde la

escuela de comparación a la escuela en tratamiento – 5% de los alumnos del grupo de control recibió el

tratamiento.

4.2.2. Cumplimiento parcial con el protocolo

22

• Algunos en grupo de tratamiento deciden no tomar

el tratamiento • Ej. Programa de desparasitación:

- Algunos estudiantes asignados a tratamiento en las escuelas en tratamiento no recibieron el tratamiento médico

- 78% de los pupilos asignados para recibir tratamiento recibieron al menos algo de tratamiento

23


• ¿Cómo se estima el efecto del programa? • Utilice la asignación original

– Si una niña terminó en una escuela en tratamiento, pero era de control, se debe asignar a control cuando calcula el efecto

• Esto nos brinda el cálculo de intención de tratar (ITT)


• Como discutimos antes, el ITT mide el efecto promedio de ofrecer el programa. “Qué le ocurrió al niño promedio que está en

una escuela tratada en esta población?”

• ¿Es este el número adecuado a buscar?, ¿Es el efecto de la desparasitación?

4.2.3. Intención de tratar (ITT)

• Se puede relacionar con programas concretos. En general, no se puede obligar a que los individuos “tomen” los tratamientos. – Por ejemplo, podría no interesarnos el efecto médico del

tratamiento de desparasitación, pero mas bien lo que ocurriría en un programa de desparasitación real.

– Si los estudiantes con frecuencia faltan a la escuela y por lo tanto no reciben el medicamento para la desparasitación, la estimación de la intención de tratar podría ser realmente lo más importante.

4.2.4. ¿Cuándo es útil ITT?


Escuela 1

Asignado a Tratamiento

Recibe Tratamiento

Carga Parasitaria

Pupilo 1 sí sí 0 Pupilo 2 sí sí 0 Pupilo 3 sí sí 1 Pupilo 4 sí no 3 Pupilo 5 sí sí 1 Pupilo 6 sí no 3 Pupilo 7 sí no 3 Pupilo 8 sí sí 1 Pupilo 9 sí sí 0 Pupilo 10 sí no 3

Escuela 2


Recibe Tratamiento

Carga Parasitaria

Pupilo 1 no no 3 Pupilo 2 no no 2 Pupilo 3 no sí 1 Pupilo 4 no no 3 Pupilo 5 no no 3 Pupilo 6 no sí 0 Pupilo 7 no no 3 Pupilo 8 no no 2 Pupilo 9 no no 2 Pupilo 10 no no 3

1. Comparar a quienes RECIBEN tratamiento con quienes NO reciben tratamiento

4.2.6. Algunas Posibilidades

Escuela 1


Recibe Tratamiento

Carga Parasitaria


Escuela 2


Recibe Tratamiento

Carga Parasitaria


1. Comparar a quienes RECIBEN tratamiento con quienes NO reciben tratamiento

• Pero quién recibe el tratamiento no es aleatorio. - En el grupo de control, quienes reciben

tratamiento pueden ser los hijos de padres más motivados.

- En el grupo de tratamiento, quienes no lo reciben pueden ser los hijos de padres menos motivados.


2. Comparar a quienes RECIBEN tratamiento en grupo de tratamiento con quienes NO reciben tratamiento en grupo de control

Escuela 1


Recibe Tratamiento

Carga Parasitaria


Escuela 2


Recibe Tratamiento

Carga Parasitaria



2. Comparar a quienes RECIBEN tratamiento en grupo de tratamiento con quienes NO reciben tratamiento en grupo de control

• Pero quién recibe el tratamiento no es aleatorio - En el grupo de tratamiento quienes reciben

son los motivados. - En el grupo de control quienes no lo reciben

son los no motivados


3. Comparar a quienes fueron ASIGNADOS a grupo de tratamiento con quienes fueron ASIGNADOS a grupo de control

Escuela 1


Recibe Tratamiento

Carga Parasitaria


Escuela 2


Recibe Tratamiento

Carga Parasitaria



4.2.7. Intención de Tratar: ¡Qué hacer!

33

Promedio de escuela 1: (A)

Promedio de escuela 2: (B)

¿Intención de Escuela 1 tratamiento? ¿Tratado? Pupilo 1 sí sí 4 Pupilo 2 sí sí 4 Pupilo 3 sí sí 4 Pupilo 4 sí no 0 Pupilo 5 sí sí 4 Pupilo 6 sí no 2 Pupilo 7 sí no 0 Pupilo 8 sí sí 6 Pupilo 9 sí sí 6 Pupilo 10 sí no 0

Cambio prom. entre escuela A=

Escuela 2 Pupilo 1 no no 2 Pupilo 2 no no 1 Pupilo 3 no sí 3 Pupilo 4 no no 0 Pupilo 5 no no 0 Pupilo 6 no sí 3 Pupilo 7 no no 0 Pupilo 8 no no 0 Pupilo 9 no no 0 Pupilo 10 no no 0

Cambio prom. entre escuela B=

Cambio observado en el peso

Efecto Intención de tratar 3

0,9

3

,9

2,1

• SIEMPRE se debe respetar la asignación inicial cuando se analizan los datos, independiente de quien termina recibiendo tratamiento

– Asignación inicial es lo único que es aleatorio y por

tanto útil para estimar impacto con validez interna – Tomar o no tomar el tratamiento no es aleatorio

• Notar que externalidades desde el tratamiento al control se pueden pensar como un caso particular de


• Además de afectar interpretación de resultados, cumplimiento parcial tiene implicaciones importantes para diseño del experimento

• Afecta cálculos de poder y tamaño muestral – Es importante ANTICIPAR posible cumplimiento

parcial


• ¿Puedo saber impacto del tratamiento sobre los que efectivamente lo reciben?

36 36


• A veces…

• Necesito supuestos adicionales – Ya no es suficiente la aleatorización

37 37


Supuestos: 1. No hay externalidades en el tratamiento

– Niños que no toman desparasitantes en colegios asignados a recibirlos se siguen contagiando como antes

2. No hay efectos indirectos de la asignación del tratamiento

– En diseños aleatorios de estímulo, el estímulo no tiene un impacto directo sobre el resultado

4.2.9. Tratamiento en los tratados (TOT)

38

• El efecto del tratamiento en quienes recibieron el tratamiento: – Suponga que los niños que recibieron el tratamiento

aumentaron de peso A, independiente de si están en un tratamiento o una escuela de control

– Suponga que los niños que no reciben tratamiento tuvieran un aumento de peso de B, nuevamente en ambos tipos de escuelas

– Deseamos conocer A-B, la diferencia entre los estudiantes tratados y no tratados

39


4.2.9. Calcular tratamiento en los tratados

¿Intención Escuela 1 de tratar? ¿Tratado?

Pupilo 1 sí sí 4 Pupilo 2 sí sí 4 Pupilo 3 sí sí 4

A = Aumenta si se trata

Pupilo 4 sí no 0 B = Aumenta si no se trata

Pupilo 5 sí sí 4 Pupilo 6 sí no 2 Pupilo 7 sí no 0

Calculador de ToT: A-B

Pupilo 8 sí sí 6 Pupilo 9 sí sí 6 Pupilo 10 sí no 0

A-B = Y(T)-Y(C)

Cambio promedio Y(T)=

Prob(Tratado|T)-Prob(Tratado|C)

School 2 Pupilo 1 no no 2

Y(T)

Pupilo 2 no no 1

Y(C)

Pupilo 3 no sí 3

Prob(Tratado|T)

Pupilo 4 no no 0

Prob(Tratado|C)

Pupilo 5 no no 0 Pupilo 6 no sí 3 Pupilo 7 no no 0

Y(T)-Y(C)

Pupilo 8 no no 0

Prob(Tratado|T)-Prob(Tratado|C)

Pupilo 9 no no 0 Pupilo 10 no no 0

Cambio promedio Y(C) =

A-B

Cambio observado

en el peso

3

0,9

3 0,9

60% 20%

2,1 40%

5,25

Compare a Intención de tratar: 2,1

• En la práctica, el TOT se estima con utilizando la asignación del tratamiento como variable instrumental para recibir el tratamiento. – Ver más adelante en el curso… – Por lo tanto, el efecto estimado es un efecto local.

42





43

Mapa

• La validez interna es una condición necesaria para que los resultados de un experimento aleatorio sean generalizables…

• Pero no es suficiente.

5. Validez externa

44

• Una limitación de las evaluaciones aleatorias es que la evaluación en sí puede provocar que el grupo de tratamiento o de comparación cambie su conducta – La conducta del grupo en tratamiento cambia:

Efecto Hawthorne – La conducta del grupo de comparación cambia:

Efecto John Henry

5.1. Amenaza para la validez externa: Respuestas conductuales para las evaluaciones

45

• Además: un programa puede generar respuestas conductuales que no ocurrirían si el programa fuera generalizado

5.2. Respuestas conductuales para las evaluaciones

46

• Depende de tres factores: – Implementación del programa: ¿se puede replicar

a gran escala (nacional)? • Implementación del programa • Efectos de equilibrio general

– Muestra del estudio: ¿es representativo? – Sensibilidad de los resultados: ¿tendría el mismo

impacto un programa similar, pero levemente diferente?

47

5.3. Generabilidad de los resultados




48

Mapa

• Unidad y método de aleatorización

• Restricciones del mundo real

• Revisando de nuevo la unidad y el método

• Variaciones en análisis tratamiento-control simple

6.1. ¿Cómo aleatorizar?

• Entender cómo aleatorizar (mecánica) y decidir entre alternativas. – Conceptos clave: Unidad y método de aleatorización,

estratificación

• Cómo adaptar (de modo creativo) la aleatorización a las restricciones del mundo real

• Entender algunas variaciones en análisis tratamiento-control simple

6.2. Objetivos

Cómo aleatorizar, Parte I - 51


2006

Ingresos por persona, por mes, rupias

1000

500

0 Trat. Comp.

1457 1442

• Es necesario un marco muestral (lista de donde aleatorizar)

• Opciones:

– Sacar del sombrero – Utilice un generador de números

aleatorios en un programa de planilla de cálculo para ordenar las observaciones de manera aleatoria

– Utilice un código del programa Stata

• ¿Qué ocurre si no hay lista existente?

52

6.3. Mecánica de la aleatorización

Fuente: Chris Blattman

1. Aleatorizar al nivel individual 2. Aleatorizar al nivel del grupo

“Estudio aleatorio con observaciones agrupadas”

• ¿A qué nivel se debe aleatorizar?

53

6.4. Unidad de aleatorización

6.4.1. Unidad de aleatorización: consideraciones

• ¿A qué unidad apunta el programa para tratamiento?

• ¿Cuál es la unidad de análisis?

6.4.2. Unidad de aleatorización: ¿individual?

“Grupos de personas”: Estudio aleatorio en unidades agrupadas

6.4.2. Unidad de aleatorización: ¿individual?

6.4.3. Unidad de aleatorización: ¿clase?

6.4.4. Unidad de aleatorización: ¿escuela?

• ¿De qué manera se administra la intervención?

• ¿Cuál es el área de captación de cada “unidad de intervención”?

• ¿Cuál es la amplitud del posible impacto?

6.4.5. Unidad de aleatorización: población objetivo

• Recuerde: ¿cuál es nuestra medición del impacto?

• ¿Dónde/cómo obtenemos estos datos?

6.4.6. Unidad de aleatorización: análisis

• Tome a 1000 personas y dele el medicamento a la mitad

• ¿Podemos simplemente aplicar este enfoque a programas sociales?

Cómo aleatorizar, 64

6.7. Lotería: Comience con los estudios clínicos como punto de referencia

• Elegido al azar de una selección de postulantes

• Los participantes conocen a los “ganadores” y “perdedores”

• La lotería simple es útil cuando no existe un motivo a priori para discriminar

• Se percibe como justo • Transparente • Comúnmente viable políticamente

6.7. Las loterías son simples, comunes y transparentes

• Por qué las restricciones de recursos son el mejor amigo de un evaluador

• Muchos programas tienen recursos limitados • Muchos más receptores elegibles que recursos

que permitan servir a estos • Bastante comunes en la práctica:

– Capacitación para empresarios o granjeros – Vouchers en educación – Transferencias monetarias


6.8.1. Restricciones: recursos

• ¡Recuerde el contrafactual! • Si el grupo de control es diferente al del

contrafactual, nuestros resultados pueden estar sesgados

6.8.2. Restricciones: contaminación

• Externalidad • Control tratado • Cumplimiento parcial o incumplimiento del

tratamiento

6.8.2. Restricciones: contaminación Externalidad/control tratado

• Suponga que la administración de medicamentos de desparasitación fuera una de las responsabilidades de un trabajador de la salud

• Suponga que el trabajador de la salud prestó servicios a los miembros de los grupos de control y tratamiento

• Podría ser difícil capacitarlos para seguir diferentes procedimientos para diferentes grupos y llevar un registro de qué se administra a quién

6.8.3. Restricciones: logísticas

• Aleatorizar a nivel del niño dentro de las clases • Aleatorizar a nivel de la clase dentro de

colegios • Aleatorizar al nivel de la comunidad

6.8.4. Restricciones: justicia, política

• El programa es sólo lo suficientemente grande para prestar servicios a un puñado de comunidades

6.8.5. Restricciones: Tamaño de la muestra

• Considere los diseños de lotería no estándares • Podrían aumentar las actividades de

divulgación • ¿Es esto ético?


6.8.6. ¿Qué ocurre si tiene 500 postulantes para 500 cupos?

• Suponga que hay 2000 postulantes • El filtrado de las solicitudes produce 500 candidatos

“elegibles” • Hay 500 cupos • Una lotería simple no funcionará

• ¿Cuáles son nuestras opciones?

6.8.7. A veces el filtrado importa

• ¿Se filtra para qué? • ¿Qué elementos son esenciales? • Los procedimientos de selección sólo pueden existir

para reducir los candidatos elegibles para cumplir una restricción de capacidad o para focalizar el programa

• Si ciertos mecanismos del filtro aparecen como “arbitrarios” (pero no aleatorios), la aleatorización puede servir para el propósito de filtrar y ayudarnos a evaluar

6.8.7. Considere las normas de filtro o focalización

• A veces puede que un socio no esté dispuesto a aleatorizar entre las personas elegibles.

• Un socio podría estar dispuesto a aleatorizar en “la burbuja”.

• Las personas “en la burbuja”, son personas que están en el límites en términos de elegibilidad – Justo sobre el umbral no elegible, pero casi

• ¿Qué efecto en el tratamiento medimos? ¿Qué significa para la validez externa?

6.9. Aleatorización en la burbuja

Aleatorización en “la burbuja”

Dentro de la burbuja, compare el tratamiento con el control

Participantes No participantes

Tratamiento

Control

• Los funcionarios del programa pueden mantener la discreción

• Ejemplo: Programa de capacitación • Ejemplo: Expansión de los créditos de

consumo en Sudáfrica

6.10. Cuando el análisis importa: Lotería parcial

• Eventualmente todos reciben el programa • El enfoque natural al expandir el programa enfrenta

restricciones de recursos • ¿Qué determina que las escuelas, ramas, etc. se

incluirán cada año?

6.11. Diseño escalonado: aprovecha la expansión

Diseño escalonado

Ronda 1 Tratamiento: 1/3 Control: 2/3


Ronda 3 Tratamiento: 3/3 Control: 0 1

1

1 1

1

1

1

1

1

1 1

1

1

1

2

2

2 2

2

2

2 2

2

2

2

2 2

2

2

2

3

3 3 3

3

3 3

3 3

3

3 3

3

3

3 3

3



Finaliza la evaluación aleatoria

Ventajas • Eventualmente todos reciben algo • Proporciona incentivos para mantener el contacto

Preocupaciones • Puede complicar el cálculo de efectos a largo plazo • Atención con las ventanas de escalonamiento • Expectativas cambian acciones hoy?

6.11. Diseño escalonado

• Los grupos reciben tratamiento en turnos • Ventajas • Preocupaciones


6.12. Diseño por rotación


Diseño por rotación

Ronda 2 Tratamiento de la Ronda 1 Control ——————————————————————————

Control de la Ronda 1 Tratamiento


• La introducción escalonada puede no proporcionar suficiente beneficio para los participantes de la ronda posterior

• La cooperación del grupo de control puede ser esencial

• Considere la aleatorización entre-grupo • Por ejemplo, programa de balsakhi (Banerjee et al. 2007) • Todos los participantes obtienen algún beneficio • Preocupación: mayor probabilidad de contaminación

6.13. “¿Desea encuestarme? Entonces, trate conmigo”

• A veces es práctica o éticamente imposible aleatorizar el acceso al programa

• Sin embargo, la mayoría de los programas tiene menos de 100% de tasa de participación

• Aleatorice por estímulo a recibir tratamiento

6.14. Diseño por estímulo a participar: ¿Qué hacer cuando no puede aleatorizar acceso?

Diseño por estímulo

Estímulo

No Estímulados

participó

no participó

Cumplimiento

No cumplimiento

compare estimulados con no estimulados

no compare participantes con no participantes

Ajuste para el no cumplimiento en la fase de análisis

Éstos se deben correlacionar

• Algo que hace que algunas personas sean más propensas a utilizar este programa que otras

• No es un “tratamiento” en sí • ¿Para quiénes estamos calculando el efecto

del tratamiento? • Piense en quiénes responden a la motivación

6.14. ¿Qué es “estímulo”?

• Lotería simple • Aleatorización en la “burbuja” • Aleatorización por escalonamiento • Rotación • Diseño por estímulo

– Nota: Éstos no son mutuamente exclusivos.

6.15. Para resumir: Posibles diseños

6.15. Métodos de aleatorización – recapitulación

Diseño Más útil cuando Ventajas Desventajas

Lotería simple Programa supersuscrito Familiar Puede que el grupo de control no coopere Está bien que algunos que no

reciben nada Fácil de comprender

Desgaste diferencial Fácil de implementar Se puede implementar en público

Escalonamiento Se amplía con el tiempo Fácil de comprender La anticipación del tratamiento puede impactar la conducta a corto plazo Finalmente, todos deben recibir

tratamiento Restricción fácil de explicar

Dificultad para medir el impacto a largo plazo

El control acepta dado que espera beneficio posterior

Rotación Todos deben recibir algo en algún Más datos que en la introducción escalonada

Difícil de medir a largo plazo punto, no hay suficientes recursos en el año para todos

Estímulo El programa debe estar abierto para todos

Puede aleatorizar en el nivel individual incluso cuando el programa se entrega a nivel individual

Mide el impacto de quienes responden al incentivo

Cuando la tasa de participación es Baja, pero se puede impactar fácilmente con incentivos.

Necesita un incentivo lo suficientemente grande para la adquisición El estímulo puede tener un efecto directo

Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II....

Documents

Transcript of Estudios Aleatorizados - World Bankpubdocs.worldbank.org/.../Core-Sesion-2b-Estudios...II....