Post on 08-Oct-2018
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Profesor Franscisco Gallego
Director Científico de J-PAL
LAC y Profesor Asistente de
Economía, Pontificia
Universidad
Católica de Chile
(Ph.D. Massachusetts
Institute of Technology)
Francisco Gallego posee un Ph.D. en
Economía del MIT. Es Profesor Asociado
en el Instituto de Economía de la
Pontificia Universidad Católica de Chile
(PUC). Sus áreas de interés son el
desarrollo económico, la economía
política y la economía de la educación. Él
ha trabajado en evaluaciones
educacionales, enfocadas en el impacto
de la entrega de información sobre las
decisiones de los padres de los
estudiantes. Francisco Gallego es
Director Científico de J-PAL
Latinoamérica.
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Evaluación de impacto de principio a fin
Francisco Gallego
Director Científico J-PAL LAC
PUC Chile y J-PAL
fgallego@uc.cl
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Esquema de presentación
1. Antecedentes
2. Lógica de programa Diseño I: Lógica de programa
3. Diseño de evaluación Diseño II y III: Por qué y cómo aleatorizar
4. Instrumentos Implementación I: Diseño de instrumentos
5. Levantamiento de datos Implementación II: Levantamiento de datos
6. Análisis de datos Implementación III: Amenazas y análisis de datos
7. De la evidencia a la acción De la evidencia a la acción
5
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Antecedentes
Para que J-PAL lleve a cabo una evaluación de
impacto es importante que concurran distintos
factores, entre los que destacan los siguientes:
Que el programa en cuestión permita responder
preguntas académicamente relevantes.
Que quienes implementan el programa sean idóneos.
Que exista el financiamiento necesario.
7
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Antecedentes
¿Cuál es la necesidad?
Acceso limitado a servicios dentales en poblaciones
vulnerables.
27% de chilenos no ha visitado a un dentista en últimos 5
años (Encuesta Ministerio de Salud 2004)
Estatus socioeconómico:
• Visitas: 18% para estatus económico más bajo, 38% para
estatus económico más alto.
• Problemas de dentadura: Alto ingreso, ~2.6 veces más
probable de tener toda la dentadura y ~7 veces menos probable
que hayan perdido todos los dientes que el grupo más pobre.
Más problemático para mujeres.
8
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Antecedentes
Una explicación: falta de acceso entre los más pobres a
servicios públicos dentales.
Seguro de salud pública: usado por el 80% de la población
y solamente servicios dentales muy básicos.
Hay capacidad de atención limitada.
Opciones alternativas:
• Oferta de servicios privados de alta calidad a alto precio.
• Oferta de baja calidad pero a costo accesibles.
Existe una correlación positiva entre indicadores de
salud oral y estatus socioeconómico, pero es esta
relación causal?
9
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Preguntas de evaluación
En la lógica de programa utilizamos una cadena causal
para explicar la manera en la cuál esperamos que la
intervención tenga un impacto sobre los indicadores de
interés.
Empezamos identificando las preguntas de investigación
y sus hipótesis: Preguntas de investigación: ¿De qué manera afecta el acceso a
servicios dentales, y una mejora en la salud dental, los resultados
sociales y económicos de las personas?
Hipótesis: Dar servicios dentales gratuitos incluyendo prótesis podría
incrementar resultados a nivel individual (autoestima, relaciones intra
familiares), social (interacciones con otras personas) y económico
(mercado laboral) entre poblaciones vulnerables.
11
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Literatura
Efectos de salud mental en resultados económicos:
Glied y Neidell (2010) encuentran que acceso a agua con flúor incrementa ingreso de las mujeres en un 4%, un efecto concentrado entre los pobres.
Mecanismos: no hay evidencia de “sorting”, discriminación estadística, productividad.
• Discriminación de consumidor y empleador probables factores determinantes.
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Literatura Apariencia física y mercados laborales
Hamermesh and Biddle (1994):
EE.UU. Canadá: Personas menos atractivas ganan menos que
personas promedio, que a su vez ganan menos que los buen
mozos. (Biddle and Hamermech 1998, Fletcher 2009).
Mobius and Rosenblat (2006):
Argentina: Mejor autoestima entre los que son más atractivos
resulta en mejores sueldos, y estas personas son
incorrectamente consideradas más hábiles.
Lopez-Boo, Rossi and Urzua (2013):
Argentina: Personas con rostros atractivos tiene un probabilidad
más alta (36%) de ser contactadas después haber presentado
su CV, en comparación a personas de atractivo promedio.
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Literatura
Sanhueza et al (2008) encuentra que entre los
estudiantes que se titulan en Administración y Negocios,
existe un “wage premium” de hasta 33% para las
mujeres con apariencia física mejor que el promedio y
una penalidad de hasta el 36% a hombres con
apariencia física peor que el promedio.
La evidencia sugiera que si la salud dental afecta la
apariencia del individuo y su autoestima, esto puede a
su vez influir en su competitividad en el mercado laboral.
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Literatura
Efectos objetivos versus subjetivos Duflo et al (2011): impacto de ofrecer un proceso más simple
para acceder a una conexión privada a servicio de aguas en Marruecos. Sin efectos en salud o ingreso, pero se auto reporta mejoras en
calidad de vida 6 meses después de la intervención.
Galiani et al (2013): el impacto de construir viviendas temporales para familias pobres en El Salvador, México and Uruguay. Sin efectos en variables económicas, efectos significativos en
satisfacción con la calidad de vida.
Duflo’s Tanner Lecture (2012): el día a día de la gente pobre. Efectos de dolor y estrés sobre resultados objetivos y subjetivos.
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Intervención
Definimos como intervención el programa o
componente que queremos evaluar.
Trabajar sobre la lógica del programa supone
identificar la intervención que va a influir sobre
una serie de resultados para responder a la
necesidad o problema de la población objetivo.
16
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Intervención
Tratamiento
Entrega de un voucher.
Los servicios cubiertos por el voucher costaron 200.000 CLP
(~US$ 400).
Incluía examen de diagnóstico, rayos x, plan de tratamiento,
limpieza, extracciones simples, coronas pulidas, empastes,
selladores, y prótesis removibles de metal acrílico.
Después del examen de diagnóstico, a cada paciente se
le presentaba un plan de tratamiento y se les informaba
sobre servicios adicionales que podrían pagar por
separado.
Se estimaba que el tratamiento duraría de 2 a 3 meses.
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Teoría de cambio
En la clase que sigue, Lógica de Programa, el Profesor
Linden nos presentará sobre la teoría de cambio.
Veremos dos conceptos importantes: Teoría de cambio: una descripción de la manera en que creemos que
una intervención incidirá sobre una serie de resultados.
Cadena causal: una manera gráfica de presentar la teoría de cambio.
En este caso, menciono solo algunos posibles
mecanismos de transmición. Una mejora en salud dental resultará en :
Mejoras funcionales (menos dolor y menos problemas para hablar)
Mejoras en autoestima.
Mejora en demanda por servicios laborales, dado efectos de discriminación
anteriores.
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Diseño I: Lógica de programa
19
Inicio Fin Miércoles 19 Jueves 20 Viernes 2108:30:00 09:00:00 Registro de participantes Repaso del día anterior Repaso del día anterior
09:00:00 10:00:00 Bienvenida y palabras de introducción
10:00:00 10:30:00
10:30:00 10:45:00
10:45:00 12:00:00Evaluación de principio a fin
Interludio: Evaluación de
impacto y éticaSTATA III: Análisis de datos
FRANCISCO GALLEGO CRISTIÁN LARROULET SEBASTÍAN OTERO
12:00:00 13:15:00Diseño I: Lógica de programa
Implementación I: Diseño de
instrumentosTaller de Costeo
LEIGH LINDEN CRISTIÁN LARROULET THOMAS VARGAS
13:15:00 14:30:00
14:30:00 15:45:00
Diseño II: ¿Por qué y cómo
implementar evaluaciones
aleatorias?
Implementacion II:
Levantamiento de datosDe la evidencia a la acción
DEAN KARLAN NICOLE CARPENTIER RYAN COOPER
15:45:00 16:00:00
16:00:00 17:15:00
Diseño III: Ejemplos de diseño de
evaluaciones experimentalesSTATA II: Cómo aleatorizar
DEAN KARLAN SEBASTÍAN OTERO Cierre de curso y entrega de diplomas
STATA I: Tamaño muestral y
poder estadístico
DIEGO VERDUGO
Implementación III: Amenazas y
análisis de datos
DEAN KARLAN
Coffee BreakEvaluación final de conocimientos
Evaluación inicial de conocimientos
Coffee Break
Almuerzo
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Diseño experimental
La evaluación experimental utiliza la asignación aleatoria para
construir dos grupos comparables.
Cualquier diferencia subsiguiente entre los grupos se le puede
atribuir al tratamiento.
En las clases con el Profesor Karlan, Cómo y por qué aleatorizar y
Ejemplos de diseño, identificaremos los pasos para diseñar un
experimento aleatorio correctamente, observando los diferentes
métodos posibles y sus ventajas y limitantes dado cierto contexto.
En el ejercicio de STATA I: Cálculos de Poder repasaremos los
insumos necesarios para obtener una muestra suficientemente
grande para detectar efectos de algún tamaño predefinido, dado
que estos existen.
21
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Diseño II y III: Por qué y cómo aleatorizar
22
Inicio Fin Miércoles 19 Jueves 20 Viernes 2108:30:00 09:00:00 Registro de participantes Repaso del día anterior Repaso del día anterior
09:00:00 10:00:00 Bienvenida y palabras de introducción
10:00:00 10:30:00
10:30:00 10:45:00
10:45:00 12:00:00Evaluación de principio a fin
Interludio: Evaluación de
impacto y éticaSTATA III: Análisis de datos
FRANCISCO GALLEGO CRISTIÁN LARROULET SEBASTÍAN OTERO
12:00:00 13:15:00Diseño I: Lógica de programa
Implementación I: Diseño de
instrumentosTaller de Costeo
LEIGH LINDEN CRISTIÁN LARROULET THOMAS VARGAS
13:15:00 14:30:00
14:30:00 15:45:00
Diseño II: ¿Por qué y cómo
implementar evaluaciones
aleatorias?
Implementacion II:
Levantamiento de datosDe la evidencia a la acción
DEAN KARLAN NICOLE CARPENTIER RYAN COOPER
15:45:00 16:00:00
16:00:00 17:15:00
Diseño III: Ejemplos de diseño de
evaluaciones experimentalesSTATA II: Cómo aleatorizar
DEAN KARLAN SEBASTÍAN OTERO Cierre de curso y entrega de diplomas
STATA I: Tamaño muestral y
poder estadístico
DIEGO VERDUGO
Implementación III: Amenazas y
análisis de datos
DEAN KARLAN
Coffee BreakEvaluación final de conocimientos
Evaluación inicial de conocimientos
Coffee Break
Almuerzo
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Diseño
Trabajar sobre el diseño de la evaluación supone identificar la población objetivo, la unidad y método de aleatorización.
Método de aleatorización: Sobre-demanda
Población objetivo: Personas en edad de trabajar, vulnerables, en necesidad de servicios
dentales, suscritos al sistema de salud público de Chile y que vivan en el área metropolitana de Santiago.
Publicidad: Anuncios en radio, televisión, periódicos y oficinas municipales.
Postulantes: 1,419
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Postulantes
Postulantes Más apegados al mercado laboral
Ingresos/Educación más altos
Problemas de salud oral previos
Participación por comunas Distancia
Ingresos
Mecanismos de trasmisión:
• Periódicos para personas con más educación
• Gobiernos locales para personas más pobres/menos educación
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Aleatorización
1,419 postulantes 799 personas en el experimento (se filtró con rating
biométrico). • 350 asignadas aleatoriamente al tratamiento.
• 449 asignadas aleatoriamente al control.
Se estratificó por ingreso, autoestima, sexo, edad.
Se asignaron 350 vouchers.
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Instrumentos
El diseño de instrumentos es importante porque
es lo que se utiliza para medir cambios en
resultados.
Nuestro equipo de analistas de investigación
describirá algunas de las experiencias y
aprendizajes de J-PAL LAC en cuanto a este
tema durante la sesión de Diseño de
Instrumentos.
27
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Implementación I: Diseño de instrumentos
28
Inicio Fin Miércoles 19 Jueves 20 Viernes 2108:30:00 09:00:00 Registro de participantes Repaso del día anterior Repaso del día anterior
09:00:00 10:00:00 Bienvenida y palabras de introducción
10:00:00 10:30:00
10:30:00 10:45:00
10:45:00 12:00:00Evaluación de principio a fin
Interludio: Evaluación de
impacto y éticaSTATA III: Análisis de datos
FRANCISCO GALLEGO CRISTIÁN LARROULET SEBASTÍAN OTERO
12:00:00 13:15:00Diseño I: Lógica de programa
Implementación I: Diseño de
instrumentosTaller de Costeo
LEIGH LINDEN CRISTIÁN LARROULET THOMAS VARGAS
13:15:00 14:30:00
14:30:00 15:45:00
Diseño II: ¿Por qué y cómo
implementar evaluaciones
aleatorias?
Implementacion II:
Levantamiento de datosDe la evidencia a la acción
DEAN KARLAN NICOLE CARPENTIER RYAN COOPER
15:45:00 16:00:00
16:00:00 17:15:00
Diseño III: Ejemplos de diseño de
evaluaciones experimentalesSTATA II: Cómo aleatorizar
DEAN KARLAN SEBASTÍAN OTERO Cierre de curso y entrega de diplomas
STATA I: Tamaño muestral y
poder estadístico
DIEGO VERDUGO
Implementación III: Amenazas y
análisis de datos
DEAN KARLAN
Coffee BreakEvaluación final de conocimientos
Evaluación inicial de conocimientos
Coffee Break
Almuerzo
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Instrumentos Instrumentos aplicados:
1. Oral Health Impact Profile (OHIP): mide la percepción de las
personas sobre el impacto de problemas de salud dental en su
bienestar (Slade, 1997).
7 dimensiones: impactos funcionales, físico y sicológicos de salud
dental.
14 preguntas validadas por Slade (1997) utilizando una escala Likert.
De 0 a 56, los valores más altos indican una peor condición.
2. Rosenberg (1965) Score: una escala estandarizada de
autoestima.
10 preguntas (escala Likert), valores más altos indican auto-estima
más alto.
Satisfacción sobre situación en relaciones personales estrechas.
3. Diagnósticos oral realizado por estudiantes de odontología.
4. Datos laborales y socioeconómicos.
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Trabajo de campo
Discutiremos sobre el trabajo de campo, y todo
el esfuerzo que se debe realizar para recolectar
los datos necesarios, a tiempo, con un alto nivel
de calidad y con un presupuesto limitado.
Esto requiere reflexionar sobre temas de:
Ética en la investigación en ciencias sociales.
Cómo se levantan datos de calidad.
Costos asociados al levantamiento de datos.
31
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Implementación II: Levantamiento de datos
32
Inicio Fin Miércoles 19 Jueves 20 Viernes 2108:30:00 09:00:00 Registro de participantes Repaso del día anterior Repaso del día anterior
09:00:00 10:00:00 Bienvenida y palabras de introducción
10:00:00 10:30:00
10:30:00 10:45:00
10:45:00 12:00:00Evaluación de principio a fin
Interludio: Evaluación de
impacto y éticaSTATA III: Análisis de datos
FRANCISCO GALLEGO CRISTIÁN LARROULET SEBASTÍAN OTERO
12:00:00 13:15:00Diseño I: Lógica de programa
Implementación I: Diseño de
instrumentosTaller de Costeo
LEIGH LINDEN CRISTIÁN LARROULET THOMAS VARGAS
13:15:00 14:30:00
14:30:00 15:45:00
Diseño II: ¿Por qué y cómo
implementar evaluaciones
aleatorias?
Implementacion II:
Levantamiento de datosDe la evidencia a la acción
DEAN KARLAN NICOLE CARPENTIER RYAN COOPER
15:45:00 16:00:00
16:00:00 17:15:00
Diseño III: Ejemplos de diseño de
evaluaciones experimentalesSTATA II: Cómo aleatorizar
DEAN KARLAN SEBASTÍAN OTERO Cierre de curso y entrega de diplomas
STATA I: Tamaño muestral y
poder estadístico
DIEGO VERDUGO
Implementación III: Amenazas y
análisis de datos
DEAN KARLAN
Coffee BreakEvaluación final de conocimientos
Evaluación inicial de conocimientos
Coffee Break
Almuerzo
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Trabajo de campo
El proceso de generación de datos tuvo distintas etapas a lo largo de un proceso que duró aproximadamente 2 años. Difusión del proyecto mediante radio y diario.
Inscripción de participantes vía web y encuesta de línea de base (junto a revisión dental inicial) en campus de la Universidad Católica.
Monitoreo constante de la implementación de la beca dental en clínicas afiliadas de todo Santiago.
Construcción de la encuesta de seguimiento, tomada en los hogares de los participantes.
• Capacitación a encuestadores (estudiantes de último año de odontología)
• Proceso de encuestas de acuerdo a la ubicación de los participantes y al tiempo transcurrido desde que terminaron su beca dental.
33
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Análisis
Aprenderemos cómo corregir y analizar los
datos dadas ciertas amenazas en la clase de
Amenazas y Análisis de Dean Karlan.
Entenderemos los problemas que pueden
ocasionar:
Que perdamos a individuos de la muestra.
Que nuestro tratamiento genere externalidades.
Que nuestros controles reciban el tratamiento.
35
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Implementación III: Amenazas y Análisis
36
Inicio Fin Miércoles 19 Jueves 20 Viernes 2108:30:00 09:00:00 Registro de participantes Repaso del día anterior Repaso del día anterior
09:00:00 10:00:00 Bienvenida y palabras de introducción
10:00:00 10:30:00
10:30:00 10:45:00
10:45:00 12:00:00Evaluación de principio a fin
Interludio: Evaluación de
impacto y éticaSTATA III: Análisis de datos
FRANCISCO GALLEGO CRISTIÁN LARROULET SEBASTÍAN OTERO
12:00:00 13:15:00Diseño I: Lógica de programa
Implementación I: Diseño de
instrumentosTaller de Costeo
LEIGH LINDEN CRISTIÁN LARROULET THOMAS VARGAS
13:15:00 14:30:00
14:30:00 15:45:00
Diseño II: ¿Por qué y cómo
implementar evaluaciones
aleatorias?
Implementacion II:
Levantamiento de datosDe la evidencia a la acción
DEAN KARLAN NICOLE CARPENTIER RYAN COOPER
15:45:00 16:00:00
16:00:00 17:15:00
Diseño III: Ejemplos de diseño de
evaluaciones experimentalesSTATA II: Cómo aleatorizar
DEAN KARLAN SEBASTÍAN OTERO Cierre de curso y entrega de diplomas
STATA I: Tamaño muestral y
poder estadístico
DIEGO VERDUGO
Implementación III: Amenazas y
análisis de datos
DEAN KARLAN
Coffee BreakEvaluación final de conocimientos
Evaluación inicial de conocimientos
Coffee Break
Almuerzo
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Balance – Línea Base Panel A: Variables socioeconómicas
Variable (todos los individuos) Promedio T Promedio C Diferencia Obs
Edad 48.15 47.65 0.044 799
Género 0.29 0.31 -0.021 799
Estado civil 3.14 3.19 -0.048 799
Jefe de hogar 0.79 0.73 .0635** 799
Número de residentes en hogar 4.35 4.20 0.162 799
Residentes menores 5 años en hogar 0.34 0.34 0.003 791
Residentes entre 5 y 18 años en hogar 1.15 1.18 -0.019 794
Adultos en hogar 2.71 2.62 0.081 799
Residentes mayores 65 años en hogar 0.16 0.13 0.031 780
Educación 8 años o menos 0.26 0.25 0.005 799
Educación entre 9 y 11 años 0.20 0.19 0.015 799
Educación 12 años 0.40 0.36 0.051 799
Educación más de 12 años 0.14 0.21 -.0712*** 799
Trabaja 0.72 0.71 0.023 799
Tiene contrato 0.60 0.63 -0.011 699
Ingresos laborales 190359 193872 1690 694
Horas trabajadas por semana 41.08 42.12 -0.302 662
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Panel B: Auto-estima y salud (dental)
Variable (todos los individuos) Promedio T Promedio C Diferencia Obs
Rosenberg puntaje 17.46 17.347 0.125 799
Ohip puntaje total 12.1629 12.232 -0.098 799
Ohip14 puntaje 35.8771 36.165 -0.413 799
Total dientes faltantes 10.8114 10.523 0.155 799
Dientes faltantes frontales 1.4086 1.49 -0.116 799
Necesidad prostéticos superiores 2.0343 1.958 0.065 799
Necesidad prostéticos inferiores 1.8286 1.78 0.039 799
Fonasa A 0.3029 0.318 -0.012 799
Fonasa B 0.3086 0.269 0.033 799
Fonasa C 0.2457 0.276 -0.032 799
Fonasa D 0.12 0.118 0.005 799
Balance – Línea Base
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Seguimiento
Encuesta de seguimiento 70%-75% de los participantes: 6 meses y 1
año después de tratamiento
Desgaste: 15% para el grupo de
tratamiento, 20% para el grupo de
control.
Balance?
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Balance – Seguimiento Panel A: variables socioeconómicas
Variable (individuos observados) Promedio T Promedio C Diferencia Obs
Edad 48.42 47.85 0.044 661
Género 0.26 0.29 -0.030 661
Estado civil 3.09 3.24 -0.048 661
Jefe de hogar 0.77 0.72 .0635** 661
Número de residentes en hogar 4.34 4.28 0.162 661
Residentes menores 5 años en hogar 0.33 0.35 0.003 654
Residentes entre 5 y 18 años en hogar 1.15 1.20 -0.019 656
Adultos en hogar 2.68 2.68 0.081 661
Residentes mayores 65 años en hogar 0.18 0.13 0.031 644
Educación 8 años o menos 0.26 0.24 0.005 661
Educación entre 9 y 11 años 0.21 0.19 0.015 661
Educación 12 años 0.39 0.36 0.051 661
Educación más de 12 años 0.14 0.21 -.0712*** 661
Trabaja 0.71 0.70 0.023 661
Tiene contrato 0.58 0.63 -0.011 575
Ingresos laborales 186153 197456 1690 572
Horas trabajadas por semana 40.02 42.49 -0.302 545
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Balance – Seguimiento Panel B: Auto-estima y salud (dental)
Variable (individuos observados) Promedio T Promedio C Diferencia Obs
Rosenberg puntaje 17.41 17.39 0.125 661
Ohip puntaje total 12.08 12.26 -0.098 661
Ohip14 puntaje 35.61 36.26 -0.413 661
Total dientes faltantes 11.10 10.53 0.155 661
Dientes faltantes frontales 1.49 1.47 -0.116 661
Necesidad prostéticos superiores 2.04 1.97 0.065 661
Necesidad prostéticos inferiores 1.84 1.80 0.039 661
Fonasa A 0.30 0.32 -0.012 661
Fonasa B 0.31 0.27 0.033 661
Fonasa C 0.25 0.28 -0.032 661
Fonasa D 0.12 0.12 0.005 661
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Balance – Desgaste Panel A: variables socioeconómicas
Variable (Attriters vs non-attriters) Non Attriters Attriters Diferencia Obs
Edad 48.11 46.70 0.269 799
Género 0.28 0.38 -.104*** 799
Estado civil 3.17 3.15 0.094 799
Jefe de hogar 0.74 0.81 -0.046 799
Número de residentes en hogar 4.31 4.06 0.178 799
Residentes menores 5 años en hogar 0.34 0.34 -0.017 791
Residentes entre 5 y 18 años en hogar 1.18 1.12 -0.024 794
Adultos en hogar 2.68 2.57 0.103 799
Residentes mayores 65 años en hogar 0.15 0.12 0.028 780
Educación 8 años o menos 0.25 0.27 -0.054 799
Educación entre 9 y 11 años 0.20 0.17 0.019 799
Educación 12 años 0.38 0.39 0.020 799
Educación más de 12 años 0.18 0.17 0.015 799
Trabaja 0.71 0.75 -0.015 799
Tiene contrato 0.61 0.65 -0.015 699
Ingresos laborales 192219 192750 7805 694
Horas trabajadas por semana 41.35 43.08 -0.924 662
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Balance – Desgaste Panel B: Auto-estima y salud (dental)
Variable (Attriters vs non-attriters) Non Attriters Attriters Diferencia Obs
Rosenberg puntaje 17.40 17.39 0.124 799
Ohip puntaje total 12.18 12.31 -0.224 799
Ohip14 puntaje 35.96 36.41 -0.811 799
Total dientes faltantes 10.79 9.99 0.296 799
Dientes faltantes frontales 1.48 1.34 -0.003 799
Necesidad prostéticos superiores 2.00 1.96 0.034 799
Necesidad prostéticos inferiores 1.82 1.72 0.056 799
Fonasa A 0.31 0.30 0.003 799
Fonasa B 0.29 0.28 0.000 799
Fonasa C 0.27 0.25 0.035 799
Fonasa D 0.12 0.13 -0.010 799
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Seguimiento: Estimaciones
Take up (tasa de participación)?
Servicios dentales comparables a los ofrecidos
por el programa
Estimaciones Intention-to-treat “intención de tratar”:
Oral Health Impact Profile (OHIP)
Bienestar subjetivo • Rosenberg
Tasa de empleo
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Servicios dentales Varias definiciones
Desde cualquier servicio a servicios similares al
ofrecido por el programa.
(1) (2) (3) (4)
VARIABLES
Cualquier servicio dental
Gastos
Tratamiento Opción 1
Tratamiento
Opción 2
Tratamiento 0.150*** 0.672*** 0.650*** 0.602***
(0.035) (0.028) (0.029) (0.031)
Constante 0.537*** -0.060 -0.006 0.017
(0.110) (0.074) (0.088) (0.087)
R-squared 0.109 0.514 0.479 0.424
Robust standard errors in parentheses, controlling for randomization strata
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Take-up: servicios dentales
(1) (2) (3) Especificación 1 Especificación 1 Especificación 1
VARIABLES Todos Mujeres Hombres
Tratamiento 0.656*** 0.687*** 0.574***
(0.025) (0.029) (0.048)
R-squared 0.553 0.574 0.511
Robust standard errors in parentheses, controlling for randomization strata
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
OHIP
0
.01
.02
.03
.04
De
nsity
0 20 40 60Ohip14 score baseline
Control in baseline Treated in baseline
0
.01
.02
.03
.04
De
nsity
0 20 40 60Ohip score follow-up
Control in follow-up Treated in follow-up
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Tabla OHIP 14: Todos, estandarizados (1) (2) (3) (4) (5) (6) (7) (8)
VARIABLES Todos Limitación funcional
Dolor físico
Malestar psicológico
Discapacidad física
Discapacidad psicológica
Discapacidad social
Handicap
Tratamiento -0.930*** -0.650*** -0.604*** -1.228*** -0.547*** -0.910*** -0.485*** -0.730***
(0.087) (0.080) (0.095) (0.109) (0.075) (0.095) (0.071) (0.071) Puntaje línea base 0.477*** 0.266*** 0.326*** 0.298*** 0.398*** 0.343*** 0.365*** 0.302***
(0.047) (0.044) (0.051) (0.057) (0.040) (0.047) (0.039) (0.038)
Constante -0.861*** -0.324 -0.423 -0.462 -0.711*** -0.813*** -0.903*** -0.617***
(0.257) (0.286) (0.278) (0.337) (0.221) (0.263) (0.172) (0.168)
R-squared 0.353 0.216 0.214 0.274 0.296 0.271 0.263 0.290
Errores estándar robustos en paréntesis, controlando por strata aleatorizado
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Tabla OHIP 14: Mujeres, estandarizados (1) (2) (3) (4) (5) (6) (7) (8)
VARIABLES Todos Limitación funcional
Dolor físico
Malestar psicológico
Discapacidad física
Discapacidad
psicológica
Discapacidad social
Handicap
Tratamiento
-0.960*** -0.620***
-0.552*** -1.196*** -0.577*** -0.909*** -0.514*** -0.759***
(0.103) (0.097) (0.112) (0.130) (0.088) (0.113) (0.084) (0.085) Puntaje línea base 0.463*** 0.243*** 0.336*** 0.245*** 0.388*** 0.320*** 0.359*** 0.307***
(0.059) (0.052) (0.058) (0.076) (0.048) (0.059) (0.044) (0.048)
Constante
-0.841*** -0.339 -0.449 -0.452 -0.697*** -0.805*** -0.888*** -0.604***
(0.255) (0.282) (0.278) (0.335) (0.221) (0.261) (0.173) (0.168)
Observaciones 470 474 476 475 475 476 475 475
R-squared 0.316 0.184 0.192 0.237 0.280 0.236 0.250 0.277
Errores estándar robustos en paréntesis, controlando por strata aleatorizado
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
(1) (2) (3) (4) (5) (6) (7) (8)
VARIABLES Todos Limitación funcional
Dolor físico
Malestar psicológico
Discapacidad física
Discapacidad psicológica
Discapacidad social
Handicap
Tratamiento -0.819*** -0.719***
-0.756*** -1.280*** -0.442*** -0.884*** -0.383***
-0.655***
(0.164) (0.136) (0.186) (0.200) (0.149) (0.179) (0.145) (0.132) Puntaje línea base 0.526*** 0.331*** 0.290*** 0.377*** 0.443*** 0.390*** 0.405*** 0.304***
(0.078) (0.080) (0.102) (0.086) (0.076) (0.084) (0.085) (0.063)
Constante -1.297*** 0.052 0.936*** -0.021 -1.392*** -0.298*** -1.520***
-1.379***
(0.007) (0.064) (0.023) (0.074) (0.036) (0.069) (0.056) (0.005)
R-squared 0.450 0.320 0.270 0.370 0.307 0.339 0.302 0.321
Errores estándar robustos en paréntesis, controlando por strata aleatorizado
Tabla OHIP 14: Mujeres, estandarizados
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Bienestar subjetivo: Satisfacción en relaciones personales cercanas Auto-estima (Rosenberg)
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Satisfacción en relaciones personales cercanas: todos
(1) (2)
VARIABLES
Percepción general Relacionado a apariencia física
Tratamiento 0.131* 0.373***
(0.077) (0.075)
Prueba Rosenberg std. (línea base) 0.021 0.156**
(0.073) (0.074)
Constante -0.025 0.174
(0.209) (0.246)
Observaciones 649 661
R-squared 0.110 0.159
Errores estándar robustos en paréntesis, controlando por strata aleatorizado
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
(1) (2) (3) (4) Percepción
general Relacionado a
apariencia física
Percepción general
Relacionado a apariencia física
VARIABLES Mujeres Mujeres Hombres Hombres
Tratamiento 0.118 0.381*** 0.160 0.343**
(0.093) (0.090) (0.138) (0.135) Prueba Rosenberg std. (línea base) -0.004 0.128 0.058 0.207*
(0.097) (0.097) (0.112) (0.116)
Constante -0.048 0.135 0.676*** 0.493***
(0.222) (0.259) (0.063) (0.066)
Observaciones 465 476 184 185
R-squared 0.075 0.117 0.203 0.251
Errores estándar robustos en paréntesis, controlando por strata aleatorizado
Satisfacción en relaciones personales cercanas: por sexo
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Rosenberg, auto-estima 0
.02
.04
.06
.08
.1
De
nsity
0 10 20 30Rosenberg score baseline
Control in baseline Treated in baseline
0
.02
.04
.06
.08
.1
De
nsity
5 10 15 20 25 30Rosenberg score follow-up
Control in follow-up Treated in follow-up
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Autoestima; Índice Rosenberg (1) (2) (3)
VARIABLES Todos Mujeres Hombres
Tratamiento 0.256*** 0.338*** 0.041
(0.080) (0.096) (0.141)
Prueba Rosenberg std. (línea base) 0.597*** 0.624*** 0.582***
(0.086) (0.109) (0.143)
Constante 1.399*** 1.396*** 2.589***
(0.241) (0.254) (0.081)
Observaciones 652 470 182
R-squared 0.284 0.260 0.286
Errores estándar robustos en paréntesis, controlando por strata aleatorizado
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Estado laboral (1) (2) (3)
Variables Empleado -
Todos
Empleado -
Hombres
Empleado -
Mujeres
Tratamiento 0.0538* 0.0176 0.0691*
(0.0277) (0.0321) (0.0361)
Empleado línea base 0.238*** 0.134* 0.253***
(0.0410) (0.0741) (0.0458)
Constante 0.511*** 0.817*** 0.480***
(0.113) (0.135) (0.122)
R-squared 0.259 0.252 0.225
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
(1) (2) (3)
Variables Empleado -
Todos
Empleado -
Hombres
Empleado -
Mujeres
Tratamiento 0.0686** -0.00422 0.0830**
(0.0344) (0.0530) (0.0399)
Empleado en línea base 0.261*** 0.263** 0.268***
(0.0448) (0.130) (0.0475)
Años de educación 0.0108 0.00915 0.0117
(0.00663) (0.0105) (0.00763)
Probit (efectos marginales)
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Efecto en el margen intensivo (1) (2) (3)
Variables Todos Hombres Mujeres
Log Salario por Hora
Tratamiento -0.021 0.030 -0.045
(0.050) (0.084) (0.063)
Log Horas
Tratamiento -0.048 0.013 -0.083
(0.058) (0.077) (0.079)
Log Ingreso Laboral
Tratamiento -0.069 0.043 -0.128*
(0.052) (0.071) (0.069)
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Efectos sobre empleo:
Mecanismos: Dientes faltantes
(1) (2)
Dientes frontales faltantes
Dientes no-frontales faltantes
Alto número 0.1284** 0.0899
(0.0796) (0.0578)
Bajo número 0.0278 0.0439
(0.0411) (0.0477)
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Mecanismos? OHIP
(1) (2) (3) (4) (5) (6) (7) (8)
VARIABLES Todos Limitación funcional
Dolor físico
Malestar psicológico
Discapacidad física
Discapacidad psicológica
Discapacidad social
Handicap
Mal 0.1363** 0.1124** 0.1140** 0.1058** 0.0887 0.0626 0.0989* 0.0657
(0.0589) (0.0538) (0.0608) (0.0515) (0.0595) (0.0582) (0.0563) (0.0574)
Bien 0.0319 0.0707 0.0633 0.0433 0.0643 0.1236** 0.0581 0.0776
(0.054) (0.0526) (0.0513) (0.0651) (0.0509) (0.0614) (0.0569) (0.0529)
Efectos en empleo por:
Problemas de salud dental iniciales
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Mecanismo? Autoestima
Efectos en empleo por:
Niveles iniciales de auto-estima
Rosenberg alto Rosenberg bajo
Tratamiento 0.0990* 0.0762
(0.0518) (0.0533)
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Conclusiones En general: efectos en take-up, indicadores de salud
dental, bienestar subjetivo, y empleo corto plazo
Efectos diferenciales por género: Mismos efectos sobre indicadores relacionados
directamente a la intervención.
…pero muchos más grandes para las mujeres en indicadores finales.
Mercados laborales? Efectos de corto plazo en empleo para las mujeres.
Parecen estar más relacionados a salud dental y número de dientes faltantes que impactos sobre auto-estima.
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Conclusiones Validez externa?
Muestra: población relevante.
Escalar el programa, problema monitoreo.
Efectos de equilibrio general.
Otras investigaciones: Datos administrativos para identificar efectos laborales a
mediano plazo.
Costo-efectividad de la intervención
Efectos en niños dado incrementos en auto-estima de la madre.
Experimento con fotos antes y después, evaluadas por personas de recursos humanos.
Organización industrial de estos mercados.
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
Conclusiones
Los resultados finales de esta evaluación
pueden convertirse en un insumo de mucho
valor para la generación de políticas públicas
destinadas a mejorar la vida de personas de
escasos recursos.
En la última clase, Ryan Cooper presentará
algunas de los métodos que utiliza J-PAL LAC
para transformar la evidencia en acción.
68
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
De la evidencia a la acción
69
Inicio Fin Miércoles 19 Jueves 20 Viernes 2108:30:00 09:00:00 Registro de participantes Repaso del día anterior Repaso del día anterior
09:00:00 10:00:00 Bienvenida y palabras de introducción
10:00:00 10:30:00
10:30:00 10:45:00
10:45:00 12:00:00Evaluación de principio a fin
Interludio: Evaluación de
impacto y éticaSTATA III: Análisis de datos
FRANCISCO GALLEGO CRISTIÁN LARROULET SEBASTÍAN OTERO
12:00:00 13:15:00Diseño I: Lógica de programa
Implementación I: Diseño de
instrumentosTaller de Costeo
LEIGH LINDEN CRISTIÁN LARROULET THOMAS VARGAS
13:15:00 14:30:00
14:30:00 15:45:00
Diseño II: ¿Por qué y cómo
implementar evaluaciones
aleatorias?
Implementacion II:
Levantamiento de datosDe la evidencia a la acción
DEAN KARLAN NICOLE CARPENTIER RYAN COOPER
15:45:00 16:00:00
16:00:00 17:15:00
Diseño III: Ejemplos de diseño de
evaluaciones experimentalesSTATA II: Cómo aleatorizar
DEAN KARLAN SEBASTÍAN OTERO Cierre de curso y entrega de diplomas
STATA I: Tamaño muestral y
poder estadístico
DIEGO VERDUGO
Implementación III: Amenazas y
análisis de datos
DEAN KARLAN
Coffee BreakEvaluación final de conocimientos
Evaluación inicial de conocimientos
Coffee Break
Almuerzo
Instrumentos Antecedentes Lógica Diseño Datos Análisis Acción
¡Gracias!
Francisco Gallego
fgallego@uc.cl
PUC-Chile y J-PAL