Evaluación de impacto de los Evaluación de impacto de los efectos de corto plazo deefectos de corto plazo de

““Empleo en Acción”Empleo en Acción”

Marcos Vera-Hernández

Institute for Fiscal Studies

Presentación preparada para el

“Third Meeting of the Social Policy Monitoring Network”

Buenos Aires, Noviembre 2004Buenos Aires, Noviembre 2004

Antes de empezar:

• Los resultados de esta presentación se han obtenido del trabajo de evaluación llevado a cabo por la Unión Temporal:

Econometria Consultores-IFS-SEI

que ha sido financiado y apoyado por el Departamento Nacional de Planeación de Colombia

• Esta presentación refleja únicamente mi visión personal

Esquema de la presentación

• La naturaleza del programa y sus objetivos

• Objetivos de evaluación, instrumentos, y métodos

• Resultados de impacto de corto plazo

• Focalización

• ¿Qué queda por hacer en la evaluación?

• Algunos pensamientos sobre el futuro del programa

La naturaleza del programa

• “Workfare program”. Ofrece trabajo temporal a personas pobres y no empleadas en el sector formal.

• Participantes trabajarán en proyectos públicos para la reparación de las canalización de agua, red de alcantarillado, carreteras, centros comunitarios y de recreo, centros de deporte, electrificación de vías...

• Los proyectos son pequeños y deben ser co-financiados por una tercera entidad. El Programa subsidia el costo laboral.

• Mecanismo de auto selección: El salario es más bajo en el salario mínino.

La naturaleza del programa

• Un importante componente del programa es el proyecto que se desarrolla y contribuirá a mejorar la infrastructura local

• No hay un componente específico de capacitación

• No hay componente de inversión condicional en capital humano.

Objectivos principales de Empleo en Acción

• Corto plazo:

– Programa antipobreza que provee empleo temporal

• Medio plazo:

– Mejorar las infrastructuras en la comunidad

Otros posibles resultados y mecanismos

• Mejorar el posicionamiento de los participantes en el mercado laboral (contactos, habilidades)

• Proveer financiación para pequeños activos que puedan ser útiles en negocios familiares

• Ofrecer seguro de desempleo auto focalizado en un mundo donde predomina el empleo en el sector informal. Esto puede mejorar la acumulación de capital humano.

¿Por qué la carencia de seguro puede dificultar la acumulación de capital humano?• Hogares pueden verse afectados adversamente por “shocks”

(pérdidas de trabajo o cosechas…)

• Si no hay seguro de desempleo, el RIESGO de “shock” daña la acumulación de capital humano. ¿Por qué?

• Daño ex-post: Si el jefe del hogar pierde su trabajo, el hogar puede verse obligado a:– Reducir el consumo (con riesgo de aumentar la desnutrición), reducir el

gasto educativo y aumentar el trabajo infantil

• Daño ex-ante (Fitzsimons 2004): El hogar puede reducir gasto educativos y en nutrición para ahorra dinero en anticipación de poder afrontar los “shocks” si ocurren ene el futuro.

¿Por qué Empleo en Acción puede ayudar en al acumulación de capital humano?

• Empleo en Acción funciona como un mecanismo de seguro de desempleo:

• Si alguien pierde su trabajo, entonces el individuo puede trabajar en el proyecto Empleo en Acción hasta que encuentran un trabajo normal

• Por lo tanto, no hay necesidad de reducir gastos educativos si son afectados por un shock

• Tampoco hay necesidad de reducir los gastos eductivos como precaución ante posibles shocks en el futuro.

Objectivos de la evaluación de impacto• Objetivos de corto plazo:

– ¿Se desarrollan los proyectos?

– ¿Obtienen los hogares particiapantes más dinero que si no hubiera proyecto? O no porque hay otros miembros del hogar que trabajan menos.

– ¿Se utiliza el dinero en aumentar el consumo para así compensar el efecto de los shocks?

– ¿Trabajan los particip. más, que si no hubiera programa? O trabajan lo mismo pero están mejor pagados.

Objectivos de la evaluación de impacto:• Objetivos de corto plazo :

– ¿Se benefician los grupos más vulnerables más?

– ¿Está el programa bien focializado?

– Es muy importante conocer la cuantificación de los efectos, no solo su dirección.

Objectivos de la evaluación de impacto :• Evaluación de impacto de medio plazo:

– ¿Se beneficia la comunidad de los proyectos?

– ¿Hay algún efecto en el empleo adulto?

– ¿Hay algún efecto en la acumulación de activos?

– ¿Hay algún efecto en escolarización?

• Los datos acaban de llegar. Los estamos analizando.

Instrumentos de la Evaluación de impacto

• Encuesta de hogares a los solicitantes del programa y a la comunidad

Hogares solicitantes

Hogares de la comunidad

Línea de base Hecha Hecha

Mientras los proyectos se llevan a cabo (2 meses)

Hecha No Planeada

Seis meses después de la finalización de los proyectos

Empezando a analizar

Empezando a analizar

Metodología de Evaluación

Teóricamente había un sorteo entre los solicitantes para ver quién participaría en los proyectos. Los Beneficiarios serían los que salieron favorecidos en el sorteo, y los No Beneficiarios los que no salieron favorecidos.

Pero luego, hubieron Beneficiarios que no quisieron trabajar, en numerosas ocasiones porque habían encontrado un trabajo entre el sorteo y el comienzo del proyecto.

Participantes: solicitantes que trabajaron en los proyectosNo-Participantes: solicitantes que no trabajaron en los proyectos

Evaluation Methodology

• Sabemos que en bastantes proyectos no se llevó a cabo el sorteo.

• Las comunidades consideraron que el proceso aleatoria de sorteo es JUSTO (Ev. cualitativa)

Evaluation Methodology

• Combina differencia en differencia con Combina differencia en differencia con variables instrumentalesvariables instrumentales

• Nuestra estrategia se base en solucionar la Nuestra estrategia se base en solucionar la contrapartida muestral de :contrapartida muestral de :

0],|P-y[ ii BXXE i

Instrumentamos la participación con la resultado Instrumentamos la participación con la resultado teórico del sorteo, y tomamos diferencias en teórico del sorteo, y tomamos diferencias en diferencias para limpiar las posibles diferencias diferencias para limpiar las posibles diferencias pre-existentes entre beneficiarios y no pre-existentes entre beneficiarios y no beneficiarios, pues sabemos que el sorteo no se beneficiarios, pues sabemos que el sorteo no se llevó siempre a cabo.llevó siempre a cabo.

Diferencias en línea de base entre Diferencias en línea de base entre beneficiarios y beneficiarios y

no beneficiarios no beneficiarios

BeneficiariosBenf. –

vs. No Benf

% of Mujeres 35.1

(0.3)

-0.2

(0.4)

Edad media34.5

(2.8)

-3.9

(2.1)

Variables demográficasVariables demográficas

BenefBenef – Non

Benef

En los últimos 20 años, ha trabajado a cambio de dinero?

96.3

(0.5)

0.8

(0.7)

Trabajó al menos durante un mes en el 2001?

72.2

(1.4)

-0.3

(0.2)

Horas medias a la semana de trabajo durante el 2001

23.7

(0.7)

-1.3

(0.8)

Ingreso medio mensual en el 2001 (pesos del 2003)

123044

(5662)

-6082

(7972)

Historia Laboral 2001Historia Laboral 2001

IndicatorPorcentajes

BenefBenef – Non

Benef

¿Durante los últimos 15 días tuvo que reducir sus actividades normales debido a problemas de salud?

12.5

(0.9)

-4.8**

(1.6)

¿Tuvo que permanecer en cama?6.5

(0.6)

-3.0*

(1.2)

¿Durante los últimos 12 meses, fue hospitalizado?

7.3

(0.6)

0.2

(0.9)

Estado de SaludEstado de Salud

BenefBenef – Non

Benef

Ninguna11.4

(0.8)

0.8

(0.9)

Primaria incompleta29.4

(1.2)

1.7

(1.4)

Primaria completa21.1

(0.9)

-1.7

(1.0)

Secundaria incompleta23.5

(0.9)

0.0

(1.2)

Secundaria completa13.2

(1.0)

0.0

(2.1)

Superior1.0

(0.2)

-0.8*

(0.4)

Participación en un curso de capacitación

14.4

(0.9)

-1.3

(1.0)

EDUCACIóNEDUCACIóN

Diferencias entre Beneficiarios y No Diferencias entre Beneficiarios y No Beneficiarios son pequeñas en línea de Beneficiarios son pequeñas en línea de base.base.

Impactos de corto plazo Impactos de corto plazo

Individuos llevan 2 ó 3 meses en media Individuos llevan 2 ó 3 meses en media en el programaen el programa

Número de horas semanales de trabajoNúmero de horas semanales de trabajo

Toda la muestraToda la muestra 8.6*8.6*

(1.4)(1.4)

MujeresMujeres 13.7*13.7*

(1.8)(1.8)

Jóvenes 18-24Jóvenes 18-24 11.7*11.7*

(2.4)(2.4)

Impactos muy considerablesImpactos muy considerables

Los grupos más vulnerables se benefician másLos grupos más vulnerables se benefician más

Ingreso mensual laboral (US $)Ingreso mensual laboral (US $)

Muestra completaMuestra completa 15.95**15.95**

(4.95)(4.95)

MujeresMujeres 23.51**23.51**

(6.06)(6.06)

Jóvenes 18-24Jóvenes 18-24 18.99**18.99**

(5.09)(5.09)

Los grupos más vulnerables se beneficián másLos grupos más vulnerables se beneficián más

Impacto en la oferta de trabajo de otros Impacto en la oferta de trabajo de otros miembros del hogarmiembros del hogar

Horas semanales Horas semanales de trabajode trabajo

2.62.6

(1.9)(1.9)

Ingreso laboral Ingreso laboral mensual en US $mensual en US $

11.1711.17

(8.64)(8.64)

No se evidencian que otros miembros del hogar hayan No se evidencian que otros miembros del hogar hayan disminuido su esfuerzo laboraldisminuido su esfuerzo laboral

Tampoco se evidencian impactos sobre las Tampoco se evidencian impactos sobre las transferenciastransferencias

Es Nuestra estrategia robusta?Es Nuestra estrategia robusta?

El efecto del programa en los ingresos del El efecto del programa en los ingresos del 20012001

Ingreso individual Ingreso individual laboral mensuallaboral mensual

59885988

(11003)(11003)

Resultado resulta muy alentador para nuestra Resultado resulta muy alentador para nuestra estrategia de evaluaciónestrategia de evaluación

Impacto sobre Consumo del hogarImpacto sobre Consumo del hogar

Consumo total Consumo total 9.1%*9.1%*

(4.4)(4.4)

Conclusiones de la evaluación de impacto de corto plazo

• A pesar de los problemas de implementación, los grupos de beneficiarios y no beneficiaros son muy parecidos en variables observables.

• El programa proporciona importantes impactos positivos en oferta laboral, ingreso y consumo del hogar.

• Los participantes que son mujeres o jóvenes se benefician más que la media

• No se evidencian desplazamientos de la oferta laboral de otros miembros del hogar, ni de las transferencias.

• La estrategia de evaluación resulta robusta

Focalización Focalización

Focalización:

• El programa tuvo dos mecanismos de focalización:

– Solicitantes habían de tener SISBEN 1 ó 2

– Salario estaba por debajo del salario mínimo

• 80% de los hogares de beneficiarios están por debajo de la línea de pobreza.

• 30% están por debajo de la línea de indigencia.

Quién solicitaba trabajo en “Empleo en Acción”

• Es más probable que un individuo solicitara trabajo si:

– Tenía alguna educación, pero no había llegado a secundaria

– Había realizado cursos de capacitación en el pasado

– Son hombres

– Son jefes de hogar

Quién solicitaba trabajo en “Empleo en Acción”

• Es más probable que un individuo solicitara trabajo si:

– Su casa estaba en malas condiciones materiales

– Habían trabajado menos horas en el 2001

– Habían ganado menos dinero en el 2001

– El ingreso máximo esperado del hogar es menor

Focalización:• El mecanismo de auto focalización ha funcionado bien. Esto

se ha de tener en cuenta para el diseño de programas pues se conoce que el SISBEN tiene fallos en este aspecto.

• Los individuos que solicitan trabajo son aquellos con menos oportunidades en el mercado de trabajo, pero son personas muy importantes para sus hogares (head of households)

• Además, cuentan con cierta educación y nivel de cualifacación

Qué es lo próximos pasos en la

evaluación de corto plazo. • ¿Hay algún efecto en la acumulación de activos?

• ¿Mejora el programa las oportunidades en el mercado de trabajo de los solicitantes?

• ¿ Se benefician las comunidades de los proyectos?

Algunas cuestiones sobre el futuro del programa

• El gobierno ha decidido terminar con el proyecto sin esperar a los resultados de la evaluación

• Posibles causas (que yo puedo pensar...)

– Complejidad administrativa: Habían muchos agentes involucarados (ONG, municipios, gobierno central…).

• Entre otras cosas, esto se manifestó en los retrasos en los pagos.

• Destacar que no hubo una implementación piloto (como en FA) que ayudará a detectar fallos y cuellos de botellas en los procesos de administrativos.

– El programa no fue popular en los grandes municipios:• Quizás estos municipios requiren proyectos de infrastructura de

mayor embergadura

Algunas cuestiones sobre el futuro del programa

• Estas cuestiones subrayan la importancia de probar diferentes versiones del programa antes de su implementación a nivel nacional

• Por ejemplo, se podría haber probado con proyectos de infrastructuras pequeños, y con otros mucho más grandes

Algunas cuestiones sobre el futuro del programa

• Si se volviera a implementar en el futuro, debería analizarse como mejorar y simplificar la administración del programa.

• El registro en el programa ha de ser suficientemente flexible para que las personas puedan entrar y salir fácilmente del trabajo del proyecto.

• El programa posiblemente necesitará diferentes condiciones para funcionar en zonas urbanas y rurales

Lecciones aprendidas• El programa “Empleo en Acción” tiene impactos positivos

muy importantes en el corto plazo sobre la oferta laboral, ingresos y consumo. Los impactos a largo plazo están todavía por ser estudiados, así como los impactos de los proyectos en las comunidades.

• Su focalización funciona muy bien

• Las Comunidades perciben el método de sorteo como justo

• Es importante probar distintas versiones del programa, así como hacer pilotos que nos permitan detectar complejidades administrativas y de implementación.