www.iadb.org/Salud

www.iadb.org/ProteccionSocial

Evaluación de Impacto de

Programas de Capacitación

para el Trabajo en América

Latina: algunas lecciones

aprendidas.

Pablo Ibarrarán

19 de junio 2012

¿Qué entendemos por

evaluación de impacto?

• ≠ “Efectos de largo plazo positivos y negativos,

primarios y secundarios, producidos directa o

indirectamente por una intervención para el

desarrollo, intencionalmente o no” (OECD-DAC)

• Impacto ≈ rigor del análisis, estrategia de

identificación, atribución….

• Esto permite contestar preguntas relevantes, de

modelos de intervención y de mecanismos de

implementación.

¿De dónde viene la demanda

por evaluaciones de impacto?

• La ausencia de evaluaciones es un equilibrio

estable (It pays to be ignorant)

• Incentivos (positivos o negativos) son necesarios

para generar la demanda por evaluaciones

• Frente a una demanda creciente, se requiere de

oferta, regulación y clientes “sofisticados” para que

el “mercado” de evaluaciones funcione

adecuadamente.

Riesgos: evaluación →

simulación

• Las evaluaciones sin consecuencias sirven de

poco…

… y evaluaciones sin calidad, mejor que no

tengan consecuencias…

• El futuro de las evaluaciones (instrumento de

gestión y conocimiento, simulación, extinción),

depende de su calidad, oportunidad y uso.

• Preguntas iniciales: ¿Para qué/quién/cuándo se

quiere hacer una evaluación?

¿Por qué los programas de

empleo son necesarios?

• El desempleo juvenil y el no-empleo es una preocupación central en América Latina (el problema de los “ni-ni”).

• Hay un número elevado de jóvenes no calificados y sin experiencia laboral con pocas perspectivas de inserción laboral y de inclusión social: los jóvenes desaventajados/o en riesgo.

• Además, los bajos ingresos laborales (subempleo, empleo precario) son una preocupación generalizada.

• La pregunta no es si los programas de intermediación / capacitación / subsidios son necesarios, la pregunta es cuáles son más eficientes en cumplir su objetivo?

¿Qué los programas se han

implementado en LAC? •Una intervención común para estos jóvenes: programas de capacitación laboral de corto plazo (CL) para la inserción laboral para proveer habilidades básicas y algunas capacidades laborales específicas.

•Estos programas se caracterizan por (intentar):

–Separar el financiamiento de la provisión de la capacitación laboral.

–Ofrecer una capacitación laboral orientada hacia la demanda.

–Capacitación en aula y una capacitación en el puesto de trabajo.

•Dos experiencias influyentes en AL: Probecat (México) y Chile Joven.

•Variantes de estos programas en diversos países.

Experiencia del BID •Efectividad de los programas de CL

–Impacto en empleo y salarios.

–Características institucionales y de implementación que están correlacionadas con mejores resultados.

•Los principales insumos utilizados en 2006 fueron:

–Un proyecto temático de evaluación de impacto realizado por la Oficina de Evaluación y Supervisión (OVE) del BID.

–Dos evaluaciones independientes de programas en Chile y Colombia.

•Pocas políticas públicas han sido estudiadas y evaluadas de manera tan rigurosa como los programas de CL:

•Los resultados para AL son escasos y muestran una gran variación en sus resultados (ej. Projoven y sus 7 evaluaciones).

•Había una ausencia de evaluaciones sistemáticas y rigurosas de los programas de CL financiados por el BID

Capacitación laboral en LAC (1)

•La CL ha sido tradicionalmente importante en la Región. Muchos países cuentan con una institución nacional de capacitación (ej. SENA en Colombia y Infotep en RD) :

–Los cursos de CL están orientados a trabajadores activos y son definidos a nivel central. Están orientados por la oferta.

–Los jóvenes desempleados, con bajos niveles de educación no son los objetivos principales.

•Desde los años 80, presión de estas instituciones de reformarse (ej. Chile) aunque pocos avances.

•Una intervención alternativa ha sido implementar programas de CL, para grupos vulnerables, orientada por la demanda.

Capacitación Laboral en LAC (2)

•El Programa Probecat (México):

–Creado en 1984 para promover ajustes sectoriales y es parte de un conjunto de PAML tradicionales: la capacitación opera dentro del Sistema Nacional de Empleo.

–No se restringió a jóvenes o a ningún grupo vulnerable en particular.

–Después de intentar con diferentes modalidades, se estableció con un esquema dominante en el que las firmas proveen capacitación en el lugar de trabajo. DECISION BASADA EN EVIDENCIA

–Ofrece un estipendio (= al salario mínimo) y las empresas ofrecen una capacitación + una práctica laboral (mínimo 3 meses). Condición es que al menos 70% de los beneficiarios se queden en la empresa 1 año.

Capacitación Laboral en LAC (3) •El programa Chile Joven:

–Orientado a capacitar y ofrecer una experiencia laboral a un stock de jóvenes no calificados, inexperimentados y en situación de riesgo social:

–Intentó elevar el capital social y la empleabilidad (módulo de capacidades sociales y fase de pasantía).

–Cursos básicos ofrecidos por instituciones de capacitación (200 horas) + pasantía en empresa (3-6 meses).

–Depende del mercado para revelar la demanda capacitación (“carta de intención”).

•Particularidades:

–Concebido como una intervención de una sola vez.

–Mercado de instituciones capacitadoras, con vínculos con el sector productivo, y una agencia reguladora (SENCE) ya existían.

–Basado en expectativas de crecimiento económico sostenido.

Capacitación Laboral en LAC (4)

•El programa fue replicado por el BID y OIT en Venezuela (1993), Argentina (1994), Paraguay (1994), Perú (1996), República Dominicana (1999), Colombia (2000), Panamá (2002) y Haití (2005).

•Sin embargo, el propósito de los programas en estos países fue diferente:

–Buscaron resolver un problema estructural: flujo constante de jóvenes con esas características que buscan ingresar al mercado laboral.

•Además, no existe un mercado de instituciones capacitadoras, con vínculos con el sector productivo, ni una agencia reguladora (SENCE).

•Y sin supuesto de crecimiento económico (e.j, Colombia)

• La expansión regional NO FUE BASADA EN EVIDENCIA

Datos Utilizados (hasta 2005) País / Nombre del

Programa

No. Total de

Beneficiarios

Periodo de

Evaluación

Argentina 1995: 32%

Proyecto Joven 1996: 31%

1994 - 2001 1998: 24%

Chile 15 - 19 19.5%

Chile Joven 20 - 24 13.4%

1991 - 2001

Colombia 12 - 17 26.4%

Jóvenes en Acción 18 - 24 27.7%

2002 - 2005

República Dominicana

Juventud y Empleo

1999 - hoy

México 1999: 3.8% 2002: 0.8%

Probeca 2000: 6.6% 2003: 1.4%

1984 - hoy 2001: 0% 2004: 4%

Panamá

ProCaJoven

2002 - hoy

Perú 14 - 24 14.30% 1996: 2.5% 1997: 6.9%

PROJoven

1996 - hoy

7.2%

160,000 (34,000 entre

1996 y 2003, muestra de

evaluación)

1996 - 2003 (rango 12.8 - 15.8) 1998 - 2001: 0.85% (prom.)

2002 - 2004: 4.7% (prom.)

11,400 2005 15 - 24 0.263

1.3%

Alrededor de 5 millones

entre 1984 - 20001999 - 2004 2.2% - 3.8%*

30,000 (hasta 2006) 2004 10 - 24 33%

6.7%164,000 1997

80,000 2005 5.7%

Desempleo Juvenil Crecimiento del PIB

1995, 1996, 1998130,000 15 - 24

1995: -4.6%

1996: 4.4%

1998: 3.9%

• Evaluaciones recientes: Honduras, Panamá, México, RD…

• Planes de evaluación en Bolivia, Paraguay, El Salvador…

Estructura de los programas País

Método de

EvaluaciónGrupo de Comparación

Línea Base / Datos Pre-

programados?

Dinámica /

Análisis de

Empleabilidad

Papers

República

DominicanaExperimental

Definido ex ante por

diseño aleatorioSi

10 - 14 meses y

22 - 24

Card et al.

(2006)

Colombia ExperimentalDefinido ex ante por

diseño aleatorioSi 19 - 21 meses

Atanasio et

al. (2007)

PanamáExperimento

Natural

Definido ex post de los

aplicantes elegibles

excluidos por el

experimento natural

No tiene línea base, los

datos pre-programa

provienen de preguntas

retrospectivas en el

seguimiento

9 - 20 meses

Ibarrán y

Rosas Shady

(2007)

Perúcuasi-

experimental

Definido ex ante de no-

aplicantes elegiblesSi 6, 12, 18 meses

Díaz y

Jaramillo

(2006)

Chilecuasi-

experimental

Definido ex post de no-

aplicantes elegiblesNo 12 meses

Aedo y

Pizarro

(2004)

Argentinacuasi-

experimental

Definido ex ante por

aplicantes registrados

que no iniciaron el curso

Si

11 y 19 meses

en el 2do y 3er

llamado, 12 en

el 5to llamado

Alzua y

Brassolio

(2006)

Méxicocuasi-

experimental

Definido ex post de

individuos similares de

una encuesta de

mercado laboral

No, la línea de base fue

reconstruida a partir de

datos ex post

3 y 6 mesesDelajara et

al. (2006)

Diseños

experimentales

Diseños no

experimentales

Resultados País Tasa de empleo Formalidad Salarios

Argentina0% - 11%, 10% - 30% para los

más jóvenes (<21)

0% - 3%, 6% - 9% para jóvenes

en un cohorteSin patrón específico

Chile18% - 22% más grande para los

grupos más jóvenes.

15% - 23% más grande para

grupos más jóvenes

22% - 25%, estimado

impreciso

Colombia5% para mujeres, ninguno para

hombres

6% - 7% para mujeres; 5% - 9%

para hombres

22% para mujeres, 10%

para hombres

República

Dominicana

Ninguna, alta (5% - 6%) pero no

significativa para el Este y Santo

Domingo

Seguro Médico 9% mayor para los

hombres (43% vs. 34%)

17% (marginalmente

significativo), mayor para

hombres menores de 19%

México

General, no hay un patrón claro;

efectos robustos positivos en el

entrenamiento en el puesto de

trabajo (12% - 13%)

Efectos positivos (10% - 20%)

desde 2002

No hay patrones

consistentes, lo mejor son

pequeños y son

generalmente

insignificativos

Panamá

10% - 12% no significativo para

las mujeres y en Ciudad de

Panamá.

No significativo, probablemente

mayor en las afueras de Ciudad

de Panamá

Insignificante, mayor para

las mujers (38%) y en

Panamá (25%)

Perú

Grande, 13% (mucho más alta

para mujeres - 20% más que

para hombres- insignificante)

Grande: general 11%, 14% para

mujeres, 5% para hombres12% - 30%

¿Qué aprendimos? •Los programas estudiados: pueden contribuyen a mejorar la situación laboral de grupos específicos de la población joven:

–Efectos modestos y heterogéneos en el empleo (varían por genero, edad y región) pero impactos positivos en la calidad del empleo y en los salarios.

•… representan inversiones pequeñas por lo que no se pueden esperar grandes retornos (implicaciones).

•… parecen ser costo-efectivos y contribuir a mejorar la empleabilidad de los participantes: un éxito modesto a un costo modesto.

•… deben considerar mecanismos para la participación del sector privado

•… deben ser parte de una estrategia integral del mercado laboral (ej. del Servicio Nacional de Empleo) y su diseño debe considerar la economía política de los sistemas nacionales de capacitación.

Otros retos (Urzúa y Puentes, 2010)

• La evidencia no es concluyente (pocas veces lo es en programas sociales)

• La falta de evidencia no elimina la necesidad de políticas: se necesita diseñar programas evaluables y con planes de evaluación bien definidos.

• Todo programa debe hacer un análisis costo-beneficio, tanto ex ante como ex post.

• Necesidad de definir el grupo objetivo

• Intervenciones intensivas parecen tener mejores resultados

• Necesidad de incorporar al sector privado

¿Qué nos falta conocer?

–¿Qué características del diseño son las más relevantes? Pasantías/capacidades humanas/capacitación específica.

–¿Bajo qué circunstancias funcionan mejor estos programas? Características de los beneficiarios, de proveedores de la capacitación, de las firmas donde se realizan las pasantías, etc.

– Relación entre impacto y el ciclo económico. –¿Cuáles son los efectos largo plazo? – Efectos de desplazamiento

Para esto, es necesario PLANEAR las evaluaciones, y no evaluar sobre la marcha ni evaluar por evaluar!

Evaluación como proceso…

República Dominicana:

• Objetivo original: comparar capacitación contra intermediación en términos de colocación

• Primera ronda: evaluación experimental del programa de capacitación

• Problemas de implementación

• Faltó detallar preguntas de evaluación.

Evaluación como proceso…

Registro ☺

Distintos sitios ~

Línea de base: ~

Asignación aleatoria: ☺

Seguimiento (datos para localización): X

Desertores y reasignación: X

¿Qué hicieron los controles? ~

Encuesta de seguimiento ~/X (no se incluyeron desertores)

Alta atrición, baja no-respuesta.

Evaluación como proceso…

República Dominicana:

• Segunda evaluación: • Verificar si las mejoras al diseño dieron resultado

• Mayor énfasis en Desarrollo de Competencias Básicas

• Dos rondas de evaluación (BID – Banco Mundial)

• Dificultades (menores) en implementación • Recontacto telefónico (reemplazos en encuestas)

• Retrasos en licitaciones

• La evaluación debe ser más oportuna.

Evaluación como proceso…

Registro ☺/ ☺

Distintos sitios ~ / ~

Línea de base: ~ / ~

Asignación aleatoria: ☺ / ☺

Seguimiento (datos para localización): X / ~

Desertores y reasignación: X / ☺

¿Qué hicieron los controles? ~ / ☺

Encuesta de seguimiento ~/X -- ☺

Alta atrición, baja no-respuesta. / ☺

La agenda pendiente • Enfoque integral para desarrollar un agenda: evaluaciones de procesos, resultados e impacto.

• Monitoreo y evaluación deben ser parte central de la gestión de programas. Se requieren recursos (equipo y dinero) suficiente.

• Las evaluaciones tienen que tener consecuencias: cambios en reglas de operación, conocimiento sobre algo nuevo…

• Mejora no tener evaluación a tener una mala evaluación

(falta control de calidad en las evaluaciones)

Discusión

• Experiencias positivas y negativas con el proceso de evaluación

• Evaluaciones con consecuencias

• Temas específicos que les gustaría evaluar en sus programas

• ….. “La evaluación experimental es muy buena, pero no aplica en mi programa/proyecto….”

• …. “Las evaluaciones son un requisito, un trámite que hay que cumplir y nada más”.

www.iadb.org/Salud

www.iadb.org/ProteccionSocial