Metodologías de Evaluación de Impacto aplicadas a los Grupos de Ahorro

Comunitario

Luz Magdalena Salas

Foro Latinoamericano de Grupos de AhorroBogotá, Diciembre 5 de 2013

La importancia de evaluar

Determinar la efectividad de un programa o una intervención

1.Conocer si el programa o intervención logra cumplir con el objetivo para el cual fue diseñado

2.Medir el “tamaño” del efecto o impacto de la intervención

3.Determinar si la focalización es la adecuada

4.Comparar los beneficios y costos de implementación para determinar su escalabilidad

5.Generar información y conocimiento

6.Posibilidad de ajustar las intervenciones de acuerdo con las necesidades de la población objetivo

Metodologías de Evaluación Aplicadas a GACC en Colombia

1. Cuasi-experimental (Ene. de 2013 – Dic. de 2014): Mide el impacto de participar en GACC Selección no aleatoria de individuos Mide la situación de participantes al inicio y después de la

intervención Compara la situación de los participantes (tratados) con un grupo

de personas similar que no participa en el programa (controles)

1. Experimental (Ago. 2011 – Dic. 2012):1. Mide el impacto de recibir intervención aplicada a miembros de

GACC que promueve el ahorro (commitment savings product)2. Asignación aleatoria de individuos a grupo de tratamiento y control3. Mide y compara la situación de participantes en cada grupo

después de la intervención

1. Evaluación Cuasi-Experimental de Impactos del programa GAAC

Objetivos: Medir el impacto sobre la calidad de vida y bienestar de los hogares

participantes

Medir cambio en su comportamiento frente al ahorro y crédito

Evaluar qué tanto contribuye el programa en mejorar la capacidad de manejar y acumular activos financieros que les permita generar ingresos, suavizar consumo y enfrentar mejor choques inesperados

Evaluar de qué manera los activos gestionados a través de los GAAC contribuyen al desarrollo de emprendimientos, negocios o actividades productivas

Indicadores de medición de impacto

Calidad de vida y bienestar:– Habitabilidad– Seguridad alimentaria– Salud y nutrición– Capital social– Nivel de pobreza– Capacidad de enfrentar choques

inesperados– Violencia intrafamiliar– Toma de decisiones al interior del

hogar– Capacidad de suavizar el consumo– Construcción de redes sociales

Generación de ingresos:– Manejo y gestión de recursos

financieros en actividades productivas, negocios y emprendimientos

– Capacidad de enfrentar dificultades financieras

Grupo de control

Grupo de tratamiento

Promedio del impacto estimado de la intervención

Línea de tiempo

Variable de

interés

Intervención GAAC

Intervención GAAC

Método de Medición de Impactos

Implementación de la Evaluación Cuasi-Experimental

Innovaciones:

1.Diseño y coordinación

2.Ejecución – recolección de datos

3.Generación de capacidades al interior del equipo de operación del programa

4.Apoyo institucional del gobierno nacional y otras organizaciones

1. Diseño y coordinación:

•Diseño ajustado a la operación del programa

•Coordinación y supervisión conjunta entre el equipo de consultores externos y el operador del programa

Implementación de la Evaluación Cuasi-Experimental

2. Ejecución – recolección de datos:•Realizado por el operador del programa bajo supervisión de coordinador de campo y consultor externo•Uso de tabletas electrónicas:– Diseño de una aplicación móvil (tipo Android) para encuestas– Información en tiempo real – Reducción sustancial en costos de recolección de información– Menor tiempo de recolección, verificación y análisis de

información– Mejor calidad en la información– Recolección de información de forma intermitente durante la

intervención y en la línea final a menor costo

Implementación de la Evaluación Cuasi-Experimental

3. Generación de capacidades locales:

Entrenamiento y capacitación en:•Recolección de encuestas de hogares

•Manejo de técnicas de medición de impacto

•Manejo de software especializado para análisis de información

Implementación de la Evaluación Cuasi-Experimental

4. Alianza institucional: •IED – VITAL: implementación de la evaluación

•Red Unidos (ANSPE): identificación de la población del grupo de control. Acompañamiento de cogestores durante el trabajo de campo

•BID – FOMIN: Financiación y apoyo técnico en diseño, implementación y análisis

Implementación de la Evaluación Cuasi-Experimental

Localización de la Muestra

• 2000+ participantes entre tratamiento y control

• Cerca de 200 GACC en 7 departamentos del país

Situación Inicial de los Participantes en GACC

Ahorro

Situación Inicial de los Participantes en GACC

Tenencia y uso de cuentas bancarias

Situación Inicial de los Participantes en GACC

Préstamos

Situación Inicial de los Participantes en GACC

Vinculación a los GACC

Situación Inicial de los Participantes en GACC

• Tienen experiencia en servicios financieros• Tienen alguna capacidad de ahorro• Hacen parte de redes sociales (grupos

religiosos, comunitarios, etc.)• Sin embargo, es necesario conocer cuál es el

papel de los GACC en:• Creación de capital social• Cooperación al interior de los grupos• Dinámicas al interior del hogar• Construcción de confianza

2. Evaluación Experimental de un Producto de Promoción al Ahorro vinculado a miembros GACC

Estudia si un producto de promoción al ahorro (commitment savings product) - compromisos individuales o grupales de los miembros de GACC lleva a cambios en decisiones de ahorro

Intervención: definición explícita de una meta para uso de los ahorros de dos formas:o Compromiso individualo Compromiso grupal

Definir un propósito de ahorro crea un compromiso que induce a los participantes de los GACC a ahorrar más y a utilizar los fondos en la meta propuesta, porque su incumplimiento induce un costo (no monetario)

2. Evaluación Experimental de un Producto de Promoción al Ahorro

Muestra:

Resultados:Metas: vivienda, educación o para sus negociosLas personas que definen un compromiso individual para uso de su ahorro ahorran un 17% más que el grupo de controlLas personas que definen un compromiso y lo comparten con los demás miembros de su GACC aumentan la compra de acciones en 35%La intervención es más efectiva para quienes tienen menos restricciones económicas para ahorrar

Retos de las Evaluaciones de Impacto

Información: Medición de efectos reales y variables que capturen resultados de la intervención o programa

Implementación: coordinación con la operación del programa, tiempos

Relevancia: en cumplimiento de objetivos por el cual fue creada y en arrojar resultados oportunos

Escalabilidad y sostenibilidad: uso de los resultados de la evaluación para ajustar el programa y escalarlo

Difusión de información y resultados que genere conocimiento Vínculo de estrategias complementarias con objetivos comunes:

generación de ingresos, movilización comunitaria, inclusión financiera formal, uso de tecnología

Lecciones aprendidas

Metodología: De bajo costo Ajustada a la realidad del programa manteniendo la rigurosidad

metodológica Uso de tecnología para agilizar su implementación Uso y entrenamiento de capacidad local

Utilización de plataformas existentes de programas sociales para probar intervenciones pequeñas y de bajo costo con impactos significativos en el comportamiento de los individuos

Trabajo conjunto: alianzas entre varios actores en el diseño, operación, financiación y evaluación de programas e intervenciones