Presentación de PowerPoint - povertyactionlab.org · Describir la utilidad y las preguntas ... El...
-
Upload
nguyenkhue -
Category
Documents
-
view
216 -
download
1
Transcript of Presentación de PowerPoint - povertyactionlab.org · Describir la utilidad y las preguntas ... El...
Necesidades Teórica Procesos Impacto Costo-Efectividad
Herramientas de Evaluación de Impacto e
Innovación Social
23 de abril – 14 de mayo 2014
Santiago, Chile
1
Clase 2 Tipos de evaluación Ryan Cooper
@ryancooper_b
J-PAL LAC
2
Necesidades Teórica Procesos Impacto Costo-Efectividad
Índice 1. Evaluando Emprendimientos Sociales
2. Tipos de Evaluación
3. Teoría de Cambio
4. Indicadores y Medición
5. Evidencia Rigurosa y Evaluación Aleatoria
6. Interpretación de Datos
7. Evaluaciones aleatorias: ¿Cómo se implementan?
8. Evaluación de Principio a Fin
3
Necesidades Teórica Procesos Impacto Costo-Efectividad
Objetivos
Después de esta sesión los participantes serán capaces de:
1. Identificar cinco tipos diferentes de evaluación.
2. Describir la utilidad y las preguntas que contesta cada tipo de evaluación.
3. Identificar los instrumentos usados en cada tipo de evaluación.
4. Diferenciar los contextos en los que es apropiado usar cada tipo de evaluación.
4
Necesidades Teórica Procesos Impacto Costo-Efectividad
Esquema de presentación
1. Evaluación de necesidades
2. Evaluación teórica de programas
3. Evaluación de procesos
4. Evaluación de impacto
5. Análisis costo-efectividad
5
Necesidades Teórica Procesos Impacto Costo-Efectividad
Tipos de evaluación
Evaluación
Evaluación de
Programas
Evaluación de Impacto
6
Necesidades Teórica Procesos Impacto Costo-Efectividad
Tipos de evaluación
Evaluación
Evaluación de
Programas
Evaluación de Impacto
Monitoreo
RCTs
7
Necesidades Teórica Procesos Impacto Costo-Efectividad
¿Cuál es la diferencia entre evaluación de impacto y monitoreo?
A. Ninguna. Son palabras distintas para hablar de la misma cosa.
B. El monitoreo describe, la evaluación impacto separa efecto causal.
C. El monitoreo es para la gestión, la evaluación para la rendición de cuentas.
D. No sé.
E. Otro A. B. C. D. E.
20% 20% 20%20%20%
8
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de
Necesidades
Evaluación Teórica de Programas
Evaluación de
Procesos
Evaluación de Impacto
Análisis Costo-
Efectividad
¿Cuál es el
problema?
¿Cuál es el
OBJETIVO del
Programa?
¿Cómo, en
TEORÍA,
podemos
resolver el
problema?
¿El programa
se está
implementando
como fue
planeado?
¿qué parte de
resultados
finales (a nivel
de
OBJETIVOS)
es atribuible al
programa?
Dados el impacto
y el costo,
¿cómo se
compara este
programa con
otras
alternativas?
Tipos de evaluación
9
Necesidades Teórica Procesos Impacto Costo-Efectividad
Programa: Mejoramiento de Viviendas Implementado por TECHO, una ONG con
presencia en todo Latinoamérica.
El programa proporcionó viviendas mejoradas a personas viviendo en asentamientos precarios.
Implementado por voluntarios jóvenes con la ayuda de la comunidad beneficiada.
El programa de viviendas se implementó en asentamientos en México, El Salvador y Uruguay entre 2007 y 2010.
11
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de
Necesidades
Evaluación Teórica de Programas
Evaluación de
Procesos
Evaluación de Impacto
Análisis Costo-
Efectividad
¿Cuál es el
problema?
¿Cuál es el
OBJETIVO del
Programa?
¿Cómo, en
TEORÍA,
podemos
resolver el
problema?
¿El programa
se está
implementando
como fue
planeado?
Componentes de una evaluación
¿¿qué parte de
resultados
finales (a nivel
de OBJETIVOS)
es atribuible al
programa?
Dados el impacto
y el costo ¿Cómo
se compara este
programa con
otras alternativas?
Necesidades
13
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de necesidades
Podemos aprender mucho recogiendo información descriptiva:
¿A qué grupo de la población debemos atender? ¿qué grupo tiene mayor necesidad y puede beneficiarse más de una intervención?
¿Qué problemas y oportunidades enfrenta este grupo?
¿Cuáles son las posibles razones del problema que enfrentan?
¿Qué se está haciendo ya para resolver el problema?
¿Qué obstáculos siguen sin abordarse?
Evaluación de
necesidades
Necesidades
14
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de necesidades
Este tipo de evaluación es especialmente útil para…
Comprender el contexto y asegurarnos de
que abordamos una necesidad real.
Identificar las debilidades de otros
programas existentes.
Empezar a pensar en cómo nuestra
intervención puede contribuir a solucionar el
problema (Teoría de Cambio)
Evaluación de
necesidades
Necesidades
15
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de necesidades
Supongamos que la evaluación de necesidades revela que…
Evaluación de
necesidades
¡El problema que se quería abordar no existe!
El problema no es una prioridad para la gente o no tan severo como se pensaba
La causa del problema parece no ser la que pensábamos
No se dan las condiciones básicas requeridas para que el programa sea efectivo
En estas situaciones, no es necesario realizar otros tipos
de evaluación (procesos o impacto).
Hay que replantear la intervención.
Necesidades
16
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de necesidades
Metodologías útiles para una evaluación de necesidades:
Entrevistas cualitativas estructuradas
con individuos o grupos de discusión
Encuestas representativas
En general, una mezcla entre métodos
cualitativos y cuantitativos es ideal para
entender el contexto
Usar información de proyectos e
investigaciones en otros lugares
Evaluación de
necesidades
Necesidades
17
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de necesidades
Evaluación de necesidades en el programa TECHO:
“El objetivo principal de esta investigación [es] desarrollar [un]
acercamiento a la realidad de estos asentamientos, que
permita realizar una descripción de su situación
socioeconómica y la detección de sus principales necesidades,
con el fin de proporcionar datos precisos que ayuden al diseño
de políticas […] acorde a las realidades específicas de los
distintos campamentos.” [Leiva y Miño, 2003]
Evaluación de
necesidades
Necesidades
18
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de necesidades
Fuente: Anuario 2012 TECHO
Necesidades
19
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de necesidades
Fuente: Anuario 2012 TECHO
Fuente: Anuario 2012 TECHO
Necesidades
20
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de necesidades
Fuente: Anuario 2012 TECHO Fuente: Catastro Buenos Aires
Necesidades
21
Necesidades Teórica Procesos Impacto Costo-Efectividad
Para el caso de TECHO, ¿cuál de las siguientes preguntas se podrían responder con una evaluación de necesidades?
A. ¿Cuál es el presupuesto
disponible para la ejecución
del programa?
B. ¿Cuántos años se espera
que dure el programa?
C. ¿Qué tan seguros se
sienten en sus casas las
personas que viven en
asentamientos precarios?
D. Todas las anteriores A. B. C. D.
25% 25%25%25%
22
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de
Necesidades
Evaluación Teórica de Programas
Evaluación de
Procesos
Evaluación de Impacto
Análisis Costo-
Efectividad
¿Cuál es el
problema?
¿Cuál es el
OBJETIVO del
Programa?
¿Cómo, en
TEORÍA,
podemos
resolver el
problema?
¿El programa
se está
implementando
como fue
planeado?
Componentes de una evaluación
Dados el impacto
y el costo ¿Cómo
se compara este
programa con
otras alternativas?
Teórica
¿¿qué parte de
resultados
finales (a nivel
de OBJETIVOS)
es atribuible al
programa?
24
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación teórica
Tras identificar la necesidad o el problema que queremos abordar, pasamos a pensar en cómo solucionarlo.
Una forma sistemática de hacer esto es usando la Teoría de Cambio:
Una teoría de cambio es una hoja de ruta
que nos dice hacia dónde vamos
(resultados) y cómo llegamos (proceso).
Evaluación teórica de programas
Teórica
25
Necesidades Teórica Procesos Impacto Costo-Efectividad
Programa: Mejoramiento de Viviendas
Necesidades Insumos y
Actividades Productos Resultados Intermedios
Resultados Finales
Vivienda
básica:
Techo, piso,
muros,
privacidad.
Voluntarios
Materiales de
construcción
Viviendas
mejoradas
Mejor calidad
de vida
Mejor salud
física y mental
Mayor
seguridad
contra el robo
Protección
contra la lluvia
Acumulación
de capital
Ambientes más
saludables
Mejores y más
oportunidades
de trabajo
Teórica
26
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de
Necesidades
Evaluación Teórica de Programas
Evaluación de
Procesos
Evaluación de Impacto
Análisis Costo-
Efectividad
¿Cuál es el
problema?
¿Cuál es el
OBJETIVO del
Programa?
¿Cómo, en
TEORÍA,
podemos
resolver el
problema?
¿El programa
se está
implementando
como fue
planeado?
Componentes de una evaluación
Dados el impacto
y el costo ¿Cómo
se compara este
programa con
otras alternativas?
Procesos
¿¿qué parte de
resultados
finales (a nivel
de OBJETIVOS)
es atribuible al
programa?
28
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de procesos
Nos permite saber si el programa se está implementando como planeamos, y qué tan bien está funcionando.
¿Están entregándose los servicios o
productos? ¿Los recibe el destinatario
debido y en el momento necesario?
¿Qué dificultades está teniendo el personal
responsable de la implementación?¿Está
haciendo bien su tarea?
¿Cómo perciben el programa los
beneficiarios? ¿Hacen uso de los bienes y
servicios entregados?
Evaluación de procesos
Procesos
29
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de procesos
La evaluación de procesos puede ayudarnos a:
Identificar tempranamente problemas de
implementación, pudiendo corregirlos.
Incentivar un mejor desempeño por parte del
personal responsable de la implementación.
Interpretar los resultados de la evaluación de
impacto.
Por ello, la evaluación de procesos
¡siempre es útil!
Evaluación de procesos
Procesos
30
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de procesos Metodologías útiles para una evaluación de
procesos:
Monitorear el plan de operaciones
Seguir los “paper trail”
Monitorear operaciones en el campo
Encuestas
Entrevistas personales, grupos de discusión, observación directa
Evaluación de procesos
Procesos
31
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de procesos
…
Fuente: http://www.techo.org/wp-content/uploads/2013/04/4Procesos_intervencion_social.pdf
Procesos
32
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de procesos
Ejemplo de un estudio cualitativo:
Se realizaron ocho entrevistas semi-
estructuradas a usuarios de dos proyectos
del Fondo Solidario de Vivienda de la
Región Metropolitana:
Nuevo Amanecer, en Huechuraba,
conformado por 323 familias.
Monseñor Enrique Alvear, en Puente Alto,
conformado por 144 familias.
Fuente: http://www.techo.org/wp-content/uploads/2013/02/Plan-de-HS.pdf
Procesos
37
Necesidades Teórica Procesos Impacto Costo-Efectividad
Para el caso de TECHO, ¿cuál de las siguientes preguntas se podrían responder con una evaluación de procesos?
A. ¿Se consiguieron los
materiales y la mano de obra
que se necesitaba para la
construcción de las casas?
B. ¿El programa mejoró la
situación de los
beneficiados?
C. ¿A qué servicios básicos
tienen acceso las personas
en asentamientos precarios?
D. Todas las anteriores A. B. C. D.
25% 25%25%25%
38
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de
Necesidades
Evaluación Teórica de Programas
Evaluación de
Procesos
Evaluación de Impacto
Análisis Costo-
Efectividad
¿Cuál es el
problema?
¿Cuál es el
OBJETIVO del
Programa?
¿Cómo, en
TEORÍA,
podemos
resolver el
problema?
¿El programa
se está
implementando
como fue
planeado?
Dados el impacto
y el costo ¿Cómo
se compara este
programa con
otras alternativas?
Componentes de una evaluación
Impacto
¿¿qué parte de
resultados
finales (a nivel
de OBJETIVOS)
es atribuible al
programa?
40
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de impacto
Una evaluación de impacto nos permite responder a la pregunta básica de si el programa funciona.
Evaluación de Impacto
¿Cuál es el impacto del programa? (magnitud)
¿Qué elementos del programa son más
importantes para lograr impacto?
¿Entre dos posibles alternativas en un aspecto
de diseño de un programa, qué alternativa
genera mayor impacto?
¿Los resultados de un programa en un contexto,
son válidos en otro contexto específico?
Impacto
41
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de impacto
Dado que hacer una buena evaluación de impacto puede ser costoso, podemos decidir no hacer una…
Evaluación de Impacto
Cuando la evidencia existente nos permite saber
con bastante certeza que la intervención será
positiva
Cuando, sin tener certeza acerca del impacto
esperado, la evaluación de procesos revela que
hubieron fallos muy importantes en la
implementación
Cuando los requerimientos no se dan (e.g. tamaño
muestral suficiente, contraparte adecuada)
Impacto
42
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de impacto
Las evaluaciones de impacto son de especial interés en las siguientes situaciones:
Evaluación de Impacto
Enfoques populares en los que hay grandes
inversiones o están a punto de escalarse
Enfoques de bajo costo y fáciles de escalar
Preguntas acerca de las cuales hay poca evidencia
Programas implementados en contextos
representativos
Impacto
43
Necesidades Teórica Procesos Impacto Costo-Efectividad
¿Cómo medir impacto? El impacto de un programa es la diferencia entre:
Los resultados que los
participantes del
programa obtienen.
V/S
Contrafactual
Los resultados que esos
mismos participantes
hubieran obtenido si no
hubiesen participado en
el programa.
Impacto
44
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de impacto
Metodologías de evaluación de impacto:
En la sesión de Evidencia Rigurosa y
Evaluación Aleatoria, hablaremos de
diferentes metodologías como:
• Antes y después
• Diferencia Simple
• Diferencia-en-Diferencias
• Evaluación aleatoria
Evaluación de Impacto
Impacto
45
Necesidades Teórica Procesos Impacto Costo-Efectividad
Para el caso de TECHO, ¿cuál de las siguientes preguntas se podrían responder con una evaluación de impacto?
A. ¿La entrega de casas mejoró la
salud de los beneficiarios?
B. ¿El programa aumentó el
número de horas trabajadas por
los jefes de hogar?
C. ¿El participante del programa se
sintió más seguro en su nueva
casa?
D. ¿El programa aumentó la
satisfacción con la calidad de
vida de los participantes?
E. Todas las anteriores A. B. C. D. E.
20% 20% 20%20%20%
46
Necesidades Teórica Procesos Impacto Costo-Efectividad
Impacto de mediaguas No se encontraron impactos significativos en los siguientes indicadores:
Adquisición de bienes como:
Ventilador
Refrigerador
Televisión
Mercador laboral, medido por:
Horas trabajadas
Ingresos
Salud, medida por:
Diarrea y problemas
respiratorios en niños
menores de 5 años.
Impacto
47
Necesidades Teórica Procesos Impacto Costo-Efectividad
Impacto de mediaguas El programa tuvo un impacto sobre los
siguientes indicadores:
* Significativo al 10% ** Significativo al 5%
*** Significativo al 1%
En todos los países:
Satisfacción con calidad de
piso: 18%***
Satisfacción con la protección
que ofrece contra lluvia: 20%***
Satisfacción con calidad de
vida: 15.5%***
Impacto
48
Necesidades Teórica Procesos Impacto Costo-Efectividad
Impacto de mediaguas El programa tuvo un impacto sobre los
siguientes indicadores:
En El Salvador:
Se siente seguro dentro del
hogar: 17.5%***
Se siente seguro dejando su
casa sola: 15.5%***
Se siente seguro dejando a sus
hijos solos en la casa: 14.1%***
Impacto
* Significativo al 10% ** Significativo al 5%
*** Significativo al 1%
49
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación Procesos
1. Ojalá todo
2. Complejidad descriptiva
3. Rendición de Cuentas
4. Retroalimentación CP
5. Utilidad para proyecto
Evaluación de Impacto
1. Ser selectivo
2. Complejidad técnica alta
3. Conocimiento
4. Retroalimentación LP
5. Bien Público
Procesos vs. Impacto
Impacto
50
Necesidades Teórica Procesos Impacto Costo-Efectividad
Cuando medimos el número de personas que recibieron una vivienda, ¿qué estamos evaluando?
A. La necesidad
B. El proceso
C. El impacto
A. B. C.
33% 33%33%
51
Necesidades Teórica Procesos Impacto Costo-Efectividad
Evaluación de
Necesidades
Evaluación Teórica de Programas
Evaluación de
Procesos
Evaluación de Impacto
Análisis Costo-
Efectividad
¿Cuál es el
problema?
¿Cuál es el
OBJETIVO del
Programa?
¿Cómo, en
TEORÍA,
podemos
resolver el
problema?
¿El programa
se está
implementando
como fue
planeado?
Dadas la magnitud
y el costo
¿Cómo se
compara este
programa con
otras alternativas?
Componentes de una evaluación
Costo-Efectividad
¿¿qué parte de
resultados
finales (a nivel
de OBJETIVOS)
es atribuible al
programa?
53
Necesidades Teórica Procesos Impacto Costo-Efectividad
Análisis costo-efectividad
Cada proyecto que uno inicia tiene costos de oportunidad. El análisis de costo-efectividad nos permite contestar preguntas acerca de esos costos:
¿El proyecto representa el mejor uso de
recursos limitados?
Entre las posibles alternativas para las cuales
tenemos evidencia, ¿cuál es la alternativa que
tendrá mayor impacto por cada dólar invertido?
Análisis costo-
efectividad
Costo-Efectividad
54
Necesidades Teórica Procesos Impacto Costo-Efectividad
Análisis costo-efectividad
El AC-E compara evidencia de forma sistemática. Permite comparar los costos por unidad de impacto de diferentes programas con un mismo objetivo.
Ejemplo: reducción de la diarrea infantil
Posibles medidas: mejorar las fuentes de agua,
proporcionar cloro, sensibilizar acerca de la
importancia de lavarse las manos.
Medida resumen para cada tipo de programa:
número de casos de diarrea prevenidos por
dólar invertido
Análisis costo-
efectividad
Costo-Efectividad
55
Necesidades Teórica Procesos Impacto Costo-Efectividad
Análisis costo-efectividad
Análisis Costo-Efectividad de mediaguas:
Medida de Impacto (incremento en indicador de calidad de
vida) dividido por medida de Costo (dólares).
56
Costo-Efectividad
56
Necesidades Teórica Procesos Impacto Costo-Efectividad
Análisis costo-efectividad
Usando la evidencia existente y supuestos, podemos hacer proyecciones o preguntas hipotéticas:
Si el proyecto tuviera ciertos costos e impactos,
¿sería una forma costo-efectiva de abordar el
problema?
Si quisiéramos implementar un proyecto que fue
muy costo-efectivo en cierto contexto, ¿bajo qué
condiciones seguiría siendo costo-efectivo en
otro contexto?
Bajo el mejor escenario posible de impacto,
¿será el programa costo-efectivo?
Análisis costo-
efectividad
Costo-Efectividad
57
Necesidades Teórica Procesos Impacto Costo-Efectividad
Análisis Costo-Efectividad Es un punto de partida para discusiones sobre qué proyectos te darán el mayor impacto por dólar invertido.
10
The analysis shows that the cost-effectiveness of programs to in cr ease children’s ti me in sc hool
varies widely, with informational campaigns in the Dominican Republic and Madagascar and
school-based deworming in Kenya providing the greatest value for money among the programs
examined here. Both of these programs can be delivered inexpensively and cause large increases
in student attendance and enrollment. Programs that reduce the costs of schooling through
subsidies or provide incentives conditional on attendance also increase time in school, but at a
higher cost, and conditional cash transfer programs are not as cost-effective as a program to
Costo-Efectividad
58
Necesidades Teórica Procesos Impacto Costo-Efectividad
En Resumen…
Evaluación de necesidades
Evaluación teórica
Evaluación de procesos
Evaluación de impacto
Evaluación costo-efectividad
Nos dice cuáles son los
problemas en la realidad, y qué
soluciones existen ya
Nos dice los pasos que deben
darse entre la intervención y el
impacto
Nos dice qué tan bien se está
implementando el proyecto
Nos dice si el proyecto esta
teniendo los efectos esperados y
en qué magnitud
Nos dice si nuestro proyecto será
costo-efectivo bajo ciertos
supuestos 59
Necesidades Teórica Procesos Impacto Costo-Efectividad
Conclusiones
Cada tipo de evaluación responde una pregunta diferente sobre un proyecto.
Uno debe determinar cuál es la pregunta que quiere responder y qué instrumentos se usarán para contestarla.
Las evaluaciones de necesidades, teóricas y de procesos son esenciales para todo proyecto.
La evaluación de impacto puede ser muy importante, pero no siempre es necesaria o posible.
60