QUE EVALUAR?

TALLER NACIONAL SOBRE EVALUACION DE IMPACTO Evaluando el Impacto de los Programas de

Desarrollo: De Promesas a Evidencias

El Salvador, 2-5 de Marzo del 210

2

¿Cómo transformar a este profesor…

3

…en éste?

QUÉ Y PARA QUÉ EVALUAR?

Evaluamos la gestión de un gobierno para medir sus resultados e impactos ante los objetivos estratégicos planteados, y para identificar los factores que facilitan o impiden una implementación exitosa.

Se evalúa su gestión, sus procesos, sus resultados, sus impactos.

Se evalúa para:Alinear acciones y estrategias para aplicar

con efectividad los recursos limitados y cumplir con los objetivos

QUÉ Y PARA QUÉ EVALUAR?

Avanzar en el proceso democrático y rendir cuentas: ¿El gasto público llega a la población objetivo? ¿Los programas se instrumentan como se tiene

dispuesto por ley ? ¿Los programas alcanzan sus objetivos?

Contar con información creíble que permita evidenciar los programas que tienen resultados, para que sean sostenibles y los blinde de acciones clientelares y partidistas para cumplir sus objetivos.

Realizar cambios a tiempo que permitan el logro de los objetivos propuestos y evitar las distorsiones riesgosas o indeseadas.

QUÉ Y PARA QUÉ EVALUAR?• Sabemos que la evidencia anecdótica no es suficiente, por

tanto necesitamos responder a preguntas específicas de los programas, tales como:– El programa está llegando a la población objetivo?– La prestación de servicios es coherente con las

especificaciones del diseño de la política/programa?– Los procesos operativos son eficientes para otorgar

la prestación de los bienes y servicios definidos en el diseño del programa?

– ¿Se puede atribuir al programa la causa de un cambio en el bienestar de la población objetivo? o ¿ existen otras causas?

– ¿De qué magnitud es el cambio?– ¿El aumento en bienestar de la población justifica el

costo del programa?– Cual es la percepción de los usuarios/beneficiarios del

programa?

Porqué un Sistema de Evaluación

Los objetivos de un SE

Es un instrumento para ayudar a la mejor

gestión

Sus objetivos son:

Guiar la toma de decisiones de la

política/programa

Rendir cuentas del uso de los recursos en

términos de resultados e impactos.

Generar acuerdos básicos sobre las lógicas

causales de una política/programa y evidenciar el

cumplimiento de objetivos.

Cómo se construye un Sistema de Evaluación?

SE = Modelo de la logica causal

de un programa, proyecto u organizacion

Definición de medidas claras y significativas: Distinción entre resultados e impactos

Medidas sostenidas con evidencia concreta confiable

Medición de resultados e impactos: cuantitativa y cualitativamente

Hacia un SE

El SE entonces:1. Permite observar la evidencia de los impactos y

resultados.

2. Permite analizar la lógica entre los esfuerzo de gestión y los gastos administrativos, como verdaderos coadyuvantes al resultado del impacto social.

3. Permite encadenar con mayor claridad y transparencia cómo los recursos presupuestarios están siendo utilizados de forma eficiente y eficaz en el alcance de objetivos y no como presas de la inercia.

4. Obliga a una percepción explicita del logro en el tiempo, definiendo riesgos tomados y aprendizajes alcanzados.

Peligros de los SE

Visión de túnel Sub-optimización Miopía

Sobre medición Error de representación

Error de Interpretación Simulación

Osificación

Falta de congruencia entre objetivos

Falla en medir fenómenos complejos

Falla de control para procesar indicadores

Falla en adaptar o ver nuevas circunstancias

EL SE Y LA CADENA DE RESULTADOS

TERMINOLOGIA

Def: resultadosEl resultado o impacto (previsto o no previstos, positivo y/o negativo) de una política o intervención

Def: cadena de resultadosSecuencia lógica que a través de un programa/intervención, transforma a inputs en outputs específicos, contribuyendo así a medir cambios en outcomes.

EL SE Y LA CADENA DE RESULTADOS

La cadena de resultados contesta 3 preguntas:

¿ QUÉ es lo que se logra con el proyecto?

¿ CÓMO se va a realizar el logro planteado?

¿CÓMO saber si ese logro se ha cumplido?

14

Cadena de resultados (en general)

Insumos

(Recursos)

• Personal

• Equipamiento

• Dinero

Actividades

(Lo que el proyecto realiza)

• Capacitación

• Promoción

• Provisión

Productos (Outputs)(Bienes y Servicios)

• Provisión de servicios

• Transferencia de recursos

Resultados (Outcomes)

• Cambios de comportamiento de los beneficios (aprendizaje, consumo, estado de la salud)

• Cambios en el bienestar de grupo objetivo

Resultados a largo plazo

• Reducción de la pobreza nacional

• Reducción de desigualdad

• Mejor productividad de la fuerza laboral

M&E Basado en ResultadosM&E Tradicional

ResultadosImplementación

EI

15

Cadena de resultados (Salud)

Insumos

(Recursos)

• Enfermeras promotores

• Equipo (material educativo, básculas, autos, etc)

• Micronutrientes/suplementos

Actividades

(Lo que el proyecto realiza)

• Capacitación de las madres

• Pesar y monitorear el peso de los niños

Productos (Outputs)(Bienes y Servicios)

• Madres con controles prenatales completos

• Aumento de la lactancia materna hasta los 6 meses

Resultados (Outcomes)

• Reducción de la desnutrición en niños

• Reducción de la mortalidad infantil

Resultados a largo plazo

• Mejor bienestar de la población

• Mayor productividad de la población

M&E Basado en Resultados

M&E TradicionalResultadosImplementación

EI

SITUACION ACTUAL

En muchos países sucede que:… tienen que elaborar muchos informes para diferentes usuariosTienen que reportar muchos indicadores

- Honestamente muchos de esos indicadores no son útiles para tomar mejores decisiones- Los indicadores miden parcialmente el desempeño de los programas

Retos de coordinación institucional

Consejo Nacional de Evaluación de la Política de Desarrollo Social

SITUACION ACTUALLos indicadores más relevantes hoy en día son:

El presupuesto asignado a cada programaEl % del presupuesto ejercido cada añoEl número de microcréditos/becas/cursos de capacitación/litros de leche/metros cuadrados pavimentados/etc.…además de MUCHOS otros

Pero falta medir RESULTADOS:¿Aumentó el ingreso/la ocupación de quien recibió el microcrédito?¿Los desempleados que recibieron capacitación encontraron trabajo?¿El presupuesto debe asignarse por inercia o de acuerdo a los Resultados del programa?

Consejo Nacional de Evaluación de la Política de Desarrollo Social

Consejo Nacional de Evaluación de la Política de Desarrollo Social

Componentes

Actividades

Propósito???

Imp

lem

en

taci

ón

Resu

ltad

os

Quisiéramos pasar de esto:

Fin?????

Consejo Nacional de Evaluación de la Política de Desarrollo Social

Componentes

Actividades

Propósito?Im

ple

men

taci

ón

Resu

ltad

os

… a esto:

Fin?

EL SE, LA CADENA DE RESULTADOS Y EL MARCO LOGICO

• Para el SE es una herramienta para fortalecer el diseño, la

ejecución y la evaluación de políticas/programas.

• Se sustenta en dos principios básicos: el encadenamiento

(vertical y horizontal) y la toma de decisiones participativas.

• Es una técnica muy útil para establecer la CADENA DE

RESULTADOS.

• Identificando un problema de desarrollo, se pretende resolver el

mismo mediante un proceso racional (lógico), que concatene

los distintos niveles de objetivos (largo, mediano y corto plazo),

sus respectivas estrategias y tácticas e indicadores para medir el

logro de estos objetivos mediante la toma de decisiones

participativas.

¿Qué es la Matriz de Indicadores?

Es un instrumento de gestión de programas y proyectos.

Permite fortalecer la preparación y la ejecución de programas y proyectos.

Resume los principales resultados de la preparación del programa o proyecto.

Permite un seguimiento gerencial de la ejecución.Facilita la evaluación de resultados e impactos.

Qué NO es la Matriz de Indicadores?

• No es un método de evaluación ex-ante

de proyectos o programas.

• No es un método de programación de la

ejecución.

• No es autosuficiente para una buena

gestión de programas y proyectos.

• No es una panacea ni un dogma.

Matriz de Indicadores

Fin

Propósito

Componentes

Actividades

Objetivos IndicadoresMedios deverificación Supuestos

Propósito

Compo-nentes

Activi-dades

Fin

Si el programa está bien diseñado se pueden examinar los vínculos causales de abajo hacia arriba:

· Las Actividades son las necesarias y suficientes para producir cada Componente.

· Los Componentes son los necesarios y suficientes para lograr el Propósito.

· Si se logra el Propósito, el programa, contribuirá al logro del Fin.

· El Fin representa un aporte al logro del objetivo estratégico institucional.

Logica vertical del programa

Esta columna se conoce también como Resumen Narrativo del Programa (Proyecto).

Responde a las interrogantes:– ¿A que objetivo estratégico contribuye el programa? – ¿Qué se espera lograr con el programa? – ¿Qué bienes o servicios debe producir el programa?

– ¿Cómo se producirán los Componentes?

Fin

Propósito

Compo-nentes

Activi-dades

Objetivos

Consejo Nacional de Evaluación de la Política de Desarrollo Social

Apoyar a la población más pobre a elevar sus ingresos y a mejorar su calidad de vida.

Componentes

Actividades

Propósito

Fin

Imple

menta

ción

Resu

ltados

Contribuir a asegurar el ejercicio de los derechos ciudadanos de la población en situación de pobreza y exclusión en las comunidades urbanas..

1. Hogares acceden a servicios de nutrición, salud y educación para incrementar su capital humano 2. Hogares y comunidades acceden a servicios básicos de saneamiento, vías de comunicación y espacios comunitarios para mejorar su condición habitacional3. Personas reciben capacitación y apoyos para mejorar su nivel y capacidad de generar ingresos 4. Instituciones, comunidades, escuelas y familias fortalecen su capacidad de prevenir la violencia y generan oportunidades atractivas de desarrollo a jóvenes en situación crítica

Objetivos Nacionales

y Sectoriales

EL RESUMEN NARRATIVO: COMUNIDADES SOLIDARIAS URBANAS

Ampliar las capacidades y las oportunidades de la población pobre y vulnerable que vive en asentamientos urbanos precarios para que mejore su consumo, nutrición, salud, educación, seguridad ciudadana y acceso a servicios básicos comunitarios

Fin

Propósito

Compo-nentes

Activi-dades

¿A que objetivo estratégico contribuye el programa? Indica cómo el programa contribuirá

a un objetivo estratégico institucional o nacional.

Mejorar la calidad de vida de los grupos vulnerables de la población a través de la

atención a adultos mayores.

- El objetivo estratégico no se logra solo con el programa.- Varios programas pueden contribuir al mismo objetivo estratégico

Objetivo: Fin

Fin

Propósito

Compo-nentes

Activi-dades

¿Qué se espera lograr con el programa?Describe el resultado directo

obtenido de la utilización de los Componentes.Debe ser único.

Adultos mayores en situación vulnerable y de abandono familiar mejoran su calidad de vida a través de una atención integral y permanente.

- Debe ser único.- Debe redactarse como si ya se ha logrado.

Objetivo: Propósito

Fin

Propósito

Compo-nentes

Activi-dades

¿Qué bienes o servicios se requiere producir?Son los bienes y servicios que debe producir el ejecutor del

programa para poder lograr el Propósito.

C-1

C-2

C-3

- Pueden ser uno o varios (10 ya es mucho).- Deben redactarse como si ya se han logrado.

Objetivo: Componentes

Objetivos: Actividades

Fin

Propósito

Compo-nentes

Activi-dades

¿Cómo se producirán los Componentes?

Actividades principales que implican uso de recursos, que el ejecutor debe llevar a cabo

para producir cada Componente.

- Se presentan por componente- En orden cronológico- Son las grandes actividades, no detallar innecesariamente

Indicadores

Fin

Propósito

Compo-nentes

Activi-dades

• Proporcionan la base para supervisar y evaluar el programa.

• Establecen una relación entre dos o más

variables.

• Pueden reflejar aspectos cualitativos o cuantitativos.

• Entregan información cuantitativa.

• Para cada indicador e establecen metas que nos permiten evaluar en que medida se cumplen los objetivos.

• Es recomendable acordarlos con los involucrados.

Indicadores

Eficacia:– Miden el nivel de cumplimiento de los objetivos.– En general se relacionan con la Población Potencial

u Objetivo.– Ej. Tasas de terminación de educación básica de los

beneficiarios respecto a la nacional.– Ej. Porcentaje del total de niños beneficiarios del Programa

que están en control nutricional.Eficiencia:

– Relacionan productos con costos o insumos.– Ej. Porcentaje del presupuesto del Programa que se gasta

en su administración.– Ej. Número promedio de familias atendidas por médico.

Tipo de indicadores

Según el tipo de información que entregan se distinguen indicadores de:

Calidad:– Evalúan atributos respecto a normas, referencias

externas o satisfacción de los beneficiarios (usuarios).– Ej. Porcentaje del total de becarios que considera atractivo el

incentivo .– Ej. Porcentaje del total de unidades médicas en el Programa

que están acreditadas.

Economía:– Reflejan capacidad para generar y movilizar recursos

financieros.– Ej. Porcentaje de ejecución del presupuesto asignado.– Ej. Porcentaje de recuperación de créditos.

Tipo de indicadores

Claro: Preciso y sin ambigüedades

Relevante: apropiado para el tema

Económico: disponible a un costo razonable

Monitoreable: factible de validación

Adecuado: Debe proporcionar suficiente información para medir su funcionamiento.

Características de un buen indicador

Indicadores de

resultados

FinIndicadores de impactos

Indicadores de gestión

Indicadores de servicios

Propósito

Compo-nentes

Activi-dades

Indicadores

Miden contribución al logro del fin (a mediano y largo plazo).

Miden los resultados al terminar la ejecución del proyecto o al cabo de algún tiempo de operación del programa.

Miden eficacia, eficiencia,y calidad en el logro de los componen-tes.

Permiten dar seguimiento a las actividades (C4) (eficiencia, eficacia) Sobres de complemento alimenticio

entregados a niños beneficiarios.

Comparación de la diferencia entre la escolaridad promedio de los hijos de 20 años de edad de las familias beneficiarias y la de sus padres con la misma diferencia en la población nacional.

Escolaridad de los niños y jóvenes beneficiarios con respecto a la nacional.Recursos entregados respecto a los costos directos de las transferencias monetarias.Tasa de terminación de educación básica de los beneficiarios respecto a la nacional.

Porcentaje de becarios de Primaria que transitan a Secundaria.Ejercicio presupuestal del componente Salud.Porcentaje de embarazadas beneficiarias que están en control prenatal.

Recomendaciones sobre Indicadores

• Pueden requerirse varios indicadores por objetivo para medir distintos aspectos de éste (ej.: disminución de enfermedades bronco-pulmonares, disminución de enfermedades gastro-intestinales).

• Si los impactos se producirán a muy largo plazo o si el costo de estimar el indicador es muy alto, es mejor buscar indicadores “Proxy” (ej.: porcentaje de disminución de la inasistencia escolar por mes).

Medios de Verificación¿Cómo obtenemos la evidencia?

• Son las fuentes de información que se pueden utilizar para verificar el logro de los objetivos (cálculo de los indicadores).

• Pueden incluir:– Estadísticas– Material publicado– Inspección visual– Encuestas– Informes de auditoría– Registros contables

Fin

Propósito

Compo-nentes

Activi-dades

Medios deverificación

Supuestos

• Cada supuesto corresponde a un riesgo que enfrenta el proyecto y que está más allá del control directo de la gerencia del proyecto.

• El supuesto se expresa como una condición que tiene que darse para que se cumpla la relación de causalidad en la jerarquía de objetivos.

• Sólo se consideran los riesgos que tengan una probabilidad razonable de ocurrencia.

Fin

Propósito

Compo-nentesActivi-dades

Supuestos

¿Cómo incorporamos los riesgos?

Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa.

Supuestos

Supuestos

Supuestos

SupuestosFin

Propósito

Compo-nentes

Activi-dades

Supuestos

La población asiste a los cursos de capacitación

en higiene

Acontecimientos, condiciones o decisiones que tienen que suceder para completar los Componentes del proyecto.

Supuestos

Supuestos

Supuestos

SupuestosFin

Propósito

Compo-nentes

Activi-dades

Supuestos

Acontecimientos, condiciones o decisiones que tienen que ocurrirpara que los componentes del proyecto alcancen el Propósito.

La población aplica lo aprendido sobre higiene en sus actividades diarias

Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa.

Supuestos

Supuestos

Supuestos

SupuestosFin

Propósito

Compo-nentes

Activi-dades

Supuestos

Acontecimientos, condiciones o decisiones

que tienen que ocurrir para que el proyecto

contribuya significativamente al logro

del Fin.

No ocurrren plagas o epidemias importantes.

Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa.

Supuestos

Supuestos

Supuestos

SupuestosFin

Propósito

Compo-nentes

Activi-dades

Supuestos

Acontecimientos, condiciones o decisiones importantes para la

"sustentabilidad” de los beneficios generados por el

proyecto.

La población enseña los hábitos de higiene

aprendidos a sus hijos e hijas.

Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa.

Diagrama para el análisis de supuestos

¿El riesgo es externo al proyecto?

¿El riesgo es importante?

¿Probabilidad de ocurrencia?

¿Se puede rediseñar el proyecto?

Si

Pocoprobable

Si

No incluir

No

SUPUESTO

ProbableMuy

probable

Si No Supuestofatal

Rediseñar

Monitoreo genera información necesaria para medir el nivel de alcance del fin, el propósito y los bienes y servicios generados y/o entregados.

Sucede casi de manera automática en los negocios (ventas, ingresos…) pero tiene que ser al propósito en el sector público

Permite generar información continua y sistemática para ver si las actividades realizadas son suficientes, eficientes y eficaces para generar y/entregar los bienes y servicios que permiten cumplir con el propósito y llegar al fin del programa.

EL MONITOREO Y LA EVALUACION

Monitoreo Tendencia de resultados a través del tiempo ej. matricula escolar, resultados de los exámenes, mortalidad ¿Se mueve en la dirección correcta?

Evaluación del “Proceso” Implementación: ¿Se está implementando el programa como

se diseño? Eficiencia: ¿Se pueden hacer más eficientes las operaciones?

Focalización: ¿Están llegando los beneficios a los individuos correctos?

EL MONITOREO Y LA EVALUACION

48

Tipos de Evaluación

Evaluación de Impacto

Evaluación de ConsistenciaEvaluación de Diseño

Evaluación operativaMonitoreo de procesosEvaluación de cobertura

Evaluación financieraMonitoreo presupuestal

Componentes

Actividades

Propósito

Fin

Implementación

Resultado

s

Sistema de Evaluación y Monitoreo basado en Resultados:el caso de México

Objetivos Estratégicos

Matriz de Indicadores

Sistema de Evaluación del Desempeño

Resultados

Evaluación de Consistencia y Resultados

Evaluación deImpacto

EvaluaciónEspecífica

Evaluaciónde indicadores

Programa Anual de Evaluación

EvaluaciónEstratégica

Evaluaciónde procesos

EvaluacionesComplementarias

Programas NuevosGestión por Resultados

Convenio de Compromisos para el Mejoramiento de la Gestión

GRACIAS POR SU ATENCION!!!!!

EL MONITOREO Y LA EVALUACION

Autoría: laminas elaboradas por CONEVAL, CEPAL y Concha Steta.