CURSO INTERNACIONAL - … · El Marco Lógico es una herramienta para facilitar el proceso de...

C

“MA

PauCasos

Santa Cru

URSO INTERNACIONAL

RCO LÓGICO Y EVALUACION IMPACTO”

1

ta Metodológica para el Desarrollo de con Base en la Matriz de Marco Lógico

Hugo Navarro

z de la Sierra, Bolivia, 18 al 29 de Agosto de 2003

Contenido

Introducción ....................................................................... 4

Enunciado y estructura del ejercicio................................... 5

Taller 1: Resumen narrativo de los objetivos y actividades. 8

Paso 1. Conocimiento del proyecto. .................................................................... 9 Paso 2. Redacción de la columna de objetivos (MML)......................................12 Paso 3. Evaluación de la columna de objetivos ..................................................16

Taller 2: Indicadores..........................................................17

Paso 1. Lista de indicadores ................................................................................19 Paso 2. Selección de indicadores ....................................................................... 20 Paso 3. Evaluación de la columna de indicadores de la MML. ......................... 22

Taller 3: Metas. ................................................................. 23

Paso 1. Fijar las metas del proyecto para cada indicador...................................27 Paso 2. Resultados intermedios......................................................................... 28 Paso 3. Formato para el monitoreo de los indicadores ..................................... 30

Taller 4: Medios de verificación. ........................................31

Taller 5: Supuestos............................................................ 33

Paso 1. Lluvia de supuestos................................................................................ 35 Paso 2. Clasificación de los factores de riesgo. .................................................. 35 Paso 3. Redacción de los supuestos en la MML. ................................................37 Paso 4. Lógica vertical de la MML. .................................................................... 39

Taller 6: Evaluación intermedia........................................40

Paso 1. Análisis de los indicadores de actividades y componentes. ................. 42 Paso 2. Monitoreo de los supuestos................................................................... 43 Paso 3. Probabilidad de logro de los objetivos del proyecto. ............................ 43 Paso 4. Problemas y acciones............................................................................. 44

Taller 7: Evaluación de impacto ........................................ 45

Paso 1. Justificación de la evaluación. ............................................................... 48 Paso 2. Formulación de los objetivos de la evaluación. .................................... 49 Paso 3. Definición y selección de los impactos objeto de la evaluación............ 50 Paso 4. Selección del modelo de evaluación de impacto. .................................. 54 Paso 5. Recolección de la información. ............................................................. 60 Paso 6. Ficha de evaluación de impacto. ........................................................... 64

2

Presentaciones e informe final ......................................... 65

Presentación de avance...................................................................................... 66 Informe y presentación final.............................................................................. 66

Referencias ....................................................................... 67

3

Introducción El Marco Lógico es una herramienta para facilitar el proceso de

conceptualización, diseño, ejecución y evaluación de proyectos. Su propósito es

brindar estructura al proceso de planificación y comunicar información esencial

relativa al proyecto. Puede utilizarse en todas las etapas de preparación del

proyecto: programación, identificación, orientación, análisis, presentación ante

los comités de revisión, ejecución y evaluación ex-post. Se usa para incrementar

la precisión en la planeación de los proyectos, relacionar los múltiples objetivos

con las actividades de los proyectos , clarificar funciones y responsabilidades y

evaluar los resultados esperados contra los resultados reales. Fomenta la

participación a través de un riguroso proceso de análisis de las personas y

entidades que tienen un interés legítimo en el proyecto. Se modifica y mejora

repetidas veces tanto durante la preparación como durante la ejecución del

proyecto (Ilpes, 2003).

Este enfoque es utilizado para planeación de proyectos en varios organismos

internacionales, entre los que se incluye la Agencia para el Desarrollo

Internacional de Estados Unidos (USAID), La Agencia Canadiense de Desarrollo

Internacional (CIDA), La Corporación Alemana para la Cooperación Técnica

(GTZ), La Agencia Noruega de Cooperación en el Desarrollo (NORAD), EL Banco

Africano de Desarrollo (AFDB), la Comisión de las Comunicades Europeas y la

Organización Panamericana de la Salud (PAHO), el Banco Interamericano de

Desarrollo (BID) (Ilpes, et. al).

En la fase de formulación de las intervenciones el Marco Lógico permite una

mejor comprensión del problema y las relaciones causa-efecto entre los

productos de un programa o proyecto y los resultados esperados. De esta forma,

la matriz de Marco Lógico –MML- es un instrumento que se utiliza en el

desarrollo y ajuste el diseño de la intervención. Así, los principales usos de la

MML en la etapa de formulación son: evaluar la calidad del diseño del proyecto,

4

servir como guía para preparar los documentos del proyecto, y como medio para

comunicar el diseño del Proyecto a los grupos de involucrados.

Igualmente, en la etapa de diseño, los proyectos deben planificarse de tal manera

que puedan supervisarse y evaluarse más adelante (BID, 1997). Es así como la

MML también apoya el diseño del sistema de monitoreo y evaluación del

proyecto y el análisis de los resultados. Este instrumento permite comparar lo

planeado con lo ejecutado, siendo información puede ser utilizada para guiar y

mejorar la ejecución de proyectos, evaluar el éxito del proyecto cuando se termine

la ejecución, mejorar los diseños de futuros proyectos, entre otros.

El propósito del presente ejercicio es que los participantes apliquen los conceptos

y elementos que componen el método de Marco Lógico, a través de la

construcción de una MML. Se asignará un proyecto específico a cada uno de los

grupos en temas como salud, educación, vivienda, Desechos Sólidos

Domiciliarios, etc. A su vez, el ejercicio hace énfasis en el uso de la MML en la

toma de decisiones a o largo del ciclo del proyecto, enfocándose en las

actividades de monitoreo y evaluación de las intervenciones. De este modo se

busca un balance entre el conocimiento de este instrumento y su utilización en el

proceso de planificación de una intervención.

Enunciado y estructura del ejercicio

Conociendo los beneficios de la Matriz de Marco Lógico en el desarrollo de las

etapas de diseño, ejecución y evaluación de proyectos, se ha identificado la

necesidad de elaborar esta matriz para el proyecto x, el cual se encuentra

actualmente a nivel de perfil (identificación del problema, diagnóstico, análisis de

alternativas y evaluación financiera y económica). Es decir, el proyecto que se

analizará se encuentra al final de su etapa de formulación y evaluación ex-ante.

La construcción de la Matriz de Marco Lógico en este punto del ciclo del proyecto

permitirá revisar y validar el diseño del proyecto, verificando las relaciones de

causalidad entre problemas, insumos, productos e impactos bajo determinadas

condiciones del entorno. De este modo, la construcción de la matriz permitirá

5

determinar si el diseño del proyecto cumple con los parámetros establecidos por

el Marco Lógico.

Igualmente, se busca que la matriz apoye la gerencia de las actividades del

proyecto, así como el diseño y el desarrollo de la evaluación del proyecto durante

y después de su operación. Con este fin se realizará una evaluación intermedia

del proyecto, tomando como referencia la MML para contrastar lo planeado en el

diseño del proyecto con lo ejecutado, t meses después de iniciar la operación.

Finalmente, se diseñará la evaluación de impacto del proyecto, definiendo los

resultados que se deben evaluar, los indicadores, fuentes de información y

métodos de estimación y análisis que se aplicaran. La siguiente figura muestra el

esquema general del ejercicio, que involucra la construcción de la MML y su

utilización en diferentes momentos del ciclo del proyecto.

Figura No 1

Ejecución y operación

Formulación Después de la operación

Fin

Propósito

Componente

Actividad

Fin

Propósito

Componente

Actividad

Indica Medios Supuesto¿Cumple el proyecto los parámetros del

Marco Lógico?

¿Se están cumpliendo las metas del proyecto?

1 2

3

¿Cómo diseñar la evaluación de impacto

del proyecto ?

Planeación M&E

Este ejercicio se divide en siete talleres. Los primeros seis están relacionados con

la construcción de la matriz de Marco Lógico: resumen narrativo de los objetivos,

indicadores, medios de verificación y supuestos. Por su parte, en los dos últimos

talleres se trabaja la MML como herramienta de monitoreo y evaluación. Así, en

el taller No 6 se analizarán los resultados de una evaluación intermedia del

6

proyecto que determinará el grado de avance en el cumplimiento de las metas del

proyecto. Finalmente, en el taller No 7, se diseñará la evaluación de impacto del

proyecto. La siguiente figura resume las principales tareas que se desarrollarán a

lo largo de los talleres y los resultados que se esperan obtener con la construcción

de la MML.

Gráfico No 1

“Proceso de Gestión y Aplicación de la Matriz de

Marco Lógico”

- Comprender el problema, su magnitud y distribución.

-Precisar sus causas y consecuencias.

- Identificar los actores involucrados

-Examinar las diferentes alternativas de solución.

- Construir la cadena de objetivos, precisando las relaciones de causalidad entres insumos, productos y resultados.

-Hacer los objetivos medibles

- Identificar variables, indicadores e índices.

-Fijar metas.

-Determinar la información disponible.

- Evaluar fuentes de información cuantitativas y cualitativas

-Seleccionar métodos de recolección y frecuencia.

-Identificar factores de riesgo que pueden afectar el éxito del proyecto.

Fin

Propósito

Componente

Actividad

Indica Medios Supuesto

Fin

Propósito

Componente

Actividad

Fin

Propósito

Componente

Actividad


Conocer el

proyecto

Formular los

objetivos

Seleccionar indicadores

Identificar fuentes de

información

Determinar la

incidencia de factoresexternos

- Objetivos de corto, mediano y largo plazo medibles.

- Sistema de información: fuentes, frecuencia, usuarios, métodos de análisis, costos.

- Indicadores inteligentes para medir el logro de las metas del proyecto.

Bases del sistema de

monitoreo y evaluación

del proyecto.

Marco conceptual

para la evaluación de impacto del

proyecto.

Matriz de marco lógico

Tareas a desarrollar Resultados esperados

-Riesgos identificados en el corto, mediado y largo plazo.

Para el desarrollo de los talleres los grupos contarán con un documento del perfil

del proyecto, y adicionalmente se les entregará toda la documentación utilizada

en esa evaluación. Así mismo, el grupo contará con las presentaciones del curso y

7

el documento de Bases Conceptuales del ciclo de cursos sobre Gerencia de

Proyectos y Programas del Ilpes.

Los talleres serán realizados en grupos de seis personas. Cada grupo deberá

realizar una presentación preliminar con los avances al final de la primera

semana del curso y, una presentación final el día 27 de agosto. Así mismo, cada

grupo deberá elaborar un informe final con los resultados del ejercicio, este se

entregará al terminar el curso. En la última sección del presente documento se

detalla el contenido específico de cada uno estos documentos y presentaciones.

Cabe anotar que durante el desarrollo de los talleres, los grupos contaran con

asesoría permanente tanto en aspectos metodoLógicos como logísticos. A cada

grupo se le asignará un computador con los programas necesarios.

En las siguientes secciones se describen detalladamente cada uno de los talleres,

especificando sus objetivos, los productos finales y herramientas metodológicas.

Taller 1: Resumen narrativo de los objetivos y actividades. Como ya se mencionó, los talleres del 1 al 5 conformar el primer ciclo de este

ejercicio que tiene por objetivo construir la MML y determinar si la formulación

del proyecto cumple con los parámetros y criterios del Marco Lógico. Así mismo,

se diseñarán los instrumentos necesarios para el monitoreo de los indicadores y

supuestos de la MML, como se indica en la figura No 2.

Figura No 2

8

Formulación

Fin

Propósito

Componente

Actividad

Fin

Propósito

Componente

Actividad

Indica Medios Supuesto¿Cumple el proyecto los parámetros del

Marco Lógico?

1 2

Planeación M&E

El propósito del taller No 1 es construir la columna de resumen narrativo de la

MML, la cual sintetiza las actividades del proyecto, los productos que se

entregarán, y los resultados de corto, mediano y largo plazo que se esperan lograr

en el la población objetivo. Este análisis requiere un conocimiento detallado del

proyecto, precisando cuales cual es la relación causal y teórica entre estos niveles.

Es decir, los mecanismos que permiten convertir insumos en productos y

finalmente en resultados de corto, mediano y largo plazo. A continuación se

describen los pasos que se deben seguir para construir la columna de objetivos

del MML.

Paso 1. Conocimiento del proyecto. El primer paso en la construcción de la MML es adquirir un conocimiento

detallado del proyecto que se analizará. Esto implica identificar y conocer el

problema central que se busca resolver, sus causas, sus efectos, los objetivos de la

intervención, insumos, productos y resultados esperados. También aspectos

relacionados con la organización, programación, financiamiento,

institucionalidad, etc.

9

A continuación, se describen los tres tipos de análisis que se pueden encontrar en

el documento de perfil del proyecto, estos suministraran la información

indispensable para construcción de la MML:

Diagnóstico. Es una descripción de la situación actual en la que se especifica la

magnitud y severidad del problema, como afecta a los distintos grupos de la

población, cuales son sus posibles causas y sus consecuencias.

Arbol de problemas. Es una visión esquemática de la intervención

basada en los resultados del diagnóstico. Este árbol establece una relación

jerárquica entre el problema central que se busca resolver, sus causas y efectos.

El árbol de problemas debe conducir al evaluador a la identificación de los

objetivos del proyecto y las alternativas de solución al problema, que son

representados en el “árbol de objetivos” del proyecto. Es como si dijéramos que

el árbol de problemas es el "negativo” de la película y su manifestación en

contrario (el "positivo" o revelado), es el "Arbol de Objetivos". Como el árbol del

problema es una secuencia encadenada de abajo-arriba de causas-efectos, el

árbol de objetivos será el flujo interdependiente de medios-fines. (Sanín at. al,

1993). El recuadro siguiente resume los principales elementos que se deben tener

en cuenta en la construcción y análisis de un árbol de problemas.

10

Árbol de problemas.

Problema central. Se debe evitar definir el problema como la ausencia de una solución determinada, pues una ausencia de solución es la falta de una alternativa y dicha falta sólo podrá solucionarse con la existencia de esa alternativa. Esta forma de análisis es incorrecta, pues limita la búsqueda creativa de otras posibles soluciones. Ejemplo: si la pérdida de cosecha se define como un problema de "falta de plaguicida", esta definición sugiere que la solución es conseguir el plaguicida. Con ello se estarán excluyendo a la postre otras posibles e importantes alternativas, como el control biológico, o la prevención de plagas. En este caso una mejor definición del problema puede ser "pérdida de cosecha por existencia de plagas".

Efectos. Los efectos pueden ser de dos tipos: los que ya se vienen percibiendo efectivamente y los que se constituyen en amenaza o peligro si el problema no es manejado oportunamente. Ambos deben incluirse. Las siguientes son las indicaciones para analizar los efectos en el árbol de problemas. (1) Coloque en un primer nivel los efectos directos o inmediatos del problema. Cada efecto nace del problema, lo que se representa con una flecha desde el problema hacia cada efecto inmediato. (2) Pregúntese para cada efecto de "primer nivel" si hay alguno o varios efectos superiores importantes que puedan derivarse de él. Represéntelos en un segundo nivel, derivándolos con flechas de abajo hacia arriba desde el efecto de primer nivel que opera como causa. Si a un efecto concurre como causa otro efecto de primer nivel ya representado, indique la interdependencia con una flecha. (3) Así, sucesivamente para otros niveles, hasta llegar a un nivel que se considere como el superior dentro de la órbita geográfica o institucional en que tenemos competencia o posibilidades de intervención.

Causas. Este análisis permite conocer las razones del problema, a qué se debe su existencia. Este conocimiento es la base para la búsqueda de soluciones. La causas se ubican en el árbol de problemas debajo del problema central, construyendo un árbol encadenado al identificar las causas de las causas.

Tomado de Sanin, H. (1993). Guía metodológica general para la preparación y evaluación de proyectos de inversión social. Instituto Latinoamericano y del Caribe de Planificación Económica y Social –ILPES-.

Tanto el árbol de problemas como el de objetivos se encuentran en el documento

del perfil del proyecto. El grupo deberá analizar la validez de estos esquemas

examinando si la selección y descripción del problema fue correcta, los

encadenamientos entre causas y efectos son validos, y si las alternativas de

solución seleccionadas son interdependientes.

Evaluación de la alternativa seleccionada. Es el análisis de la alternativa

“óptima” seleccionada en el proceso de evaluación. El documento de perfil del

proyecto incluye un análisis detallado de la intervención en aspectos como la

selección de la población objetivo, localización, tamaño del proyecto, tecnología,

11

costos, beneficios, entre otros. Esta información permite un conocimiento

detallado de la intervención, convirtiéndose en un insumo valioso para la

construcción de la MML.

La siguiente figura sintetiza el tipo de información y análisis que conforman el

documento de perfil del proyecto, y son la base para iniciar la construcción de la

MML.

Figura N0 3

1. Revisar el diagnostico del proyecto.

-Cual es la magnitud y severidad del problema?

- Existen diferencias entre distintos grupos de la población?

- Cual ha sido la evaluación histórica?

- Quienes son los involucrados?

2. Analizar el árbol de problemas

- Esta el problema bien especificado?

- Las relaciones causa-efecto son validas?

- Las alternativas de solución son interdependientes?

3. Análisis de la alternativa seleccionada

-Población objetivo

-Tamaño

-Localización

-Tecnología

-Cotos

-Beneficios

Conocimiento del proyecto

Paso 2. Redacción de la columna de objetivos (MML) La columna de objetivos de la MML tiene la misma estructura jerárquica que el

árbol de objetivos. Precisa las relaciones verticales entre insumos, productos y

resultados del proyecto, estableciendo las relaciones causa-efecto en cuatro

momentos diferentes en la vida del proyecto, que denomina: actividades,

12

componentes, propósito y fin. De este modo el árbol de objetivos1 se convierte en

la base para la construcción de la MML. La figura N0 4 muestra la relación entre

el árbol de objetivos del proyecto y la columna de objetivos de la MML.

Figura N0. 4

Problema central

Efecto 1.1 Efecto 1.2 Efecto 1.3

Efecto 2.2

Causa 1.1 Causa 1.2 Causa 1.3


Efecto 2.1

Actividades

Componentes

Propósito

FIN

MML

Problema central

Efecto 1.1 Efecto 1.2 Efecto 1.3

Efecto 2.2



Efecto 2.1

Actividades

Componentes

Propósito

FIN

MML

Es importante resaltar que en el enfoque de marco lógico, los objetivos son

logros, éxitos y metas cumplidas. No son objetivos: trabajos por realizar o tareas

por cumplir. Por ejemplo, no es lo mismo decir “aeropuerto construido” que

“construir un aeropuerto”. El primer caso “aeropuerto construido”, lleva a

especificar el aeropuerto en términos de su capacidad, si es internacional o no,

etc., es decir, especificar el producto o resultado que se busca, no el proceso. En

el segundo caso “construir un aeropuerto”, nos lleva a especificar actividades o

tareas que habría que realizar para construir el aeropuerto.

1 Cabe anotar que el árbol de objetivos que se utiliza para la construcción de la MML solo incluye el análisis de la alternativa “optima” que será ejecuta. Este árbol conoce como Estructura Analítica del Proyecto –EAP-.

13

Adicionalmente, en la definición de los niveles de objetivos en la MML se debe

tener especial cuidado al pasar de la especificación de los componentes al

propósito del proyecto. La definición del propósito del proyecto se debe hacer en

términos hipotéticos, es algo que debe ocurrir, es un resultado esperado. De

acuerdo al enfoque de Marco lógico el “propósito es la hipótesis central del

proyecto”. De este modo, el propósito debe entenderse como un resultado no

controlable por el ejecutor. Es, en definitiva, lo que debería ocurrir como

resultado directo de utilizar los Componentes.

El grupo deberá redactar los objetivos de la intervención a nivel de fin, propósito

y componentes, así como las precisar las actividades del proyecto. Además de las

anteriores recomendaciones, los puntos claves en el desarrollo de este ejercicio

son: ser cuidadoso al separar las causas de los efectos y evitar formular objetivos

con múltiples propósitos. Recuerde también utilizar frases sencillas y breves al

redactar los objetivos. El formato de presentación de los resultados de esta

actividad es el que especifica la MML. En el siguiente recuadro se consignan los

principales aspectos relacionados con la definición de los objetivos en los cuatro

niveles que propone la MML.

14

Resumen narrativo de objetivos FIN. El fin responde ¿Por qué, en última instancia, se lleva a cabo el proyecto? Es una definición de cómo el proyecto o programa contribuirá a la solución del problema (o problemas) del sector. El Fin de un proyecto es una descripción de la solución al problema que se ha diagnosticado. Si, por ejemplo, el problema principal en el sector de salud es una alta tasa de mortalidad materna e infantil en la población de menores ingresos, el Fin sería reducir la tasa de mortalidad materna e infantil en esa población.

Deben enfatizarse dos cosas acerca del Fin. Primero, no implica que el proyecto, en sí mismo, será suficiente para lograr el Fin. Es suficiente que el proyecto contribuya de manera significativa al logro del Fin. Segundo, la definición del Fin no implica que se logrará poco después de que el proyecto esté en funcionamiento. Es un Fin a largo plazo al cual contribuirá la operación del proyecto.

PROPOSITO. El propósito responde ¿Por qué se lleva a cabo el proyecto? Describe el impacto directo a ser logrado como resultado de la utilización de los Componentes producidos por el proyecto. Es una hipótesis sobre el impacto o beneficio que se desea lograr. El Marco Lógico requiere que cada proyecto tenga solamente un Propósito. La razón de ello es claridad. Si existe más de un Propósito, hay ambigüedad. Si hay más de un Propósito puede surgir una situación de trueque en el cual el proyecto se aproxima más a un objetivo al costo de alejarse de otro. Dado que es una hipótesis, es importante reconocer que el logro del Propósito del proyecto está fuera del control de la gerencia del proyecto o del ejecutor. La gerencia del proyecto tiene la responsabilidad de producir los Componentes (las obras físicas, las cooperaciones técnicas y la capacitación).

COMPONENTES. ¿Qué debe producir el proyecto? Los Componentes son las obras, estudios, servicios y capacitación específicos que se requiere que produzca la gerencia del proyecto dentro del presupuesto que se le asigna. Cada uno de los Componentes del proyecto tiene que ser necesario para lograr el Propósito, y es razonable suponer que si los Componentes se producen adecuadamente, se logrará el Propósito. La gerencia del proyecto es responsable de la producción de los Componentes del proyecto. Los Componentes son el contenido del contrato del proyecto. Deben expresarse claramente. En el Marco Lógico, los Componentes se definen como resultados, vale decir, como obras terminadas, estudios terminados, capacitación terminada.

ACTIVIDADES. ¿Cómo se producirán los Componentes? Las Actividades son las tareas que el ejecutor tiene que llevar a cabo para producir cada Componente. Es importante elaborar una lista detallada de Actividades debido a que es el punto de partida del plan de ejecución. Cada actividad se consigna en un gráfico de Gantt (diagrama de barras) y se estima el tiempo y los recursos que toman su ejecución. Por consiguiente, la ejecución por consiguiente se vincula en forma directa con el diseño del proyecto.

Tomado de “Evaluación: una herramienta de gestión para mejorar el desempeño de los proyectos”. Banco Interamericano de Desarrollo. Oficina de Evaluación (EVO). Marzo de 1997.

15

Paso 3. Evaluación de la columna de objetivos Según el BID (et. al) si la columna de objetivos de la MML esta bien construida se

deben poder examinar los vínculos causales de abajo hacia arriba (desde las

actividades hasta el fin). El siguiente cuadro ofrece una serie de condiciones que

debe cumplir la columna de objetivos de la MML, marque con una x si estas se

cumplen o no. Si alguna de las condiciones no la cumple se deben revisar de

nuevo las relaciones de causalidad entre insumos, productos y resultados.

Condiciones Si N0 Las Actividades especificadas para cada Componente son necesarias para producir el Componente

Cada Componente es necesario para lograr el Propósito del proyecto No falta ninguno de los Componentes necesarios para lograr el Propósito del proyecto

Si se logra el Propósito del proyecto, contribuirá al logro de el Fin Se indican claramente el Fin, el Propósito, los Componentes y las Actividades

El Fin es una respuesta al problema más importante en el sector La siguiente figura resume las tareas que se deben desarrollar en este taller: Figura N0. 5

Conocimientodel proyecto

Diagnóstico

Arbol de problemas

Evaluación de la alternativa seleccionada

Redacciónde los

Objetivos MML

Esta bien construida

la columna deobjetivos?

NO

NO

SI

1 2

3

16

Taller 2: Indicadores.

Los indicadores definen operacionalmente lo escrito en la columna de objetivos

de la MML y aparecen a cada nivel de dicha matriz. También describen las metas

del proyecto en cada nivel de objetivos: Fin, Propósito o componente esperado (la

definición de la metas intermedias y finales del proyecto se realiza en el taller 3).

De este modo, se convierten en el punto de referencia y "carta de navegación"

para guiar las actividades de gestión/monitoreo y evaluación del proyecto. Los

indicadores bien formulados aseguran una buena gestión del proyecto y permiten

que los gerentes de proyecto decidan si serán necesarios componentes

adicionales o correcciones de rumbo para lograr el Propósito del proyecto. Así

mismo, al finalizar la intervención se conocerá si se logró el impacto y los efectos

esperados sobre los beneficiarios (BID, 2003)

Generalmente un resultado se puede medir a través de varios indicadores, sin

embargo, la propuesta del Marco Lógico es especificar la cantidad mínima

necesaria para concluir si se alcanzó o no el objetivo que se evalúa. Los

indicadores deben medir el cambio que puede atribuirse al proyecto, y deben

obtenerse a costo razonable, preferiblemente de las fuentes de datos existentes

(BID, 1997).

En el siguiente recuadro se resumen los aspectos generales que componen los

indicadores en cada nivel de objetivos de la MML.

17

FIN. Los indicadores a nivel de Fin específicas en términos de cantidad, ca

PROPOSITO. Los indicadores a niveproyecto. Deben incluir metas que refespecifica cantidad, calidad y tiempo d

COMPONENTES. Los indicadores dde cada uno de los Componentes qudebe especificar cantidad, calidad y entregarse.

ACTIVIDADES. El presupuesto del pfila correspondiente. El presupuesto seun Componente.

Tomado de “Evaluación: una herramproyectos”. Banco Interamericano d1997.

En este taller se definen y selecci

de objetivos de la MML. Los p

completa de todos los indicadore

de un objetivo, diferenciando s

medida directa del objetivo o

indicadores cumplen con las car

indicador”, y seleccionar las

indicadores seleccionados cumpl

la MML en los diferentes niveles d

Es necesario anotar que un com

columna de indicadores de la MM

serían alcanzadas con la ejecució

términos de cantidad, calidad

desarrollará en el taller 4.

Indicadores

miden el impacto general que tendrá el proyecto. Son lidad y tiempo. (grupo social y lugar, si es relevante).

l de Propósito describen el impacto logrado al final del lejen la situación al finalizar el proyecto. Cada indicador e los resultados por alcanzar.

e los Componentes son descripciones breves, pero claras e tiene que terminarse durante la ejecución. Cada uno oportunidad de las obras, servicios, etc., que deberán

royecto aparece como el indicador de Actividad en la presenta por el conjunto de actividades que generan

ienta de gestión para mejorar el desempeño de los e Desarrollo. Oficina de Evaluación (EVO). Marzo de

onan los indicadores en cada uno de los niveles

asos son los siguientes: (1) realizar una lista

s que podrían ser utilizados para medir el logro

i son cualitativos o cuantitativos, y si es una

es un indicador proxi. (2) Verificar cuáles

acterísticas generales que debe tener un “buen

mejores alternativas. (3) Determinar si los

en con algunos criterios mínimos que establece

e objetivos.

ponente importante en la construcción de la

L es establecer las metas de los indicadores que

n del proyecto. Las metas se deben definir en

y tiempo. Como se mencionó esta tarea se

18

Paso 1. Lista de indicadores En este paso el grupo debe elaborar una lista lo mas completa posible de todos los

indicadores disponibles para observar el logro en los diferentes niveles de

objetivos de la MML del proyecto. Se consideró útil clasificar cada indicador

según dos criterios. (1) si es una medida cualitativa o cuantitativa. (2) si es un

indicador directo (final), intermedio (avanzada) o proxy.

Los indicadores utilizados para medir un objetivo pueden ser cualitativos o

cuantitativos. La decisión de seleccionar un indicador cualitativo o cuantitativo

depende de la naturaleza del objetivo que se evalúa. Por ejemplo, cuando se mide

eficiencia es más apropiado utilizar indicadores cuantitativos. En cambio cuando

se evalúa sostenibilidad los indicadores cualitativos tienen mayores ventajas,

debido a que permiten valorar la capacidad de adaptación de los beneficiarios a

los cambios introducidos por la intervención (UNDP,). En algunos casos, la

combinación de indicadores cuantitativos y cualitativos es necesaria. Por

ejemplo, en el caso de la pobreza, algunas evaluaciones han utilizado medidas

cuantitativas como las líneas de pobreza, y paralelamente han aplicados métodos

cualitativos que capturan la percepción de los beneficiarios sobre su calidad de

vida.

Por su parte, el logro de un objetivo puede ser observado a través de medidas

directas o indirectas (proxy). Por ejemplo, si el objetivo es aumentar el ingreso de

los beneficiarios, el indicador directo es el aumento ingreso monetario mensual

de las personas, y el indicador sustituto (proxy) podría ser las mejoras en la

calidad de la vivienda. Es así como, el indicador proxy debe estar altamente

correlacionado con la medida o indicador directo del objetivo, sin olvidar que el

indicador proxy siempre va a ser menos preciso para medir los cambios ocurridos

que el indicador directo (BID, 2003). Estas medidas sustitutas se utilizan cuando

el costo, complejidad y oportunidad en la recolección de datos impiden que se

pueda medir directamente un resultado (UNDP, ).

19

También en la medición del logro de un objetivo se pueden utilizar indicadores

intermedios o de avanzada, estos miden pasos intermedios hacia el resultado

esperado. De este modo, estos indicadores representan un eslabón en una

cadena causal. Su utilidad depende de la validez de la hipótesis que junta los

indicadores intermedios al resultado final. Por ejemplo, el uso de fertilizantes

como indicador preliminar de cambios en las prácticas agrícolas.

En algunos casos, los indicadores de avanzada representan resultados obtenidos

en subproyectos ejecutados en la etapa inicial del período de ejecución de un

proyecto o programa. Esta situación es común en proyectos denominados DE

OBRAS MÚLTIPLES. En estos casos, es necesario asegurar la representatividad

de los proyectos iniciales para poder proyectar el impacto al final del proyecto, o

programa y usar estos resultados como indicadores de avanzada.

Para facilitar la presentación de los resultados de este ejercicio se diseñó el

siguiente formato:

Final Intermedio Proxy Final Intermedio Proxy

Actividades

IndicadoresCuantitativos CualitativosNivel

Resumen narrativo

Propósito

Componentes

Fin

Paso 2. Selección de indicadores

La evaluación de muchos indicadores puede ser contraproducente, además de

costosa y exigente en términos de recolección de la información y análisis de

resultados. De esto modo, una de las principales recomendaciones al construir la

20

columna de indicadores de la MML es incluir el menor numero posible de

indicadores. Esto hace necesaria la definición de criterios para decidir si un

indicador es adecuado o no, o jerarquizar un conjunto de indicadores.

Siguiendo los anteriores criterios la Oficina de Evaluación del Programa de

Desarrollo de Naciones Unidas (UNDP) desarrollo un esquema para la selección

de indicadores, la cual debe ser aplicada para optimizar el numero de indicadores

(Ver cuadro 1). La lógica del ejercicio es sencilla. Primero, es necesario clasificar

los indicadores propuestos (listados en el paso 1) de acuerdo a su nivel de

objetivos de la MML. Segundo, definir los criterios que deben cumplir los

indicadores. La UNDP establece los siguientes criterios: (A) El sentido del

indicador es claro, (B) Existe información disponible o se puede recolectar

fácilmente, (C) El indicador es tangible y se puede observar, (D) la tarea de

recolectar datos está al alcance de la dirección del proyecto y no requiere expertos

para su análisis, (E) El indicador es lo bastante representativo para el conjunto de

resultados esperados. Un criterio adicional que debe ser evaluado es que los

indicadores sean independientes2, es decir, que no exista una relación de causa-

efecto entre el indicador y el objetivo que se evalúa.

Posteriormente se clasifican los indicadores (tercera columna cuadro 1), para esto

se asigna un valor de 1 a cada uno de los cinco criterios anteriores. Así, un

indicador que cumpla todos los criterios de la UNDP alcanzaría 5 puntos en esta

escala de calificación. Finalmente, en la última columna se seleccionan los

indicadores que se incluirán en la matriz de Marco Lógico, aquellos con mayores

puntajes.

2 Ver BID. Curso de evaluación y monitoreo por internet. www.iadb.org.

21

Cuadro 1. Selección de indicadores.

A B C D E F G Hindc. 1:indic. 2:indic. 3:indc. 1:indic. 2:indic. 3:indc. 1:indic. 2:indic. 3:indc. 1:indic. 2:indic. 3:

Puntaje total

Seleccion

Actividades

Fin

Proposito

Componentes

Calsificacion de indicadoresNivel

Resumen narrativo

Indicadores

Adaptado de “Handbook of monitoring and evaluating for results”. Evaluation Office. United Nations Development Programme. Notas: A,B,C,D y E corresponden a los criterios de la UNDP para seleccionar indicadores. Una vez seleccionados los indicadores se debe completar la columna de

indicadores de la matriz de MML con la información más relevante de estos.

Paso 3. Evaluación de la columna de indicadores de la MML. Para verificar si los indicadores han sido correctamente especificados se

recomienda seguir los siguientes criterios. Marque con una x si los indicadores

cumplen o no con los siguientes criterios.

Criterios Si N0

Los indicadores de Propósito no sean un resumen de los Componentes, sino una medida del resultado de tener los Componentes en operación

Los indicadores de Propósito midan lo que es importante Todos los indicadores estén especificados en términos de cantidad, calidad y tiempo

Los indicadores para cada nivel de objetivo sean diferentes a los indicadores de otros niveles

El presupuesto sea suficiente para llevar a cabo las Actividades identificadas

La siguiente figura resume las tareas que se deben desarrollar en este taller:

22

Figura N0. 6

Lista deindicadores

Selecciónde

indicadores

Esta bien construida

la columna deindicadores?

No

SI

2

3

Fin

Propósito

Componentes

Actividades

No

CuantitativoCualitativo

DirectoProxy

1

Definición?Disponibilidad?Análisis?

Objetivos

Representatividad?

Taller 3: Metas. Para que un indicador sea evaluable o verificable (permita observar si la

intervención logro o no un objetivo) debe especificar la meta que se desea

alcanzar. Una meta es la situación esperada al finalizar una actividad o al término

de una intervención (UNDP). De este modo la situación esperada debe hacer

parte de la especificación del indicador y el punto de referencia para las fases de

monitoreo y evaluación del proyecto.3

Cuando los indicadores especifican las metas de una intervención se les

denomina indicadores “inteligentes”, significa que son explícitos en lo que

ocurrirá, hasta qué punto y para cuando. En otras palabras, deben especificar la

cantidad, la calidad y el tiempo en que se producirán los resultados esperados por

3 Cohen y Franco (1988) definen una meta como un objetivo temporal y cuantitativamente dimensionado. Por ejemplo, un objetivo (reducción de la malaria) al que se ha se ha fijado el sujeto de la acción (el Estado de Apure), se ha cuantificado el objetivo (reducción en 10%) y se ha determinado un plazo (dos anos) se llama meta.

23

la intervención. También, en algunos casos es apropiado estipular el lugar y el

grupo social que se beneficiará. En el siguiente recuadro se presenta un ejemplo

que permite comprender y aplicar mejor estos conceptos.

1er Paso - Objetivarroz.

2º Paso – Indicadde dos hectáreas.

3er Paso – Indicad

Cantidad. 1.000 ppromedio de arroz en

+ Calidad. 1.000 ppromedio de arroz engranos) de la cosecha

+ Tiempo. 1.000 ppromedio de arroz emanteniendo la mism

Adaptado de “Marco

¿Cómo fijar las m

Existen algunas he

establecer las meta

Línea Base. Es el

futuras del indica

proyectos, es la

documentos relac

obtenida mediant

entrevistando gen

Especificación de indicadores en términos de cantidad, calidad y tiempo.

o especificado. Los pequeños agricultores mejoran el rendimiento de

or. Rendimiento promedio de arroz en unidades productivas de menos

or + Meta.

equeños agricultores (2 hectáreas o menos) aumentan el rendimiento un 40% (de "x" a "y").

equeños agricultores (2 hectáreas o menos) aumentan el rendimiento un 40% (de “x” a “y”) manteniendo la misma calidad (ej., peso de los

de 1992.

equeños agricultores (2 hectáreas o menos) aumentan el rendimiento n un 40% (de “x” a “y”) entre octubre de 1994 y octubre de 1996, a calidad (ej. , peso de los granos) de la cosecha de 1992.

Lógico”. Presentación de Power Point. Ciclo de cursos del Ilpes, 2002.

etas del proyecto?

rramientas y fuentes de información que son utilizadas para

s de los indicadores. Las principales son:

estándar básico contra el cual se medirán todas las metas

dor. Es la base para medir el cambio. En términos de

información recogida de los estudios de factibilidad y

ionados con la preparación del proyecto. También puede ser

e la revisión de documentos, observando procesos en acción,

te - o cualquier combinación.

24

Por ejemplo, piense que el objetivo del servicio es disminuir el tiempo requerido

para conseguir una licencia comercial. El indicador apropiado sería el numero

promedio de días vigente para conseguir una licencia comercial en el país. Por

medio de los estudios se determina que se requiere un promedio de 145 días

para conseguir una licencia comercial. Esta información puede venir de una

investigación de las licencias ya otorgadas, entrevistas con solicitantes, etc. Con

esta información sobre la línea de base, se tiene un elemento de comparación

para el indicador (meta) de cambio del proyecto -- o sea el cambio deseado.

Combinando esta información de base con puntos de referencia, se puede

desarrollar el indicador para el proyecto, tal como veremos más adelante. Sin

una línea de base, no se puede medir el cambio.

Puntos de referencia. Es un parámetro de desempeño externo al proyecto, que

es seleccionado como meta para el indicador que uno ha escogido. Los puntos

de referencia pueden ser extraídos de otras organizaciones, países, proyectos, o

de normas técnico-profesionales. Son estándares aceptados que indican cierta

calidad. Por ejemplo, un punto de referencia puede ser seleccionado de las

normas de un país para determinar que un sistema de agua potable (por

ejemplo) está plenamente en operación. En Chile para proyectos de este tipo en

zonas rurales es de 180 litros día por persona. En el siguiente recuadro se

resumen las principales fuentes utilizadas en la selección de puntos de

referencias como metas del proyecto.

25

Fuentes comúnmente utilizadas para Puntos de Referencia 1. Norma o Medida Profesional. Son normas o medidas generalmente aceptadas por profesionales que trabajan en una profesión determinada. Como por ejemplo los estudios y entrenamientos que se requiere tomar para ser médico, enfermera, partera, etc. para poder ejercer su profesión en un país determinado. 2. Norma o Nivel Técnico (estándar técnico): Es una norma o nivel aceptable técnicamente o mejor práctica de una determinada industria. Esto puede ser el nivel de tolerencia de la comba o el arqueo de un puente para que se considere seguro y aceptable. 3. Mejores Prácticas: Las mejores prácticas son derivadas de lecciones aprendidas de organizaciones de excelencia o de proyectos, como las mejores practicas en el establecimiento de Fondos Viales, Talleres de arranque para nuevos proyectos en ejecución, subcontratar el mantenimiento rutinario a microempresas, una determinada relación alumno/maestro.

Datos de tendencia. El análisis de tendencia es un proceso de identificar

tendencias derivadas estadísticamente y que se proyecta que continuarán en el

futuro. La Línea de Tendencia es lo que se puede esperar en promedio en el

futuro, el supuesto básico es que la tendencia seguirá en el futuro. Por ejemplo,

suponga el caso de la siguiente, se quiere hacer un proyecto que tenga como

objetivo disminuir el número de desocupados, y se confirma en los estudios

preliminares que la tendencia histórica muestra que la tasa de desempleo está

bajando 1% por año. ¿Que implica esta tendencia para un proyecto que tiene

como objetivo disminuir el desempleo? Implica que, para que cualquier

proyecto tenga un impacto real, tiene que disminuir desempleo en más de 1%

por año. En caso contrario tal vez no tenga sentido hacerlo.

Los pasos que se siguen en este taller son los siguientes:

26

Paso 1. Fijar las metas del proyecto para cada indicador.

Para cada uno de los indicadores seleccionados en el taller anterior se debe

especificar la meta del proyecto. Cada indicador deberá detallar:

¿Para quién? (grupo meta)

¿Cuánto? (cantidad)

¿De qué tipo? (calidad)

¿Cuándo? (tiempo)

¿Dónde? (lugar/Área).

El siguiente cuadro puede utilizarse en el desarrollo de este ejercicio, este permite

revisar que los indicadores cumplan con todos los criterios estipulados. Una vez

se complete esta información se debe terminar de elaborar la columna de

indicadores de la MML con el texto final de los indicadores.

Cantidad Calidad Tiempo Lugar Grupo socialIndicador

Resumen narrativo

Nivel

Proposito

Fin

Meta

Actividades

Componentes

Es útil también realizar una última evaluación a los indicadores seleccionados

para evaluar el logro de los objetivos de la intervención. Estos indicadores deben

cumplir con los cinco características de un “indicador inteligente” especifico,

medible, realizable, pertinente y debe estar enmarcado en el tiempo. En el

siguiente recuadro se definen cada uno de estos términos.

27

Un indicado

1. Específquiere ocon el obcaminosun Fond

2. Realiza

La posibveces noPor ejembueno p

3. Medibl

analizanrelativamCuantitarefiere aindicadodirecta,

4. Releva

específiUno de

5. Enmar

terminotiempo

Nota: Indobjetivo. UActividades 5 firmas conmillones de

Tomado del

Paso 2. R En el paso

vez termina

precisar el l

incluso desp

Características de un indicador inteligente (SMART)

r debe ser:

ico: Corresponde a información explícitamente particular al objetivo que se bservar y que permita al observador verificar que el proyecto ha o no ha cumplido jetivo. Qué medidas y con qué especificaciones y en qué lugar. (Kilometraje para

, hectáreas de tierra bajo producción, Ley de Mantenimiento Vial que establece o Vial, Ampliación de agua potable en la región amazónica, etc.)

ble: Se refiere a la probabilidad de alcanzar el indicador en todos sus aspectos. ilidad de cumplir un indicador depende del contexto de un proyecto. Muchas se puede alcanzar lo óptimo y se tiene que buscar una meta realista de alcanzar. ( plo para el indicador - Inmunización de todos los niños menores de 5 años. Es

reguntarse, ¿por qué no es realizable en muchas ocasiones?).

e: Características que permiten medir el indicador objetivamente (dos personas do los datos llegarían a la misma conclusión). También tiene que ser

ente fácil de recopilar. Puede ser medible cuantitativamente o cualitativamente. tivo se refiere a números, tamaño, frecuencia, porcentajes, etc. Cualitativo se diferencias de calidad, características esperadas, opiniones, encuestas. Los res cualitativos resultan muchas veces de entrevistas, grupos focales, observación

etc.

nte. Algunos indicadores son mas apropiados que otros para medir un objetivo co. Tal como el caso de Realizable, depende mucho del contexto de un proyecto. be preguntarse ¿es ésta la mejor manera de saber si se ha alcanzado el objetivo?

cado en el Tiempo: El indicador debe expresar plazos , tiempos de incio y , cuando se alcanzarán las metas. Uno debe preguntarse ¿Tiene el indicador un de inicio o de terminación? o si ¿ Expresa una frecuencia de ocurrencia?.

ependiente: No puede haber relación de causa-efecto entre el indicador y el n error común es usar un indicador de Componentes para el Propósito, o

como indicadores de Componentes. Ejemplos a nivel de Componentes: contratar sultoras; a nivel de Propósito: efectuar 10 estudios de preinversión, colocar $10 crédito para microempresas.

material del ciclo de cursos del Ilpes.

esultados intermedios.

anterior se fijaron las metas finales de los indicadores, es decir, una

da una actividad o la finalización del proyecto. Sin embargo, es útil

ogro de resultados parciales a los largo de la operación del proyecto e

ués de su finalización, este último el caso de los resultados esperados

28

de mediano y largo plazo. Esta información es importante para la evaluación y el

monitoreo del proyecto. Por ejemplo, para realizar una evaluación intermedia del

proyecto.

De este modo, si se fijó la meta de aumentar la tasa de asistencia escolar en 30

puntos porcentuales entre el 2003 y el 2008, la tarea es determinar los resultados

parciales o metas intermedias que se pueden lograr en los anos 2004, 2005, 2006

y 2007. Dependiendo de la definición del indicador y el nivel de objetivo que se

esta evaluando, los resultados intermedios se pueden monitorear mensual,

semestral o anualmente. Generalmente los avances en los indicadores a nivel de

actividades y componentes se observan en intervalos de menos de un año, por su

parte los indicadores a nivel de propósito y fin se monitorean anualmente o en

lapsos mayores. El siguiente cuadro apoya la presentación de los resultados (sólo

para indicadores con la misma escala de tiempo).

………….. tn-1t? t? t?

tn-1

t? t? t? ………….. tn-1

t? t? t? …………..

IndicadorResumen narrativo

NivelMeta final

Resultados parciales

t1 t2 t3 ………….. tn-1

Actividades

Proposito

Componentes

Fin

Nota: tn-1 es el periodo anterior a la meta final.

29

Paso 3. Formato para el monitoreo de los indicadores Las metas e indicadores son la base para un buen sistema de M&E (monitoreo y

evaluación) del proyecto: los buenos indicadores proveen recursos concretos y un

efectivo proceso para llevar a cabo el monitoreo y las evaluaciones formativas y

sumativas. Estos permiten demostrar si los objetivos y componentes del proyecto

han sido logrados o no. En efecto, sin indicadores cualquier monitoreo y

evaluación es casi imposible.

De este modo los indicadores y metas definidos en este taller son un insumo para

la evaluación intermedia que se realizará en el taller 6. Cabe mencionar que el

grupo contará con la asesoría de la firma Pacheco & Navarro Consultores en el

desarrollo de esta evaluación. La labor de esta firma es suministrar al grupo una

estimación del comportamiento de los indicadores y supuestos del proyecto

durante la primera mitad de la fase de operación de la intervención. Para realizar

su trabajo la firma consultora exige la entrega de la siguiente información (se

debe mantener el formato). La fecha de entrega es el día 22 de agosto.

Formato de monitoreo de metas e indicadores

1 PE

2 PE

3 PE

4 PE

5 PE

6 PE

7 PE

8 PE

9 PE

10 PE

Ano 3 …………. Ano nIndicador Proyectado (P)

/efectivo (E)Ano 1 Ano 2

30

La figura No 7 resume las tareas que se deben desarrollar en este taller: Figura N0. 7

Metas finales

Metas intermedias

2

Fin

Propósito

Componentes

Actividades

Herramientas:

Línea base Puntos de referencia Tendencia

1

Anual?Semestral?Mensual?

Indicadores

Elementos:Para quién? (grupo meta)

¿Cuánto? (cantidad)¿De qué tipo? (calidad)

¿Cuándo? (tiempo)¿Dónde? (lugar/Área).

Formatomonitoreo

de indicadores

3

Taller 4: Medios de verificación. Luego de seleccionar los indicadores, se deben precisar los métodos y fuentes de

recolección de información que permitirán evaluar y monitorear los indicadores y

metas propuestos para observar el logro de los objetivos de la intervención. En

MML este tema se desarrolla en la columna de medios de verificación. En el

siguiente recuadro sintetizan los principales aspectos que deben ser tenidos en

cuenta al precisar los medios de verificación de la MML.

31

• Fuentes: ¿De dónde pro

beneficiarios, de los archivos d • Método de recopilación:

de desagregación es necesario¿Qué unidad de análisis (indiv

• Agencias responsables:

así como cuál es la más capatareas de recopilación, análisicapacitación.

• Método de análisis: Pued

análisis estadístico. ¿Qué tipoeficiencia en función del costo

• Frecuencia: Este aspecto d

se necesita la información –información debe ser recolecpara la toma de decisiones (seen cuenta las necesidades y efrecuencia cambia también cotrabajo, es imprescindible queevaluaciones de término mepartidas presupuestarias, etc.

• Cómo se aplicará la info

es el propósito de la informacesencial. ¿Cómo y para qué seEjecutora, apoyar a compromdonantes o prestatarios, etc).

• Formatos de difusión: Ya

producción rápida de gráficos de informes cortos, en formparticipativos (seminarios, me

• Circulación: ¿A quién se

quién? No se debe enviar inftoma de decisiones. La pregumatriz de circulación en la cproyecto quedan en las filas,columnas.

Tomado del Banco Interamerica

Teniendo en cuenta los an

medios de verificación de l

Medios de verificación

vendrá la información? – de fuentes secundarias, de los el proyecto, etc.

Encuestas, observación directa, grupos focales. ¿Qué grado (por género, edad, grupo étnico, rural-urbano, localidad)?

iduos, familias, clínicas, comunidades)?

Debe tomarse en cuenta cuál agencia tiene la función oficial, z para recoger la información en cada área o localidad. Las s y divulgación son diferentes y requieren distintos tipos de

e ser simple como conteo, sumar, etc., o más complicado, con de análisis se efectuará ( comparación de datos, estudio de

, costo-efectividad, causa-efecto)?

e recolección de información es fundamental. ¿Para cuándo mensual, trimestral, semestral, anual? Para ser útil, la

tada, analizada y difundida para que llegue oportunamente a interna al proyecto o externa al proyecto). Se deben tomar l nivel de los involucrados en decidir sobre frecuencia. La n niveles jerárquicos. Si hay revisiones anuales de planes de esté disponible para esas fechas. Además se debe considerar dio, requerimientos de los involucrados, aprobaciones de

rmación: Este elemnto también es muy importante. ¿Cuál ión? Se debe recoger y analizar únicamente la información utilizará la información? (Decisiones internas de la Unidad

eter más a los involucrados, difusión al público, revisión con

que hay muchos programas de computación que permiten la y cuadros, se debe pensar en divulgar información por medio atos innovativos (video, teatro), así como en formatos

sas redondas).

distribuye la información y qué información se distribuye a ormación a involucrados que no la considerarían útil para la nta clave es quién decidirá. Se recomienda preparar una ual los tipos de información o informes generados por el mientras que los grupos de involucrados aparecen en las

no de desarrollo. WWW.iadb.org.

teriores elementos que conforman la columna de

a MML, se debe elaborar el siguiente cuadro que

32

resume los principales aspectos que se deben tener en cuenta la planeación de la

recolección de datos. Se debe completar esta información para cada uno de los

indicadores seleccionados.

Fuente de información

Método de recolección

Método de

análisis

Frecuencia de

recolecciónResponsable

Componentes

Actividades

Fin

Propósito

NivelResumen narrativo

Indicador

Medios de verificación

Adaptado de “Handbook of monitoring and evaluating for results”. Evaluation Office. United Nations Development Program. Finalmente, se debe consignar en la MML un resumen de la información más

relevante para completar la columna de medios de verificación de la matriz.

Taller 5: Supuestos. El último paso en la construcción de la MML es la definición de supuestos en

cada uno de los niveles de objetivos del proyecto: fin, propósito, componentes y

actividades. Los supuestos son los factores externos que están fuera del control

de la institución responsable de la intervención, que inciden en el éxito o fracaso

del mismo. Corresponden a acontecimientos, condiciones o decisiones que tienen

que ocurrir para que se logren los distintos niveles de objetivos de la

intervención. Los riesgos a los que esta expuesto el proyecto pueden ser

ambientales, financieros, institucionales, sociales, políticos, climatológicos u

otros factores (BID, 1997).

En la etapa de preparación del proyecto el conocimiento de los supuestos permite

cambiar o decidir entre diferentes diseños del proyecto, buscando minimizar la

incidencia de factores externos en el éxito de la intervención. Por su parte, en la

33

etapa de ejecución del proyecto, el monitoreo de los supuestos permite

desarrollar planes de contingencia para proteger al proyecto de factores externos.

Siempre existe el riesgo de que aunque las actividades del proyecto se lleven a

cabo eficientemente y de acuerdo con el calendario de ejecución, no se produzca

el Componente correspondiente; o que los Componentes se produzcan

eficientemente y no se logre el Propósito. La importancia del monitoreo de los

Supuestos es que tiende a reducir este riesgo.

Existen diferentes fuentes de información para identificar los supuestos del

proyecto, algunas de ellas son:

1. Lecciones aprendidas: se refiere a situaciones conocidas ocurridas en otros

proyectos y que afectaron positiva o negativamente, obligando a reajustar o

rediseñar proyectos.

2. Análisis de involucrados. Indaga cuáles grupos apoyarían una determinada

estrategia para abordar el problema de desarrollo así como los grupos que se

opondrían a dicha estrategia. El diseño incluye medios para maximizar el

apoyo y minimizar la resistencia de parte de los involucrados en la ejecución

del proyecto.

3. Instrumentos de análisis. Unos de los instrumentos de análisis mas utilizado

es el FODA , este instrumento permite visualizar factores externos e internos,

si se aplica a un proyecto es posible identificar factores externos como

Amenazas y oportunidades, estas pueden constituirse en supuestos.

A continuación se describen los pasos que se deben seguir para completar la

columna de supuestos de MML:

34

Paso 1. Lluvia de supuestos. Es útil iniciar la identificación de los supuestos con una lluvia de ideas de todos

los factores que pudiesen ser considerados como riesgos del proyecto. Estos

factores pueden ser clasificados sectorialmente, por ejemplo, si es un riesgo

financiero, político, social, etc. El siguiente cuadro puede facilita el desarrollo de

esta tarea.

Legal …………..

Actividades

Resumen narrativo

NivelFactores de riesgo

Financiero Politico Social Ambiental

Proposito

Componentes

Fin

Paso 2. Clasificación de los factores de riesgo. Un factor representa un verdadero riesgo para el proyecto si esta fuera del control

de la gerencia del proyecto, si es importante o critico para el éxito del proyecto, o

si su probabilidad de ocurrencia es media. A continuación se describen las

características de cada uno de estos aspectos.

¿Es el factor es externo al proyecto? El factor en discusión tiene que estar fuera

del control de la gerencia de proyecto o de la agencia ejecutora. Un ejemplo de

supuesto que no está fuera del control de la gerencia o agencia puede ser:

“Consultores o firmas constructoras contratadas son eficientes”. En general se

puede suponer que las firmas o consultores hagan bien o no su trabajo, pero es

35

labor de quién las contrata velar por la eficiencia de estas, es la gerencia o agencia

la que en definitiva tiene la prerrogativa de elegir y desarrollar procedimientos

que aseguren que se hará la mejor contratación. Por lo tanto no esta fuera de su

control, y el factor analizado deja de constituir un supuesto.

¿Es el factor importante para el éxito del proyecto?: Es decir, si representa un

factor crítico y necesario para el éxito del proyecto, por ejemplo: “Aceptación

de beneficiarios de conectarse al sistema de agua para lograr mejor salud”.

¿Cuál es la probabilidad de ocurrencia del factor?: El factor tiene que tener

una probabilidad de ocurrencia media (Ej.: entre el 10% y el 90%). Tiene que

representar un verdadero riesgo al éxito del proyecto.

Se debe evitar incluir factores externos al proyecto, que son necesarios para el

éxito del proyecto, pero que tengan muy baja probabilidad de ocurrencia, y

adicionalmente no se puede rediseñar o reajustar el proyecto para superar el

problema. Este tipo de factores son considerados “supuestos fatales”. En estos

casos se debe analizar la posibilidad de “rediseñar” el proyecto, incorporando

elementos que elevan la probabilidad de ocurrencia.

De este modo el grupo deberá verificar cuales de los factores postulados en el

paso 1 cumplen con los elementos descritos anteriormente. De este modo se

seleccionaran solo aquellos supuestos que sean externos, importantes y con una

probabilidad de ocurrencia media. Para apoyar este análisis el grupo puede

utilizar la siguiente lista de verificación de supuestos. Esta consiste en una serie

de preguntas encadenadas que conducen a la aprobación o no de un supuesto.

36

Figura No. 8

Lista de verificación supuestos

Es Externo?

Es importante?

Probabilidad ocurrencia?

Posibilidad rediseño?

No incluirIncluir

No

No

AltaMedia

Si

Si

Si

Supuesto formulado

Parar

Ninguna

En el caso que un supuesto sea clasificado como “supuesto fatal” (externo,

importante, con baja probabilidad de ocurrencia y sin posibilidades de rediseño

del proyecto) el grupo deberá identificar y formular acciones (que puedan ser

desarrolladas) por el proyecto que incrementen la probabilidad de ocurrencia de

esos factores.

Paso 3. Redacción de los supuestos en la MML.

Luego de seleccionar los factores que representan un verdadero riesgo para el

proyecto, se debe poner especial atención en la forma como se redactan los

supuestos en la MML. Es importante que el supuesto sea expresado como un

objetivo a alcanzar o mantener. Esto sugiere que si bien están fuera del control

37

de la Agencia Ejecutora, ésta podría llevar a cabo acciones que tiendan a

aumentar la probabilidad de ocurrencia de un supuesto. A continuación se

presentan algunos ejemplos de supuestos:

La ley de Mantenimiento Vial que crea un Fondo Vial con los parámetros

propuestos en el proyecto, es aprobada oportunamente por el Congreso.

Los bancos formales aceptan dedicar un mínimo de 10% de sus carteras de

préstamos a financiar a los microempresarios.

Los precios agrícolas mantienen sus niveles (dentro de una banda de + 10%) en

términos reales.

En la redacción de los supuestos se deben tener en cuenta los beneficios de

utilizar el sistema de ML como instrumento de monitoreo y evaluación. Al igual

que en el caso de los indicadores, el monitoreo de los supuestos es un

componente fundamental en la evaluación del proyecto durante su fase de

ejecución y operación. Esto supone que los supuestos además de ser formulados

positivamente (como un objetivo), deben ser medibles, y por tanto deben cumplir

con los mismos atributos que los indicadores formulados para medir el logro de

los objetivos del proyecto. Es decir, los supuestos deben ser “inteligentes”, deben

cumplir con atributos de calidad, cantidad y tiempo (plazo). Los siguientes son

algunos ejemplos:

• 90% de los operadores capacitados permanecen en sus comunidades de

residencia.

• Las cantidades de precipitación pluvial se mantienen en un rango de + 15%

del promedio anual.

38

Al igual que en el caso de los indicadores, la columna de supuestos debe ser

entregada a la firma consultara para que evalúe el estado de los supuestos en la

mitad de la fase de operación del proyecto.

Paso 4. Lógica vertical de la MML.

Los supuestos completan la MML. Para finalizar la construcción de la MML es

útil examinar los vínculos causales de abajo hacia arriba de la matriz, con el

propósito de comprobar su validez vertical. Si el proyecto está bien diseñado, lo

que sigue es válido:

Lógica vertical SI NO

Si se llevan a cabo las actividades y los supuestos de este nivel se

ratifican, se obtendrán los componentes.

Si se producen los componentes y los supuestos a este nivel se

conforman, se logrará el propósito de la intervención.

Si se logra el propósito y se conforman los supuestos a este nivel,

se habrá contribuido de manera significativa a alcanzar el fin.

La siguiente figura resume las actividades de cierre de este primer ciclo del

ejercicio que incorpora la identificación y redacción de los supuestos y el análisis

de la lógica vertical y horizontal de la MML.

39

Figura N0. 9

Lluvia deSupuestos

Factoresde riesgo?

2Financieros1

Es externo?Es importante?Es probable que ocurra?

PolíticosSocialesLegalesAmbientales

Redacción de los

supuestos

Se pueden monitoriar?

Formulación

Fin

Propósito

Componente

Actividad

Fin

Propósito

Componente

Actividad


¿Cumple el proyecto los

parámetros del Marco Lógico?

13

Completar la MML

Responder

(Lógica vertical y horizontal del la MML)

Taller 6: Evaluación intermedia La evaluación intermedia del proyecto conforma el segundo ciclo del ejercicio

(Ver figura). La evaluación de las metas intermedias permite al Gerente de

Proyecto conocer cómo está progresando la intervención. Así mismo, se

identifican áreas donde medidas correctivas pueden ser necesarias para mejorar

la probabilidad de alcanzar el Objetivo de Desarrollo (Propósito) del proyecto

(Ilpes, et.al). La evaluación intermedia se puede hacer en cualquier momento

durante la ejecución del proyecto. El uso de esta herramienta es común para

analizar más a fondo los problemas de ejecución, o para ayudar a tomar

decisiones sobre la programación del proyecto (BID, et.al).

40

Figura No. 10

Fin

Propósito

Componente

Actividad

Fin

Propósito

Componente

Actividad


2

Planeación M&E


¿Se están cumpliendo las

metas?

El objetivo del presente taller es analizar la evolución de los indicadores y

supuestos de la MML en la mitad de la fase de operación del proyecto. Se busca

identificar fallas en el diseño y el plan de ejecución del proyecto, establecer si el

proyecto se ha implementado conforme al plan, examinar los supuestos del

proyecto y determinar el riesgo o la probabilidad de no cumplir con los objetivos,

a nivel de propósito y fin.

Como se mencionó el grupo contará con información suministrada por Pacheco &

Navarro respecto a la evolución de los indicadores y supuestos del proyecto. El

primer paso en este taller será analizar la evolución de los indicadores de

actividades y componentes del proyecto. Luego, se examinaran los supuestos y

finalmente, la probabilidad de cumplimento de los objetivos de mediano y largo

plazo.

41

Paso 1. Análisis de los indicadores de actividades y componentes. Las actividades y componentes son los primeros eslabones en el encadenamiento

vertical de la MML. Si el proyecto esta bien diseñado, el cumplimiento de las

metas fijadas en estos niveles determinará, en parte, el logro del propósito y el fin

del proyecto. La información que entregará la firma consultora le permitirá al

grupo comparar la evolución de los indicadores del proyecto (a nivel de

actividades y componentes), con lo que realmente ha ocurrido. Con esta

información el grupo deberá evaluar el grado de cumplimiento de las metas del

proyecto. Teniendo en cuenta lo consignado en la MML e incorporando aspectos

físicos y de calidad. Para esto se diseño una escala cualitativa con las siguientes

categorías: muy satisfactorio, satisfactorio, insatisfactorio y muy insatisfactorio.

En el siguiente cuadro permite la clasificación de cada indicador bajo los

anteriores criterios.

1 PE

2 PE

3 PE

4 PE

5 PE

6 PE

7 PE

8 PE

9 PE

10 PE

* (1) muy satidfactorio, (2) satisfactorio, (3) insatisfactorio, (4) muy insatisfactorio

Ano 3 …………. Ano n Evaluacion*Indicador Proyectado (P)

/efectivo (E)Ano 1 Ano 2

Nota: si cuenta con información de los indicadores de propósito y fin inclúyalos en el análisis.

42

Las metas o los indicadores clasificados como insatisfactorios o muy

insatisfactorios deben ser sometidos a un análisis más detallado. El grupo deberá

discutir los posibles factores que impidieron el cumplimiento de las metas

trazadas. Estos obstáculos pueden estar relacionados con escasez de fondos,

relaciones con los proveedores, oposición política o de la comunidad, entre otros.

Paso 2. Monitoreo de los supuestos. El cumplimiento de los supuestos definidos en la MML es un determinante

fundamental en el cumplimiento de los objetivos del proyecto. La experiencia ha

demostrado que la razón principal de fracasos en proyectos en cuanto a Propósito

proviene de la no ocurrencia de supuestos tanto a nivel de Actividades como a

nivel de Componentes. A nivel de Actividades, los supuestos también afectan la

calidad del Componente y por o tanto del cumplimiento con el Propósito.

La importancia de monitorear los supuestos del proyecto es verificar si estos se

han cumplido de acuerdo a lo proyectado. También, observar si las condiciones

externas han cambiado y si es necesario incorporar nuevos supuestos para

garantizar el éxito del proyecto. La firma consultora que apoya el trabajo del

grupo le suministrará información del estado de los factores de riesgo del

proyecto, y el grupo deberá analizar su incidencia en el logro de las metas del

proyecto a nivel de actividades y componentes.

Paso 3. Probabilidad de logro de los objetivos del proyecto. Es posible que al momento de realizar la evaluación intermedia no se observe

ningún cambio en los indicadores de propósito y fin de la MML. Sin embargo, a

partir de la evaluación del cumplimiento de las metas a nivel de actividades y

componentes y el análisis de los supuestos se puede inferir la probabilidad de

logro de los objetivos del proyecto. Si la MML fue bien construida el

43

cumplimiento de las actividades, componentes y supuestos debe conducir al logro

del propósito del proyecto.

En esta sección el grupo deberá concluir cuál es la probabilidad de logro de los

objetivos del proyecto a nivel de propósito y fin. Para esto se diseño una escala

cualitativa con las siguientes categorías: muy probable, probable, dudoso, e

imposible.

En el siguiente cuadro ayuda la presentación de estos resultados.

* (1) Muy probable, (2) Probable, (3) Dudoso, (4) Imposible

Actividades

Probabilidad de ocurrencia *

Indicadores

Proposito

Componentes


Fin

Paso 4. Problemas y acciones. Las actividades anteriores deben conducir al grupo a identificar los principales

problemas que han afectado la ejecución y operación del proyecto y el logro de los

objetivos. Así como, identificar las acciones que se requieren para enfrentar estos

obstáculos.

El grupo debe presentar los principales problemas encontrado en cada uno de los

niveles de la MML (actividades, componentes, propósito y fin), así como las

acciones que se deben implementar para su solución. El siguiente formato facilita

la presentación de la información.

44

Acciones

Actividades

Problemas

Proposito

Componentes


Fin

Taller 7: Evaluación de impacto La evaluación de impacto es una de las principales herramientas en la evaluación

del logro de los objetivos de programas sociales. Este tipo de evaluación

determina si el programa produce los cambios previstos en los individuos,

hogares e instituciones y, si esos cambios son atribuibles al proyecto o programa.

Igualmente, examina los cambios no previstos generados por las acciones de la

intervención, ya sean positivos o negativos (Baker, 2000). En otras palabras, la

evaluación de impacto es una medida cualitativa y/o cuantitativa del logro de los

objetivos intermedios y finales de la intervención (ubicados a nivel de propósito y

fin de la MML).

Este tipo evaluación se puede llevar a cabo antes o después de la ejecución y

operación del programa. En el primer caso, se simulan los cambios que

produciría el programa en la población objetivo y la eficiencia con que se

generarían. Este tipo de evaluación suministra información de los beneficios y

costos del programa, herramienta muy útil para la toma de decisiones. Por su

parte, cuando la evaluación de impacto se realiza ex-post, se busca determinar si

el programa logró o no los objetivos planteados y si la intervención fue una

solución eficaz y eficiente en la solución del problema.

45

Valorar el impacto generado por un proyecto social no es una tarea sencilla,

debido a que existen factores externos que afectan los resultados esperados por la

intervención.4 Por este motivo, no es suficiente conocer cuál fue el cambio en las

condiciones de los beneficiarios después de la ejecución del proyecto, porque no

se puede precisar cual fue el cambio que verdaderamente se le puede atribuir a la

intervención.

La pregunta central que resuelve la evaluación de impacto es ¿Qué hubiese

pasado si el proyecto nunca se hubiese ejecutado? La dificultad está en que no es

posible observar directamente las condiciones de los beneficiarios de un proyecto

en el caso hipotético que no hubiesen participado en este (Ravillon, et al). Por

esta razón, es necesaria la construcción de grupos de control o comparación

conformados por personas que no recibirán los beneficios del proyecto, pero que

poseen características similares o idénticas a las del grupo de beneficiarios (grupo

de tratamiento) (Baker, et al). De acuerdo con la forma como sean seleccionados

los grupos de comparación o control los métodos de evaluación de impacto se

pueden clasificar en experimentarles, cuasi-experimentales y no experimentales.

Estos diseños utilizan principalmente información cuantitativa. En el siguiente

recuadro se resume las principales características de cada modelo.

4 Los factores externos se clasifican en observables y no observables. Los primeros están relacionados con las características de los beneficiarios (edad, sexo, educación, estado civil, ingreso, etc.), con las características de las familias (número de miembros, ingreso per capita del hogar, tasa de participación laboral, etc.) y del entorno (infraestructura social, crecimiento económico, capital social, etc.). Por su parte, los factores no observables se asocian con los valores morales, las motivaciones, los intereses personales, etc. (Ravillon, et al).

46

Diseño de evaluaci

Este diseño implica reidóneos y dispuestos reciben la intervenciódiseños experimentalmetodologías de evalupropio proceso de asestadísticamente equies un resultado muy vde la asignación al aasuntos relacionadosevaluaciones. El benefresultados: el impactmedir por la diferencicontrol.

Diseño de evaluaci

Este diseño consiste reflexivas o de coincidno participan en el prlos participantes. Ambobservadas o de una cprograma. Los grupoimplementación del p

Otro tipo de diseño comparación reflexivalos participantes del comparan entre sí anty como grupo de comp

Diseños de evaluac

Este diseño de evaluacontrol al azar, ni idcoincidencias, ni usarprograma se puedenestadísticos para cons

Tomado del Banco M

Por su parte, el im

métodos cualitativo

evaluaciones de im

condiciones como l

Métodos de evaluación de impacto

ón experimental o aleatoria

unir a un conjunto de individuos (u otra unidad de análisis), igualmente a participar en el programa, y dividirlos al azar en dos grupos: los que n (grupo de tratamiento) y los que no la reciben (grupo de control). Los es o aleatorios generalmente se consideran la parte más sólida de las ación. Al asignar al azar la intervención entre beneficiarios idóneos, el ignación crea grupos de control y tratamiento comparables que son valentes entre sí, considerando tamaños adecuados de las muestras. Este alioso debido a que, en teoría, los grupos de control generados a través zar sirven como un perfecto contrafáctico, libre de los problemáticos con la incidencia de factores externos que se dan en todas las icio principal de esta técnica es la simplicidad en la interpretación de los

o que tiene el programa sobre los resultados que se evalúan se puede a entre la media de las muestras del grupo de tratamiento y el grupo de

ón cuasi experimental

en la creación de un grupo de comparación mediante comparaciones encias. Las coincidencias involucran la identificación de personas que ograma y que se pueden comparar en sus características esenciales con os grupos deben coincidir sobre la base de algunas de las características

antidad de ellas que se sabe, o se cree, que influirán en los resultados del s de comparación que coincidan se pueden seleccionar antes de la

royecto (estudios prospectivos) o después (estudios retrospectivos).

cuasi experimental se denomina comparación reflexiva. En una , el contrafáctico se construye sobre la base de la situación que tenían

programa antes del programa. De esta manera, dichos participantes se es y después de la intervención y funcionan como grupo de tratamiento aración.

ión no experimentales

ción se puede usar ya sea cuando no es posible seleccionar un grupo de entificar un grupo de comparación apropiado a través de métodos de comparaciones reflexivas. En dichas situaciones, los participantes del comparar a aquellos que no son participantes, usando métodos

iderar las diferencias entre ambos grupos.

undial. PovertyNet. www.worldbank.org.

pacto de un proyecto también se puede valorar a través de

s. En general, este tipo de métodos se utilizan en las

pacto para comprender los procesos, comportamientos y

as perciben los individuos o grupos estudiados. La principal

47

ventaja de las evaluaciones cualitativas es su flexibilidad y el que pueden

adaptarse a las necesidades de la evaluación. También, permiten una mayor

comprensión de las percepciones y prioridades de las partes interesadas y los

diferentes factores que puedan haber afectado a los resultados de un programa.

Es posible también aplicar métodos combinados (cuanti-cualitativos).

El propósito de este taller es diseñar la evaluación del impacto de los objetivos

formulados en la MML a nivel de propósito y fin (Ver figura No. 11). Se

determinará la importancia que tiene para el proyecto de este tipo de evaluación

y los intereses de los diferentes involucrados. El grupo deberá analizar si es

necesaria la evaluación de todos los impactos del proyecto, o si la evaluación se

debe enfocar sólo en los más importantes. Finalmente, se debe seleccionar el

diseño de evaluación mas apropiado, dadas las características de la intervención y

las fuentes de información.

Figura No. 11

Fin

Propósito

Componente

Actividad

Fin

Propósito

Componente

Actividad


3


¿Cómo evaluar el impacto de la intervención?

Después de la operación

Paso 1. Justificación de la evaluación. La aplicación de métodos de evaluación impacto es exigente en términos

metodológicos y de información. La rigurosidad de su implementación requiere

la participación de personal especializado en sofisticadas técnicas estadísticas y

48

con conocimiento en métodos de investigación social. Estas características hacen

que la evaluación de impacto sea más costosa que otros tipos de evaluaciones,

siendo necesario analizar cuidadosamente si el tipo de intervención que se

estudia justifica la realización de una evaluación de impacto. Es decir, si un

análisis causa-efecto es una prioridad.

Según el Banco Mundial (PRSP) justifica la aplicación de una evaluación de

impacto cuando: (1) la intervención es relevante dentro de la estrategia

institucional para la solución del problema identificado, (2) contribuye al

conocimiento de un problema (aprendizaje institucional), y (3) la intervención es

una iniciativa innovadora en la solución de un problema.

Bajo los anteriores criterios el grupo debe discutir si se justifica la

implementación y el diseño de la evaluación de impacto del proyecto.

Paso 2. Formulación de los objetivos de la evaluación.

La evaluación impacto debe ser considerada como un proyecto en si misma. Por

lo tanto, su planeación debe incluir la formulación de los objetivos que se buscan

alcanzar. Generalmente, las conclusiones de las evaluaciones de impacto se

utilizan para tomar la decisión si expandir, modificar o eliminar un proyecto o

intervención.

Es útil también, considerar el interés que cada uno de los agentes involucrados

podría tener en los resultados de la evaluación de impacto. Por ejemplo, los

resultados positivos de una evaluación de impacto de un programa de

capacitación de jóvenes desempleados podrían animar a muchos jóvenes a

participar en el programa. En cambio, un organismo multilateral utilizaría los

resultados para apoyar la decisión de si recomendar la ejecución de este tipo de

intervenciones en otros países.

49

Las tareas de este segundo paso del diseño de la evaluación de impacto del

proyecto son: formular los objetivos de la evaluación, y describir el interés que los

involucrados pudiesen tener en los resultados de la evaluación, o cómo y para qué

podrían utilizar esta información.

Paso 3. Definición y selección de los impactos objeto de la evaluación. Una de las primeras tareas en el diseño de una evaluación de impacto es precisar

qué se quiere medir, a través de que indicadores y cual es la meta esperada por la

intervención. Si la MML esta bien construida, estas tareas están casi concluidas.

Recuerden que los niveles de Propósito y Fin de la MML están relacionados con

los cambios que la intervención espera producir en los beneficiarios, es decir, los

impactos y efectos del proyecto. Así mismo, en la MML se seleccionan los

indicadores mas apropiados para la medición de los impactos esperados y las

metas que determinarán la efectividad de la intervención en el logro de sus

objetivos.

En la MML generalmente se incluyen todos los impactos y resultados que una

intervención espera producir en los beneficiarios. Sin embargo, existen

restricciones metodológicas, financieras y de tiempo que impiden que todo pueda

ser evaluado. Instituciones como el BID y el Banco Mundial recomiendan

focalizar la evaluación de impacto en aquellos objetivos de mayor importancia y

relevancia para la intervención. Por ejemplo, piensen en un programa

capacitación laboral que genera efectos en productividad laboral de los

beneficiarios y a su vez entrega transferencias que aumentan los ingresos de las

familias de los beneficiarios. Es posible que medir el impacto sobre los ingresos

no sea tan importante comparado con conocer los cambios en las habilidades y

comportamiento de los futuros trabajadores. Es decir, en términos de un análisis

50

costo-beneficio de la información, el retorno de evaluar el impacto sobre los

ingresos podría ser negativo.

Además de relevante, la valoración de un impacto debe ser oportuna. Esto

significa que no puede existir una brecha entre el momento en que los

“involucrados” requieren de los resultados de la evaluación y el tiempo en que

ocurren los cambios en los beneficiarios. Por ejemplo, piensen que el mayor

interés en realizar la evaluación de impacto de un programa de educación es

tener herramientas para decidir si se debe aumentar su cobertura. En este caso,

evaluar el impacto de más largo plazo (disminuir la pobreza) podría no ser la

mejor opción, ya que habría que esperar más de diez anos para observar los

cambios atribuibles a la intervención. En este ejemplo, si la MML esta bien

construida, la mejor alternativa podría ser evaluar un impacto de mediano o

corto plazo (i.e. un aumento en la asistencia escolar). Si el resultado es positivo,

teóricamente este cambio deberá conducir a los resultados esperados en el largo

plazo.

De este modo, la evaluación de impacto de una intervención debe concentrarse

en aquellos cambios que son considerados relevantes y oportunos desde el punto

de vista de los involucrados. Un ejercicio útil para priorizar los impactos que

deben ser evaluados, es precisar cada uno de los cambios que la intervención

produce desde el inicio de operación. En la figura 12 se desarrolla este ejercicio

suponiendo la evaluación de un proyecto de educación que entrega un apoyo

monetario (suficiente para la matricula y los útiles) a estudiantes de escasos

recursos durante los primeros tres anos de secundaria. Como se muestra, la

primera columna de la figura corresponde a las diferentes actividades del

programa durante su fase de operación, desde la publicación de la convocatoria

hasta la entrega del apoyo para estudiar el tercer año de secundaria. Por su parte,

en la segunda columna esta la respuesta de los beneficiarios a cada una de las

actividades del programa. Una vez el programa termina su operación la cadena

de impactos continua hasta terminar con la disminución de la pobreza, que es el

objetivo de más largo plazo del programa.

51

Figura No. 12

El programa publica la convocatoria

Los futuros beneficiarios escuchan del programa, les interesa y se inscriben

El programa admite las personas elegibles Los beneficiarios

aceptan su participación.

El programa entrega el apoyo monetario para el primer ano Los jóvenes asisten al

primer ano de secundaria

Los jóvenes asisten al segundo ano de secundaria

El programa entrega el apoyo monetario para el segundo ano

Los jóvenes asisten al tercero ano de secundaria

El programa entrega el apoyo monetario para el tercer ano

Aprueban el año

Los jóvenes continúan asistiendo al colegio y se gradúan de secundaria

Los jóvenes encuentran trabajo.

La pobreza disminuye

Aprueban el año

Operación del programa

Respuesta (cambios) de los beneficiarios

1

2

3

4

5

6

Impactos

Corto plazo

Corto plazo

Mediano plazo

Mediano plazo

Mediano plazo

Largo plazo

Figura adaptada de Weiss Carol (1998).

La figura 12 enumera 6 impactos que son generados por la intervención y que

podrían ser objeto de evaluación. Habiendo identificado estos impactos el

siguiente paso es precisar el tiempo en que ocurrirán. En general todos los

proyectos sociales permiten diferenciar entre cambios de corto, mediano y largo

plazo en los beneficiarios. Retomando el ejemplo anterior, definamos que corto

plazo son dos anos, mediano plazo entre 3 y 6 años, y largo plazo 7 años o más.

En este caso el programa tendría dos impactos de corto plazo, tres de mediano y

uno de largo plazo.

52

Conociendo los intereses de los involucrados en la evaluación de impacto del

proyecto y el tiempo en que los cambios pueden ser observados, el grupo tiene la

suficiente información para seleccionar o priorizar el numero de impactos a

evaluar. La restricción que impone el ejercicio es que el grupo solo puede

seleccionar máximo n-2 impactos, donde n es el número de impactos.

Finalmente, una vez seleccionados los impactos que serán evaluados, es

importante precisar que se requiere conocer de cada uno de estos cambios.

Generalmente las evaluaciones de impacto se concentran en el siguiente tipo de

preguntas.

1. ¿La intervención logró los cambios esperado en los beneficiarios?

2. ¿El cambio observado en los beneficiarios pueden ser atribuido a la

intervención, o es el resultado de la incidencia de factores externos que

ocurrieron simultáneamente?

3. ¿El impacto de la intervención varia entre diferentes grupos de beneficiarios

(i.e. hombres o mujeres) o en el tiempo? Si existen diferencias, cuáles son los

factores (culturales, políticos, económicos, etc) que le impide a un

determinado grupo aprovechar al máximo de los beneficios de la

intervención?

4. ¿Hay cambios o efectos no esperados, positivos o negativos?

5. ¿Qué tan eficaz es la intervención en comparación con otras alternativas?

6. ¿La intervención justifica su costo? El grupo debe redactar las preguntas o interrogantes que busca resolver con la

evaluación de cada uno de los impactos seleccionados.

53

Paso 4. Selección del modelo de evaluación de impacto. Luego de definir los impactos que se van a evaluar, el siguiente paso es

seleccionar el modelo de evaluación que se utilizará. El grupo deberá analizar

cuál método cuantitativo de evaluación es el más apropiado dadas las

características de la intervención y los impactos que se evaluarán. Luego, se

deberá evaluar las ventajas de implementar un modelo cuali-cuantitativo de

evaluación de impacto.

Como se mencionó el impacto de un programa social se puede medir a través de

tres tipos de modelos: diseños experimentales, cuasi-experimentales y no

experimentales. Se debe tener en cuenta que la rigurosidad de la evaluación

disminuye a medida que se pasa de modelos experimentales a no experimentales.

Es decir, las conclusiones respecto a la relación de causalidad entre la

intervención y el impacto son menos sólidas y exigen un análisis estadístico más

riguroso. Por este motivo, una buena estratégica para la selección del modelo de

evaluación es analizar las opciones de evaluación disponibles, de las más a las

menos rigurosas. La siguiente figura muestra el árbol de decisión que se puede

seguir para este análisis.

54

Figura N0. 13

Es posible la selección aleatoria de un grupo

de control?

Es posible la selección no aleatoria de un grupo

de comparación?

Si

No

Es posible pero solo con información después de la

intervención

Si

IntervenciónAntes

T

C

Diseño experimental

IntervenciónAntes

T

C

Diseño cuasi-experimental

IntervenciónAntes

T

C

Diseño no experimental

Después

IntervenciónAntes

T

C

Diseño cuasi- experimental antes y después

Después

La situación ex-ante del

grupo de tratamiento actúa como

control

1

23

4

La figura No. 13 contiene 4 modelos diferentes de evaluación de impacto. A

continuación se describen los principales aspecto que se deben tener en cuenta

para analizar la viabilidad de aplicación de cada uno de los diseños.

Diseño experimental 1

La primera opción del árbol de decisión (figura No. 12) es aplicar un diseño

experimental. Para examinar esta opción el grupo debe responder si es posible la

selección aleatoria de un grupo de comparación que no reciba los beneficios del

proyecto. El primer aspecto que se debe considerar es la cobertura del programa,

si la intervención beneficia al total de la población elegible no es posible la

construcción de un grupo de comparación. En este caso, sería imposible

encontrar al menos una persona que no haya recibido los beneficios del

programa.

En segundo lugar, si la intervención tiene cobertura parcial otro tipo de aspectos

se deben tener en cuenta, principalmente aspectos éticos y morales. La elección

55

al azar podría ser poco ética, debido a que niega los beneficios o servicios a otros

miembros idóneos de la población para los fines del estudio. En algunos casos la

exclusión podría, por ejemplo, poner en riesgo la vida de una persona. En este

contexto, tal vez la probabilidad de aplicar un diseño experimental podría ser

mayor en programas de capacitación laboral que en intervenciones de salud.

También se deben tener en cuenta las características de los bienes y servicios que

entrega el proyecto. Por ejemplo, los bienes públicos se caracterizan por la no

exclusión, es decir, que todos los individuos pueden tener acceso al bien o

servicio. Este podría ser el caso de parques de recreación públicos donde no es

posible impedirle la entrada a nadie el ingreso.

Otros problemas que dificultan la aplicación de modelos experimentales son

(Baker, 2000):

Puede ser políticamente difícil proporcionar una intervención a un grupo y no a

otro.

Durante el experimento, los individuos en los grupos de tratamiento o control

podrían cambiar determinadas características que los identifican, lo que

invalidaría o contaminaría los resultados. Si, por ejemplo, las personas entran y

salen de un área del proyecto, podrían también entrar y salir del grupo de

control o de tratamiento. De manera alternativa, las personas a las que se les

negó el beneficio de un programa, podrían buscarlo a través de otras fuentes; o

bien, aquellos a los que se les ofrece un programa podrían no estar interesados

en la intervención.

Quizás sea difícil asegurar que la asignación se haga realmente al azar. Por

ejemplo, cuando los encargados del proyecto o programa excluyen a los

postulantes de alto riesgo para lograr mejores resultados.

Aunque los diseños experimentales son óptimos metodológicamente, tiene

fuertes restricciones, además que su aplicación puede ser costa y tomar bastante

tiempo, particularmente en la recopilación de datos.

56

Modelo cuasi-experimental 2

Si dadas las características de la intervención no es posible la aplicación de un

diseño experimental de evaluación, se debe analizar la posibilidad de seleccionar

un grupo de comparación de forma no aleatoria. Se requiere un grupo de la

población que no tenga acceso a los beneficios del programa, pero que cumpla

con las condiciones de elegibilidad, y que sea similar a los beneficiarios de la

intervención en sus características esenciales, principalmente en aquellos

aspectos que pueden influir en los resultados de la intervención (i.e. edad, sexo,

ingreso, etc). Por ejemplo, cuando un programa de salud sólo se ejecutará una

determinada zona del país. En este caso, otras regiones con las mismas

características de las zonas seleccionadas por el programa podrían servir como

grupo de control de la evaluación.

En la construcción de estos grupos de comparación se utilizan métodos de pareo

(“Matching”), que estiman la probabilidad de participación en el programa

(puntuación de la propensión) tanto de las personas que no tuvieron acceso a los

beneficios de la intervención como de la población que beneficiaria del programa.

A partir de esta puntuación, se busca para cada una de las personas del grupo de

tratamiento una persona equivalente en el grupo de no participantes, es decir,

que tenga la misma probabilidad de participar.

En general, los diseños cuasi-experimentales que utilizan métodos de pareo para

construir el grupo de comparación, tienen observaciones antes y después de la

intervención, tanto para el grupo de comparación como para el grupo de

tratamiento. Esto implica que este diseño no es viable en proyectos de cobertura

total.

La principal ventaja de las evaluaciones que usan métodos de coincidencias

(pareo) es que pueden utilizar fuentes de datos disponibles y por ende,

generalmente implementarlas es más rápido y menos costoso. La mayor

desventaja es la menor confiabilidad de los resultados, porque la metodología

57

podría no puede resolver por completo la incidencia de factores externos en los

resultados de la intervención; y los métodos de coincidencias pueden ser

estadísticamente complejos, ya que exigen una experiencia considerable en el

diseño de la evaluación y en el análisis e interpretación de los resultados (Banco

Mundial, ).

Si la aplicación de este diseño es viable el grupo deberá describir la forma como

construiría el grupo de comparación, así como las variables que se utilizarían en

su selección.

Diseño cuasi-experimental (antes y después). 3

En el caso que no se pueda encontrar un grupo de control, existe la posibilidad de

utilizar la situación ex-ante de los beneficiarios del proyecto como punto de

comparación. Así, la situación de los participantes se compara antes y después de

la intervención, es decir, el mismo grupo hace el papel de grupo de tratamiento y

control (Banco Mundial, ). Sin embargo, esta comparación no permite eliminar el

efecto de factores externos a la intervención, y los resultados de la evaluación

combinarán tanto los efectos atribuibles al proyecto como la incidencia de

factores externos observables y no observables. Este diseño es más utilizado en la

evaluación de programas de cobertura total, donde no es posible encontrar

personas que no hayan recibido los productos de la intervención. Este diseño esta

señalado en la figura No. 12 con el No. 3.

4 Diseño no experimental. 4

Si ninguno de los diseños anteriores diseños es viable, la alternativa es aplicar un

modelo no experimental. Este diseño compara la situación de participantes y no

participantes en el proyecto, pero solo puede observar su situación después de

58

finalizar la intervención. La estructura de este diseño se muestra en la figura

N.13.

Así como en los métodos cuasi experimentales, la implementación de este diseño

de evaluación es relativamente poco costosa y sencilla, ya que puede utilizar

fuentes de datos disponibles. No obstante, ofrece varias dificultades. Primero, la

confiabilidad de los resultados generalmente se ve aminorada debido a que la

metodología tiene menos solidez estadística. Segundo, la metodología tiene

algunas complejidades estadísticas que podrían exigir algo de experiencia en el

diseño de la evaluación y el análisis e interpretación de los resultados. Tercero,

aunque es posible aislar parcialmente la incidencia de los factores externos, la

corrección total sigue siendo un desafío.

El proceso mostrado en la figura No. 13 debe realizarse para cada uno de los

impactos seleccionados. Es posible que no todos los impactos que se quieren

evaluar puedan ser valorados a través del mismo diseño. Por ejemplo, en el

estudio de evaluación de impacto del Fondo de Inversión Social de Bolivia el

componente de educación se evaluó a través de un diseño experimental, mientras

que los impactos de salud se evaluaron con un diseño cuasi-experimental. De

este modo, es recomendable examinar cuál es el diseño mas apropiado para cada

uno de los impactos.

Los modelos cuantitativos de evaluación de impacto descritos anteriormente se

pueden combinar con enfoques cualitativos de evaluación. Estos enfoques buscan

comprender los procesos, comportamientos y condiciones como las perciben los

individuos o grupos estudiados. Esta evaluación suministra información sobre las

formas en que los hogares y las comunidades locales perciben el proyecto y cómo

se ven afectados por este (Baker, 2000). En general, se aplican métodos de

evaluación cualitativa cuando se requiere conocer en profundidad cuál fue el

proceso en la generación de los impactos y, no solo los resultados obtenidos. Por

ejemplo, en un programa de capacitación laboral una evaluación cuantitativa se

centraría en indagar por la proporción de beneficiarios que consiguieron trabajo

59

después de la capacitación y su salario. En cambio, la evaluación cualitativa

preguntaría cómo se sintieron en el proceso de selección, si el trabajo que

consiguieron cumple con sus expectativas, por qué algunos beneficiarios dejaron

su trabajo, etc (Weiss, 1998).

Las evaluaciones cualitativas de evaluación utilizan métodos más flexibles

durante el diseño, recopilación de datos y análisis (Baker, et.al). A diferencia de

los modelos cuantitativos, estos hacen poco énfasis en la necesidad de comparar

los resultados con grupos que no reciben los beneficios del programa. 5 De esta

forma, la falta de un grupo de comparación en las evaluaciones cualitativas junto

con la baja representatividad estadísticas de las muestras y la subjetividad en la

recolección de la información hacen que en algunos casos la aplicación de estos

métodos en la evaluación de impacto no se la opción mas optima.

Como tarea final para la selección del modelo de evaluación de impacto el grupo

deberá estimar los costos y beneficios de utilizar un modelo cuanti-cualitativo en

la evaluación de los impactos seleccionados. Recuerden analizar cada impacto de

forma independiente. Es posible, que en la evaluación de un determinado

impacto sea necesario utilizar un método combinado, pero en otros casos no

serlo. Incluso puede ser que solo es viable una evaluación cualitativa.

Paso 5. Recolección de la información.

Los resultados de la evaluación de impacto dependen en gran medida de la

calidad y confiabilidad de la información que se recolecte (Baker, et.al). En la

selección de las fuentes de información se deben tener en cuenta aspectos como

los recursos disponibles, temporalidad de las mediciones, la precisión requerida,

la desagregación geográfica, entre otros.

5 Cabe mencionar que es posible diseñar evaluaciones cualitativas bajo en diseños experimentales o cuasi-experimentales que son usualmente utilizados en evaluaciones cuantitativas. Carol Weiss (et.al) subraya que “qualitative and quantitative are not categories of designs but types of data”.

60

Temporalidad de la información.

De los anteriores aspectos la temporalidad de las mediciones tiene especial

relevancia en la determinación de las necesidades de información. El número de

observaciones que se requieren depende del modelo de evaluación seleccionado.

Por ejemplo, un modelo experimental exige recolectar datos del grupo de

tratamiento y control al finalizar el proyecto. La pregunta es cuántas

observaciones son necesarias para observar el impacto esperado o para obtener

conclusiones sólidas respecto del cambio generado en los beneficiarios. En

algunos casos sólo una observación podría ser suficiente. Sin embargo, en otros

casos podría ser necesaria la recolección de múltiples observaciones para evaluar

el verdadero impacto de la intervención.

La información requerida para la evaluación se puede clasificar en tres

categorías: longitudinal (“panel data”), cross-section o series de tiempo.

Longitudinal: toma al menos dos observaciones en el tiempo para el grupo de

tratamiento y control. En la figura N0. 14 se muestran diferentes estructuras que

se pueden construir a partir de información de panel data al aplicar modelos

experimentales, cuasi-experimentales y no experimental. En general, al utilizar

un número mayor de observaciones en el tiempo tanto las posibilidades de

análisis como la validez de las conclusiones aumenta. Por ejemplo, evaluar el

impacto de un programa contra el consumo de cigarrillo utilizando un modelo

experimental con sólo una observación después de finalizar el programa podría

generar resultados erróneos. Esto debido a que el comportamiento de los

fumadores puede ser muy inestable, es decir, pueden suspender el consumo sólo

por una semana.

61

Figura N0. 14

IntervenciónAntes Después

T

C

Diseño experimental

T

C

Diseño cuasi-experimental

T

C

Diseño no experimental

1 2 4

T

C

T

C


T

C

T

C


Modelos de evalaucion de impacto con información de “panel data”

Cross-section: toma sólo una observación en el tiempo para el grupo de control y

tratamiento. Por ejemplo, los modelos 1 y 4 que se mostraron en la figura No. 13

requieren de este tipo de información.

Series de tiempo: toma repetidas mediciones sólo del grupo de tratamiento antes

y después de la intervención. Este tipo de información puede ser útil en el caso

de modelos de antes y después como el que se muestra en la siguiente figura.

62

Figura N0. 15

Diseño cuasi – experimental con informacion de series de tiempo

(antes y después)

T

C


Teniendo en cuenta las anteriores categorías el grupo debe analizar el tipo de

información que requieren los modelos que seleccionó para medir cada uno de

los impactos que del proyecto: panel data, cross-section o series de tiempo.

Fuentes de información.

Luego de definir el tipo de datos que se deben recolectar el siguiente paso en esta

sección es definir las fuentes de información. Existe una amplia variedad de

fuentes y métodos de recolección de información cuantitativa y cualitativa. La

principal recomendación para determinar cuáles fuentes son las mas apropiadas

para la evaluación es comenzar analizando la información disponible. Por

ejemplo, al interior del proyecto pueden existir registros de los beneficiarios,

reportes, etc. Así mismo, en entidades externas como las oficinas de estadísticas

locales y nacionales se puede encontrar información de censos, encuestas de

hogares, entre otros. En muchos casos, la línea base de la evaluación se puede

construir a partir de este tipo de datos.

Cuando la información existente no es suficiente para construir la línea base de la

evaluación o la situación ex–post de los beneficiarios, se deben utilizar métodos

de recolección de información como observación directa, encuestas, entrevistas,

entre otros. El grupo debe analizar cuál sería la fuente de información más

63

apropiada en la evaluación de cada uno de los impactos seleccionados, o si es

necesaria la combinación de diferentes métodos de recolección. Se debe recordar

que en la construcción de la columna de medios de verificación se identificaron

las fuentes de información para monitorear el comportamiento de los indicadores

y el cumplimiento de las metas del proyecto. Si esta tarea fue exhaustiva, sólo es

necesario retomar la información consignada en la MML.

Paso 6. Ficha de evaluación de impacto. El diseño de la evaluación de un impacto incorpora una amplia variedad de

actividades, desde la definición de los objetivos de la evaluación hasta la selección

de las fuentes de información. Es útil compilar la información que se genera en

todo este proceso para facilitar la implementación de la evaluación. Con este

propósito se diseño la siguiente ficha la cual debe ser completada para cada uno

de los impactos que se evaluaran.

Ficha de evaluación del impacto X

Definición del impacto: Justificación de la evaluación: Objetivos: 1. 2. 3. Intereses de los involucrados en la evaluación del impacto: 1. 2. 3. Preguntas que debe responder la evaluación: 1. 2. 3.

64

Tiempo en que espera ocurrirá el impacto Corto plazo [ ] Mediano plazo [ ] Largo plazo [ ] Modelo de evaluación

Diseño experimental [ ] Diseño cuasi-experimental con [ ] observaciones antes y después tanto para los dos grupos.

Diseño cuasi-experimental antes y [ ] después para el grupo de tratamiento (comparaciones reflexivas)

Diseño no experimental [ ]

Criterios de selección del grupo de control Indicadores y metas 1. 2. 3. Información Tipo: Cuantitativa [ ] Cualitativa [ ] Cuanti-cualitativa [ ] Fuente: Información disponible [ ] Observación directa [ ] Encuestas [ ] Entrevistas en profundidad [ ] No. de observaciones: cross-section [ ] panel data [ ] series de tiempo [ ] Unidad de análisis: individuos [ ] grupos [ ] unidades geográficas [ ] instituciones [ ]

Presentaciones e informe final

Con el propósito de discutir los resultados obtenidos por cada uno de los grupos y

monitorear el desarrollo del ejercicio, cada grupo debe realizar una presentación

de avance al finalizar la primera semana del curso y una presentación final el

último día de clase. Adicionalmente, cada agrupo deberá presentar un informe

escrito con los resultados finales, el cual será evaluado por los organizadores del

curso y hará parte de la calificación total de cada participante.

65

Presentación de avance. La presentación de avances tiene como objetivo la discusión de los resultados

obtenidos durante la primera semana. Esta discusión permitirá identificar las

fortalezas y debilidades del trabajo de cada grupo, señalando aquellos temas en

los que se requiere una mayor profundidad, o la necesidad de realizar algunos

ejercicios complementarios. Esta presentación deberá contener los resultados de

los talleres 1-4, que hacen énfasis en la construcción de la MML y la fijación de

metas en los diferentes niveles de objetivos para cada uno de los indicadores

seleccionados. El tiempo por presentación es de 20 minutos y, cada grupo

seleccionará su ponente.

Informe y presentación final. El informe y la presentación final deberán incorporar los resultados obtenidos en

cada una de las etapas del ejercicio. Además de los temas citados en la

presentación de avance el documento debe incorporar los resultados de los

talleres del 5 al 7. El tiempo de la presentación es 30 minutos y el documento

deberá tener como máximo 20 páginas.

66

Referencias

Banco Interamericano de Desarrollo. (1997). Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos. Oficina de evaluación (EVO).

BID. Curso de evaluación y monitoreo por Internet. Tomado en www.iadbb.org.

Cohen, E. y Franco, R. (1988). Evaluación de proyectos sociales. Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES/ONU) y Centro Interamericano de Desarrollo Social (CIDES/OEA).

Instituto Latinoamericano y del Caribe de Planificación Económica y Social –ILPES-. (2003). Bases conceptuales para el ciclo de cursos sobre gerencia de proyectos y programas. En serie manuales, N0 24. Santiago de Chile, CEPAL/Naciones Unidas.

Navarro, H. (2003). Esquema general para la evaluación de impacto de proyecto y programa de lucha contra la pobreza. Curso internacional: uso de indicadores socioeconómicos en la evaluación de impacto de programas de lucha contra la pobreza. ILPES. Junio de 2003.

Sanín, H. (1993). Guía metodológica general para la preparación y evaluación de proyectos de inversión social. Instituto Latinoamericano y del Caribe de Planificación Económica y Social –ILPES-.

Preval II; Fida (2001). Biblioteca Electrónica “Seguimiento y Evaluación

de Proyectos”, (Selección de Documentos).

67

68

ILPES, Dirección de Proyectos y Programación de Inversiones. INFOPROJECT 2.

Manual “Gestión del Ciclo de un Proyecto, Enfoque Integrado y Marco

Lógico”. Comisión de las comunidades europeas. Serie métodos e instrumetos para la gestión del ciclo de un proyecto. Feb. de 1993.

United Nations Development Programme. Handbook on monitoring and evaluating for results. Evaluation Office.

Weiss, C. (1998). Evaluation. Prentice Hall. Segunda edicion.

CURSO INTERNACIONAL - … · El Marco Lógico es una herramienta para facilitar el proceso de...

Documents

Transcript of CURSO INTERNACIONAL - … · El Marco Lógico es una herramienta para facilitar el proceso de...