NOMBRE Y ORGANIZACIÓN DEL RESPONSABLE DE ESTE PRODUCTO:

DR. MANUEL FUENTES - IT POWER

AUTORES:

DRA. ALBA GAMARRA DE GUARDIA ING. WALTER CANEDO ESPINOZA CINER

MONITOREO & EVALUACIÓN DE MONITOREO & EVALUACIÓN DE PROGRAMAS Y PROYECTOS PROGRAMAS Y PROYECTOS

ENERGÉTICOSENERGÉTICOS

MONITOREO & EVALUACIÓN DE MONITOREO & EVALUACIÓN DE PROGRAMAS Y PROYECTOS PROGRAMAS Y PROYECTOS

ENERGÉTICOSENERGÉTICOS

Vinculando microempresas y actividades generadoras de ingresos con servicios energéticos para la población en condiciones de pobreza

del Chaco Sudamericano.

Manual de Monitoreo & EvaluaciónPresentado en el Taller en San Bernardino

11 y 12 de marzo, Asunción - Paraguay

Manual de Monitoreo & Evaluación

El Monitoreo es una herramienta que usa la recolección sistemática de datos para indicadores específicos, de manera tal que aporten a la gestión y a los principales actores acerca del desarrollo sobre la marcha de las intervenciones, a través de indicadores para el avance y logro de objetivos; así como el progreso en el uso de los recursos colocados. 

Módulo 1:16

La Evaluación es definida como la valoración objetiva y sistemática del diseño, implementación y resultados de un proyecto, programa o política que está en avance o ha concluido. El objetivo es determinar la importancia y el cumplimiento de los objetivos, avance de eficiencia, efectividad, impacto y sostenibilidad. La evaluación debe proveer información que sea creíble y útil, permitiendo la incorporación de lecciones aprendidas en los procesos de toma de decisiones, tanto de receptores como de donantes.Se ocupa de quién, o qué grupo, se ha beneficiado del sistema interinstitucional de trabajo (o fue adversamente afectado), en qué cuantía, de qué manera y por qué.

Módulo 1:16

Dinámica:

Preparación del M&E: Se solicita a los participantes realizar una lluvia de ideas e identificar todas las tareas que están involucradas en la preparación para conducir las actividades de M&E. Tiempo: 10 minutos. Trabajo por parejas. No se compartirá la información en plenaria, hasta la revisión nuevamente por parejas al finalizar el Módulo 1:

Módulo 1:16

Módulo 1: 21

EVALUAR, APRENDER,

DECIDIR

MONITOREAR

REFLEXIONAR, APRENDER, DECIDIR,

AJUSTAR

IMPLEMENTAR

PLANIFICAR

MONITOREAR

IMPLEMENTAR

REFLEXIONAR, APRENDER, DECIDIR,

JUSTIFICAR

IMPLEMENTAR

Procesos del M&E:

• Qué?• Quién?• Cuándo?• Cómo? • Con qué recursos?

El sistema de M&E debe contener los elementos que responden a las siguientes

preguntas:

Módulo 1: 22

• Eficacia: Número de clientes conectados o volumen de ventas.• Efectividad: los actores pueden crear “nuevos usos” para el servicio de electricidad.• Impacto: al haberse incrementado los usos de electricidad ha repercutido en la mejora de condiciones sociales y económicas de los beneficiarios.

Tipos de M&E

Módulo 1: 23 y 24

Indicadores

Módulo 1: 26, 27 y 28

Los indicadores son parámetros seleccionados para representar una situación compleja y a menudo imposible de medir directamente. Estos pueden ser cuantitativos o cualitativos; y la combinación de ellos resulta en indicadores mixtos.

Ejemplos: Analizar ejemplos en páginas 27 -29.

Tipos de M&E:

Módulo 1:30

Se definen en términos de: Características de un buen indicador

Variables Descripción LE AMO MAREA…..R

Calidad ¿Cuán positivo / cuán

bueno?

Limitado en tiempo y cantidad

Medible

Cantidad ¿Cuánto? Específico: orientado al logro del objetivo.

Alcanzable

Tiempo ¿Cuándo? ... Realista

Localización ¿Dónde? Alcanzable Específico

Grupo meta ¿Quiénes? Medible Acotado

Observable Reto

Analizar ejemplo de página No. 30

Pasos para el Monitoreo:

Módulo 1:32

Paso 1: Introducción del concepto de eficacia, efectividad e impacto.

Paso 2: Generar una lista de indicadores para cada aspecto y clarificar qué variables estarán enlazadas.

Paso 3: Decidir cómo realizará la recolección de la información que necesita y dónde se guardará.

Paso 4: Decidir cuán frecuentemente se analizará la información.

Paso 5: Recolectar, analizar y reportar.

Pasos para la Evaluación:

Módulo 1:32

Antecedentes Objetivos Preguntas clave de

evaluación Objetivos específicos Metodología Temas logísticos

Elaborar los TDR s para la evaluación:

Ventajas y desventajas de la evaluación interna y externa

de un proyecto:

Módulo 1:37

Analizar el cuadro en la pagina No. 37.

Pasos para elaborar un Plan de M&E:

Módulo 1:37 -40

1. Identifique los actores involucrados en las necesidades de M&E.

2. Elabore un diagrama de su proyecto.3. Asigne resultados del proyecto a los vínculos

con su cadena de efectos.4. Elija los indicadores y métodos de recolección

de información.5. Trate los temas transversales.6. Elabore un borrador del esquema de M&E.7. Valide su esquema con los actores del M&E.8. Integre los aportes de los actores en el diseño

del M&E:9. Ejecute el M&E como parte del proyecto.10.Elabore conclusiones, presente los resultados

del M&E, los acuerdos para el seguimiento de las recomendaciones.

Módulo 2: Tipos de métodos de M&E

Módulo 2: 56

ZOPP

Hipótesis de desarrollo y factores manejables Objetivo superior:

Meta de la política de desarrollo a la cual contribuye esencialmente el proyecto. Impacto de largo plazo.

Considerando los objetivos prácticos y estratégicos de Género.

Objetivo de desarrollo:

Situación futura que representa el estado de mejoramiento al que aspiran los grupos destinatarios. ´´Cambio de actitudes”.

Especificar de forma diferenciada por Género donde corresponda.

Objetivo del proyecto:

Modificación (efecto del proyecto) que se aspira a ejercer sobre el comportamiento y actuación de los grupos destinatarios (*) Motivación.

Resultados:

Prestaciones del proyecto. (*) Productos.

Actividades:

Paquetes de medidas que se deben llevar a cabo para obtener los resultados. Trabajo a ser desarrollado.

Refleja la división actual por Género de trabajo/roles, al igual que los cambios planeados.

Tipos de métodos de M&E:

Módulo 2: 57

MARCO LÓGICO USAIDJerarquía o Sistema de objetivosFin:

Objetivo de mayor nivel jerárquico. Alude a un objetivo de desarrollo o a una apuesta política de largo aliento que justifica la existencia de la organización y que por sus dimensiones complejas no es posible determinar cuándo se alcanzará.

Propósito:

Es el objetivo que justifica la intervención de la institución a través de un proyecto específico. Nos señala el cambio más importante que esperamos alcanzar con nuestra intervención. El objetivo a nivel de propósito determina el impacto del proyecto. (Nace respuesta al problema central identificado).

Resultados:

Son los objetivos específicos que se propone alcanzar el proyecto para garantizar el logro del Propósito. Los cambios propuestos a este nivel representan los efectos esperados como producto de nuestra intervención y por los cuales asumimos responsabilidad directa.Acciones:

Actividades principales que ejecutándose colectivamente deben producir resultados.

Las acciones nos indican cómo se desarrollará el proyecto y el tipo de recursos humanos y materiales necesarios para su cumplimiento.

Tipos de métodos de M&E:

Módulo 2: 58

Enfoque en la demanda – ESMAP

Este enfoque se concentra en integrar el M&E desde la fase de preparación del proyecto involucrando a la demanda, más que en el enfoque convencional del monitoreo durante la ejecución y la realización de evaluaciones de impacto.

Estadío Proy. Preparación Diseño Ejecución Evaluación de Impacto

M&E convencional

Nuevo enfoque de M&E Fig. 2.1: Enfoque orientado a la demanda

Tipos de métodos de M&E:

Módulo 2: 60

El enfoque basado en Resultados – Banco Mundial

Proveedor del servicio

Insumos

Proveedor del servicio

Receptores

Insumos

Receptores

Enfoque tradicional Enfoque basado en resultados

Financiamiento privado

Financia

miento

público

Financiamiento privado gestionado por el proveedor del servicio.

Financiamiento público para el servicio

Fig 2.2: Enfoque basado en Resultados

Tipos de métodos de M&E:

Módulo 2: 62

El enfoque de sistema de gestión basado en resultados de OECD - DAC

Impacto

Objetivos

Resultados

Procesos

Insumos

Metas

Propósito

Resultados

Actividades

Insumos

Indicadores de M&E Gestión

Incr

em

en

to

en

n

ive

les

de

ri

esg

o. D

ism

inu

ción

en la

Gest

ión.

Re

sulta

dos

Pla

nifi

caci

ón &

Eje

cuci

ón

Fig. 2.4: Resultados basados en la gestión del M&E

Cierre de módulo 2:

Módulo 2: 62

Comparación de enfoques del M&E:

Por el tipo de trabajo que desarrolla, cuál de estos enfoques de M&E sugeriría utilizar en su proyecto?

Comparta con su colega sus puntos de vista.

Tiempo total: 10 minutos.

Módulo 3: Análisis de los participantes en el M&E

Módulo 3: 68

Un actor es la persona u organización con influencia, interés y poder de decisión en el ciclo del proyecto o programa.

Es importante diferenciar al actor con el “interesado” (stakeholder), ya que los interesados son participantes que tienen interés y son afectados positiva o negativamente de alguna manera con el proyecto o programa. 

Módulo 3: Análisis de los participantes en el M&E

Módulo 3: 69

Primarios: Individuos o grupos afectados directamente con la intervención del proyecto.Secundarios: Actores involucrados como intermediarios en el proyecto tales como miembros de ONGs, empresas eléctricas, instaladores, etc.Externos: Actores que no están involucrados formalmente en el proyecto; pero cuyas acciones y decisiones pueden crear impacto en las decisiones y actividades del proyecto o programa. Donantes o gobernantes (si es que no son ejecutores) pueden entrar en esta categoría. 

Módulo 3: Análisis de los participantes en el M&E

Módulo 3: 70

• Autoridades beneficiarias del sector público.• Donantes.• Autoridades públicas donantes del país.• Usuarios, clientes.• Equipo de gestión del proyecto.• Microempresarios.• Equipo interno del proyecto. 

Módulo 3: Análisis de los participantes en el M&E

Módulo 3: 72

SÍNTOMAS DE RESISTENCIA

VERBAL NO VERBAL

RESISTENCIA ACTIVA Argumentación

Reproches

Polémicas

Formalismo

Nerviosismo

Intrigas

Pelea

RESISTENCIA PASIVA Silencio

Chismes

Falta de ánimo

Cansancio

Ausentismo

Olvido

Migración interna

Módulo 3: Análisis de los participantes en el M&E

Módulo 3: 73-74

FORTALEZAS ACCIONES DEBILIDADES ACCIONES

F1.

F2.

F3.

.

.

.

D1

D2

D3

D4

.

.

.

OPORTUNIDADES ACCIONES AMENAZAS ACCIONES

O1

O2

O3

O4

.

.

.

A1

A2

.

.

.

Módulo 3: Análisis de los participantes en el M&E

Módulo 3: 76

Rol Autoridades públicas

Internacional (multi y bilaterales)

Sector no gubernamental (nacional o regional)

Sector privado (empresas, bancos)

Creación de políticas para la reducción de la pobreza.

Implementación de políticas y programas de reducción de pobreza.

Creación y trabajo en niveles de políticas/planes y programas específicos a nivel nacional y regional.

Implementación de políticas energéticas y programas.

Módulo 3: Análisis de los participantes en el M&E

Módulo 3: 80

Que inciden Que son afectados

Módulo 4: Indicadores de M&E

Módulo 3: 80

Insumos Resultados Objetivos Efectos (+ / -)¿Qué es lo que aportas?

•Tiempo•Dinero•Aspectos técnicos•Recursos humanos.•Datos, medios e instrumentos.•Conocimiento e información.

•I: eficiencia. 94-98

¿Cuáles son los resultados de lo que haces?

Bienes y Servicios.

Ej.: Entrenamiento / creación de capacidades.

I: 98 y 99Confort, ahorro, clientes conectados, volumen de ventas

1er. nivel de consecuencias. Dependen de insumos, acciones y decisiones que no dependen del proyecto.

Prácticas y comportamientos.Ej.: Personal mejor capacitado en regulación de energía e implementación de programas.

Diferencia entre los resultados del proyecto y aquellos que se hubiesen logrado sin la intervención.

Directos o indirectos, a corto y largo plazo; positivos o negativos con beneficios y limitaciones.

Ej.: Creación de programas energéticos para el sector rural.Mejora del marco regulatorio en apoyo a la electrificación para sector pobre de la población.

Actividades: ¿Qué es lo que hace el proyecto?

Impactos: Consecuencias en metas de desarrollo nacionales , MDMs. I: 104

Módulo 4: Indicadores de M&E

Módulo 4

Módulo 4: Niveles de impacto

Módulo 4: 104

Efectos directos (beneficios) sobre los grupos destinatarios.

Efectos sobre el tejido socio institucional y sustentabilidad.

Valores y patrones culturales

1

2

3

Módulo 4: Proceso de análisis de indicadores de resultados

Módulo 4: 109

Determine algunos indicadores clave para el proceso de monitoreo / evaluación.

Obtención de información acerca de los indicadores.

Desarrolle una estructura para el análisis de los temas emergentes y preocupaciones, donde Ud. suponga que pueden esperarse variaciones de lo esperado y/o planificado.

Analice la información, organícela bajo temas y asuntos.

Identifique modelos, tendencias y posibles interpretaciones.

Escriba sus descubrimientos y conclusiones. Trabaje posibles vías para seguir adelante (recomendaciones).

Módulo 5: 126

Módulo 5: Proceso de implementación de un Plan de

M&E

Métodos cualitativos

Observación Consulta a los actores

Entrevistas de estudio de caso a profundidad. Documentación

Discusiones con grupos focales / Consultas. Estudios de caso

Líneas de tiempo / cronogramas temporales. Entrevistas abiertas personales.

Mapeos sociales Análisis FODA

Etnografía Ranking de riqueza.

Módulo 5: 126

Módulo 5: Proceso de implementación de un Plan de

M&E

Cuantitativa

Cuestionarios Encuestas

Entrevistas estructuradas (escritas) Análisis costo-beneficio.

Revisión de información contable. Análisis técnico

Censo de población Mapas con Sistemas de Información Geográfico.

Módulo 5: 126

Módulo 5: Proceso de implementación de un Plan de

M&E

Estudios de caso. Observaciones grabadas. Diarios. Grabación de incidentes o análisis importantes (denominados “análisis de incidentes críticos” Cuestionarios estructurados. Entrevistas personales. Grupos focales. Encuestas por muestreo. Revisión sistemática de información oficial de importancia.

Herramientas más comunes para levantamiento de información.

Módulo 5: 126

SISTEMA INTERNO DE RETROALIMENTACION DEL MONITOREO

Diseño de los reportes del Progreso del Proyecto.

Definición del Cronograma de retroalimentación.

Elaboración de recomendaciones y conclusiones.

Proceso de toma de decisiones.

Recepción de reportes / informes individuales.

Entrenamiento del equipo del proyecto y contrapartes.

Evaluación, discusión, modificaciones.

Distribución de los reportes

Elaboración e introducción de cambio.

Seguimiento de recomendaciones.

Evaluación de resultados e impactos.

Sistema Interno de retro-alimentación

Módulo 5: Plan de M&E

Módulo 5: 135

APLICABILIDAD Y COMPROMISOEl objetivo de la tarea es examinar la aplicabilidad institucional del contenido del curso-taller en los proyectos y/o acciones de Monitoreo y Evaluación de la entidad en la que colaboran los participantes, y de cuyo análisis integral se extraen determinaciones concretas acerca de los cambios y mejoras sobre los sistemas de M&E.

Actividades a realizar: 

•Identificar las principales acciones que se podrían emprender para mejorar los sistemas de monitoreo y evaluación de su institución, proyecto o programa.•Para la aplicación de esas acciones, identificar los principales obstáculos que pueden presentarse.•Establecer las medidas administrativas, técnicas y financieras y otras que deba realizar para superar los obstáculos y lograr el mejoramiento del sistema.

Módulo 5:

Módulo 5: 136

.

• Proyectos exitosos.•GVEP International.•Agradecimientos.•Contactos: alba@ciner.org •Evaluación•Clausura.