Manual Evaluacion Proyectos

download Manual Evaluacion Proyectos

of 175

Transcript of Manual Evaluacion Proyectos

  • 8/21/2019 Manual Evaluacion Proyectos

    1/175

    Manualde seguimiento

    y evaluacin1a edicinOctubre de 2002

  • 8/21/2019 Manual Evaluacion Proyectos

    2/175

    2004

    Federacin Internacional de Sociedades de la Cruz Roja y de la Media Luna RojaApartado Postal 372CH-1211 Ginebra 19

    SuizaTelfono: +41 22 730 42 22Fax: +41 22 733 03 95Telex: 412 133 FRC CHCorreo electrnico: [email protected] Web: www.ifrc.org

    Federacin Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja

    Est autorizado citar, copiar, traducir a otros idiomas o adaptar a las necesidades locales cualquier parte de esta publicacin sin necesidad desolicitar previamente la aprobacin de la Federacin Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja, siempre que se indiquela fuente de manera expresa e inequvoca.

  • 8/21/2019 Manual Evaluacion Proyectos

    3/175

    Prlogo

    Deseo que todas las partes interesadas dentro de la Federacin reciban con entusiasmo esta

    primera edicin del Manual de seguimiento y evaluacin. El panorama siempre cambiante del

    desarrollo, adems de los desafos cada vez mayores en las reas de rendicin de cuentas,

    rendimiento, normas de calidad y aprendizaje, convierten a sta en una publicacin oportuna

    para la Divisin de Seguimiento y Evaluacin. El Manual de seguimiento y evaluacin es una

    caja de herramientas una coleccin de herramientas, cada una de las cuales est diseada

    para apoyar la funcin de seguimiento y evaluacin. Como responsabilidad de los rganos de

    gestin, la actividad de seguimiento proporciona los componentes bsicos para los procesos

    de toma de decisiones, planificacin estratgica y movilizacin de recursos. Es una actividad

    clave de medicin en nuestro esfuerzo por lograr la eficacia de la organizacin. Si no

    podemos medir no podremos gestionar. Aunque el Manual est concebido principalmente

    para las partes interesadas que trabajan sobre el terreno, constituye, sin embargo, un til e

    interesante recurso para todas aquellas personas del mbito de la prctica que comparten el

    objetivo comn de servir eficazmente a las personas ms vulnerables de nuestro mundo.

    El Manual de seguimiento y evaluacin constituye una iniciativa en evolucin, y esta primera

    edicin merece ser valorada crticamente. Las diferentes herramientas tratadas se exponen de

    forma interesante, sencilla y entretenida. La terminologa armonizada facilita utilizar el

    Manual junto con el Manual del proceso de planificacin del proyecto y la Iniciativa "Mejor

    diseo de programas" (MDP). La segunda edicin del Manual estar disponible en rabe,

    espaol y francs. Teniendo en cuenta su calidad de instrumento de aprendizaje

    organizacional, permanecemos a la espera de recibir sus comentarios constructivos, a fin de

    convertir la segunda edicin en una ayuda incluso ms pertinente y eficaz para el logro de las

    metas y objetivos de la Federacin.

    Ibrahim Osman

    Divisin de Seguimiento y Evaluacin

    Octubre de 2002

  • 8/21/2019 Manual Evaluacion Proyectos

    4/175

    ndice de contenidosIntroduccin

    Mdulo 1 Resumen1.1 Objetivo del Manual 1-1

    1.2 Cul es el contenido del Manual? 1-11.3 Qu principios y definiciones deben tenerse presentes? 1-4

    1.3.1 Gestin basada en resultados 1-4

    1.3.2 Vinculacin del seguimiento y evaluacin a una matriz de planificacin 1-5

    1.3.3 Qu es el seguimiento? 1-6

    1.3.4 Qu es la evaluacin? 1-7

    1.3.5 Seguimiento y evaluacin durante la ejecucin de una operacin 1-8

    1.4 Qu es el marco para el seguimiento y evaluacin? 1-9

    1.4.1 El propsito de un nuevo marco para el seguimiento y evaluacin 1-9

    1.4.2 Principios del seguimiento y evaluacin orientados a la obtencin

    de resultados en la Federacin 1-9

    1.4.3 Enfoque de la Federacin relativo al seguimiento y evaluacin 1-9

    1.4.3.1 El enfoque del seguimiento orientado a la obtencin de resultados 1-101.4.3.2 El enfoque de la evaluacin orientada a la obtencin de resultados 1-10

    Enseanzas extradas del mdulo 1 1-12

    Mdulo 2 Seguimiento y evaluacin2.1 Cmo disear un sistema de seguimiento y evaluacin 2-1

    2.2 Comprobacin del diseo de la operacin 2-2

    2.2.1 Con qu claridad estn formulados los objetivos? 2-3

    2.2.2 Se han tenido en cuenta factores externos? 2-3

    2.2.3 Medirn los indicadores eficazmente los progresos? 2-3

    2.2.3.1 Indicadores de seguimiento a travs del contacto con beneficiarios 2-4

    2.3 Estimacin de la capacidad de seguimiento y evaluacin 2-6

    2.3.1 Cmo determinar la capacidad de seguimiento y evaluacin 2-6

    2.3.2 Estimacin de necesidades de capacitacin 2-6

    2.3.2.1 Etapas de un anlisis de las necesidades de capacitacin y del diseo

    y realizacin de actividades de capacitacin 2-6

    2.4 Planificacin de la recopilacin y anlisis de datos 2-8

    2.4.1 Por qu son necesarios los datos de referencia? 2-8

    2.4.2 Qu datos de seguimiento se necesitan y de dnde se obtendrn? 2-9

    2.4.2.1 Qu datos son necesarios para realizar el seguimiento? 2-9

    2.4.2.2 Seguimiento de insumos 2-9

    2.4.2.3 Visitas al terreno una valiosa fuente de informacin complementaria 2-9

    2.4.2.4 Seguimiento de la participacin 2-10

    2.4.2.5 Seguimiento y evaluacin del compromiso de la Federaciny de las Sociedades Nacionales con las mujeres 2-10

    2.4.3 Quin recopila y analiza los datos sobre el terreno? 2-10

    2.4.4 Sistemas informatizados de seguimiento 2-12

    2.5 Preparacin del plan y presupuesto de seguimiento y evaluacin 2-13

    2.5.1 Plan de seguimiento y evaluacin 2-13

    2.5.2 Presupuesto de seguimiento y evaluacin 2-14

    2.6 Planificacin de la notificacin e informacin de retorno 2-15

    2.6.1 Orientacin para la elaboracin de informes de seguimiento y evaluacin 2-15

    2.6.2 Cmo utilizaran los directores de proyectos

    o programas los diferentes informes? 2-15

    2.6.3 Seguimiento del sistema de notificacin de los asociados 2-16

    2.6.4 Informacin de retorno 2-16Enseanzas extradas del mdulo 2 2-17

  • 8/21/2019 Manual Evaluacion Proyectos

    5/175

    Mdulo 3 Seguimiento de programas de las Sociedades Nacionales y

    notificacin al respecto3.1 Cmo disear un sistema de seguimiento y evaluacin

    para programas de las Sociedades Nacionales 3-1

    3.2 Comprobacin del diseo de programas y actividades

    de las Sociedades Nacionales 3-2

    3.2.1 En el nivel de Sociedad Nacional 3-23.2.2 En el nivel de actividad 3-2

    3.3 Estimacin de la capacidad de seguimiento y evaluacin

    para estrategias de cooperacin y actividades 3-4

    3.3.1 Cmo determinar la capacidad de seguimiento y evaluacin

    para estrategias de cooperacin y actividades 3-4

    3.3.2 Estimacin de necesidades de capacitacin para estrategias

    de cooperacin y actividades 3-4

    3.4 Planificacin de la recopilacin y anlisis de datos

    para estrategias de cooperacin y actividades 3-5

    3.4.1 Qu datos de referencia son necesarios? 3-5

    3.4.2 Qu datos de seguimiento se necesitan y de dnde se obtendrn? 3-6

    3.4.2.1 Visitas al terreno una valiosa fuente de informacin complementaria 3-63.4.2.2 Seguimiento a travs del contacto con beneficiarios determinacin

    del acceso al producto resultante de las actividades, la utilizacin

    del mismo y la satisfaccin al respecto por parte de los beneficiarios 3-6

    3.4.2.3 Quin recopila y analiza los datos sobre el terreno? 3-6

    3.5 Preparacin del plan y presupuesto de seguimiento y evaluacin 3-7

    3.5.1 El plan de seguimiento y evaluacin 3-7

    3.5.2 El presupuesto de seguimiento y evaluacin 3-9

    3.6 Planificacin de la notificacin e informacin de retorno 3-10

    3.6.1 Informes escritos 3-10

    3.6.2 Cmo utilizaran los directores de proyectos o programas

    los diferentes informes? 3.10

    3.6.3 La informacin de retorno en las estrategias de cooperacin y actividades 3-10

    Enseanzas extradas del mdulo 3 3.11

    Mdulo 4 Seguimiento y notificacin4.1 Particularidades del seguimiento y evaluacin 4-1

    4.2 Cmo disear un sistema de seguimiento y evaluacin (recordatorio) 4-2

    4.3 Comprobacin del diseo de la operacin 4-3

    4.3.1 Consideraciones para el seguimiento y evaluacin en las diferentes

    fases del ciclo del proyecto 4-3

    4.3.2 Revisin o preparacin de una matriz de planificacin 4-4

    4.4 Estimacin de la capacidad de seguimiento y evaluacin 4-5

    4.4.1 Definicin de funciones y responsabilidades en el seguimiento 4-54.4.2 Estimacin de la capacidad de seguimiento 4-6

    4.5 Planificacin de la recopilacin y anlisis de datos 4-7

    4.5.1 Datos de referencia 4-7

    4.5.2 Qu datos de seguimiento se necesitan y de dnde se obtendrn? 4-7

    4.5.2.1 Cul es el mnimo de informacin de seguimiento que debemos

    recopilar en el caso de emergencias repentinas? 4-7

    4.5.2.2 Visitas al terreno una valiosa fuente de informacin complementaria 4-8

    4.5.2.3 Seguimiento a travs del contacto con beneficiarios determinacin

    del acceso al producto resultante de las actividades, la utilizacin

    del mismo y la satisfaccin al respecto por parte de los beneficiarios 4-8

    4.5.3 Quin recopila y analiza los datos sobre el terreno? 4-9

    4.6 Preparacin del plan y presupuesto de seguimiento y evaluacin 4-104.6.1 El plan de seguimiento y evaluacin 4-10

    4.7 Planificacin de la notificacin e informacin de retorno 4-11

    4.7.1 Informes escritos 4-11

  • 8/21/2019 Manual Evaluacion Proyectos

    6/175

    4.7.1.1 Informes de situacin e informes de situacin de los suministros

    pendientes de entrega a los almacenes 4-11

    4.7.2 Cmo utilizaran los jefes de operaciones los informes? 4-11

    4.7.3 Informacin de retorno para las operaciones 4-11Enseanzas extradas del mdulo 4 4-12

    Mdulo 5 Evaluacin

    5.1 Introduccin 5-1

    5.1.1 Para qu? 5-1

    5.1.2 Para quin? 5-1

    5.1.3 Qu es un jefe de evaluacin? 5-1

    5.1.4 Por qu se evala? 5-1

    5.2 Un marco para la evaluacin 5-2

    5.3 Tipos de evaluacin 5-3

    5.4. Normas y principios de la evaluacin 5-4

    5.4.1 Normas generales 5-4

    5.4.2 Principios claves para evaluar operaciones 5-4

    5.4.3 Criterios de evaluacin 5-6

    5.5 Existe una base para determinar los criterios? 5-85.6 Plantear preguntas sobre el contexto de la evaluacin 5-10

    5.7 Plantear preguntas sobre la planificacin de ayuda humanitaria 5-11

    5.8 Planificar una autoevaluacin 5-15

    5.9 La autoevaluacin de la Sociedad Nacional forma parte del proceso

    de seguimiento 5-16

    5.9.1 Objetivos de la autoevaluacin y marco operativo 5-16

    Enseanzas extradas del mdulo 5 5-21

    Mdulo 6 Etapas en la planificacin y gestin de una evaluacin6.1 Etapa 1 Aclaracin/acuerdo sobre la necesidad de realizar una evaluacin 6-3

    6.1.1 Propsito de la evaluacin 6-3

    6.1.2 Consultas 6-3

    6.1.3 Cuestiones a evaluar 6-3

    6.1.4 Fuentes de financiacin 6-4

    6.2 Etapa 2 Planificacin de la evaluacin 6-5

    6.2.1 Planificacin de la evaluacin 6.5

    6.3 Etapa 3 Preparacin de los trminos de referencia de la evaluacin 6-6

    6.4 Etapa 4 Seleccin del equipo de evaluacin 6-15

    6.5 Etapa 5 Estudio terico (previo a la misin) 6-16

    6.6 Etapa 6 Ejecucin de la misin de evaluacin 6-16

    6.6.1 Previamente a la llegada del equipo de evaluacin al pas 6-17

    6.6.2 Durante la misin de evaluacin 6-17

    6.7 Etapa 7 Preparacin del informe de evaluacin 6-236.7.1 Procedimiento 6-23

    6.7.2 Orientacin para el jefe de evaluacin 6-24

    6.8 Etapa 8 Difusin del informe 6-25

    6.8.1 Qu ocurre con las recomendaciones? 6-25

    6.9 Etapa 9 Utilizacin de los resultados y aprendizaje a partir de la evaluacin 6-26

    6.10 Mejora de la eficacia del proceso de evaluacin 6-28

    6.10.1 Aclarar los objetivos 6-28

    6.10.2 Mejorar la disponibilidad y exactitud de la informacin de seguimiento 6-28

    6.10.3 Lograr que las evaluaciones sean tiles 6-29

    Enseanzas extradas del mdulo 6 6-28

  • 8/21/2019 Manual Evaluacion Proyectos

    7/175

    Mdulo 7 Estudios de referencia7.1 Qu es un estudio de referencia? 7-1

    7.2 Estudios de referencia para diferentes tipos de situaciones 7-3

    7.3 Planificacin y gestin de un estudio de referencia 7-5

    7.3.1 Es necesario realizar una encuesta de referencia? 7-5

    7.3.2 Quin realizar el estudio de referencia? 7-6

    7.3.3 Determinar los objetivos del estudio 7-6

    7.3.4 Determinar la pertinencia 7-7

    7.3.5 Determinar las preguntas y temas que deber abordar el estudio 7-7

    7.3.6 Seleccionar las unidades de estudio 7-7

    7.3.7 Decidir la utilizacin de un grupo de comparacin 7-8

    7.3.8 Controlar la posible influencia de un ao o intervalo de tiempo

    de caractersticas especiales 7-9

    7.3.9 Determinar qu datos secundarios se utilizarn 7-9

    7.3.10 Elegir tcnicas de recopilacin de datos primarios 7-9

    7.3.11 Seleccionar la muestra o los lugares que se visitarn 7-10

    7.3.12 Preparar el plan de trabajo y presupuesto 7-11

    7.4 Cmo analizar los datos y cmo elaborar informes a partir de los mismos 7-13

    7.4.1 La presentacin es esencial 7-137.4.2 Tener en cuenta la relacin con el seguimiento 7-13

    7.4.3 Utilizacin de los resultados 7-13

    7.4.4 Preparacin del informe 7-13

    7.5 Prximas etapas estudios complementarios para el seguimiento y evaluacin 7-16

    Enseanzas extradas del mdulo 7 7-17

    Mdulo 8 Herramientas para la recopilacin de datos8.1 Conceptos y definiciones 8-1

    8.1.1 Datos, informacin y calidad 8-1

    8.1.2 Exactitud, precisin y sesgo 8-2

    8.1.3 Mtodos cuantitativos y cualitativos 8-38.1.4 Ignorancia ptima 8-4

    8.2 Herramientas para la recopilacin de datos 8-5

    8.2.1 Qu es el diagnstico rpido? 8-5

    8.2.2 Qu es el diagnstico participativo? 8-6

    8.2.3 El inventario comunitario una herramienta prctica y rentable

    para la recopilacin de datos 8-8

    8.2.4 Qu es un estudio por muestreo? 8-10

    8.2.5 El seguimiento a travs del contacto con beneficiarios seguimiento

    de la probabilidad de alcanzar los objetivos 8-12

    8.2.5.1 Tcnicas para el seguimiento de indicadores de BCM en el nivel 1 8-13

    8.2.5.2 Tcnicas para el seguimiento de indicadores de BCM en el nivel 2 8-14

    8.2.6 Visitas al terreno 8-158.2.6.1 Quin deber formar parte del equipo que realiza las visitas al terreno? 8-15

    8.2.6.2 Seleccin de lugares - adnde ir? 8-15

    8.2.6.3 Con quin reunirse? 8-15

    8.2.6.4 Cmo realizar la labor sobre el terreno? 8-15

    8.2.6.5 Por qu constituye una prctica recomendable utilizar listas

    de verificacin de entrevistas? 8-16

    8.2.6.6 Anlisis de datos recopilados utilizando listas de verificacin 8-16

    8.2.6.7 Presentacin de informes cmo documentar y utilizar los resultados 8-17

    8.3 Utilizacin de datos secundarios 8-18

    8.4 Vnculos con material adicional de orientacin tcnica 8.19

    Enseanzas extradas del mdulo 8 8.20

    Mdulo 9 Glosario de seguimiento y evaluacin

    Anexo 1 Ejemplo de trminos de referencia para la realizacin de una evaluacin

  • 8/21/2019 Manual Evaluacion Proyectos

    8/175

  • 8/21/2019 Manual Evaluacion Proyectos

    9/175

    Introduccin Octubre de 2002

    i

    Introduccin

    La Divisin de Seguimiento y Evaluacin se complace en presentar este Manual como parte de su

    esfuerzo por lograr una mejora de las actividades de seguimiento y evaluacin llevadas a cabo por las

    partes interesadas. Aunque el Manual est concebido para ser utilizado por todas ellas, tiene

    especialmente presente la funcin de seguimiento y evaluacin desde la perspectiva de las SociedadesNacionales. El Manual presenta tiles herramientas de seguimiento y evaluacin, acompaadas por

    material terico.

    Previsiblemente, el Manual se complementar con una serie de sesiones de capacitacin e informacin

    autnomas o incorporadas en programas existentes, como el Programa de Formacin de Dirigentes de

    Sociedades Nacionales o el proceso de planificacin de proyectos (PPP). El Manual puede utilizarse

    junto con otros documentos pertinentes, tales como la Iniciativa Mejor Diseo de Programas

    (MDP), el Manual del proceso de planificacin del proyecto y el Operational framework for

    evaluation (marco operativo para la evaluacin), y es un documento que ir perfeccionndose y

    evolucionando a medida que lo vayamos utilizando en nuestro esfuerzo conjunto por lograr un

    aprendizaje organizacional.

    Desde hace tiempo, las partes interesadas han estado solicitando aclarar y desmitificar la funcin de

    seguimiento y evaluacin para convertirla en una herramienta de actuacin que contribuya a

    consolidar la MDP y el PPP. El presente Manual sistematiza una bsqueda ms rigurosa de mejores

    mtodos para determinar si las organizaciones hacen las cosas bien y si hacen las cosas

    adecuadas.

    El Manual de seguimiento y evaluacin est estructurado en mdulos, lo que facilita su lectura y

    permite hacer un recorrido lgico a travs del seguimiento y la evaluacin. Abordando diferentes

    cuestiones claves al final de cada uno de los mdulos, proporciona al lector la oportunidad de

    reflexionar y repasar sus conocimientos.

    La Federacin ha establecido ya la MDP. Muchos de los pases que viven situaciones de postconflicto

    continan padeciendo tensiones mucho tiempo despus del restablecimiento general de la paz y los

    elevados niveles de violencia social siguen constituyendo un factor de alteracin para las bases de

    subsistencia. La programacin explcita permite a las Sociedades Nacionales fortalecer las relaciones

    dentro de y entre comunidades divididas. La MDP hace hincapi en la importancia de analizar el

    contexto de las situaciones, describir las actividades de los programas, determinar el impacto y buscar

    nuevas posibilidades dentro de un slido marco analtico. Iniciativas de este tipo se han puesto a

    prueba en varios pases, incluidos Colombia y Nigeria. En este primer pas, los resultados pusieron de

    manifiesto la necesidad de intensificar la coordinacin entre diferentes departamentos de la Sociedad

    Nacional de la Cruz Roja Colombiana, especialmente en la planificacin de programas para personas

    desplazadas en el propio pas. En Nigeria, el anlisis segn la MDP sirve de ayuda al personal de la

    Cruz Roja de Nigeria para determinar formas de mejorar la puesta en prctica de programas de agua ysaneamiento. El presente Manual de seguimiento y evaluacin servir de apoyo a la MDP mediante la

    clara presentacin de preguntas que deben plantearse en torno al diseo de programas.

    Del mismo modo, el Manual de seguimiento y evaluacin est vinculado tambin al Manual del

    proceso de planificacin del proyecto, una nueva herramienta de gestin prctica con la que se

    pretende ayudar a mejorar la planificacin y elaboracin de informes por parte de las Sociedades

    Nacionales y la Federacin para alcanzar una calidad aceptada en el nivel internacional. El Manual del

    proceso de planificacin del proyecto, al igual que el de seguimiento y evaluacin, posibilita al

    usuario desarrollar con rapidez y facilidad herramientas compatibles con los requisitos de los

    principales donantes, para la identificacin, estimacin, ejecucin y evaluacin de proyectos. El

    Manual del proceso de planificacin del proyecto se ajusta a las necesidades de la Cruz Roja y de la

    Media Luna Roja y, al igual que el presente Manual, es aplicable tanto a operaciones de socorro comode desarrollo.

  • 8/21/2019 Manual Evaluacion Proyectos

    10/175

    Introduccin Octubre de 2002

    ii

    Como resultado de esta iniciativa en torno al seguimiento y evaluacin se prev que:

    los jefes de programas/proyectos poseern los conocimientos necesarios y dispondrn de las

    herramientas adecuadas para aplicar el enfoque de seguimiento y evaluacin;

    mejorar la calidad de las propuestas y ejecucin de programas/proyectos, y de la elaboracin

    de los informes correspondientes;

    se establecern normas de planificacin y una terminologa comn;

    la capacitacin en materia de planificacin se ajustar a las necesidades y requerimientos de la

    Federacin, las Sociedades Nacionales y los donantes;

    el sistema de planificacin de la Federacin adquirir mayor coherencia con el de sus

    diferentes asociados y donantes; y

    en el largo plazo y tras un cierto perodo de capacitacin en materia de seguimiento y

    evaluacin y de puesta en prctica de actividades de seguimiento y evaluacin, las Sociedades

    Nacionales mejorarn la generacin de ingresos y la obtencin de fondos, la calidad de sus

    programas/proyectos y la elaboracin de informes.

    Cada vez ms, las Sociedades Nacionales hacen hincapi en la evaluacin de la vulnerabilidad y de lacapacidad (EVC). Se trata de un nuevo mtodo dinmico de anlisis promovido por la Federacin y

    complementario al enfoque orientado a las necesidades. La EVC puede utilizarse como herramienta

    de diagnstico para evaluar la capacidad institucional y como herramienta para evaluar la eficacia e

    impacto de programas actuales. Para verificar que en las fases de preparacin para emergencias,

    intervencin y rehabilitacin se hayan cubierto las necesidades bsicas de las personas afectadas por

    un episodio de crisis, es importante la evaluacin tradicional orientada a las necesidades. La Cruz

    Roja Nepalesa ha realizado dos EVC piloto utilizando tcnicas de diagnstico rural participativo.

    Estas evaluaciones mostraron la existencia de una relacin entre la vulnerabilidad, por un lado, y la

    migracin estacional, la carencia de tierra y el grado de alfabetizacin, por otro lado, y permitieron

    clasificar las reas segn el riesgo al que estn expuestas. Como respuesta al anlisis realizado en la

    EVC, el seguimiento y evaluacin pueden posibilitar la supervisin de los progresos.

    El presente Manual de seguimiento y evaluacin, junto con otras herramientas del marco de

    programacin y planificacin de la Federacin MDP, PPP y EVC , constituye una caja de

    herramientas esencial para las Sociedades Nacionales, que aborda sus propias necesidades de

    informacin para la gestin as como las de los donantes y partes interesadas. Todas las herramientas

    de esta caja sirven para diferentes tareas, pero todas ellas deben ser utilizadas con creatividad.

    "Se establecer un sistema de evaluacin en toda la Federacin que incluir la autoevaluacin y el

    examen por homlogos para medir el progreso en todas las reas esenciales e incorporar las

    enseanzas en el desarrollo de programas futuros."

    Estrategia 2010

  • 8/21/2019 Manual Evaluacion Proyectos

    11/175

    Mdulo 1: Resumen Octubre de 2002

    1-1

    1. RESUMEN

    1.1 Objetivo del Manual

    El objetivo del Manual es suministrar a la Federacin, a las Sociedades Nacionales de laCruz Roja y de la Media Luna Roja y a los asociados ejecutores la informacin necesariapara disear, gestionar y promover un sistema de seguimiento y evaluacin orientado a

    la obtencin de resultados para operaciones de emergencia y desarrollo.

    1.2 Cul es el contenido del Manual?

    El manual ofrece un recorrido estructurado a travs del diseo del seguimiento y la evaluacin en elcontexto de la Federacin y las Sociedades Nacionales.

    Mdulos Contenido de los mdulos

    1. ResumenEste mdulo presenta losconocimientos bsicos que debenposeerse en torno a los conceptosutilizados en el seguimiento yevaluacin orientados a la obtencinde resultados en el contexto de laFederacin y las SociedadesNacionales.

    Objetivo del Manual Cul es el contenido del Manual? Qu principios y definiciones deben tenerse presentes? Qu es el marco para el seguimiento y evaluacin?

    2. Seguimiento y evaluacinEste mdulo sirve de orientacingenrica en cuanto al diseo de unsistema de seguimiento y evaluacin.En mdulos posteriores se suministrandetalles adicionales especficos paralos diferentes tipos de operaciones dela Federacin y de las SociedadesNacionales.

    Cmo disear un sistema de seguimiento y evaluacin Comprobacin del diseo de la operacin Estimacin de la capacidad de seguimiento y

    evaluacin Planificacin de la recopilacin y anlisis de datos Preparacin del plan y presupuesto de seguimiento y

    evaluacin Planificacin de la notificacin e informacin de

    retorno

    3. Seguimiento de programas

    de las Sociedades Nacionales

    y notificacin al respectoBasndose en la orientacin genricaofrecida en el mdulo 2, este mduloinforma en torno al seguimiento ynotificacin relativos especficamentea programas ejecutados en el nivelnacional.

    Cmo disear un sistema de seguimiento y evaluacin

    para programas de las Sociedades Nacionales Comprobacin del diseo de programas y actividades

    de las Sociedades Nacionales Estimacin de la capacidad de seguimiento y

    evaluacin para estrategias de cooperacin yactividades

    Planificacin de la recopilacin y anlisis de datos paraestrategias de cooperacin y actividades

    Preparacin del plan y presupuesto de seguimiento yevaluacin

    Planificacin de la notificacin e informacin de

    retorno

  • 8/21/2019 Manual Evaluacion Proyectos

    12/175

    Mdulo 1: Resumen Octubre de 2002

    1-2

    4. Seguimiento y notificacinBasndose en la orientacin genricaofrecida en el mdulo 2, este mduloorienta en torno al seguimiento.

    Particularidades del seguimiento y evaluacin Cmo disear un sistema de seguimiento y evaluacin

    (recordatorio)

    Comprobacin del diseo de la operacin Estimacin de la capacidad de seguimiento yevaluacin

    Planificacin de la recopilacin y anlisis de datos Preparacin del plan y presupuesto de seguimiento y

    evaluacin Planificacin de la notificacin e informacin de

    retorno

    5. EvaluacinEste modulo orienta de forma genrica

    en torno al diseo y realizacin de unaevaluacin. Adems, sirve deorientacin especfica en relacin a laautoevaluacin y a la evaluacin deestrategias de cooperacin.

    Introduccin Un marco para la evaluacin Tipos de evaluacin Normas y principios de la evaluacin Existe una base para determinar los criterios? Plantear preguntas sobre el contexto de la evaluacin Plantear preguntas sobre la planificacin de ayuda

    humanitaria Planificar una autoevaluacin La autoevaluacin de la Sociedad Nacional forma parte

    del proceso de seguimiento

    6. Etapas en la planificacin ygestin de una evaluacinEl mdulo detalla cmo abordar conseguridad la realizacin de unaevaluacin.

    Etapa 1 Aclaracin/acuerdo sobre la necesidad de realizaruna evaluacin Etapa 2 Planificacin de la evaluacin Etapa 3 Preparacin de los trminos de referencia de la

    evaluacin Etapa 4 Seleccin del equipo de evaluacin Etapa 5 Estudio terico (previo a la misin) Etapa 6 Ejecucin de la misin de evaluacin Etapa 7 Preparacin del informe de evaluacin Etapa 8 Difusin del informe Etapa 9 Utilizacin de los resultados y aprendizaje a partir

    de la evaluacin

    Mejora de la eficacia del proceso de evaluacin

    7. Estudios de referenciaBasndose en la orientacin genricaofrecida en el mdulo 2, este mduloorienta en torno al diseo yelaboracin de un estudio dereferencia para una operacin oprograma. Se proporcionan vnculospertinentes con el mdulo 8, en el cualse ofrecen detalles adicionales sobremtodos especficos de recopilacinde datos.

    Qu es un estudio de referencia? Estudios de referencia para diferentes tipos de situaciones Planificacin y gestin de un estudio de referencia Cmo analizar los datos y cmo elaborar informes a partir de

    los mismos Prximas etapas estudios complementarios para el

    seguimiento y evaluacin

  • 8/21/2019 Manual Evaluacion Proyectos

    13/175

    Mdulo 1: Resumen Octubre de 2002

    1-3

    8. Herramientas para la

    recopilacin de datosEste mdulo ofrece detalles sobreherramientas pertinentes derecopilacin de datos que pueden serutilizadas para el seguimiento yevaluacin.

    Conceptos y definiciones Herramientas para la recopilacin de datos Utilizacin de datos secundarios Vnculos con material adicional de orientacin tcnica

    9. Glosario de seguimiento y evaluacinEl glosario proporciona definiciones y explicaciones para los conceptos utilizados actualmente en el contextodel seguimiento y la evaluacin en la Federacin y las Sociedades Nacionales.

  • 8/21/2019 Manual Evaluacion Proyectos

    14/175

    Mdulo 1: Resumen Octubre de 2002

    1-4

    1.3 Qu principios y definiciones deben tenerse presentes?

    1.3.1 Gestin basada en resultados

    La Federacin y las Sociedades Nacionales estn comprometidas a aplicar una gestin basada en

    resultados. Este tipo de gestin pretende mejorar su propia eficacia y la rendicin de cuentas: definiendo resultados previstos que se ajusten a la realidad, haciendo un seguimiento de los progresos alcanzados hacia el logro de los resultados

    previstos, tomando las decisiones de gestin segn los resultados que se obtienen, y notificando sobre el rendimiento.

    Un aspecto central de la gestin orientada a la obtencin de resultados es la cadena de resultados,definida como orden causal de una operacin necesario para alcanzar los objetivos deseados. Lacadena de resultados empieza por los insumos, pasa por actividades y producto, y culmina enconsecuencias e impacto (meta). La cadena de resultados proporciona el marco para identificar los

    indicadores para el seguimiento y la evaluacin. La figura 1.1 muestra la terminologa y definicionesempleadas en relacin con la cadena de resultados.

    Figura 1.1: Cadena de resultados

    Impacto(meta)

    Consecuencias

    Producto

    Actividades

    Insumos

    Resultados positivos y negativos, intencionados o no, en ellargo plazo, producidos directa o indirectamente por unaoperacin de la Federacin o de Sociedades Nacionales.

    Resultados en el medio plazo derivados del producto de una

    operacin.

    Productos, bienes de capital y servicios resultantes de unaoperacin de la Federacin y/o de Sociedades Nacionales.

    Acciones emprendidas o labor realizada a travs de las cualesse movilizan los insumos para producir un productoespecfico.

    Recursos financieros, humanos y materiales necesarios para

    ejecutar la operacin.

    Resultados

    Qu significa gestin orientada a la obtencin de resultados para la Federacin y las SociedadesNacionales? Es una gestin que: ampla el alcance del seguimiento y evaluacin a lo largo de la cadena de resultados; garantiza que las consecuencias y el impacto (meta) se incluyan en los planes para medir los

    progresos y el rendimiento; implica un alejamiento de los insumos y actividades; traslada el inters hacia la medicin de los cambios en el comportamiento y bases de

    subsistencia de los beneficiarios.

  • 8/21/2019 Manual Evaluacion Proyectos

    15/175

    Mdulo 1: Resumen Octubre de 2002

    1-5

    1.3.2 Vinculacin del seguimiento y evaluacin a una matriz de planificacin

    El principal resultado de un enfoque lgico de diseo de un proyecto es la matriz de planificacin omarco lgico (vase figura 1.2). La Federacin y las Sociedades Nacionales comparten un enfoquerelativo a la planificacin en matriz resumido en el Manual del proceso de planificacin del

    proyecto.

    Figura 1.2: Relacin de la matriz de planificacin con la cadena de resultados

    Meta

    Propsito

    Consecuencias

    Actividades

    Insumos(recursos)

    Resultado, en el nivel ms elevado, al cual pretende contribuir

    una operacin de la Federacin o de Sociedades Nacionales.

    Situacin mejorada a la que pretende contribuirsignificativamente una operacin, suponiendo que se concluya

    con xito y en el tiempo previsto.

    Productos, bienes de capital y servicios resultantes

    de una operacin.

    Acciones emprendidas o labor realizada a travs de las cualesse movilizan los insumos para producir un producto especfico.

    Recursos financieros, humanos y materiales necesarios paraejecutar la operacin.

    Resultado

    s

    Matriz deplanificacin

    Cadena de resultados

    La matriz de planificacin es una tabla resumen, de no ms de 2-3 pginas, y normalmente acompaaal documento de diseo de la operacin (vase figura 1.3).

  • 8/21/2019 Manual Evaluacion Proyectos

    16/175

    Mdulo 1: Resumen Octubre de 2002

    1-6

    Figura 1.3: Matriz de planificacin

    Lo que conseguir la operacin;lo que pretende lograr

    Cmo se medir elrendimiento

    Factores no sujetos al control de losresponsables de gestin delproyecto que podran afectar alrendimiento del mismo

    Jerarqua de la matrizde planificacin

    Indicadores derendimiento

    Medios deverificacin

    Hiptesis yriesgos

    Meta

    Objetivo, en el nivel mselevado, al cual pretendencontribuir esta y otrasoperaciones.

    (Impacto)

    Indicadores (crecientenormalizacin) para medir elrendimiento del programa.

    Sistema de evaluacin delprograma.

    (Meta a meta superior)

    Riesgos relativos al impactoestratgico.

    Propsito

    Consecuencia de unaoperacin. Cambios en elcomportamiento de losbeneficiarios, en sistemas oen el rendimiento institucionalresultantes de la combinacinde la estrategia aplicada para

    la obtencin del producto y lashiptesis claves.

    (Consecuencias)

    Medidas que describen ellogro del propsito. Valor,beneficio y rendimiento de lainversin.

    Personas, eventos,procesos y fuentes dedatos para organizar elsistema de evaluacin de laoperacin.

    (Propsito a meta)

    Riesgos relativos al impactoen el nivel de programa.

    Producto

    Lo que realmente se produce.Lo que puede considerarseresponsable de haberproducido la operacin.

    Indicadores de producto quemiden los bienes y serviciosque finalmente resultan de laoperacin.

    Personas, eventos,procesos y fuentes dedatos sistema desupervisin y seguimientopara validar el diseo de laoperacin.

    (Producto a propsito)

    Riesgos relativos a la eficaciadel diseo.

    Actividades

    Principales grupos deactividades que debenllevarse a cabo a fin deconseguir el producto.

    Insumos/recursos

    Presupuesto por actividades.Recursos econmicos,materiales y humanosnecesarios para producir elproducto.

    Personas, eventos,procesos y fuentes dedatos sistema deseguimiento para validar losprogresos en la ejecucin.

    (Actividades a producto)

    Riesgos relativos a laejecucin y la eficiencia.

    1.3.3 Qu es el seguimiento?

    El seguimiento es la tarea diaria de gestin de recopilar y analizar informacin que revela cmoevoluciona una operacin y los aspectos, si acaso los hay, que deben corregirse.

    El seguimiento es una actividad continua que hace uso de la recopilacin sistemtica dedatos sobre indicadores especificados a fin de informar a los responsables de gestin y a

    las principales partes interesadas de una operacin en curso de la Federacin y/o de las

    Sociedades Nacionales sobre los progresos registrados y los resultados obtenidos en

    relacin con la utilizacin de los fondos asignados.

    La notificacin es parte integrante del seguimiento. La informacin obtenida en el seguimiento: se compila en informes ordinarios y especiales; se comparte con asociados ejecutores, donantes y beneficiarios; se utiliza para sacar conclusiones en las evaluaciones.

    La figura 1.4 refleja las preguntas claves de cada etapa de la matriz de planificacin a las que deberprestarse especial atencin en la realizacin del seguimiento. Los responsables de gestin debernrecibir peridicamente informacin actualizada relativa a la respuesta a estas preguntas para poderresponder oportuna y constructivamente a fin de poder encarrilar la operacin hacia el logro de sus

    objetivos.

  • 8/21/2019 Manual Evaluacion Proyectos

    17/175

    Mdulo 1: Resumen Octubre de 2002

    1-7

    Figura 1.4: Preguntas para el seguimiento y matriz de planificacin

    Meta

    Propsito

    Producto

    Actividades

    Insumos

    Se estn realizando las actividades segnel calendario y presupuesto planificados?

    Conducen las actividades al productoprevisto?

    Indicadores de seguimiento a travs del

    contacto con beneficiariosConduce elproducto al logro del propsito?

    Qu estprovocando retrasoso resultadosimprevistos? Estsucediendo algo quedebera empujar a

    los responsables degestin a modificarel plan de ejecucinde la operacin?Estn disponibles los recursos econmicos,

    humanos y materiales en el momento,cantidad y calidad apropiados?

    La medida de los cambios en el nivel de meta requiere un plazo detiempo ms largo, por lo que en lugar de abordarse durante el

    seguimiento, se realiza durante la evaluacin.

    Matriz de

    planificacinPreguntas para el seguimiento

    Se estn alcanzando las consecuenciasprevistas?

    * Los indicadores de seguimiento a travs del contacto con beneficiarios (BCM de sus siglas en ingls) miden los cambios en elcomportamiento de los beneficiarios como resultado del producto de la operacin y constituyen un medio importante para dirigir losprogresos hacia las mejoras que se desean alcanzar en las condiciones de vida o bases de subsistencia.

    1.3.4 Qu es la evaluacin?

    La evaluacin es la valoracin sistemtica y objetiva de una operacin en curso o

    concluida, de un programa o de una poltica, as como de su diseo, ejecucin (o

    aplicacin) y resultados. Se trata de determinar la pertinencia y logro de los objetivos, as

    como la eficiencia, eficacia, impacto (meta) y sostenibilidad. La evaluacin debersuministrar informacin fidedigna y til que permita incorporar enseanzas en el proceso detoma de decisiones relativas a la gestin.

    En la figura 1.5 se exponen las preguntas bsicas a las que deber dar respuesta la evaluacin.

  • 8/21/2019 Manual Evaluacion Proyectos

    18/175

    Mdulo 1: Resumen Octubre de 2002

    1-8

    Figura 1.5: Preguntas para la evaluacin y matriz de planificacin

    Meta

    Propsito

    Producto

    Actividades

    Insumos

    EficaciaSe han alcanzado los objetivos

    de la operacin?Ha conducido el producto alas consecuencias previstas?

    ImpactoQu cambios ha ocasionado la

    operacin?Se han producido cambiosimprevistos o no intencionados?

    EficienciaHan estado las reservas de productos disponibles en el momento,

    cantidad y calidad apropiados?Se han realizado las actividades segn el calendario y presupuestoplanificados?Ha sido rentable la obtencin de los productos?

    SostenibilidadEs probable que los beneficios se

    mantengan durante un largoperodo de tiempo una vezconcluida la asistencia?

    PertinenciaHan sido coherentes los objetivos

    de la operacin con lasnecesidades de los beneficiarios ylas polticas de la Cruz Roja y dela Media Luna Roja?

    Matriz deplanificacin Preguntas para la evaluacin

    1.3.5 Seguimiento y evaluacin durante la ejecucin de una operacin

    El seguimiento se realiza durante toda la operacin. Antes de comenzar la operacin, habitualmente seelabora una estudio de referencia. La evaluacin puede llevarse a cabo, por diferentes motivos, endiferentes momentos de una operacin.

    Figura 1.6: Seguimiento y evaluacin durante la ejecucin de una operacin

    Duracin de la operacin

    Seguimiento permanente y exmenes

    peridicos de la gestinFlujodebene

    ficios

    Tiempo

    Estudio dereferencia

    Evaluacinex post

    Evaluacinfinal

    EvaluacinintermediaEvaluacin

    de laevolucin

  • 8/21/2019 Manual Evaluacion Proyectos

    19/175

    Mdulo 1: Resumen Octubre de 2002

    1-9

    1.4 Qu es el marco para el seguimiento y evaluacin?

    Como expresin de la orientacin hacia la obtencin de resultados caracterstica de la Federacin seha establecido un nuevo marco para el seguimiento y evaluacin orientados a la obtencin deresultados, que ha sido aprobado por los rganos superiores de gestin. El marco esboza el propsito

    y la definicin habitual de los dos conceptos, los principios y funciones del seguimiento y evaluacinorientados a la obtencin de resultados, as como el enfoque general de la Federacin en torno alseguimiento y a la evaluacin. En el Operational framework for evaluation(marco operativo para laevaluacin) de la Federacin pueden consultarse detalles acerca de este enfoque.

    1.4.1 El propsito de un nuevo marco para el seguimiento y evaluacin

    El marco se centra principalmente en fortalecer la funcin de seguimiento y evaluacin dentro de laFederacin, a fin de asegurar: mayor responsabilidad en la utilizacin de recursos, mayor concentracin en la obtencin de resultados, una base ms slida para la toma de decisiones, y la promocin del aprendizaje e intercambio de conocimientos en el mbito institucional.

    1.4.2 Principios del seguimiento y evaluacin orientados a la obtencin de

    resultados en la Federacin

    El marco de la Federacin para el seguimiento y evaluacin se basa en cuatro principios rectoresgenerales:

    I. Todas las operaciones de la Federacin y de Sociedades Nacionales debern ser sometidasperidica y sistemticamente a seguimiento y evaluacin (incluyendo procesos, rendimiento y

    contexto), a no ser que la situacin sea tal que ponga en peligro la seguridad del personal de laFederacin y de las Sociedades Nacionales y/o de los copartcipes.

    II. El seguimiento y la evaluacin deben estar incorporados en el diseo de todas las operacionesde emergencia y desarrollo.

    III. Los sistemas de seguimiento y evaluacin deben ser sensibles y apropiados en relacin conlas caractersticas de la situacin y la operacin que se somete a seguimiento o evaluacin. Enla medida de lo posible, estos sistemas debern combinarse con los sistemas correspondientesde los asociados ejecutores.

    IV. Los sistemas de seguimiento y evaluacin deben hacerse eco de las necesidades de

    informacin y enfoques establecidos por polticas (Principios Fundamentales del MovimientoInternacional de la Cruz Roja y de la Media Luna Roja) y estrategias (p. ej.Estrategia 2010)claves de la Federacin as como de los requisitos relativos a la notificacin. Estos sistemasdebern, adems, suministrar datos claves e informacin sobre los resultados, tanto para lossistemas de la Federacin y las Sociedades Nacionales como para los sistemas locales deinformacin para la gestin orientada a la obtencin de resultados.

  • 8/21/2019 Manual Evaluacion Proyectos

    20/175

    Mdulo 1: Resumen Octubre de 2002

    1-10

    1.4.3 Enfoque de la Federacin relativo al seguimiento y evaluacin

    1.4.3.1 El enfoque del seguimiento orientado a la obtencin de resultados

    La herramienta bsica para establecer un sistema slido de seguimiento es el enfoque del modelo

    lgico. Entre los componentes esenciales de este sistema deben incluirse: Objetivos de la operacin claramente definidos, expresados en una matriz de planificacin en

    la que se determine la poblacin beneficiaria y se persigan los objetivos conforme a unconjunto de normas establecidas.

    Para cada objetivo e hiptesis, un mnimo de indicadores de resultados, tanto cuantitativoscomo cualitativos, cuya obtencin y anlisis sean factibles.

    Una estimacin de la capacidad de seguimiento y, cuando la capacidad requiera serfortalecida, una estimacin de las necesidades de capacitacin.

    Un plan de recopilacin y anlisis de datos, incluidos datos de referencia y datos actuales. Elplan debe considerar una combinacin de tcnicas tales como el anlisis de informes, visitasal terreno, y estudios especiales y por muestreo.

    Un plan y presupuesto de seguimiento y evaluacin que resuman las necesidades deinformacin, la recopilacin y anlisis de datos y la utilizacin de la informacin (elaboracinde informes y presentacin de la informacin). El plan debe identificar a los responsables, yse sealar y actualizar peridicamente el plazo en el cual deban realizarse las tareas claves.El presupuesto debe incluir fondos para personal, asesores, viajes, reuniones y tallerespertinentes, recopilacin de datos de referencia, gestin de datos, informes y estudiosespeciales y, en el caso de estar previstas actividades de capacitacin, fondos para elfortalecimiento de la capacidad en este mbito.

    Un sistema de notificacin e informacin de retorno que permita a los rganos de gestintomar decisiones oportunamente de acuerdo con los hallazgos del seguimiento; determinarquin es responsable de asegurar intervenciones justiciables.

    Una reunin anual de revisin en la que participen las partes interesadas claves y que

    permitir estimar anualmente de forma participativa el rendimiento y resultados obtenidoshasta la fecha as como planificar las actividades de seguimiento y evaluacin del siguienteao.

    1.4.3.2 El enfoque de la evaluacin orientada a la obtencin de resultados

    En relacin con las evaluaciones, es esencial disponer de un sistema slido de seguimiento, a fin desuministrar informacin fidedigna sobre los resultados. La informacin suministrada por los estudiosde referencia, informes de situacin y reuniones de revisin permite a la Federacin y las SociedadesNacionales centrar sus evaluaciones en la obtencin de resultados y en la confirmacin de los yaexistentes, aparte de en la rendicin de cuentas a la Junta de Gobierno, al Secretario General y a losdonantes.

    Las evaluaciones realizadas por evaluadores independientes slo se llevan a cabo cuando existe unanecesidad especial de gestin o cuando esa evaluacin puede brindar informacin para las necesidadesde la organizacin en el largo plazo relativas a estrategias y polticas.

    La evaluacin desempea tambin una funcin importante en una organizacin en proceso deaprendizaje. A fin de hacer ms hincapi en una reflexin general y en el aprendizaje a partir debuenas y malas experiencias, se estimula, como mecanismo de aprendizaje habitual en todas lasoperaciones, la realizacin de autoevaluaciones efectuadas conjuntamente por Sociedades Nacionalesy asociados ejecutores.

  • 8/21/2019 Manual Evaluacion Proyectos

    21/175

    Mdulo 1: Resumen Octubre de 2002

    1-11

    Por ejemplo, durante la ejecucin de una operacin (o de una de sus fases) deber realizarse al menosuno de los tres siguientes ejercicios de evaluacin: Autoevaluacin realizada por el jefe de operaciones. Evaluacin no obligatoria realizada por asesores independientes y dirigida por la Sociedad

    Nacional.

    Evaluacin independiente obligatoria realizada por asesores independientes y dirigida porla Divisin de Seguimiento y Evaluacin. Se realizar:- en toda operacin cuyo presupuesto acumulativo de todas las fases alcance o exceda

    los 5 millones de francos suizos;- en el caso de operaciones especiales, evaluaciones sectoriales o temticas, segn lo

    solicite la Junta de Gobierno.

  • 8/21/2019 Manual Evaluacion Proyectos

    22/175

    Mdulo 1: Resumen Octubre de 2002

    1-12

    ENSEANZAS EXTRADAS DEL MDULO 1

    RESUMEN

    LA FEDERACIN ABOGA POR UN ENFOQUE ORIENTADO A LA OBTENCIN DERESULTADOS.

    EN ESE SENTIDO, HACE HINCAPI EN UNA PLANIFICACIN ORIENTADA A LAOBTENCIN DE RESULTADOS.

    UN ENFOQUE APROPIADO PARA LA PLANIFICACIN ORIENTADA A LAOBTENCIN DE RESULTADOS ES EL MODELO LGICO.

    EL MODELO LGICO IMPLICA LA UTILIZACIN DE MATRICES DEPLANIFICACIN, EN LAS QUE SE DETALLAN INDICADORES DE RENDIMIENTO,MEDIOS DE VERIFICACIN E HIPTESIS.

    LAS PREGUNTAS A LAS QUE DEBE DAR RESPUESTA EL SEGUIMIENTO SE

    DEDUCEN DE LA MATRIZ DE PLANIFICACIN. EL SEGUIMIENTO SUPONE QUESE HAYAN ESTABLECIDO LOS OBJETIVOS EN MATRICES DE PLANIFICACIN.LOS OBJETIVOS INCLUYEN ESPECIFICACIONES ACERCA DE LOSBENEFICIARIOS CONFORME A LAS NORMAS DE OBTENCIN.

    LAS PREGUNTAS A LAS QUE DEBE DAR RESPUESTA LA EVALUACIN SEDEDUCEN DE LA MATRIZ DE PLANIFICACIN. PARA REALIZAR LAEVALUACIN ES NECESARIA LA INFORMACIN OBTENIDA EN ELSEGUIMIENTO.

  • 8/21/2019 Manual Evaluacion Proyectos

    23/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-1

    2. Seguimiento y evaluacin

    2.1 Cmo disear un sistema de seguimiento y evaluacin

    Para introducirse en el tema del seguimiento y evaluacin y su vinculacin con la matriz deplanificacin, consulte el punto 1.3 Qu principios y definiciones deben tenerse presentes?(mdulo 1).

    En la tabla 2.1 se resumen las etapas del diseo de un sistema de seguimiento y evaluacin. Estasetapas y los aspectos reflejados en la lista de tareas acompaante se presentan con ms detalle en lossiguientes apartados.

    Tabla 2.1: Etapas del diseo de un sistema de seguimiento y evaluacin

    Etapa Lista de tareas

    Compruebe el diseo dela operacin

    Revise y corrija (y prepare si es necesario) la matriz de planificacin.

    Asegrese de que los objetivos reflejados en la meta (impacto), propsito(consecuencias), producto e hiptesis estn definidos con claridad y sonmensurables.Asegrese de que los indicadores estn concretados adecuadamente en susaspectos cuantitativo, cualitativo y temporal.

    Valore la capacidad deseguimiento yevaluacin

    Identifique los recursos humanos y econmicos disponibles.Valore los requisitos de capacitacin para todo el personal de seguimiento, tantode la Federacin y las Sociedades Nacionales como de organismos copartcipes.Especifique los requisitos de capacitacin.

    Planifique larecopilacin y anlisisde datos

    Compruebe la fiabilidad y exactitud de las fuentes de informacin existentes afin de determinar qu datos estn ya disponibles.Decida qu informacin adicional deber recopilarse para servir de referencia,para el seguimiento y para la evaluacin.Establezca un plazo de tiempo y un calendario para la recopilacin yprocesamiento de datos y acuerde las responsabilidades.

    Prepare el plan ypresupuesto deseguimiento yevaluacin

    Resuma las necesidades de informacin acordadas, la recopilacin de datos y lautilizacin de la informacin (elaboracin de informes y presentacin de lainformacin) en un plan de seguimiento y evaluacin.Resuma los requisitos para fortalecer la capacidad y brindar apoyo.Calcule el costo de todas las actividades de seguimiento y evaluacin eidentifique fuentes de financiacin.

    Planifique lanotificacin y lainformacin de retorno

    Disee el sistema de notificacin y especifique el formato de los informes.Disee un sistema de informacin de retorno y toma de decisiones para losresponsables de gestin.

  • 8/21/2019 Manual Evaluacion Proyectos

    24/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-2

    2.2 Comprobacin del diseo de la operacin

    El punto de partida del diseo de un sistema de seguimiento y evaluacin es examinar la matriz deplanificacin y sus elementos complementarios el calendario de ejecucin y el presupuesto (vasepunto 1.3.2 Vinculacin del seguimiento y evaluacin a una matriz de planificacin(mdulo

    1)), as como las directrices del documento del proyecto o del plan operativo relativas al seguimientoy evaluacin.

    Es esencial que exista un vnculo claro entre la matriz de planificacin y el plan de seguimiento yevaluacin, y que el flujo de informacin atienda las necesidades de los responsables de gestin en losdiferentes niveles de la jerarqua de gestin. La figura 2.1 resume los vnculos necesarios.

    Figura 2.1: Componentes del plan de seguimiento y evaluacin

    y su vinculacin con la matriz de planificacin

    Herramientas de planificacin de proyectos Componentes del plan de seguimiento yevaluacin

    Matriz de planificacin

    Jerarqua deresultados

    Indicadores derendimiento

    Medios deverificacin

    Hiptesis yriesgos

    Meta

    Propsito

    Producto

    Actividades Insumos Costos

    Calendario de ejecucinActividades E F M A M J J A S O N D

    Actividad 1

    Actividad 2

    Actividad 3

    Etc.

    Presupuesto

    Artculo Cantidad Costo

    Alimentos

    Artculos no alimenticios

    Etc.

    El Manual del proceso de planificacin del proyectode la Federacin sirve de orientacin para eldesarrollo y aplicacin de un enfoque basado en el modelo lgico. Cuando ya existe una matriz deplanificacin, es importante comprobar su lgica y viabilidad, a fin de garantizar que realmenterepresenta un plan viable y mensurable para lograr el propsito y meta de la operacin.

    Estudio de referencia y evaluaciones

    Medidas para la recopilacin de datos de referencia yestudio complementario de los indicadores deconsecuencias

    Planes para la autoevaluacin o cualquier evaluacinregular que deba ser realizada por asesores externos

    Seguimiento

    Planes para la recopilacin y anlisis de datos sobre:- el logro de objetivos en los niveles de producto y

    propsito- la realizacin de actividades y conformidad con

    obligaciones contractuales

    - los gastos en comparacin con el presupuesto- los iesgos e hiptesisNotificacin Presentacin y formato acordados para los informes

    (segn niveles de gestin)

    Sistema acordado para informacin de retorno y revisinde la gestin

    Fortalecimiento de la capacidad y apoyo Especificacin de los requisitos de capacitacin y apoyo

    para la Federacin y los asociados ejecutores Planes para comprobar la calidad y exactitud de los

    resultados del seguimiento y la evaluacin

    Plan de trabajo y presupuesto de seguimiento y

    evaluacin Actividades de seguimiento y evaluacin incluidas en la

    matriz de planificacin y en el calendario de ejecucin Costos del seguimiento y de la evaluacin incluidos en

    el presupuesto

  • 8/21/2019 Manual Evaluacion Proyectos

    25/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-3

    2.2.1 Con qu claridad estn formulados los objetivos?

    Los objetivos debern valorarse en cuanto a su conformidad con las normas de actuacin de laFederacin y de las Sociedades Nacionales.

    2.2.2 Se han tenido en cuenta factores externos?

    La ejecucin exitosa de la operacin depende tambin de factores no sujetos al control de losresponsables de gestin: las hiptesis y riesgos especificados en la matriz de planificacin de laoperacin.

    Estos factores tambin debern someterse a seguimiento, a fin de que los responsables de gestinpuedan reaccionar a los cambios producidos en el entorno de actuacin de la operacin. Para poderrealizar un seguimiento de las hiptesis y riesgos, stos debern estar incorporados en el plan deseguimiento y evaluacin y especificarse mediante indicadores. Es importante volver a estudiar lashiptesis y riesgos durante la operacin, para garantizar que siguen siendo pertinentes.

    2.2.3 Medirn los indicadores eficazmente los progresos?

    Un indicador es un factor cuantitativo o cualitativo que constituye un medio sencillo y

    seguro para medir los logros o reflejar los cambios vinculados a un proyecto/programa.Cuando sea posible y pertinente, los indicadores debern tener en cuenta la recopilacin dedatos desglosados (segn sexo, edad y otras variables pertinentes). Para cada indicadorseleccionado se deber especificar una fuente de informacin y detallar cundo y cmo serecopilar la informacin necesaria y quin efectuar esta labor.

    Tabla 2.2: Reglas de mejores prcticas para indicadores y medios de verificacin

    IndicadoresLos indicadores debern ser inteligentes (especficos, mensurables, exactos, ajustados a la

    realidad y oportunos).

    Los indicadores debern poderse verificar objetivamente, lo cual significa que diferentes

    personas que utilicen el mismo indicador obtendrn las mismas mediciones.

    Los indicadores de consecuencias (nivel de propsito) reflejan la poblacin beneficiaria y el tipo

    de beneficios.

    Los indicadores de consecuencias incluyen el grado en que se logra que el grupo beneficiario

    acceda a la ayuda prestada y la utilice, y el grado en que este grupo queda satisfecho.

    Medios de verificacin

    Los indicadores pueden medirse, con un costo razonable, con medios existentes o con

    procedimientos que debern desarrollarse en el marco del proyecto. Las responsabilidadesestn claramente atribuidas.

    Los indicadores de producto se obtienen a partir de la informacin obtenida en la gestin y de

    anlisis internos.

    Los siguientes son puntos dbiles frecuentes de la seleccin de indicadores:

    Se seleccionan demasiados indicadores: Los responsables de gestin tienden a solicitar demasiadainformacin, pues suponen que cuanto ms sepan, tanto mejor estarn preparados. No obstante,

    el resultado es, con frecuencia, una sobrecarga de informacin. En su lugar, los requisitos de

    informacin deben estar en relacin directa con las funciones de la toma de decisiones y con los

    niveles de gestin (el personal de gestin que trabaja sobre el terreno necesitar informacin

    ms detallada, mientras que el de niveles superiores har uso de datos aglutinados y resumidos).

    En la seleccin de indicadores se deber reflejar este aspecto especificando un mnimo de

  • 8/21/2019 Manual Evaluacion Proyectos

    26/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-4

    informacin. Se deber evitar el error de incluir demasiados indicadores, pues ello

    incrementara el trabajo y los costos de recopilacin, registro y anlisis de datos.

    No seleccione indicadores excesivamente complejos:A la hora de recopilar datos, algunosindicadores presentan mayores problemas que otros en cuanto a los conocimientos o recursos

    necesarios. P. ej., puede resultar complejo y caro obtener datos de los ingresos de los hogares.

    Los indicadores sustitutivos que deben considerarse en este caso son los patrones de gastos o las

    caractersticas de los hogares, tales como los materiales de construccin utilizados. Los

    indicadores cualitativos (p. ej. clasificacin segn la riqueza) tambin pueden transmitir, de

    forma resumida, informacin compleja.

    No se centre excesivamente en indicadores relativos a progresos materiales:La informacin sobrereservas y distribucin de alimentos es de vital importancia en una operacin de la Federacin

    y/o de Sociedades Nacionales, pero no suministra suficientes datos acerca del rendimiento de la

    operacin. Es necesaria tambin informacin sobre las consecuencias. Adicionalmente, el

    seguimiento a travs del contacto con beneficiarios proporciona un medio para explorar la

    probabilidad de alcanzar las consecuencias y el impacto.

    2.2.3.1Indicadores de seguimiento a travs del contacto con beneficiarios

    El seguimiento a travs del contacto con beneficiarios (BCM de sus siglas en ingls) se

    define como examen sistemtico efectuado a fin de realizar un seguimiento de cmo

    perciben los beneficiarios una determinada operacin de la Federacin y/o de las

    Sociedades Nacionales.Mediante el seguimiento a travs del contacto con beneficiarios sepretende obtener informacin sobre la reaccin de los beneficiarios al producto de unaoperacin e indicar a los responsables de gestin los progresos realizados hacia el logro delpropsito de una operacin. Debe destacarse que la reaccin de los beneficiarios, aunquepositiva, es nicamente un indicador sustitutivo de la situacin mejorada que se pretendeprovocar con la operacin.

    Los indicadores de seguimiento a travs del contacto con beneficiarios:

    Constituyen un medio eficaz para ratificar si la estrategia aplicada para la obtencin del

    producto funciona.

    Incluyen informacin sobre el acceso al producto de la operacin, la utilizacin del mismo y la

    satisfaccin al respecto de los beneficiarios.

    Buscan la opinin directamente de las mujeres, hombres y nios.

    En el Proceso de Planificacin del Proyecto (PPP) se alude a ellos como indicadores principales.

    Figura 2.2: El seguimiento a travs del contacto con beneficiarios y la matriz de planificacin

    Jerarqua de

    resultados

    Indicadores de

    rendimiento

    Medios de

    verificacin

    Hiptesis y

    riesgos

    Meta

    PropsitoBeneficios derivados

    hacia los beneficiarios

    Transicin de laprestacin de servicios

    a beneficios

    Indicadores de seguimiento a travs del contacto con beneficiariosAcceso al producto resultante de la operacin, utilizacin del

    mismo y satisfaccin al respecto de hombres, mujeres y nios.

    Producto

    Actividades

  • 8/21/2019 Manual Evaluacion Proyectos

    27/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-5

    Los indicadores de seguimiento a travs del contacto con beneficiarios debern incluirse en la matrizde planificacin en el nivel de propsito. La tabla 2.3 presenta algunos ejemplos de indicadores paradiferentes tipos de operaciones:

    Tabla 2.3: Ejemplos de indicadores utilizados en el seguimiento a travs del contacto con

    beneficiarios (BCM) para diferentes tipos de operaciones

    Desarrollo Operacin de desarrollo Operacin de emergencia

    Propsito actividad de comidas

    escolares:Mejorar el acceso de nios a laeducacin bsica.

    Propsito Alimentacin

    complementaria:Reducir el riesgo de mortalidad ymorbididad para menores de 5 aos.

    Propsito - Distribucin general de

    alimentos:Salvar vidas mediante la provisinde alimentos adecuados.

    Indicadores de consecuencias:Aumento de la tasa de nias y niosprocedentes de hogares con bajosingresos que llegan a niveles deeducacin superiores.

    Indicadores de consecuencias:Nmero de menores de 5 aos que sufrendesnutricin.Tasa de mortalidad de menores de 5 aos.

    Indicadores de consecuencias:Tasa bruta de mortalidad.Tasa de mortalidad de menores de5 aos.

    Indicadores de BCM:Acceso- % de padres y madres

    sensibles al valor que entraa que lasnias participen en la educacinsuperior.Utilizacin- % de hogares con bajosingresos con nias y niosmatriculados en las escuelasparticipantes.Satisfaccin Percepcin de madres ypadres en cuanto a los beneficiosderivados de las comidas escolares paralas nias y nios.

    Indicadores de BCM:Acceso- % de hogares beneficiarios que

    conocen el programa de alimentacincomplementaria.Utilizacin- % de hogares beneficiariosque participan en el programa dealimentacin complementaria.Satisfaccin Percepcin de las madresen cuanto a la calidad y pertinencia de laalimentacin complementaria.

    Indicadores de BCM:Acceso- % de familias registradas

    para recibir alimentos.Utilizacin Nmero de hombres,mujeres y nios registrados queconsumen la racin objetivo.Satisfaccin Opinin de hombres,mujeres y nios acerca de lacomposicin y calidad de lasraciones.

  • 8/21/2019 Manual Evaluacion Proyectos

    28/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-6

    2.3 Estimacin de la capacidad de seguimiento y evaluacin

    2.3.1 Cmo determinar la capacidad de seguimiento y evaluacin

    Debern plantearse las siguientes preguntas:

    1. Existe una unidad u organizacin concreta responsable de realizar el seguimiento y laevaluacin?

    En caso afirmativo, cuntos empleados hay y cules son sus responsabilidades actuales en

    relacin con la recopilacin, procesamiento y anlisis de datos y preparacin de informes?

    En caso negativo, a quin se le asignar la responsabilidad de dirigir y realizar las funciones de

    seguimiento? Qu conocimientos y experiencia posee el personal existente o propuesto?

    2. De qu recursos dispone la unidad de seguimiento y evaluacin o la unidad responsable?Considere artculos como vehculos y computadoras (soporte fsico y programas) as como lafinanciacin peridica de las operaciones.

    3. Existen procedimientos establecidos para llevar a cabo el seguimiento y la evaluacin?,incluidos:

    especificacin de los objetivos en los documentos de los planes,

    estudios regulares y especiales, y notificacin y difusin de hallazgos.

    2.3.2 Estimacin de necesidades de capacitacin

    Cmo puede analizar usted las necesidades de capacitacin antes o despus de preparar el plan ypresupuesto de seguimiento y evaluacin?

    El comportamiento y rendimiento del personal vienen determinados por:

    i) sus conocimientos y aptitudesii) su estimulacin para cumplir su responsabilidadiii) el entorno organizacional en el que acta.

    Las necesidades de capacitacin debern determinarse en tres niveles diferentes:

    Organizacional:determinar los puntos dbiles generales de la organizacin en la realizacin delseguimiento dnde es ms necesaria la capacitacin?

    Profesional:determinar los conocimientos necesarios para realizar actividades de seguimiento yevaluacin - qu conocimientos son necesarios para realizar el trabajo?

    Individual:determinar los conocimientos de las personas en los mbitos y tareas que se han

    determinado en comparacin con los requisitos que les plantea su trabajo quin requierecapacitacin y en qu?

    2.3.2.1 Etapas de un anlisis de las necesidades de capacitacin y del diseo y realizacin

    de actividades de capacitacin

    1. Aclarar las tareas de seguimiento que se van a emprender y acordar cmo se asignan lasresponsabilidades.

    2. Discutir posibles puntos dbiles o vacos en los recursos materiales, econmicos y humanosdisponibles para realizar el seguimiento, e identificar qu puntos dbiles de la organizacinpodran abordarse a travs de la capacitacin.

    3. Preparar o analizar descripciones de los puestos pertinentes, especificando las tareas deseguimiento que deber realizar cada una de las personas as como los conocimientos yaptitudes que se requieren.

  • 8/21/2019 Manual Evaluacion Proyectos

    29/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-7

    4. Utilizar cuestionarios o realizar entrevistas para identificar los conocimientos y aptitudes delpersonal relativos al seguimiento en relacin con los requisitos establecidos en la descripcinde su puesto, y para identificar las restricciones organizacionales que podran afectar a sucapacidad para cumplir su cometido.

    5. Junto con los responsables de gestin y los empleados, discutir y acordar las prioridades decapacitacin y las formas de superar las restricciones organizacionales.

    Una vez que se hayan identificado y acordado las necesidades de capacitacin, podr iniciarse elproceso de diseo, realizacin y seguimiento de la capacitacin.

    6. Establecer los objetivos de la capacitacin y disear el plan de estudios:Especificar qu deben ser capaces de realizar los alumnos y en qu nivel una vez concluida la

    capacitacin.

    Identificar el contenido de materias necesario para alcanzar esos objetivos.

    Decidir con qu sistema de capacitacin se alcanzarn mejor los objetivos.

    7. Llevar a cabo y evaluar la capacitacin:

    Ejecutar la capacitacin.Determinar si mediante la capacitacin se han alcanzado los objetivos que se haban fijado.

    Discutir si los objetivos son adecuados.

    Decidir si la capacitacin ha justificado su costo.

    8. Someter la capacitacin a un seguimiento:Determinar si el personal al que se ha impartido la formacin aplica los conocimientos

    adquiridos.

    Determinar si con ello se han generado las consecuencias deseadas (es decir, informacin de

    seguimiento oportuna y de buena calidad).

    Determinar necesidades de capacitacin adicionales.

  • 8/21/2019 Manual Evaluacion Proyectos

    30/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-8

    2.4 Planificacin de la recopilacin y anlisis de datos

    Segn las necesidades que se tengan respecto a los datos, la recopilacin de los mismos puede ser dedos tipos:

    datos de referencia, para obtener informacin sobre los beneficiarios y las condiciones generaleslocales antes de iniciarse las principales actividades de la operacin,datos actuales, para hacer un seguimiento de los progresos hechos durante la ejecucin de laoperacin.

    Los dos grupos de datos se utilizan posteriormente para el seguimiento y evaluacin. Para actualizarla informacin de referencia y para entender los motivos por los cuales han ocurrido determinadoscambios, pueden realizarse estudios de casos concretos y estudios por muestreo.

    2.4.1 Por qu son necesarios los datos de referencia?

    En el seguimiento y en la evaluacin se hace uso, en gran medida, de los mismos indicadores y

    conjuntos de datos. Cuando no se dispone de los datos de referencia y seguimiento pertinentes, laevaluacin se ve dificultada.

    Para la evaluacin es necesaria una informacin ms sustancial acerca de cmo ha cambiado laoperacin la vida de las personas, por lo que durante el diseo del sistema debern abordarseexplcitamente consideraciones relativas a la evaluacin. Los principales mecanismos al respecto son:

    Planes para la recopilacin de datos de referencia:Cul era la situacin antes de iniciarse laoperacin? En el caso de que en el estudio de referencia se incluyan grupos de comparacin,

    cules son las cualidades respectivas de la situacin afectada por la operacin y de la situacin

    fuera del mbito de influencia de la misma?

    Planes para un estudio complementario: A qu ha contribuido la operacin:i) desde su comienzo?ii) en comparacin con grupos a los que no afecta la operacin?

    Las tcnicas utilizadas para recopilar datos de referencia no difieren de aquellas empleadas en otrosejercicios tales como revisiones, estimaciones y evaluaciones. La diferencia estriba en el propsito delejercicio. Los estudios de referencia proporcionan la informacin necesaria para completar laplanificacin de la operacin a travs de la evaluacin comparativa de indicadores y el anlisis de lascondiciones generales. Estos estudios son, adems, la base para realizar un seguimiento y unaevaluacin bien fundados, pues suministran una breve descripcin de las condiciones existentes antesdel inicio de la operacin. En particular, los datos de referencia facilitan la medicin posterior de lasconsecuencias e impacto de una operacin a travs de la realizacin de un estudio complementario.

    A continuacin se exponen algunos aspectos claves que debern tenerse en cuenta a la hora deplanificar la recopilacin de informacin de referencia:

    La recopilacin de datos de referencia deber planificarse de forma que se realice antesdelinicio de una operacin o de la siguiente fase.

    Los estudios de referencia y complementarios debern incluirse como componentes claves en el

    plan de seguimiento y evaluacin y, por lo tanto, se deber preparar su presupuesto y se

    debern proveer fondos para los mismos de forma apropiada.

    Los resultados del estudio de referencia debern analizarse y presentarse de forma sucinta y

    clara y, lo ms importante, de forma que puedan ser entendidos por el personal de los

    programas, directores del proyecto, delegados encargados de la notificacin y evaluadores.

    Si desea obtener ms informacin sobre la planificacin y realizacin de un estudio de referencia,consulte el mdulo 7. Estudios de referencia.

  • 8/21/2019 Manual Evaluacion Proyectos

    31/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-9

    2.4.2 Qu datos de seguimiento se necesitan y de dnde se obtendrn?

    2.4.2.1 Qu datos son necesarios para realizar el seguimiento?

    Las necesidades de datos actuales para realizar el seguimiento pueden resumirse, en la estructura de la

    matriz de planificacin, como sigue:

    Tabla 2.4: Preguntas para el seguimiento y matriz de planificacin

    Nivel de la

    matriz de

    planificacin

    Preguntas para el seguimiento

    Cules son el acceso a los bienes entregados y serviciosprestados, la utilizacin de los mismos y la satisfaccin alrespecto de los beneficiarios (hombres, mujeres y nios)?Se benefician las mujeres y otros grupos vulnerables enla medida prevista?

    Consecuencias

    Est la operacin bien encaminada para lograr supropsito?Cules son los logros materiales de la operacin?Recibe el grupo beneficiario artculos en las cantidades ycalidad planificadas?Se crean/mantienen los activos tal como se planific?

    Producto

    Se ponen a disposicin otros servicios de acuerdo con loplanificado?Se distribuyen los artculos en el momento y cantidadesplanificados?Se realizan otras actividades segn lo previsto?

    Actividades

    Quin participa en la operacin?Dnde se encuentran actualmente las reservas y lossuministros pendientes de ser entregados a losalmacenes? Cules son las prdidas actuales?Estn contribuyendo los gobiernos, asociados ybeneficiarios de acuerdo con lo planificado?

    Insumos

    Cules son las estructuras de gestin en funcionamientoy cmo funcionan de bien?

    HiptesisExisten factoresexternos queafectensignificativamentea los progresos dela operacin? Losefectos, sonpositivos onegativos?

    2.4.2.2 Seguimiento de insumos

    Los sistemas de informacin tradicionales frecuentemente estn pensados para satisfacer los requisitos

    administrativos de rendir cuentas adecuadamente de los fondos y recursos invertidos y de que se hacumplido el trabajo de acuerdo con los planes. Pero es posible que el punto dbil ms frecuente en elseguimiento de los insumos materiales y econmicos sea que no se pueda seguir la pista a lasdesviaciones del plan hasta los centros de responsabilidad o que no estn claras las razones para esasdesviaciones. Cuando, p. ej., los datos sobre la actividad sanitaria de un distrito indican que se hainterrumpido la distribucin de suministros, es importante que esta informacin est acompaada porla identificacin de dndeypor quha surgido el problema.

    2.4.2.3 Visitas al terreno una valiosa fuente de informacin complementaria

    Las visitas al terreno constituyen una herramienta esencial de seguimiento para el personal de la

    Federacin y de las Sociedades Nacionales y permiten establecer con los beneficiarios el estrechocontacto requerido.

  • 8/21/2019 Manual Evaluacion Proyectos

    32/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-10

    Las visitas al terreno pueden tener diferentes propsitos, todos ellos interrelacionados:

    Estimar los progresos hechos hacia el logro de los objetivos de la operacin

    Determinar la percepcin de los beneficiarios y su reaccin en relacin con las actividades

    Determinar el sentido de la responsabilidad hacia los activos creados y la utilizacin de los

    mismos, e identificar cualquier efecto negativo

    Determinar la cantidad y calidad del trabajo realizado y la pertinencia de otras actividades

    Comprobar materialmente las reservas y distribucin de productos bsicos y el trabajo al

    respecto

    Ayudar a los responsables de gestin a identificar problemas y a tomar decisiones para

    superarlos

    Establecer relaciones fructferas con gobiernos y asociados ejecutores

    Velar por que los hombres y mujeres beneficiarios participen plenamente en la ejecucin y

    seguimiento de la operacin

    2.4.2.4 Seguimiento de la participacin

    El seguimiento de la participacin es una tarea fundamental del seguimiento en su conjunto. Implicahacer un seguimiento de:

    Quin participa?- en la ejecucin de las actividades, en la planificacin y organizacin, y quincomparte los beneficios?

    Cmo cooperan aquellos que participan?

    - Participan los diferentes grupos interesados (hombres, mujeres, nios y grupossocioeconmicos) en la toma de decisiones?

    - Se comparten equitativamente los costos y responsabilidades derivados del trabajo?- Son eficaces las medidas organizacionales?- Existen relaciones entre las partes interesadas? Son relaciones eficaces?

    Qu factores apoyarn u obstaculizarn el proceso de participacin? sexo, edad, educacin,

    condicin social, movilidad, autoridad, etc.

    Como mnimo, la Federacin, las Sociedades Nacionales y sus asociados deben someter aseguimiento y evaluacin el grado y forma de participacin de mujeres, hombres y otros gruposinteresados en la operacin correspondiente.

    2.4.2.5 Seguimiento y evaluacin del compromiso de la Federacin y de las Sociedades

    Nacionales con las mujeres

    Como parte de su actitud de sensibilizacin en torno al gnero, la Federacin y las SociedadesNacionales deben generar y difundir, para la planificacin y evaluacin, datos e informacin

    desglosados por sexo.

    En toda la informacin de seguimiento y en todos los informes de la Federacin y de lasSociedades Nacionales se especificarn:

    Porcentajes de hombres y mujeres que comparten los recursos recibidos a partir de la

    distribucin de ayuda

    Hombres y mujeres que comparten los beneficios segn categoras de actividadesPorcentaje de puestos ocupados por mujeres en la planificacin y gestin de las operaciones

    2.4.3 Quin recopila y analiza los datos sobre el terreno?

    Es esencial evitar la duplicacin del seguimiento, identificar los vacos de informacin y utilizar coneficiencia los recursos destinados al seguimiento. El plan de seguimiento y evaluacin ayudar a

  • 8/21/2019 Manual Evaluacion Proyectos

    33/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-11

    aclarar quin recopilar qu datos y por qu. Adems, suministrar la base para acordar lasresponsabilidades en cuanto a la ampliacin de la actividad de seguimiento.

    Cuando la Federacin y las Sociedades Nacionales son responsables directas del seguimiento, lastareas pertinentes son realizadas normalmente por el director de proyecto. Normalmente se solicita aste o a los delegados encargados de la notificacin que recopilen y analicen los datos de seguimientoy preparen los informes que describen la situacin sobre el terreno. En la contratacin y despliegue dedirectores de proyecto y delegados encargados de la notificacin:

    Componga equipos mixtos (extranjeros y personas del pas correspondiente) a fin de

    aprovechar diferentes puntos de vista

    Desarrolle una tctica de equipo, con reuniones frecuentes de los equipos, a fin de promover la

    integracin y el intercambio de ideas

    Busque la igualdad entre hombres y mujeres, pues las directoras de proyectos o delegadas

    responsables de la notificacin normalmente son esenciales para garantizar el acceso a las

    mujeres de las comunidades beneficiarias y para poder determinar qu les ocurre a las mujeres

    en los hogares

    Tabla 2.5: Cualidades y conocimientos que deben poseer las personas

    que realizan el seguimiento de proyectos

    Estas personas deben:tener conocimientos acerca del mandato y las metas de la Federacin y lasSociedades Nacionales en las operaciones;poseer una buena capacidad analtica y para elaborar informes;poseer conocimientos sobre tcnicas de recopilacin de datos cualitativos ycuantitativos;poseer conocimientos sobre seguimiento de insumos y del producto, supervisinde existencias y mtodos de distribucin de ayuda, preferiblemente adquiridos enexperiencias anteriores en operaciones similares;

    ser honestos, muy observadores, perceptivos, inquisitivos, insistentes ydiplomticos;ser oyentes comprensibles, que adems tengan la capacidad de influir sobre otraspersonas y convencerlas mediante argumentos;ser activos y estar dispuestos a viajar y pasar la mayor parte del tiempo sobre elterreno;ser capaces de examinar los problemas sobre el terreno con los empleados;ser jugadores de equipo;ser capaces de determinar aquello que es importante y de centrarse en ello.

    Personal del pas:

    Presenta ventajas en cuanto al idioma, comprensin cultural y, normalmente, libertad paraviajar, aspectos particularmente importantes para hacer un seguimiento de la distribucin, de

    quin utiliza finalmente aquello que se ha distribuido y de la evolucin de la situacin general.

    Puede estar sujeto a diversas presiones y, en general, las personas del pas no se debern

    destinar para trabajar en su localidad de origen o en grupos tnicos relacionados.

    Personal del extranjero, incluidos voluntarios:

    Pueden contribuir con experiencia ms amplia y con experiencia pertinente adquirida en el

    extranjero, particularmente en relacin con cuestiones de logstica y gestin general.

    Pueden abordar cuestiones que, por motivos culturales, resulten problemticas para el personal

    nacional.

    Poseen conocimientos y pueden capacitar a otras personas en relacin a la teora y prctica delas metodologas de estimacin y seguimiento.

  • 8/21/2019 Manual Evaluacion Proyectos

    34/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-12

    No hablar el idioma del pas y desconocer la cultura del mismo puede constituir un obstculo y

    puede conducir a una dependencia excesiva de los informes y al fracaso en la apreciacin de lo

    que realmente ocurre dentro de las comunidades afectadas.

    En algunas situaciones de conflicto o disturbios civiles, su libertad para viajar puede verse

    restringida: pueden requerir permisos y/o acompaantes para viajar a determinadas reas.

    2.4.4 Sistemas informatizados de seguimiento

    Los sistemas informatizados de seguimiento ofrecen las siguientes posibilidades:

    Almacenamiento eficiente de datos

    Flexibilidad y velocidad en el anlisis

    Realizacin de comparaciones cruzadas

    Realizacin de anlisis de tendencias

    Preparacin de grficos sencillos

    Antes de tomar la decisin acerca del programa informtico que va a utilizar, deber examinar las

    siguientes cuestiones:

    Son eficientes los sistemas manuales existentes? En caso afirmativo, la informatizacin puede

    no ser una necesidad inmediata.

    Se recopilar un gran nmero de datos durante un perodo de tiempo importante y se

    analizarn esos datos cuantitativamente? En caso afirmativo, es probable que la

    informatizacin ofrezca un aumento considerable de la eficiencia.

    Cul es el mejor programa osoftwarea utilizar? Depender de los conocimientos del personal, de losequipos y fondos disponibles, del tipo de datos requeridos y del tipo de anlisis planificado.

    Existen sistemas informatizados relativamente sencillos que utilizan Microsoft Excel o Microsoft

    Access. Puede accederse a informacin sobre la existencia, ventajas e inconvenientes de este tipo desistemas.

    Cuando los conocimientos son limitados, Microsoft Excelpuede representar la mejor opcin.Excel ofrece la funcin de elaboracin de tablas manejadas por men para la introduccin de

    datos, que pueden utilizarse para elaborar bases de datos, y la funcin de la tabla dinmica

    (pivot-table)posibilita la rpida generacin de tabulaciones cruzadas sencillas.

    Microsoft Access constituye una herramienta ms avanzada para la elaboracin de bases dedatos, pero es ms compleja y para que el personal pertinente se familiarice completamente con

    sus funciones puede ser necesario invertir en capacitacin.

    Sea cual sea el sistema elegido, debern tomarse en consideracin los siguientes aspectos:Se debern preparar planes detallados de informatizacin como parte del diseo del sistema de

    seguimiento y evaluacin, para garantizar que se prevn los recursos materiales y econmicos

    necesarios.

    Deber existir la posibilidad de realizar copias de seguridad del sistema para disponer de ellas

    en el caso de que fallara la computadora.

    Se deber disponer de personal capacitado para manejar y mantener el sistema y para realizar

    los anlisis necesarios.

  • 8/21/2019 Manual Evaluacion Proyectos

    35/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-13

    2.5 Preparacin del plan y presupuesto de seguimiento y evaluacin

    2.5.1 Plan de seguimiento y evaluacin

    A continuacin se expone la matriz para elaborar el plan de seguimiento y evaluacin.

    Figura 2.4: Plan de seguimiento y evaluacin

    Medios de verificacin Utilizacin de la informacinElemento de lamatriz de

    planificacin

    Indicadores(incluidosobjetivos) Fuentes de datos Frecuencia y

    costos derecopilacin

    Responsabilidadde recopilacin

    Mtodo derecopilacin

    Informes Presentacin

    Meta

    Hiptesis

    Propsito

    Hiptesis

    Producto

    Hiptesis

    Actividades

    Hiptesis

    Insumos

    En la matriz deber introducirse la siguiente informacin:

    Elemento de la matriz de planificacin: Meta, propsito, producto, actividades, insumos ehiptesis.Indicadores: indicadores de meta, propsitos y producto. Se debern introducir los indicadorescontenidos en la matriz de planificacin de la operacin y aadirse los objetivos. En el caso de

    los insumos, se introducirn las cantidades materiales y los costos econmicos del proyecto para

    las principales categoras de costos. P. ej.:

    - para los artculos se introducirn las cantidades proyectadas y el costo de cada artculo- para los recursos humanos se introducirn los costos previstos de personal y el tiempo

    previsto en que se requerir ese personal- etc.

    Fuentes de datos: Fuentes de datos primarios o secundarios que suministran informacin sobrecada uno de los indicadores, p. ej. estadsticas o documentos ya existentes, cuentas del proyecto,estudios sobre nutricin, etc.

    Frecuencia y costos de recopilacin: Frecuencia con que se recopilan datos primarios o seanalizan datos secundarios (p. ej. trimestralmente, anualmente, al final de una fase, etc.), y

    presupuesto correspondiente.

    Responsabilidad de recopilacin: Organizacin o unidad responsable de recopilar y/o analizar losdatos.

    Mtodo de recopilacin: Cmo se recopilan los datos (p. ej. reuniones del grupo temtico).Informes: En qu informe(s) se incluir la informacin.Presentacin: En qu foros o reuniones se presentarn y discutirn la informacin o informes.

  • 8/21/2019 Manual Evaluacion Proyectos

    36/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-14

    2.5.2 Presupuesto de seguimiento y evaluacin

    Se debern calcular los costos de la recopilacin, procesamiento y anlisis de los datos y de lanotificacin al respecto, as como del fortalecimiento de la capacidad y del apoyo al terreno, teniendo

    en cuenta el tiempo y los recursos necesarios. Los costos corrern a cargo de la Federacin o de lasSociedades Nacionales y debern incluirse en el presupuesto de la operacin.

    El seguimiento es una actividad bsica de gestin, por lo que debera considerarse utilizar, en suejecucin, una parte del tiempo del personal de gestin as como parte del material de oficina,instalaciones, vehculos, viajes, etc. Se trata de artculos presupuestados habitualmente en laFederacin Internacional y en las Sociedades Nacionales, gobiernos y asociados ejecutores, ynormalmente no se presupuestan por separado.

  • 8/21/2019 Manual Evaluacion Proyectos

    37/175

    Mdulo 2: Seguimiento y evaluacin Octubre de 2002

    2-15

    2.6 Planificacin de la notificacin e informacin de retorno

    2.6.1 Orientacin para la elaboracin de informes de seguimiento y evaluacin

    1. Sea escueto en la medida de lo posible, en concordancia con la cantidad de informacin que

    deba presentarse.2. Cntrese en los resultadosobtenidos, tal como se definen en la matriz de planificacin o en

    los objetivos, y establezca una relacin con la utilizacin de los recursos asignados a suproduccin.

    3. Tenga claro quines son sus lectoresy vele por que la informacin sea coherente yprovechosa para ellos.

    4. Redacte utilizando un lenguaje sencilloque pueda ser entendido por los lectoresdestinatarios.

    5. Vele por la entrega oportunade los informes de situacin. Aunque estn incompletos en sucontenido sobre determinados aspectos o componentes, es mejor distribuir los resultadosclaves de otras reas que esperar a completar la informacin.

    6. Incluya al principio un breve resumen(1 pgina).7. Sea coherente en cuanto a la terminologa y definicionesempleadas y en la descripcin de

    asociados, actividades y lugares.8. Presente los datos complejos con ayuda de estadsticas, tablas resmenes, mapas,

    fotografas y grficos.9. Destaque nicamente los puntos o palabras clavesms significativos (mediante negritas,

    cursivas u otras posibilidades).10. Indique las fuentes y autoridadesde las que haya obtenido informacin.11. En los informes de ms de 5 pginas, incluya un ndice de contenidos.

    2.6.2 Cmo utilizaran los directores de proyectos o programas los diferentes

    informes?

    Al ofrecer una breve descripcin de la situacin antes de iniciarse la operacin, o al menos en lasprimeras etapas de la misma, el informe de referencia proporciona la informacin necesaria paraevaluar de forma comparativa los indicadores relativos al propsito y meta de la operacin. El estudiocomplementa