Términos de referencia Evaluación final Fortalecimiento de la … · 2016-08-22 · final de este...
Transcript of Términos de referencia Evaluación final Fortalecimiento de la … · 2016-08-22 · final de este...
Términos de referencia
Evaluación final
Fortalecimiento de la gestión de la información hidrometeorológica,
hidrogeológica y sociocultural del agua en el Ecuador.
DATOS GENERALES: Título de la Evaluación: Evaluación de Resultados Final Externa del proyecto “Fortalecimiento de
la gestión de la información hidrometeorologíca, hidrogeológica y sociocultural del agua en el Ecuador”
Título del proyecto: “Fortalecimiento de la gestión de la información hidrometeorologíca, hidrogeológica y sociocultural del agua en el Ecuador”
País: Ecuador
Entidad beneficiaria: Secretaría Técnica de Cooperación Internacional de Ecuador SETECI y Secretaría del Agua (SENAGUA)
Entidad ejecutora del proyecto:
Secretaría del Agua (SENAGUA)
Duración contrato: 12 semanas
Duración del proyecto: Fecha de inicio proyecto : 25 de agosto de 2011
Fecha de finalización: 31 de diciembre de 2015
ÍNDICE
1. JUSTIFICACIÓN Y OBJETIVOS DE LA EVALUACIÓN 1
2. ANTECEDENTES Y CONTEXTO 2
3. ALCANCE DE LA EVALUACIÓN 4
4. PREGUNTAS DE EVALUACIÓN 5
5. METODOLOGÍA 6
6. GESTIÓN DE LA EVALUACIÓN 8
7. CRONOGRAMA Y PRODUCTOS A ENTREGAR 8
8. PREMISAS DE LA EVALUACIÓN, AUTORÍA Y PUBLICACIÓN 11
9. PERFIL DEL EQUIPO EVALUADOR 12
10. PRESENTACIÓN DE OFERTAS, PRESUPUESTO Y CRITERIOS DE VALORACIÓN 13
ANEXO I. LISTADO PRELIMINAR DE ACTORES 15
ANEXO II. LISTADO PRELIMINAR DE DOCUMENTACIÓN DE REFERENCIA 16
ANEXO IV. MODELO DE MATRIZ DE EVALUACIÓN 22
1
TÍTULO DE LA EVALUACIÓN
1. JUSTIFICACIÓN Y OBJETIVOS DE LA EVALUACIÓN
Motivación para evaluar: El Ecuador, en materia de recursos hídricos puede considerarse
un país privilegiado. Sin embargo, las condiciones orográficas y climáticas provocan que
mientras en unas zonas haya recursos excedentes, en otras sean deficitarios. Esta irregularidad
natural se ve agravada por concentraciones de población en zonas críticas, como ocurre en
ciertos lugares de la Sierra y Costa. Otro de los grandes retos que enfrenta la gestión integral de
los recursos hídricos es la contaminación que afecta tanto a los cuerpos de agua subterráneos
como superficiales. Finalmente, como consecuencia del cambio climático se espera una mayor
frecuencia e intensidad de eventos naturales como El Niño, que provoca sequías, inundaciones
y otros eventos semejantes.
Por ello, para gestionar adecuadamente estos recursos hídricos es necesaria una red
hidrometeorologíca e hidrológica nacional que permita entregar información en tiempo real, para
prevenir riesgos pero también para una adecuada planificación de las actividades productivas en
el país, sobre la base de información confiable de la oferta y demanda hídrica en las cuencas
hidrográficas.
La Constitución del Ecuador consagra el derecho humano al agua como fundamental e
irrenunciable y establece que el Estado, a través de la autoridad única del agua, actualmente la
Secretaría del Agua (SENAGUA), es el responsable directo de la planificación y gestión de los
recursos hídricos. En cumplimiento de estas disposiciones constitucionales, en agosto de 2014
fue aprobada la Ley Orgánica de los Recursos Hídricos.
En este contexto se inscribe la ejecución del presente proyecto, donde la AECID ha venido
apoyando a la SENAGUA como una contribución al fortalecimiento de la rectoría y de su
capacidad de respuesta para alcanzar los objetivos de desarrollo acordados en el Plan Nacional
para el Buen Vivir (PNBV).
El 31 de diciembre de 2015 finalizó el plazo de ejecución de la última subvención AECID asignada
a este proyecto, y por tanto finaliza la ejecución del proyecto “Fortalecimiento de la gestión de la
información hidrometeorologíca, hidrogeológica y sociocultural del agua en el Ecuador”.
En este sentido, es del interés compartido entre SENAGUA y AECID contar con una evaluación
final de este proyecto, que ofrezca una reflexión sobre las lecciones aprendidas, así como una
visión de lo logrado a lo largo de estos años de trabajo.
Objetivos de la evaluación:
Valorar el proyecto durante el período de ejecución 2011-2015, analizando los elementos
que han tenido una mayor incidencia positiva o negativa en el logro de los resultados.
Conocer los resultados alcanzados por el proyecto y la relación de estos con el diseño,
estructura y procesos puestos en marcha durante la intervención.
2
Evaluar la pertinencia, eficiencia y uso de los recursos del proyecto, así como
sostenibilidad, impacto y coherencia.
Sistematizar lecciones aprendidas que puedan extraerse sobre el fortalecimiento de las
capacidades de SENAGUA.
Sistematizar buenas prácticas identificadas que puedan ser sujeto de réplica en
contextos similares.
Utilización prevista de la evaluación:
Los resultados de esta evaluación serán puestos a disposición de SENAGUA, en concreto de la
Subsecretaría Técnica de Recursos Hídricos, como una herramienta para el fortalecimiento de
la gestión de sus competencias y atribuciones.
Igualmente, la evaluación será para la AECID un documento importante que sistematice
experiencias y alimente los sistemas de gestión de conocimiento de la Agencia, y redunde en
aprendizaje institucional.
Por último, es también del interés de la Secretaría Técnica de Cooperación Internacional del
Gobierno Ecuatoriano contar con documentos de evaluación de las iniciativas de cooperación
puestas en marcha en el país.
2. ANTECEDENTES Y CONTEXTO
El “Programa de Fortalecimiento de la Gestión Hidrometeorológica, Hidrogeológica y
Sociocultural del Agua en el Ecuador” es un aporte sustancial a la consolidación de una estrategia
que apoya los esfuerzos sectoriales y territoriales del Estado para hacer efectiva la
implementación de las políticas públicas en el sector hídrico, y contribuirá al fortalecimiento de la
rectoría de la Secretaria Nacional de Agua (SENAGUA) y de su capacidad de respuesta. Las
acciones se encuentran orientadas a “Desarrollar la gestión integral e integrada de los recursos
hídricos, con una visión ecosistémica y sustentable”.
El Ecuador, en materia de recursos Hídricos, puede considerarse un país con una distribución
irregular de los mismos, tal como lo demuestra el Informe del Instituto Mundial del Agua (2010).
Según el informe, el Ecuador tiene un indicador de estrés hídrico menor al 30%. No obstante, la
distribución de la escorrentía en el interior del país es irregular, lo cual genera zonas con grandes
insuficiencias de agua, como sucede en Manabí y en el Golfo de Guayaquil. Esta irregularidad
natural se ve agravada por concentraciones poblacionales en zonas críticas como Guayaquil,
Babahoyo, Manta, Machala, Durán, Portoviejo; y ciertos lugares de la Sierra.
Otros de los grandes retos que enfrenta la gestión integral de los recursos hídricos es la
contaminación de los cuerpos de agua, superficiales y subterráneos. Actualmente el país no
cuenta con un estudio integral de las fuentes de contaminación. Además, como consecuencia
3
del cambio climático se espera una mayor frecuencia e intensidad de eventos naturales como El
Niño, que provoca sequías, inundaciones y otros eventos semejantes.
Por tanto, el proyecto pretende: ”Fortalecer el rol rector de la Autoridad Nacional del Agua
(SENAGUA) y de su capacidad técnica por medio de la gestión integral e integrada de la
información hidrometeorologíca, hidrogeológica y sociocultural del agua en Ecuador”.
En concreto, los resultados esperados por el proyecto son:
Actualizar la base de información hidrogeológica a nivel nacional e hidrometeorologíca
en Demarcaciones Hidrográficas relevantes.
Fortalecer la capacidad del Estado para la recolección y gestión de la información
hidrometeorologíca e hidrogeológica del país.
Desarrollar el módulo específico para la gestión de la información hidrometeorologíca e
hidrogeológica en el Sistema Nacional de Información de los Recursos Hídricos,
compatible con los principales formatos aceptados y utilizados en el sector a nivel
nacional e internacional.
Fortalecer iniciativas locales por recuperar el uso, aprovechamiento y conservación de
los recursos hídricos a través de tecnologías ancestrales.
Los principales logros en el proyecto han sido:
Se ha conseguido la actualización del mapa hidrogeológico nacional a escala 1:250.000, que
está disponible en soporte físico y digital. La Escuela Politécnica del Litoral (ESPOL) fue la
encargada de la realización de los trabajos.
Se ha obtenido un manual de procedimientos para el estudio integral e inventario de aguas
subterráneas de Ecuador. En principio estaba previsto la realización de dos trabajos, para los
acuíferos prioritarios y para los vulnerables pero se decidió la contratación de un solo estudio
con la Universidad de Memphis, de Estados Unidos, con gran experiencia en este campo y
antecedentes de trabajo con la SENAGUA.
Con la ESPOL también se contrató el diseño de la Red de Estaciones Meteorológicas e
Hidrológicas para las subcuencas de los ríos Chone, Portoviejo, Bulu-Bulu y Chongón.
Posteriormente a la realización del estudio, la SENAGUA adquirió los equipos necesarios para
la instalación de las estaciones y se desarrollaron los cursos previstos para el personal técnico
responsable de su operación y mantenimiento.
Se contrató una consultoría para el diseño y desarrollo del módulo de hidrometeorología e
hidrogeología y su integración con el Sistema Nacional de Información de Recursos Hídricos.
Este trabajo fue acompañado por la adquisición de software específico para el manejo de la
4
información y con el refuerzo de las capacidades de los profesionales de la SENAGUA, en nueve
Demarcaciones Hidrográficas.
Gestión y rehabilitación de albarradas: Inicialmente estaba prevista la rehabilitación de al menos
25 albarradas integradas a procesos productivos en las Demarcaciones Hidrográficas en
Guayas, Manabí y Puyango-Catamayo, el fortalecimiento de las capacidades locales para su
manejo y la sistematización de experiencias tradicionales en cuanto al manejo tradicional del
agua con el sistema de albarradas. En la práctica se redimensionó el alcance de este
componente y se rehabilitaron únicamente dieciocho (18) albarradas en Chone, Portoviejo,
Jipijapa y Santa Elena. La evaluación debe valorar este cambio.
En cuanto a los aspectos meramente de gestión, la AECID aprobó dos subvenciones al proyecto
en 2010 y 2012, por valor de 500.000 y 420.000 euros respectivamente. El período de ejecución
de ambas subvenciones fue prorrogado y tal como señala la auditoría realizada de la primera,
un remanente de aproximadamente USD 187.000 que ya ha sido reintegrado a la AECID al no
haberse ejecutado. Está pendiente de realizarse una auditoría de la segunda subvención, que
está previsto se financie con cargo a presupuestos de la SENAGUA, en la cual se ejecutó el
presupuesto prácticamente en su totalidad.
En cuanto al mecanismo de seguimiento, se conformó un Comité de Gestión para el seguimiento
de las actividades que se ha venido reuniendo periódicamente.
Beneficiarios Indirectos: Los beneficiarios indirectos del proyecto son la población a nivel
nacional la cual corresponde a 14’306.876 habitantes, de acuerdo a la información oficial del
INEC 2011.
Beneficiarios Directos: Los beneficiarios directos del proyecto corresponden a población
demandante efectiva de la información que se estima es de 354.575 habitantes, de los cuales el
81% son: Consejos Provinciales, Juntas de Regantes, Municipios, la propia SENAGUA,
instituciones públicas principalmente de los ministerios MIDUVI, MAGAP, MAE. MSP, entre otros;
Instituto Nacional de Meteorología e Hidrología, Secretaría de Gestión de Riesgos, Instituciones
privadas, gremios de productores, etc.
El resto de beneficiarios directos se corresponde con la población directamente beneficiada por
la recuperación de saberes tradicionales y rehabilitación de albarradas en la Provincia de Manabí.
3. ALCANCE DE LA EVALUACIÓN
Definición del objeto evaluado: Evaluación del proyecto “Fortalecimiento de la Gestión
Hidrometeorologíca, Hidrogeológica y Sociocultural del Agua en el Ecuador”
El proyecto ha contado con dos subvenciones de la AECID:
5
AECID Nº SUBV. AÑO
MONTO RECIBIDO
PERÍODO DE
EJECUCIÓN DE
LA
SUBVENCIÓN Dólares Euros
2709/10 2010 688.070,00 500.000,00 25 agosto 2011 –
25 agosto 2014
2012/0148 2012 566.637,77 420.000,00
06 agosto 2013 –
31 diciembre
2015
TOTAL 1.254.707,77 920.000,00
Ámbito geográfico: El proyecto ha tenido una dimensión nacional y ello incluye todas las
instituciones que han intervenido activamente en el proyecto, en particular, además de la
SENAGUA, el Instituto Nacional de Meteorología e Hidrología. La consultora seleccionada
acordará una muestra de intervenciones territoriales (instalación de estaciones meteorológicas y
rehabilitación de albarradas) donde se realizarán visitas de campo. En concreto y en el caso de
la rehabilitación de albarradas, será fundamental la selección de las organizaciones beneficiarias
y la participación de los gobiernos locales.
Horizonte temporal: Periodo abarcado por la evaluación: 2011 – 2015.
Consideraciones sobre los enfoques transversales: Deberá prestarse una especial
atención a las prioridades transversales de género en desarrollo y sostenibilidad ambiental.
En el Anexo I se presenta un listado preliminar de los principales actores implicados en el
proceso de evaluación1.
En el Anexo II se detallan algunos de los principales documentos de referencia para la
Cooperación Española así como una serie de enlaces a la Web con información actualizada y
publicaciones relevantes para el objeto de esta evaluación2.
4. PREGUNTAS DE EVALUACIÓN
Tras haber consultado las necesidades de información de los actores implicados en el diseño y
la puesta en práctica del proyecto, se propone un primer listado de preguntas de evaluación,
establecido en función de los niveles de análisis planteados, que debe ser ampliado por el equipo
evaluador en función de sus criterios técnicos.
1 Las distintas instancias que conforman el Comité de Gestión de la evaluación proporcionarán la información actualizada al equipo evaluador en la primera fase de la evaluación.
2 Las distintas instancias que conforman el Comité de Gestión de la evaluación facilitarán al equipo evaluador la información actualizada en la primera fase de la evaluación.
6
- ¿El Programa se ha ajustado de forma adecuada a los objetivos de la Cooperación
Española y a las necesidades y prioridades del país?
- ¿En qué medida el proyecto ha contribuido a fortalecer y complementar el sistema
nacional de información de los recursos hídricos y las capacidades de la SENAGUA y de
otros actores implicados?
- ¿Una vez finalizado el proyecto que medidas y/o acciones se han tomado para asegurar
su sostenibilidad?
- ¿En qué medida las iniciativas locales por recuperar el uso, aprovechamiento y
conservación de los recursos hídricos a través de tecnologías ancestrales, denotan
sostenibilidad y pertinencia en las comunidades donde se llevaron a cabo; y por qué
estas comunidades eran preferibles a las que no fueron consideradas, como se
planteaba en la propuesta inicial?
- ¿Las actividades del proyecto han contribuido efectivamente al logro de los resultados,
y a su vez éstos han contribuido al logro del objetivo del proyecto?
- ¿Los resultados obtenidos durante los cinco años de ejecución del proyecto justifican la
inversión realizada por la cooperación española?
- ¿Qué lecciones aprendidas y recomendaciones se pueden extraer para la SETECI,
SENAGUA y la AECID de la gestión y logros del proyecto?
En consulta con los distintos actores y tras una primera revisión documental, el equipo evaluador
revisará las preguntas de evaluación y analizará el interés explícito y la factibilidad de abarcarlas,
de forma que puedan ajustarse de manera argumentada en función de la información requerida,
los plazos y los recursos destinados a la evaluación. Este ajuste se incluirá en el informe
preparatorio y deberá ser validado por el equipo gestor.
5. METODOLOGÍA
Para articular de manera sistematizada y lógica el enjuiciamiento comprensivo sobre el objeto de
esta evaluación, la propuesta técnica tendrá como eje una matriz de evaluación3. La matriz es
una herramienta para la operacionalización de las preguntas de evaluación, pero no sustituye al
planteamiento teórico-metodológico que guiará la evaluación, que deberá reflejarse de manera
clara y diferenciada en la propuesta. Cabe recordar, además, que la metodología no es una
mera enumeración de técnicas, sino que implica una posición teórica y epistemológica, orienta
la manera en que se va a enfocar la evaluación para cumplir con los objetivos establecidos y
adelanta la forma (técnicas específicas) en que se van a recolectar, clasificar, analizar y presentar
los datos, con el objetivo de que los hallazgos resulten sólidos y los productos de la evaluación
cumplan con los estándares de calidad.
3 Véase en el Anexo IV un modelo de matriz para la presentación.
7
Deberá incluirse un análisis preliminar de evaluabilidad, en el que se deberá señalar cuáles
serían a priori los principales condicionantes y limitaciones para cumplir con los objetivos
previstos de esta evaluación y responder a las preguntas planteadas.
Es responsabilidad del equipo evaluador presentar en su propuesta tanto el marco teórico-
metodológico adecuado al propósito, los objetivos y la utilidad prevista de la evaluación (ajustado
al tiempo y los recursos disponibles para llevarla a cabo) como un planteamiento coherente que
permita operacionalizar en la matriz de evaluación los objetivos, los niveles de análisis y las
preguntas y sub-preguntas de evaluación. En este sentido, es importante aclarar que la
operacionalización no tiene que suponer, en principio, una modificación de las preguntas de
evaluación planteadas, sino su desarrollo en sub-preguntas, en coherencia con el resto de la
formulación de cada una de las columnas de la matriz de evaluación.
En su propuesta el equipo evaluador deberá asegurar la complementariedad y el contraste de
métodos y fuentes de información, pondrá de manifiesto las limitaciones existentes, y
especificará cómo y hasta qué punto se van a incluir en el análisis los enfoques transversales
contemplados en la Política de Evaluación de la Cooperación Española (derechos humanos,
género, diversidad cultural y sostenibilidad ambiental).
Las técnicas deberán ser coherentes con el planteamiento metodológico y apropiadas a la
naturaleza de la información de la que se espera disponer para responder a las diferentes
preguntas y sub-preguntas de evaluación. La propuesta deberá justificar de forma específica y
concreta la aportación y necesidad de cada técnica para esta evaluación, evitando párrafos
genéricos sobre la técnica y sus características. Igualmente, se evitará la mera yuxtaposición o
enumeración de técnicas elementales (entrevistas, encuestas, grupos focales…) sin explicitar
sus detalles, pertinencia y complementariedad. Siempre que la información disponible lo permita
se combinará metodología cuantitativa y cualitativa, lo que supone técnicas de recogida de datos
y procedimientos de análisis específicos para proporcionar información suficientemente precisa
y robusta, y adecuadamente explicada y matizada.
Entre la selección de técnicas que el equipo evaluador considere oportuno proponer se deberán
incluir, al menos, revisión documental, entrevistas, estudios de caso, encuestas, etc. El equipo
evaluador deberá presentar respaldo documental de toda la información primaria recabada,
incluyendo sistematización de las fichas o encuestas a ser aplicadas.
Criterios de Evaluación:
Se proponen los siguientes criterios para la evaluación:
Pertinencia: Medida en que los objetivos de la intervención para el desarrollo son congruentes
con los requisitos de los beneficiarios, las necesidades del país, las prioridades globales y las
políticas de los socios y donantes. En retrospectiva, la cuestión de la pertinencia suele referirse
a si los objetivos o el diseño de una intervención siguen siendo adecuados aun cuando hayan
cambiado las circunstancias.
Eficacia (efectividad): Medida en que se lograron los objetivos de la intervención para el
desarrollo, tomando en cuenta su importancia relativa. Se utiliza también como medida agregada
o juicio sobre el mérito o el valor de una actividad, es decir, el grado en el que una intervención
8
ha logrado, o se espera que logre, sus principales objetivos pertinentes de manera eficaz, en
forma sostenible, y con un impacto institucional positivo en el desarrollo.
Eficiencia: Relación entre los recursos/insumos utilizados (fondos, tiempo, etc.) y los resultados
alcanzados.
Sostenibilidad (sustentabilidad, viabilidad): Continuación de los beneficios de la intervención para
el desarrollo después de concluida. Probabilidad de que continúen los beneficios en el largo
plazo. Situación en la que las ventajas netas son susceptibles de resistir los riesgos con el correr
del tiempo.
Impacto: Efectos, por lo general de largo plazo, tanto positivos como negativos, producidos
directa o indirectamente por una intervención para el desarrollo, intencionalmente o no.
Coherencia / complementariedad: Este criterio puede tener varias dimensiones: 1) Coherencia
interna del programa con el programa bilateral de la cooperación española; 2)
Coherencia/complementariedad con las políticas del país socio y/o con las intervenciones de
otros donantes; y 3) Coherencia / complementariedad con otras políticas.
Replicabilidad: Este criterio procura indagar sobre qué actividades y experiencias exitosas del
proyecto podrían aplicarse en iniciativas similares de la institución o de otras instituciones que
tienen competencias similares a nivel nacional o sub-nacional.
6. GESTIÓN DE LA EVALUACIÓN
La evaluación se llevará a cabo asegurando la participación de los principales actores
concernidos en el objeto de la evaluación. La estructura de gestión de la evaluación estará
integrada por:
Un Comité de Gestión integrado por SENAGUA, AECID y SETECI, con las siguientes funciones
- Diseñar y aprobar los términos de referencia.
- Valorar las ofertas para la selección del equipo evaluador.
- Mantener una interlocución permanente con el equipo evaluador.
- Asesorar y supervisar metodológicamente el proceso evaluativo.
- Llevar a cabo el control de calidad de la evaluación y velar por el cumplimiento de los plazos.
- Validar el informe preparatorio y aprobar los diferentes productos de la evaluación.
- Facilitar la difusión de los resultados de la evaluación.
- Coordinar la cumplimentación del documento de respuesta de gestión e impulsar la
utilización de las recomendaciones de la evaluación.
7. CRONOGRAMA Y PRODUCTOS A ENTREGAR
El tiempo previsto para llevar a cabo esta evaluación es de ocho (8) semanas desde la
formalización del contrato y se atendrá a la distribución de fases, tareas, productos y tiempos
9
que se indica en la tabla siguiente. Los plazos previstos podrán alargarse a criterio del comité de
gestión de la evaluación hasta que los productos entregados por el equipo evaluador reúnan una
calidad suficiente.
Durante la fase I, el equipo de evaluación recibirá un acompañamiento por parte del comité de
gestión de la evaluación con el fin de facilitar el ajuste del trabajo y la elaboración del informe
preparatorio.
Todos los productos serán entregados en español y en formato digital (Word), para garantizar su
adecuada difusión posterior, según los formatos que se consideren oportunos. Además, se
entregarán tres (3) copias en papel del informe final, con sus respectivos anexos y resumen
ejecutivo. El informe final deberá acompañarse de fotografías, mapas, cuadros, infografías y
otros recursos visuales que dinamicen la lectura y faciliten una mayor comprensión.
Deberán respetarse las normas de estilo incluidas en el Anexo III. Se recomienda consultar el
glosario “99 Términos de Eficacia de la Ayuda en la Cooperación Española” y la “Guía de
Modalidades e Instrumentos de la AECID” para definir y acotar los términos correspondientes
(p.ej. instrumento).
Fase Actividades Duración
Fase I.
Actividades
preparatorias y
estudio de
gabinete
- Reunión inicial del equipo evaluador con el comité de gestión,
primera recopilación de información y ajuste del encargo.
- Análisis de actores e identificación de los informantes clave
de la evaluación.
- Revisión preliminar de la documental disponible y adquisición
de nueva documentación en sede y en terreno.
- Caracterización del objeto de evaluación.
- Reconstrucción preliminar de la lógica de intervención.
- Ajuste de las preguntas de evaluación, de la metodología y
del plan de trabajo.
- Revisión por parte del comité de gestión de los documentos
presentados por el equipo evaluador como parte del informe
preparatorio.
- Ajuste de los productos por el equipo evaluador y aprobación
formal, en su caso, de los mismos.
2 semanas
Producto de la fase I: informe preparatorio
El informe contendrá el diseño definitivo de la evaluación, que deberá incluir i) una caracterización del
objeto de evaluación; ii) la lógica de intervención (reconstruida si no estuviera formulada de manera
expresa) iii) el marco conceptual de análisis; iv) una propuesta metodológica, que incluirá: un breve
análisis de evaluabilidad (explicitando las limitaciones encontradas o previstas y argumentando, si fuera
el caso, los cambios respecto al planteamiento inicialmente previsto), la concreción de las técnicas y
herramientas para la recogida de información, y un plan de análisis detallado; v) el plan de trabajo
actualizado; y vi) una matriz de evaluación definitiva.
El informe preparatorio se entregará como máximo al finalizar la segunda semana de inicio de los
trabajos.
10
Fase Actividades Duración
Fase II. Trabajo
de campo
Aplicación de las técnicas y herramientas metodológicas
diseñadas para la recogida de información, conforme a
lo previsto en el informe preparatorio.
Se realizarán visitas a al menos tres de las comunidades
beneficiarias del proyecto en las Demarcaciones
Hidrográficas de Manabí y Guayas.
3 semanas
(requiere la validación
previa del informe
preparatorio)
Productos: Presentaciones al inicio y al final del trabajo de campo.
El trabajo de campo se iniciará con un “briefing” al comité de gestión, al que también podrá invitarse a
otros actores. Una vez concluida la fase de campo, el equipo evaluador realizará una presentación que
incluirá las actividades realizadas y presentará unas impresiones preliminares para su debate con el
comité de gestión y con el comité de seguimiento.
Fase III. Análisis
e interpretación
de la
información.
Elaboración y
presentación
del informe final
- Análisis e interpretación en profundidad de la información
recolectada.
- Redacción de un primer borrador de informe final, que
incluirá los anexos correspondientes.
- Integración de observaciones y comentarios al informe
remitidos por el comité de gestión. El equipo evaluador
explicitará de qué manera estas observaciones han sido
incorporadas en el documento y expondrá, en su caso, los
argumentos que recomiendan su no consideración,
salvaguardando en todo momento la independencia de la
evaluación, en correspondencia con los Estándares de
evaluación del Comité de Ayuda al Desarrollo (CAD) de la
OCDE.
- Elaboración del informe final.
- Presentación del informe final.
3 semanas
(Incluye 1
semana para la
revisión, ajuste y
validación del
informe final)
Productos de la Fase III: informe final
Se compondrá de los siguientes documentos:
- El informe final propiamente dicho (máximo 70 páginas sin anexos), que deberá responder a los
objetivos de la evaluación y dar respuesta a las preguntas planteadas. Las conclusiones y recomendaciones del informe deberán derivarse de los hallazgos.
- Una relación de anexos, que incluirá, entre otros documentos, la metodología detallada, la
relación de técnicas e instrumentos aplicados y un listado con las principales fuentes de información.
- Un resumen ejecutivo (máximo 5 páginas), que será concebido en cuanto a su formato y
lenguaje a efectos de divulgación y que incluirá, al menos: una introducción al objeto de evaluación y a la metodología utilizada, y una síntesis de los principales hallazgos, conclusiones, lecciones aprendidas y recomendaciones. Este resumen ejecutivo se entregará una vez haya sido aprobado formalmente el informe final.
A continuación se propone una estructura de contenidos orientativa para el informe final de
evaluación, no obstante, el índice y el esquema definitivo del informe se acordará entre el comité
de gestión y el equipo evaluador.
11
En todo caso, los hallazgos y las conclusiones deberán estructurarse de manera que su lectura
permita responder claramente a las preguntas de evaluación.
Las lecciones aprendidas al ser presentadas, deben incluir generalizaciones que trasciendan la
intervención inmediata que está siendo evaluada, poniendo énfasis en la relevancia más amplia
que podrían tener. No todas las evaluaciones generan lecciones. Las lecciones deben ser
extraídas solamente si representan contribuciones al conocimiento general. Deben estar
sólidamente respaldadas por los hallazgos y conclusiones de la evaluación. Pueden fortalecer o
complementar lecciones comúnmente aceptadas, pero no deben ser una mera repetición del
conocimiento común.
Las recomendaciones evitarán una formulación genérica e indicarán a quién se dirigen.
1. Introducción.
1.1. Estructura del informe.
1.2. Antecedentes, alcance y objetivos de la evaluación.
1.3. Preguntas y niveles de análisis de la de evaluación.
1.4. Marco teórico-metodológico.
1.5. Proceso de recopilación y análisis de datos.
1.6. Condicionantes y límites de la evaluación.
2. Análisis e interpretación de los datos (hallazgos).
3. Conclusiones
4. Lecciones aprendidas
5. Recomendaciones (estratégicas y operativas).
Anexos
8. PREMISAS DE LA EVALUACIÓN, AUTORÍA Y PUBLICACIÓN
La evaluación se guiará por los Estándares de Calidad para la Evaluación del Desarrollo del CAD
de la OCDE y por la Política de Evaluación de la Cooperación Española. A lo largo del proceso
de evaluación el equipo evaluador deberá observar las siguientes premisas:
Independencia e imparcialidad: el equipo evaluador deberá garantizar su independencia
respecto del objeto evaluado. Las personas integrantes del equipo suscribirán una
declaración de ausencia de posibles conflictos de intereses, prestarán un tratamiento
respetuoso y no discriminatorio a todas las personas y colectivos implicados en el proceso
de evaluación y desempeñarán sus tareas con integridad y honestidad.
Anonimato y confidencialidad: durante el desarrollo de la evaluación se deberá garantizar
el respeto a la intimidad y el adecuado tratamiento de los datos personales. En contextos de
conflicto o riesgo para la integridad personal se extremarán especialmente las medidas con
el fin evitar posibles daños derivados de la identificación de las personas que participen en
la evaluación.
12
Credibilidad: para que sus productos resulten creíbles y asumibles ante los diferentes
actores implicados, la evaluación deberá responder a las diversas necesidades de
información; habrá de llevarse a cabo de acuerdo al cronograma previsto; y se realizará de
una forma sistemática, metodológicamente robusta y suficientemente argumentada,
mostrándose una línea clara de razonamiento; los hallazgos, las conclusiones y las
recomendaciones estarán fundados y se presentarán por separado, con una distinción clara
y lógica entre ellos.
Utilidad: los productos de la evaluación deberán reconocer sus propias limitaciones, reflejar
las diferentes visiones sobre el objeto de la evaluación, y mostrar una imagen equilibrada de
éste, que permita apreciar sus logros y fortalezas, así como sus posibles carencias y
debilidades. En caso de que existan discrepancias importantes en el seno del equipo
evaluador o entre éste y los órganos de gestión de la evaluación, se dejará constancia de las
mismas en el informe final.
Comunicación: la comunicación de los hallazgos y recomendaciones se realizará de forma
clara, concisa y concreta, utilizando formatos adaptados a las diferentes audiencias.
Incidencias: En el supuesto de detección de posibles irregularidades o comportamientos
inadecuados, éstos deberán ser comunicados inmediatamente al Comité de Gestión, que
los pondrá en conocimiento de los responsables oportunos. En el caso de aparición de
problemas imprevistos durante la realización del trabajo de campo o en cualquier otra fase
de la evaluación, éstos deberán ser comunicados inmediatamente al Comité de Gestión. De
no ser así, la existencia de dichos problemas en ningún caso podrá ser utilizada para
justificar el incumplimiento de lo establecido en los TDR.
Entrega de los Informes: En caso de retraso en la entrega de los informes o en el supuesto
de que la calidad de los informes entregados sea manifiestamente inferior a lo pactado,
serán aplicables las penalizaciones previstas en la legislación ecuatoriana.
Sin perjuicio del reconocimiento de la autoría moral del equipo evaluador, la AECID, SENAGUA
o SETECI podrán usar el contenido de la evaluación para la publicación de los documentos,
según estimen oportuno.
El contrato comprende una presentación de los resultados de la evaluación en Quito por parte
del equipo evaluador.
9. PERFIL DEL EQUIPO EVALUADOR
El equipo evaluador estará integrado por un mínimo de dos (2) personas. Se recomienda que su
composición asegure un adecuado equilibrio entre hombres y mujeres e incluya a profesionales
locales.
En caso de personas jurídicas, deberá acreditar:
- Documentos que establezcan la constitución o estatus jurídico, lugar de registro y sede
principal de las actividades de la firma consultora, así como los datos de su Representante
Legal.
En caso de personas naturales:
13
- Documentación que acredite poder firmar legalmente un contrato ecuatoriano.
La persona que coordine el equipo deberá acreditar titulación universitaria y formación
especializada en evaluación o investigación social y una experiencia mínima de 3 años en
ejecución de evaluaciones.
Se exigirá a los miembros del equipo titulación universitaria, preferiblemente en cooperación para
el desarrollo, evaluación, y/o políticas públicas, en particular relacionadas con la gestión de los
recursos hídricos.
En su conjunto, el equipo evaluador deberá acreditar:
- Conocimiento amplio del contexto socioeconómico y las políticas públicas del país.
- Conocimiento de la Cooperación Española.
- Conocimiento específico del sector de recursos hídricos.
- Conocimientos relativos a los enfoques transversales, género y medio ambiente.
La propuesta técnica incluirá las tareas a desarrollar y los tiempos de dedicación a la evaluación
de cada uno de los profesionales, así como el compromiso formal de pertenecer al equipo
evaluador durante el tiempo de vigencia del contrato. Cualquier cambio en la composición del
equipo evaluador deberá ser previamente acordado con el Comité de Gestión.
10. PRESENTACIÓN DE OFERTAS, PRESUPUESTO Y CRITERIOS DE
VALORACIÓN
Las ofertas se presentarán en Quito, en las oficinas de la AECID, situadas en la Av. 6 de
Diciembre N33-42 y Bossano, Edificio Titanium Piso 10, antes de las 15 horas del día 5 de
septiembre de 2016.
Deberán incluir la siguiente documentación:
Presentación de la empresa (en su caso) y Curricula vitarum de los miembros del equipo
evaluador. Se indicará que podrá solicitarse en cualquier momento la presentación de
documentación que acredite la veracidad de los datos.
Propuesta técnica, que incluirá una descripción del objeto a evaluar, una propuesta
metodológica que incluya la operacionalización de la matriz de evaluación y un plan de
trabajo.
Propuesta económica. Deberá desglosarse en función de los diferentes tipos de gastos
(viajes, alojamiento, manutención, honorarios, materiales, etc.). En el caso de los
honorarios, se especificarán las tareas y las tarifas de cada miembro del equipo evaluador,
indicando el importe por persona y día.
Declaración responsable de que no existen incompatibilidades o conflictos de intereses.
14
Justificante de Seguro Médico y de Accidentes para el equipo evaluador, durante la duración
del contrato.
El presupuesto máximo de esta evaluación es de USD 13.200 dólares, incluidos
impuestos, tasas, seguros sociales, además de un seguro médico y de accidentes para los
integrantes del equipo evaluador. AECID no se hará cargo de gastos fuera del contrato por
la prestación del servicio.
El precio se abonará en tres pagos, una vez validados los productos correspondientes:
- Tras la aprobación del informe preparatorio (30%)
- Tras la presentación del final del trabajo de campo (20%)
- Tras la aprobación del informe final y la recepción de toda la documentación (50%)
Los criterios de valoración de las ofertas serán los siguientes:
Oferta económica (30%):
Oferta técnica (70%):
- Conocimiento del objeto de evaluación (15 puntos)
- Rigurosidad y claridad de la propuesta metodológica y su adecuación a la naturaleza
y el propósito de la evaluación (30 puntos)
- Calidad de la matriz de evaluación (30 puntos).
- Viabilidad del plan de trabajo (12,5 puntos).
- Abordaje de los enfoques transversales en la propuesta metodológica (12,5 puntos).
11. VISIBILIDAD
Todo producto elaborado en el marco del contrato derivado de los presentes términos de
referencia, deberá respetar lo establecido en el “Manual de Identidad Corporativa de la
Cooperación Española”, versión 2015, en el que se establecer las normas de visibilidad y la
convivencia del logotipo de la cooperación española con el de otras instituciones.
15
ANEXO I. LISTADO PRELIMINAR DE ACTORES
A continuación se señala, únicamente a título orientativo, el listado preliminar de los principales
actores concernidos en la evaluación:
SETECI, como responsable de la cooperación internacional en Ecuador y beneficiaria
directa de la primera subvención para el proyecto
SENAGUA, como entidad ejecutora del proyecto y beneficiaria directa de la segunda
subvención.
AECID, OTC Ecuador, como entidad financiadora y responsable del seguimiento del
proyecto.
Instituto Nacional de Meteorología e Hidrología (INAMHI), institución con la que
SENAGUA se ha coordinado para la ejecución del proyecto.
Escuela Politécnica del Litoral (ESPOL), como consultora especializada para la
obtención de algunos productos.
Comunidades y asociaciones beneficiarias de las intervenciones en albarradas
Gobiernos locales
Otros que pudieran resultar de interés
16
ANEXO II. LISTADO PRELIMINAR DE DOCUMENTACIÓN DE REFERENCIA
A título ilustrativo se indican algunos documentos de referencia, así como una serie de enlaces
a la Web desde donde se puede acceder a información actualizada y publicaciones relevantes
para el objeto de esta evaluación.
Documentos marco de la Cooperación Española:
- IV Plan Director de la Cooperación Española (2013-2016).
- Política de Evaluación de la Cooperación Española, 2013.
- Marco de Asociación País España-Ecuador 2010-2013.
- Manual de Identidad Corporativa de la Cooperación Española, versión 2014.
Documentos del proyecto:
Documento de formulación del proyecto
Resoluciones de concesiones de subvenciones AECID
Planificación Operativa del proyecto en sus años de ejecución
Informes cuatrimestrales de seguimiento
Actas de comités de seguimiento
Productos del proyecto
Otros documentos de interés:
Ley General de Recursos Hídricos
Planes y programas de la SENAGUA
Enlaces a la Web con información y publicaciones de referencia en la Cooperación
Española:
- AECID
Enlaces a la Web con información y publicaciones de referencia en relación con la
intervención evaluada:
17
ANEXO III: NORMAS DE ESTILO PARA LOS PRODUCTOS ENTREGABLES.
1. ASPECTOS FORMALES
Todos los productos se entregarán en formato Word, con las siguientes características:
1. El texto se presentará en A4 a dos columnas, con un interlineado simple (1,0), en
tipografía Berthold Akzident o, en ausencia de esta, Arial a tamaño 10 (aproximadamente
690 caracteres sin espacio).
2. Entre párrafos se deberá dejar doble espacio.
3. Los informes incorporarán aquellos, cuadros y gráficos necesarios para la correcta
compresión del texto. Se deberán facilitar dichos cuadros, diagramas, gráficos e
imágenes aparte y en su formato original, con el fin de que puedan ser editados para la
maquetación de los textos.
4. En los márgenes de la página se guardará el modo “normal”:
- Superior e inferior: 2,5 cm
- Izquierdo y derecho:3 cm
5. El color de la fuente del cuerpo general de la publicación deberá ser automático (negro)
y los títulos y ladillos diferenciados irán en color azul, pantone 312 (RGC 0, 175, 208).
6. Los títulos:
- Los títulos que encabezan cada capítulo irán en un tamaño de tipografía mayor (12),
en negrita, e incluirán la numeración correspondiente. Ejemplo: 1. Introducción
- En el siguiente rango de título (primer ladillo) se usará la tipografía en cuerpo 11 y
en negrita, anteponiendo la numeración correspondiente. Ejemplo 1.1.
Antecedentes y objetivos de la evaluación
- En el tercer rango el tamaño de la fuente será 10, en cursiva y en color azul. Ejemplo:
1.2.1. Análisis del uso eficaz de los recursos
- El siguiente nivel, si lo hubiera, irá en color automático (negro) y en cursiva, en
tamaño de letra 10 sin número. Ejemplo: Implicaciones para la AECID
7. Las enumeraciones deberán ir señaladas con números arábigos y se dejará un espacio
entre los dos puntos y la primera numeración. Los diferentes puntos no guardarán
espacio. Ejemplo:
“Los supuestos principales que subyacen al MAP como instrumento son:
1. Que el país socio define sus prioridades estratégicas.
2. Que el conjunto de la Cooperación Española realiza un análisis de ventaja
comparativa como base para el diálogo con el socio.
3. Que una vez aprobado, el MAP…”
18
8. Las notas a pie de página tienen que ubicarse siempre al pie de la página donde se
encuentra la nota y serán correlativas en todos los capítulos, es decir, cada capítulo
empezará a partir del último número del capítulo anterior.
9. Numeración de páginas: en la misma tipografía que el cuerpo del texto, sólo con un
número y a tamaño 10 en color negro.
10. Todos los informes contendrán un índice de texto, así como un índice de tablas y
gráficos. A su vez, las tablas y gráficos irán acompañados del número y la descripción
correspondiente y se ubicarán sobre la figura a la que acompañen.
Ejemplo: Tabla 1. Fases de la evaluación
El formato de los índices será el siguiente:
- En el índice general únicamente se descenderá hasta el segundo nivel.
- En el índice de tablas y gráficos se incluirá la descripción del número de
tabla o gráfico. Ejemplo: Gráfico 2: Proceso de planificación.
- Se utilizará la tipografía del cuerpo de texto general, aplicándose los criterios
establecidos para los diferentes niveles en los puntos 5 y 6.
2. ESTILO
Se utilizará un estilo directo y sencillo, evitando las metáforas, los circunloquios y la negación
repetida con el fin de facilitar la lectura y no elevar innecesariamente la densidad del texto.
3. CITAS
Todas las citas han de redactarse siempre entrecomilladas e indicando la fuente
correspondiente. En el caso de extractos de entrevistas, deberá preservarse la confidencialidad
de los informantes y habrá que dejar claro si se trata de una opinión estrictamente personal o de
una cita a título de ejemplo de una opinión compartida por varios actores.
4. ESPACIOS Y NEGRITAS
Se dejará un mayor espacio entre párrafos que expresan diferentes ideas y se destacarán en
negrita las palabras que se identifican con las ideas clave, con el fin de hacer el contenido del
texto más accesible. Cabe recordar, no obstante, que para evitar un efecto de saturación no se
debe abusar de las cursivas y negritas.
5. ABREVIATURAS, ACRÓNIMOS Y SIGLAS
Abreviaturas
Con el fin de no perjudicar la comprensión y la legibilidad de un texto, se procurará no abusar de
ellas, limitando en lo posible su uso a notas, referencias, citas y textos especializados.
19
Se evitará el uso de abreviaturas que se prestan a confusión o cuyo uso no está extendido fuera
del ámbito de la cooperación internacional para el desarrollo: CE por Cooperación Española
(podría confundirse con Comisión Europea), PD por Plan Director, etc.
Cabe recordar que el plural de las abreviaturas se expresa mediante duplicación de letras:
EE.UU., CC.AA., etc.
Las unidades de medida no son abreviaturas, sino símbolos, por lo que nunca llevarán punto
final: g; km; kW
Siglas y acrónimos
Es muy importante proporcionar el significado íntegro de una sigla o un acrónimo cuando se cita
por primera vez en un texto.
En español, las siglas son invariables, por lo que no tienen ni singular ni plural. El número lo
marcan las palabras que las acompañan: una ONGD, las ONGD, un MAP, los MAP. En ningún
caso debe escribirse las ONGDs o los MAPs ni mucho menos unas ONGD’s o algunos MAP’s.
Sin embargo, los acrónimos que se han incorporado como nombres comunes a la lengua
española, son palabras plenas, por lo que se escriben en minúscula y se pluralizan como
cualquier otra palabra: los ovnis, unos radares.
Cuando una sigla se una a un prefijo, este no formará parte de la sigla, sino que irá unido a esta
con un guion: anti-OTAN.
En el caso de tener que utilizar una sigla correspondiente a un término en otra lengua, conviene
indicar su traducción o su significado en la lengua de origen, sin necesidad de ponerlo en cursiva:
ECOWAS (Economic Community of West African States: Comunidad Económica de Estados de
África Occidental).
6. USO DE MAYÚSCULAS
Se evitará el uso abusivo de las mayúsculas. Para ello, se tendrán en cuenta las siguientes
pautas:
Se escriben con mayúscula inicial:
• Entidades, instituciones, organismos, departamentos: Oficina Técnica de Cooperación,
Departamento de Emergencia y Postconflicto.
• Comités, comisiones, grupos de trabajo con nombre propio: Grupo de Trabajo de Eficacia y
Calidad de la Ayuda.
• Congresos, jornadas, ferias, etc. con nombre propio: Jornada Mundial por el Trabajo Decente,
Mesa Redonda sobre las Mujeres Indígenas.
• Años, días y semanas internacionales (Día Mundial contra el Cáncer, Semana de la
Cooperación).
• Publicaciones periódicas y colecciones con nombre propio (Cuadernos Hispanoamericanos,
Plan Director de la Cooperación Española).
• Todas las palabras significativas que forman parte del nombre propio o título de programas,
planes y proyectos: Programa Masar, Plan de Acción Cultural.
20
• Los premios con nombre propio: Premio Vicente Ferrer, Premio Teatral Tirso de Molina.
• En títulos de obras y documentos, sólo la primera palabra: Nuevos caminos para salir de la
pobreza, El comercio justo en España.
• Los nombres propios y apellidos de personas.
• Las fórmulas de tratamiento de personas: Sra., D.
• Cargos y empleos concretos: el Secretario General de Cooperación Internacional para el
Desarrollo.
• Áreas geopolíticas, continentes, países, ciudades: Cono Sur, Cuerno de África, Unión
Europea, Estados Federados de Micronesia.
• Subdivisiones territoriales: La Comunidad Autónoma de La Rioja.
Se escriben con minúscula:
• Los sustantivos genéricos: las mesas sectoriales, los grupos de trabajo, los directores, la
rendición de cuentas, la gestión para resultados de desarrollo, el objetivo específico, la línea
estratégica, los planes y estrategias, etc.
• Los días de la semana, meses y estaciones del año: el primer lunes de agosto es mi día
favorito del verano.
• Las lenguas y gentilicios: muchos finlandeses hablan inglés y sueco.
7. NÚMEROS
Cada lengua tiene sus propias normas a la hora de escribir los numerales. En el caso de las
traducciones, se evitará hacer un calco de la versión original y se seguirán, en la medida de lo
posible, las reglas de la lengua española.
Las expresiones numéricas que encontramos en un texto corriente se escriben, normalmente
con letras. Sin embargo ciertos textos pueden exigir el uso de cifras. Algunas normas generales
son:
Escritura con letras:
• Se escriben con letra todas las cifras del cero al nueve, ambos inclusive. Sin embargo, no hay
que mezclar en un mismo pasaje números escritos con cifras con números escritos con letra:
“Asistieron 500 cooperantes, 30 coordinadores y cuatro directores”. Es preferible “500
cooperantes, 30 coordinadores y 4 directores”.
• Números que representan cantidades o cifras aproximadas (unos, alrededor de,
aproximadamente, etc.: “Asistieron unos cincuenta eurodiputados”.
• Unidades de millón: un millón, dos millones.
• Decenas, centenas o millares de millón se escribirán parte con números y parte con letras: 10
millones, 1.000 millones.
• Expresiones de duración o tiempo requerido para realizar algo: Los candidatos dispondrán de
tres horas para redactar el informe.
21
• Fracciones fuera de contextos matemáticos: Las tres cuartas partes de los habitantes son
jóvenes menores de veinticinco años.
Escritura con cifras:
• Números que necesitan cuatro o más palabras en su escritura: El fondo tuvo un presupuesto
inicial de 1.250 millones de euros.
Escritura combinada de palabras y cifras:
• Si la base es el numeral mil, no deben mezclarse cifras y letras: 432.000 habitantes, no 432 mil
habitantes.
• Siempre que sea posible, las cantidades en moneda se indicarán en euros, con independencia
de que se incluyan también otras divisas de uso frecuente en la intervención evaluada.
22
ANEXO IV. MODELO DE MATRIZ DE EVALUACIÓN
CRITERIOS DE EVALUACIÓN (EN SU CASO)
PREGUNTAS DE EVALUACIÓN
SUBPREGUNTAS Y ACLARACIÓNES
INDICADORES TÉCNICAS Y FUENTES