Seguimiento, Monitoreo y Evaluacion de Proyectos Sociales

CURSO _ E-DC-5.2.

SEGUIMIENTO, MONITOREO Y EVALUACIN DE PROYECTOS SOCIALESTEXTO DE REFERENCIA Y DE CONSULTA

LEANA ESPINOZA CORRALES _ HERMAN VAN DE VELDE _

JULIO 2005

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

ndice1. 2. Introduccin De qu hablamos?2.1. La necesidad de conceptualizar 2.2. Trminos Clave 2.3. Tipos de Evaluacin 2.4. Sistemas de Evaluacin, Monitoreo, Seguimiento y Evaluacin (SEMSE)

3 810 11 23 36

3.

Evaluacin de Procesos y de Productos3.1. Evaluacin de Procesos 3.2. Evaluacin de Productos (resultados, efectos, impactos) 3.3. Identificacin de factores incidentes y sus significados 3.4. Mtodos de evaluacin rpida

4444 45 55 57

4. 5.

Seguimiento en proyectos de cooperacin4.1. GTZ 4.2. VOLENS_itinerans

6061 64

Evaluacin Institucional y de Proyectos5.1. Evaluacin Institucional (Planes, Programas y Estrategias) 5.2. Evaluacin de Proyectos 5.3. Herramientas para la evaluacin

6969 77 83

6.

El Enfoque de Gnero en Sistemas de Evaluacin6.1. La dimensin de Gnero en la Evaluacin 6.2. Construccin de un Sistema de Monitoreo, Seguimiento y Evaluacin sensible a Gnero

9292 100

7. 8.

La participacin en la Evaluacin7.1. Pautas 7.2. Una experiencia interesante: Los G.I.S. en Estel - Nicaragua

103103 107

Preguntas frecuentes sobre evaluacin8.1. Mis preguntas _ Nuestras respuestas / propuestas 8.2. Otras preguntas _ mis respuestas / propuestas

111111 120

BibliografaAnexo A: Evaluacin Constructivista

121128

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

2

CURN / CICAP - Estel, Nicaragua


Julio 2005

1. IntroduccinLa evaluacin, bien desarrollada, es una oportunidad de aprendizaje, integrante de una actitud emprendedora de calidad, orientada a la superacin en cada una/o y todas/os las/os involucradas/os, La calificacin, peor si es con una nota, es un riesgo permanente y latente de convertir un punto de referencia y de partida constructivo en una descalificacin decepcionante.Herman Van de Velde, Estel - Junio 2005.

El asunto de la evaluacin es sin duda uno de los fenmenos ms discutidos en los contextos del trabajo socio-educativo. Slo pensemos en las siguientes preguntas: Qu es evaluar? Qu diferencia y relacin existe entre evaluacin y medicin? Y en cuanto a la evaluacin y el control? Y el seguimiento, qu papel juega dentro del marco de una evaluacin? Quines evalan, quines deberan evaluar? Qu se evala y cmo lo hacemos, por qu? Y la pregunta talvez ms importante: Para qu evaluar? Desde esta introduccin (captulo 1) queremos mencionar que independientemente del nombre actual del curso Seguimiento, Monitoreo y Evaluacin, quisiramos proponer ya un cambio y ponerle: Monitoreo, Seguimiento y Evaluacin o mejor todava: Sistemas de Evaluacin, Monitoreo, Seguimiento y Evaluacin _ SEMSE. Por qu? Si queremos responder a esta pregunta, entonces, est invitada/o a trabajar este texto de referencia y de consulta, a intercambiar con y entre las y los dems e ir construyendo SU respuesta, en base al contexto particular que en-globa sus quehaceres. acuerdo? 3 De




Julio 2005

Realmente, un texto como ste es un espacio demasiado reducido para abordar todo lo referente a los sistemas de evaluacin1. Existen concepciones muy tradicionales, concepciones ms modernas, pero tambin concepciones adecuadas, es decir concepciones que se van construyendo de acuerdo (adecundose) a la realidad, al contexto particular que se vive con la participacin de las y los actore/as clave relacionadas/os. A esto ltimo es que apuntamos: no pretendemos decir la palabra definitiva, sino ms bien invitar a la reflexin crtica de una muestra de aportes como base para encaminarnos a ir construyendo nuestros propios conceptos. Y esto es lo primero que tendremos que hacer: aclarar de qu hablamos (captulo 2) de manera que estemos mejor preparadas/os para seguir intercambiando nuestras experiencias. Tambin se describen diferentes formas de clasificar los tipos de evaluacin, sin pretender ser exhaustiva/o al respecto. Y al en-marcar el todo como un sistema se har nfasis en el marco metodolgico, tambin de este tipo de proceso, como una oportunidad de aprendizaje, integrante de una actitud emprendedora de calidad, a construir conjuntamente (metodologa P-COA_acem). Mucha discusin existe sobre si debemos evaluar procesos o ms bien productos. A ambos se hace referencia en el captulo 3. Es importante la evaluacin, ya que a pesar de los miles de millones de dlares que se emplean en ayuda para el desarrollo cada ao, an se conoce muy poco acerca del efecto real de los proyectos en los niveles de pobreza. Hay evidencias generalizadas sobre los beneficios que el crecimiento Pero para un programa o proyecto especfico en un pas econmico, las inversiones en capital humano y el suministro de redes de seguridad tienen en los pobres. determinado, la intervencin qu palabra ms fea est produciendo los beneficios previstos y cul fue el efecto general en la poblacin? Se podra disear mejor el programa o proyecto para lograr los resultados esperados? Se estn empleando los recursos en forma eficiente? Se logr el efecto previsto? Y a largo plazo, qu cambio hay? Estos son los tipos de preguntas que slo se pueden responder mediante una evaluacin de impacto, un enfoque que mide los productos de la intervencin de un programa aislndolo de otros posibles factores.1

Al referirnos a Sistemas de Evaluacin, incluimos implcitamente tambin el monitoreo y el seguimiento.


4



Julio 2005

Considerando que muchos proyectos sociales forman parte de un paquete de cooperacin externa (tcnica o financiera), en el captulo 4 se presentan dos experiencias concretas en construccin (GTZ y VOLENS/itinerans). Tambin es importante diferenciar entre la Evaluacin Institucional y la Evaluacin de Proyectos. Esto mismo se hace en el captulo 5, cerrndolo con una referencia a herramientas concretas para la evaluacin. En el captulo 6 aprovechamos para plantear la necesidad de implicar todo proceso de evaluacin con un enfoque de gnero y presentamos puntos de vista al respecto. Uno de los puntos fuertes de discusin es siempre quines y cuntas personas deben participar en el proceso de evaluacin, en cada una de sus etapas. Nos referimos, en el captulo 7 al carcter participativo del proceso de evaluacin en su sentido ms amplio. Camara Lpez (2005, 74) expresa al respecto: En cuanto a quines deben tomar parte en el proceso es imposible ofrecer recetas vlidas para todo tipo de situaciones. No obstante, ya hemos dicho que la planificacin ha de concebirse como un ejercicio participativo, identificando y reclutando implicados y lderes del proceso de manera que estn representados los criterios y puntos de vista de los principales grupos de inters: el patronato, junta directiva o consejo de direccin, el rgano de direccin o gerencia de la organizacin, los responsables de las distintas reas, el personal contratado y voluntario que se desempea actualmente en la organizacin (incluyendo a veces a personas que trabajaron en ella en el pasado) y por supuesto, las personas clientes o usuarias de los servicios, adems de otros posibles implicados en cada caso. El proceso debe ser inclusivo, favoreciendo la participacin y colaboracin entre los distintos departamentos de la organizacin, de forma que se propicie el sentido de pertenencia, la asuncin de responsabilidades y la apropiacin general del proceso. Lo anterior no significa que tenga que existir necesariamente un consenso o unanimidad total entre todos los implicados, pero s que todos tengan la oportunidad de estar informados, ser escuchados y sus intereses y expectativas puestas de manifiesto. Todo proceso de Evaluacin implica posibles cambios. Todo cambio provoca reaccin. Dependiendo del tipo de reaccin, habr diferentes niveles de disposicin a participar. Se pueden distinguir tres tipos de reacciones: la de aquellas personas favorables al cambio, las de quienes se muestran indiferentes y las de los que se oponen al mismo, cuyas actitudes y formas de resistencia se sintetizan en la siguiente tabla:


5


Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales ACTITUDES FRENTE AL CAMBIO Actitudes: Resistencia Activa Pasiva Favorables al cambio Indiferentes

Julio 2005

En contra del cambio

Agentes de cambio

Escpticos, carentes de inters Opositores, crticos, dogmticos Esconden la cabeza bajo el ala

Asistentes, simpatizantes Espectadores, masa inerte

Fuente: Zimmermann,1998 en Camara Lpez L. (2005)

En todo caso, una de las causas ms importantes de la resistencia, entre otras, puede atribuirse a una ausencia de informacin, a que sta sea incompleta, deficiente o se produzca a destiempo. Como se ha mencionado, casi nadie acepta un cambio si no comprende su finalidad y si no cree que le reportar un beneficio en forma de reconocimiento, responsabilidad, poder o mejores condiciones de trabajo. La pirmide que se representa a continuacin establece niveles sucesivos de resistencia de las personas frente al cambio, para los que se proponen diversos medios de superacin basados en la comunicacin: La pirmide de resistencia al cambio

Por lo tanto, si se desea garantizar la participacin y trabajar de forma constructiva con la resistencia, no puede subestimarse la importancia de una buena estrategia de comunicacin. Tanto antes como durante el ejercicio de planificacin es importante explicar el sentido del mismo, confirmar el apoyo de los niveles directivos y explicar la importancia que se conceder a los distintos puntos de vista de los miembros de la organizacin y otros implicados.

Como ya dijimos anteriormente es imposible tratar de manera exhaustiva la problemtica relacionada con el tema de este curso. De all la necesidad de concluir elPROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

6



Julio 2005

texto (sin ponerle fin a la discusin) con preguntas, con Preguntas frecuentes sobre evaluacin, con mis preguntas y con otras preguntas. Ya veremos. Para dar por concluida esta introduccin y abrir puerta (lo que significa: a-portar) a la conceptualizacin en el captulo 2, una referencia a la tan indispensable e innegable relacin entre evaluacin e informacin. Si hablamos de un sistema de evaluacin, esto necesariamente tambin implica un sistema de informacin. Sobre la problemtica de la necesidad de la informacin, Peters y Flores (2000, 75) plantean: Muchos directivos no pueden hacer su trabajo bien porque no cuentan con los insumos, es decir informacin para poder analizar y tomar decisiones. Los directivos dependen de diferentes tipos de informacin para poder hacer su trabajo. Claro es que los dirigentes no tienen que tomar decisiones sobre asuntos diarios. Les corresponde decidir sobre los asuntos macros y las lneas grandes generales. La tarea del equipo tcnico en esto es ayudarles a viabilizar las decisiones. Por lo tanto, si el equipo tcnico y administrativo no brinda buena informacin oportunamente a los dirigentes, sus tareas son imposibles. Los directivos tienen el derecho de pedir y exigir cada vez la informacin necesaria.

Me atrevo a lanzar la pregunta: Y cmo estamos con el manejo de la informacin en nuestras organizaciones? Cmo funciona el sistema (existe?) de informacin? Hay informacin oportuna disponible a servicio de un sistema de evaluacin?

Con una profunda reflexin crtica estaremos encaminadas/os para ir construyendo una propuesta de un Sistema (real) de Evaluacin, Monitoreo, Seguimiento y Evaluacin en el marco de nuestro contexto laboral, a nivel de la institucin, de un programa o a nivel de un proyecto. este curso. Empecemos a construir la propuesta desde ya En esto consiste el Trabajo de Campo (la propuesta del equipo, acompaada de un informe de proceso personal de cada participante) correspondiente a


7



Julio 2005

2. De qu hablamos?Antes que todo es interesante analizar el siguiente esquema (Camara, 2005, 75) que indica los pasos en una planificacin estratgica:

Y qu tiene que ver la evaluacin con el proceso de planificacin estratgica? Qu nos indica el esquema anterior? Interprete y comente entre vecinas/os ________________________________________________________________________________ ________________________________________________________________________________ La evaluacin es una herramienta de gestin a considerar desde su realidad y su perspectiva: Existen diferentes niveles desde los cuales se puede observar la evaluacin. En su nivel ms genrico o abstracto, evaluar supone la implantacin de un cierto tipo de metodologa que se caracteriza por tener una terminologa propia, un conjunto de herramientas conceptuales y analticas especficas, y unos procesos, fases y procedimientos del mismo modo especficos.PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

8



Julio 2005

En su nivel ms concreto, evaluar implica la aplicacin de aquel modelo o metodologa de intervencin capaz de producir informacin vlida y confiable que permita el establecimiento de juicios sobre el qu y el cmo de los logros de una determinada actuacin. Naturalmente, esto puede significar el uso de uno o ms tipos2 de evaluacin (evaluacin de necesidades, de calidad, de resultados e impactos, de eficiencia, etc.) y su realizacin en varios momentos (exante, ongoing, expost). Del mismo modo, dependiendo de quin se encargue de llevar a cabo la evaluacin, sta puede ser externa, interna o autoevaluacin. (Salle, 2003, 21) Realmente, dentro de una nueva visin alrededor del quehacer evaluativo, se reconoce ya ampliamente que la evaluacin como capacidad tcnica funcional es un componente clave en TODO el ciclo de los programas y proyectos. Se pretende que atrs queden los tiempos cuando se evaluaba despus de que todo haba concluido y se buscaban los nmeros de las actividades realizadas, sobre todo para volver a solicitar recursos al financiador. Tambin queda atrs la relacin entre evaluacin y supervisin, ya que evaluar no implica emitir dictmenes sino recomendaciones fundadas en el conocimiento. Adems de romper con la lgica de evalo para el financiador, se trata que la evaluacin de calidad permita un control de la gestin; la evaluacin se convierte en un proceso de aprendizaje social, ejercido por aquellos que quieren saber y conocer para mejorar la tarea asignada, para saber cmo comprometerse o para la exigibilidad de los derechos. La lgica de la evaluacin actual no es la de un sistema de vigilancia del cumplimiento, sino es ante todo un mtodo de aprendizaje institucional para una mayor capacidad al momento de realizar intervenciones sociales efectivas en la realidad de los y las jvenes. (Urza, 2004, 5) Parcialmente podramos sacar las siguientes conclusiones en base a lo abordado: 1. La evaluacin es inherente a TODO el ciclo del proyecto 2. Una evaluacin de calidad apunta al aprendizaje institucional 3. La evaluacin tiene que ver con control 4. Los resultados de una evaluacin constituyen insumos para la toma de decisiones y adecuar rumbos 5. La evaluacin es una herramienta de gestin 6. Lo anterior slo son orientaciones en cuanto a los procesos evaluativos. orientaciones nos ayudan a comprender, sin embargo no me definen. significados. De esto trata el inciso 2.1. de este captulo.2

Estas

Es necesario

seguir profundizando y CONCEPTUALIZAR los trminos, describir y contextualizar los

Ver tambin el inciso 2.3. Tipo de Evaluacin.


9



Julio 2005

2.1. LA NECESIDAD DE CONCEPTUALIZARObjetivos Resultados Esperados Palabras clave Variables Indicadores Criterios Descriptores Dimensiones Control Monitoreo Productos Efectos Metas Propsitos Fines Seguimiento Evaluacin - Cada uno de estos conceptos, segn el contexto, puede adquirir muchos y diferentes significados, a veces hasta contradictoras. necesario CONCEPTUALIZAR. En todo y cada uno de los contextos es Conceptualizar quiere decir, entre las y los

involucradas/os ir construyendo el concepto, o ms bien el significado de cada trmino. Bajo este inciso slo pretendemos ilustrar la variedad de interpretaciones con algunos extractos, indicando los trminos ms relacionados con nuestro tema en negrilla y subrayados. De esta manera nos preparamos para leer y analizar crticamente otros aportes en el siguiente inciso, donde les invitamos a concluir con su construccin propia despus de abordar cada trmino clave. Antes de iniciar con estos extractos, es oportuno sealar que la conceptualizacin no es algo nuevo dentro del marco del Desarrollo Comunitario. En varias de las temticas abordadas anteriormente se ha hecho referencia a la necesidad de conceptualizar. Especficamente en los cursos sobre procesos de facilitacin, planificacin estratgica, auto-diagnstico, etc. Adems, ya profundizamos sobre una metodologa muy comn en cuanto a la conceptualizacin: la identificacin de variables y la construccin de indicadores. Todo lo abordado al respecto es claramente parte de la tan necesaria conceptualizacin. A travs de los indicadores dejamos claro qu entendemos por la esencia planteada en un objetivo o resultado esperado. A travs de los indicadores, aclaramos contenidos (conceptualizacin contextual - comprensin compartida) y priorizamos aspectos y dimensiones a abordar (valor estratgico). Miremos ahora algunos extractos de la literatura relacionada, identificando conceptos o trminos clave relacionados con la problemtica de la evaluacin. Budinich (1998, 5) hace referencia a la confusin de conceptos as: Aunque normalmente nos referimos a los trminos seguimiento y evaluacin como una unidad integrada, la realidad es que estos representan dos funciones, que aunque complementarias, tienen diferencias fundamentales entre si. Se considera el seguimiento como un sistema de informacin (comprendida su retro-alimentacin) de apoyo a laPROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

10



Julio 2005

gestin, orientado a la solucin de problemas que se plantean durante la ejecucin de proyectos y programas, y la evaluacin como un medio para comprobar si los proyectos y programas de desarrollo rural alcanzan sus objetivos. Otra funcin importante del seguimiento y evaluacin es ofrecer enseanzas para el diseo, la planificacin y la administracin de proyectos en el futuro. En teora, el seguimiento o monitoreo es una actividad de la administracin interna del programa o proyecto, mientras que la evaluacin en si es una preocupacin de la agencia que lo implementa o de organizaciones externas a ste. Urza (2004, 9), al referirse al sistema de seguimiento y evaluacin (sse) de la poltica pblica de Juventud en Nicaragua aporta en cuanto a la diferencia entre monitoreo y seguimiento: La palabra monitoreo, que apareca en los trminos de referencia ha sido sustituida por seguimiento, dado que define de mejor forma el sistema propuesto. Monitorear sugiere una posicin esttica, como quien est viendo un monitor desde su lugar. Seguir implica el movimiento e involucrarse con el proceso. De ah que hablemos de un viaje, un trayecto y de los recursos tcnicos para emprenderlo. Chassagnes (s.f., 13), desde la realidad cubana, tambin enfatiza la discusin conceptual: El seguimiento (tambin denominado acompaamiento o monitoreo) y la evaluacin son como dos caras de una misma moneda. Es la forma que tenemos de saber si hemos aprovechado o no nuestro tiempo en el desarrollo de un proyecto. El seguimiento es un proceso continuo, mientras que la evaluacin generalmente se hace al finalizar una etapa o al llegar al final del proyecto. De todas formas, ambos elementos marchan unidos, puesto que el seguimiento es una forma de ir evaluando da a da el proyecto y en definitiva nos servir para llegar al momento de la evaluacin con ms informacin, adems de permitirnos la realizacin de ajustes peridicos. La evaluacin, por su parte, nos permite realizar una valoracin ms global antes de pasar a otra etapa superior. Ahora es nuestro turno aportemos a la conceptualizacin desde nuestros contextos!...

2.2. TRMINOS CLAVEBajo este inciso haremos referencia a tres conceptos fundamentales y en este orden: monitoreo, seguimiento y evaluacin. Para cada uno se incluyen aportes desde la literatura para concluir con una observacin propia y una invitacin a construir su propio concepto. En el inciso 2.4. se visualizar la interrelacin entre los trminos y se har una propuesta conceptual y metodolgica ms global para que sea considerada y criticada por la/el lector(a) de este texto.PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

11



Julio 2005

A. Monitoreo Desde Holanda y dentro del mbito de cooperacin (ICCO3, 2000, 30) se plantea: Se conoce como monitoreo participativo cuando involucra a los beneficiarios y no solamente al personal del proyecto. El monitoreo de impacto incluye la evaluacin de los avances respecto al impacto esperado dentro del grupo meta. En este contexto se concibe monitoreo ms amplio que la evaluacin, o sea como que la evaluacin est incluida en el monitoreo. No todas las organizaciones comparten este punto de vista. Por ejemplo, CANTERA _ Centro de Educacin y Comunicacin Popular (2002, 33-37) de Nicaragua expresa: Monitoreo significa observar y recolectar informacin. Evaluar es reflexionar sobre lo que ha sido observado para as verificar si seguimos en el rumbo correcto El monitoreo es la observacin y el anlisis sistemticos de la ejecucin de un proyecto, los medios empleados y los resultados intermedios, debe basarse en hitos de la ejecucin e indicadores de desempeo previamente definidos y sirve para alertar sobre problemas e ir haciendo ajustes adaptativos o correcciones en el camino. Cabe observar que en la primera parte de la cita, se pretende limitar el monitoreo a la recoleccin de datos, dejando la reflexin sobre el significado de los mismos (el anlisis) a la evaluacin. Sin embargo despus indica que el anlisis tambin es parte del monitoreo Cmo no confundirnos? Rodrguez (1999, 8-9), desde Costa Rica expresa: Un sistema de monitoreo es un proceso continuo y sistemtico que mide el progreso y los cambios causados por la ejecucin de un conjunto de actividades en un perodo de tiempo, con base en indicadores previamente determinados. Es un mecanismo para dar seguimiento a las acciones y comprobar en qu medida se cumplen las metas propuestas. Es una herramienta de la evaluacin que no slo mide ejecuciones: tambin revisa y da seales de advertencia sobre actividades problemticas que no funcionan de acuerdo a lo planificado. PLANIFICADO EFICIENCIA Plan Operativo Indicadores Sistema de Monitoreo EFICIENCIA

EJECUTADO Toma de decisiones Recoleccin de Informacin Actividades

3

Organizacin inter-eclesistica para la Cooperacin al Desarrollo


12



Julio 2005

En el monitoreo se buscan las razones de las fallas comprobadas, con el objetivo de encontrar alternativas de solucin. Tambin pone nfasis en los aspectos considerados como positivos, reporta logros para que las prcticas exitosas puedan ser replicadas y las errneas revisadas. El monitoreo nos reporta informacin sobre el nivel de eficiencia alcanzado por la organizacin o proyecto. Una de las funciones muy relacionadas con el monitoreo es la medicin. Abdala (2004, 38) indica que la medicin es la calificacin o la cuantificacin de las variables que permite clasificarlas segn los diferentes hechos estudiados. Arriagada (2002, 25-66) es ms especfico en relacin a la medicin al plantear: Es posible afirmar que la medicin es la accin de medir, y que medir es comparar dos o ms magnitudes de la misma especie o naturaleza, utilizando a una de ellas como patrn. La medicin siempre requiere un referente para observar la magnitud de la medida. La medicin parece un simple concepto. De algn modo, cuando se intenta disear un sistema de medicin de desempeo, la confusin y la ambigedad tienden a aparecer. Hay 25 criterios que determinan la calidad de un buen sistema de medicin. 1. Dinmico y flexible en el tiempo. 2. Adecuadamente simple. Tan simple como sea posible. 3. Operacionalmente claro. Facilitar una comprensin comn de la medicin. 4. Con nfasis en el grupo meta. 5. Comunicativo en el cambio. 6. Comunicativo en el conocimiento. Suministrar retroalimentacin. 7. Visible a los/as usuarios/as. 8. Integrado en los procesos para permitir anlisis de secuencias de tiempo. 9. Grfico. 10. Analtico y estadstico. 11. Equilibrado en las diferentes dimensiones del desempeo. 12. Equilibrado en la perspectiva, de cara a la visin estratgica. 13. Equilibrado en los enfoques cuantitativo y cualitativo. 14. Participativo. 15. Integrado, incluyendo indicadores de desempeo individual, grupal y organizacional. 16. Cooperativo. Fomentar la cooperacin, ms que la competencia interna. 17. Integrado en la jerarqua. Coherencia vertical. 18. Alineado con las metas. 19. Integrado en las reas. 20. Integrado en las estrategias, acciones y mediciones. 21. Regenerativo. Mejoramiento continuo. 22. Oportuno. Puntual y a tiempo para decidir al surgir problemas. 23. Relevante. Comprensin de cmo decisiones afectan el proceso entero. 24. Preciso. Localizar adecuadamente los temas para dar los datos y la informacin. 25. ntegro. Proporcionar una medida significativa en la que se pueda confiar. 13




Julio 2005

Despus del anlisis de lo anterior, construya su propia concepcin de monitoreo. ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ Compare su conclusin con el siguiente aporte: El monitoreo es un componente del Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin _ seMse, el cual en su esencia constituye una herramienta prctica para la recoleccin de datos en diferentes momentos dados del desarrollo de un proceso. Su funcin es medir el estado de la cuestin (enfoque de eficiencia) de cara a los objetivos y los resultados esperados formulados y en base al sistema de indicadores construido en una etapa previa. Es un proceso sistemtico que se ejecuta con la aplicacin de instrumentos especficos cuyos contenidos corresponden a los indicadores ya mencionados. El monitoreo se orienta al control sobre la ejecucin de responsabilidades asignadas y a la facilitacin del seguimiento, del acompaamiento en el cumplimiento de responsabilidades compartidas. Por ende debe ofrecer los datos necesarios para una evaluacin (auto)crtica y participativa. B. Seguimiento La conceptualizacin de lo que es e implica el seguimiento siempre depender del contexto del proyecto. Analicemos algunos aportes: Quintero (1995, 76) refiere al seguimiento de la siguiente manera: Se entiende por seguimiento la observacin, registro y sistematizacin de la ejecucin de las actividades y tareas de un proyecto social en trminos de los recursos utilizados, las metas intermedias cumplidas, as como los tiempos y presupuestos previstos, las tcticas y la estrategia. Dentro del marco de la construccin de un Municipio Productivo (PADER, s.f., 1-18): El seguimiento consiste en tener diferentes momentos de medicin de la situacin del municipio para evaluar el proceso en marcha. Una vez obtenida la Lnea de Base, se comienza con la implementacin de las estrategias acordadas. En este proceso se podrn definir los nuevos momentos de medicin del avance de la estrategia, que son la base de este sistema de seguimiento. Se debe informar el grado de avance de la estrategia de desarrollo comunitario para poder ver cmo est avanzando y qu ajustes se deben realizar.PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

14



Julio 2005

En un documento del Banco Mundial se relacionan los trminos de seguimiento y evaluacin continua, al expresar (Weaving y Thumm, 1998, 2): Se entiende por seguimiento la evaluacin continua de la ejecucin de los proyectos en relacin con un programa acordado, y de la utilizacin de insumos, infraestructura y servicios por parte de los beneficiarios del proyecto. El seguimiento proporciona informacin constante a los administradores y otros interesados, retroalimentando la ejecucin del proyecto. Permite identificar, con la mayor prontitud posible, xitos y dificultades reales o potenciales, para facilitar la oportuna modificacin de la operacin del proyecto. Urza D. (2004, 19-) plantea: El seguimiento es una accin permanente a lo largo del proceso de los proyectos, permite una revisin peridica del trabajo, tanto en su eficiencia en el manejo de recursos humanos y materiales, como de su eficacia en el cumplimiento de los objetivos propuestos. Es de vital importancia que el seguimiento se realice como una parte integrante del proceso del proyecto, acordada con los responsables de la gestin, para que no suceda como una mera supervisin. Recordemos que la funcin del sistema consiste en aportar aprendizaje institucional y no en emitir dictmenes. Los propsitos del seguimiento son: Fomentar la cultura de la evaluacin, la gestin del desempeo y la rendicin de cuentas en funcin de los resultados esperados. Alinear la evaluacin con el ciclo de los proyectos, como un elemento sustantivo de la planificacin estratgica. Alentar el aprendizaje institucional de todos los actores involucrados en el proyecto con base en las evaluaciones efectivas y de calidad. Promover el uso de la evidencia proporcionada por el seguimiento. Elegir los resultados pertinentes y demostrar cmo y por qu producen los resultados previstos o cmo mejoran lo esperado.

El mismo autor indica como claves del seguimiento: Es indispensable realizar un seguimiento efectivo que sirva de base para una evaluacin de calidad, por esto es necesario: Integrar un DIAGNSTICO o LNEA DE BASE que sirva para identificar las expectativas, hiptesis, supuestos y resultados esperados. La lnea de base es el punto de referencia contra el cual evaluaremos las informaciones obtenidas. Establecer los indicadores de cada caso, ya sea cobertura, eficacia, eficiencia, efectividad o proceso. Los resultados esperados son el germen de los indicadores, en estos se describe un punto de referencia que ser reflejado en una medida estadstica para cada caso. Es importante que en la definicin de los indicadores participen los encargados de la gestin del proyecto y los aliados estratgicos involucrados formalmente. Programar el seguimiento conforme a plazos pertinentes y convenientes acordados con los encargados de la gestin de cada proyecto.


15



Julio 2005

Compartir en equipo el anlisis de la informacin resultante, con la participacin de los encargados de la gestin y los aliados estratgicos. Destinar recursos especficos a las actividades programadas para el seguimiento. Definir los plazos y los medios para la difusin de la informacin, as como las audiencias principales que debern conocerla.

Chassagnes (s.f., 15) plantea respecto al seguimiento: El seguimiento es acompaar, verificar y actualizar lo que estamos haciendo en nuestro proyecto. Es el modo que tenemos de rectificar y mejorar las acciones si las cosas estn saliendo mal. Permite adems controlar la utilizacin de los recursos y el logro de los resultados previstos. Los resultados del seguimiento contribuyen a consolidar la informacin necesaria para la toma de decisiones durante la etapa de ejecucin, permitiendo el manejo de datos concretos y sistematizados al momento de abordar una evaluacin. Este proceso ha de ser gil, orientado y concertado, debe combinar elementos cuantitativos y cualitativos. Desde los aportes anteriores podemos observar y constatar diferentes puntos de vista, sin embargo hay algunas similitudes. Tambin las hay con su propia experiencia? Nuevamente le invitamos a escribir en las siguientes lneas su concepcin de seguimiento y posteriormente comparar su aporte con l que aparece en el recuadro. ________________________________________________________________________________ ________________________________________________________________________________ El seguimiento es otro componente integrante de un Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin _ seMse, el cual se basa en los datos obtenidos a travs del monitoreo. Mientras que el monitoreo mide estados, el seguimiento, que es un proceso -o sea, consta de sus propias etapas-, permite identificar tendencias en base a la reflexin conjunta (participativa) y comparativa (lnea base) de cara a los niveles de cumplimiento de objetivos y resultados esperados que se van alcanzando. La identificacin de estas tendencias con sus consecuencias, llevar a continuar el camino iniciado, a remediar, o a rectificar totalmente. El enfoque principal del seguimiento es la eficacia del trabajo que se est desarrollando. Igual como en el caso del monitoreo, el seguimiento se orienta al control sobre la ejecucin de responsabilidades asignadas y a la facilitacin de la evaluacin a travs de este acompaamiento en el cumplimiento de responsabilidades compartidas. El seguimiento no slo apunta a la evaluacin, sino es parte integrante de todo proceso evaluativo con enfoque de calidad.PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

16



Julio 2005

C. Evaluacin Rodrguez (1999, 14) identifica DIFERENCIAS entre monitoreo y evaluacin y dice: Las diferencias entre monitoreo y evaluacin se refieren ms a los mecanismos utilizados, su periodicidad y el objetivo propuesto en la planificacin inicial. El monitoreo es una serie de pasos para la evaluacin, ya que permite el seguimiento cotidiano del proceso y genera informacin que servir de insumo para las evaluaciones previstas. Las diferencias ms tradicionales entre los dos conceptos los resume el siguiente cuadro:monitoreo Se realiza con mayor frecuencia, se puede decir que es permanente. Afecta las decisiones cotidianas, lo que permite flexibilizar la planificacin operativa. Trata de medir la tendencia que llevan las actividades hacia el logro de las metas y objetivos. Refleja el proceso de ejecucin de las actividades del proyecto. La informacin que proporciona est dirigida para ser utilizada hacia el interior del proyecto. Es una herramienta importante para la ejecucin del proyecto. Puede modificar la asignacin de rubros o recursos del presupuesto aprobados al indicar el cumplimiento de metas. Se manifiesta a travs de documentos (informes) ms frecuentes, pero menos extensos. Su nivel de accin es la eficiencia. El objeto del monitoreo son las actividades, productos, medios, recursos y resultados. Corresponde al nivel de programacin operativa. Para medir se basa en indicadores empricos, unidades de medida de las actividades. El nivel de anlisis del monitoreo es la ejecucin y la oferta tcnica. evaluacin Se realiza con menor frecuencia en perodos generalmente anuales o al finalizar etapas. Afecta las decisiones en plazos mayores, por lo general es insumo para la elaboracin de la planificacin anual y de futuros proyectos. Mide el grado en que se modifica la situacin deseado por el cumplimiento de los objetivos y metas en plazos a perodos establecidos. Refleja el estado o situacin en que se encuentra el proyecto y su impacto. La informacin que brinda contribuye al mismo tiempo en el mbito interno y externo, principalmente entes financieros externos, donantes, contrapartes y poblacin participante. Es una funcin importante para reflexionar sobre la planificacin. Afecta la planificacin futura de recursos del presupuesto, incluso puede determinar el plazo del proyecto mismo, como en los casos donde se propone ampliar o cerrar un proyecto. Se manifiesta en documentos (informes) menos frecuentes, pero ms extensos. Su nivel de accin es la eficacia y los impactos. El objeto de la evaluacin son los efectos y los impactos. Corresponde a la planificacin de largo plazo, planes estratgicos. Se base en indicadores de impacto, efecto, resultados. En la evaluacin se analiza la visin, misin, objetivos, estrategias y otros aspectos esenciales.

Quintero (1995, 76), al referirse a la Evaluacin de Proyectos y la Construccin de Indicadores expresa: La Evaluacin es un proceso de anlisis crtico de todas las actividades y resultados de un proyecto, con el objeto de determinar la pertinencia de los mtodos utilizados y laPROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

17



Julio 2005

validez de los objetivos, la eficiencia en el uso de los recursos y el impacto en los beneficiarios. La evaluacin utiliza la informacin obtenida y producida por el Sistema de Seguimiento y Evaluacin y al comparar los resultados con los objetivos, identifica los aspectos que han dificultado o favorecido el desempeo del proyecto, con el propsito de sacar enseanzas para un futuro proyecto. La evaluacin es un proceso general de aprendizaje cuyos fines son, bsicamente (1) mejorar las condiciones presentes del proyecto, (2) sacar a flote las posibles insuficiencias o errores del proyecto para contrarrestarlos y prevenirlos en el futuro, y (3) destacar lo til, eficiente y aceptable para actualizarlo teniendo en cuenta las circunstancias que ayudaron a su xito y las nuevas que se prevean. ICCO de Holanda (2000, 29-30) define la evaluacin como: Medidas diseadas para evaluar el resultado del proyecto en relacin con sus objetivos establecidos y el impacto que se desea lograr. Tradicionalmente, esta evaluacin es considerada una actividad externa y retrospectiva en un punto en el tiempo. Pero tambin incluye "evaluaciones permanentes" basadas en el proyecto, y "auto-evaluaciones" (continuadas o nicas) que realiza la organizacin que implementa el proyecto. Budinich (1998, 8) establece diferencias entre evaluacin, auditora e investigacin, en base a una referencia a un manual del PNUD para la Administracin de Proyectos: Lo mismo que la evaluacin, una auditora supone la valoracin de la eficiencia y eficacia y la formulacin de recomendaciones para promover mejoras. No obstante, en la valoracin de estos elementos, la auditoria se distingue de la evaluacin por su orientacin u objetivo. Normalmente, una auditoria se concentra principalmente en la observancia de las normas y reglamentos vigentes, en vez de tratar de comprobar la pertinencia y determinar los probables efectos o sostenibilidad de los resultados. Una auditora por lo tanto no necesita ni analizar, ni documentar el aprendizaje del proyecto. La Comisin Nacional de Juventud de Nicaragua (s.f. 5) expresa que la Evaluacin: Implica juicios de valor implcitos o explcitos. Resulta de comparar la informacin contra patrones de referencia valorativos. Las evaluaciones dicen si algo es bueno o malo, si sirve o no sirve, si responde o no a las expectativas. Urza (2004, 14), en el contexto de un Manual del sistema de seguimiento y evaluacin de la poltica pblica de juventud (sse), plantea: Entendida como evaluacin de resultados, es un proceso organizado de aprendizaje que resulta de cotejar lo realizado con lo planificado. La evaluacin consiste en la determinacin de una valoracin acerca de la marcha de la eficiencia y la eficacia, o sea de los mismos aspectos que observa el seguimiento, slo que al momento de evaluar se ubica el punto con respecto a lo esperado, es como una foto del momento.PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

18



Julio 2005

El Cubano Chassagnes (s.f., 17) responde la pregunta Qu es la Evaluacin? as: A diferencia del seguimiento, la evaluacin es un proceso ms completo y profundo de anlisis de la accin. All, luego de un lapso de tiempo previamente establecido, realizamos un anlisis crtico de todas las actividades y resultados del proyecto. En este momento es de indudable importancia la informacin que hemos ido recogiendo en el seguimiento. La evaluacin es el momento preciso de reajustar y programar las prximas etapas del proyecto o bien el momento de darlo por terminado. En este ltimo caso se la denomina Evaluacin Final. Rodrguez (1999, 10-11), a quien ya citamos anteriormente, al comparar monitoreo y evaluacin, aporta todava sobre evaluacin, esta vez desde un enfoque de gnero: La evaluacin desde el punto de vista semntico significa estimar, apreciar, calcular el valor de una cosa. Como mecanismo institucional es el proceso integral y continuo de investigacin y anlisis de los cambios ms o menos permanentes que se materializan en el mediano y largo plazo, como una consecuencia directa o indirecta del quehacer institucional o del proyecto en el contexto, la poblacin y las organizaciones participantes. La evaluacin es de carcter integral y transformador, nos refiere a cmo mujeres y hombres de las comunidades en que trabajamos han modificado sus actitudes y comportamientos. La evaluacin compara los avances del proceso con los objetivos, identifica los aspectos que han dificultado o favorecido el desempeo y avance, con el propsito de generar aprendizajes. La evaluacin facilita el anlisis crtico de los efectos e impactos del plan, programa o proyecto, con el propsito de determinar la pertinencia de los mtodos utilizados, la validez de los objetivos, la eficiencia en el uso de los recursos y el impacto en relacin con los grupos participantes. En cuanto a los procesos de evaluacin, nos encontramos con muchas concepciones terico-prcticas, tambin muchas crticas. CERIS (2003, 7), desde Brasil plantea: El criterio econmico, la eficiencia medible, la productividad, los bienes materiales construidos no deben ser tomados como criterios absolutos para la evaluacin de un proyecto. Muchas veces esos proyectos son elaborados sin la participacin efectiva de la comunidad y son ejecutados siguiendo modelos de gestin vertical, de arriba hacia abajo, con la colaboracin de instituciones locales que actan nicamente como representantes formales de la comunidad. En la perspectiva de construccin de nuevas relaciones sociales, un proyecto concebido, elaborado y gestionado de arriba hacia abajo es impensable. Sin embargo, cada da nos encontramos con proyectos verticales y centrados en una visin estrictamente econmica. Y, finalmente, son divulgados como proyectos de xito. Uno de los aspectos fundamentales de cara a la calidad en los procesos de evaluacin constituye sin duda la participacin.PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

19



Julio 2005

Los mtodos participativos permiten la intervencin activa en la toma de decisiones para quienes tienen algo que ver con un proyecto, programa o estrategia; generan un sentimiento de identificacin con los resultados y recomendaciones. Los mtodos examinan las cuestiones pertinentes haciendo que participen en el diseo los verdaderos protagonistas. Establecen asociaciones y una mayor identificacin local con los proyectos. Mejoran los conocimientos locales, la capacidad de gestin y las competencias. Ofrecen informacin oportuna y fiable para la toma de decisin sobre la gestin. Algunas veces, estos mtodos parecen poco objetivos. Requieren mucho tiempo para que las partes interesadas puedan participar de forma significativa. Posible predominio y utilizacin inadecuada de algunas partes interesadas para proteger sus propios intereses. (BM, 2002, 16) Y como instrumentos de participacin se indica en el mismo documento: Anlisis de las partes interesadas: es el punto de partida de la mayora de las evaluaciones sociales y estudios basados en la participacin. Se utiliza para llegar a una comprensin de las relaciones de poder, influencia e intereses de las distintas personas que participan en una actividad y para determinar quin debe intervenir y cundo. Evaluacin local participativa: es un mtodo de evaluacin que trata de intercambiar conocimientos entre la poblacin local, tanto rural como urbana, y personas ajenas. Permite a los responsables de las actividades de desarrollo y a la poblacin local evaluar y planificar intervenciones adecuadas basadas en la colaboracin, utilizando muchas veces tcnicas visuales para que puedan participar las personas que no saben leer ni escribir. Evaluacin de los beneficiarios: implica la consulta sistemtica a los beneficiarios de los proyectos y a otras partes interesadas para identificar y disear iniciativas de desarrollo, detectar los obstculos a la participacin e intercambiar opiniones para mejorar los servicios y actividades. Seguimiento y evaluacin participativos: implica la participacin de las partes interesadas en diferentes niveles y en forma conjunta para identificar problemas, recopilar y analizar la informacin y generar recomendaciones. Qu observaciones merecen estos aportes anteriores? Est de acuerdo con lo planteado? Observa contradicciones entre los diferentes puntos de vista? Defina a continuacin su propio concepto de evaluacin. Puede relacionarlo con los conceptos anteriores tratados en este captulo. Comparta su construccin con la de las/os dems y saque sus conclusiones. Posteriormente, compare con lo planteado en el re-cuadro que sigue. Mi concepto:____________________________________________________________________ ________________________________________________________________________________PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

20



Julio 2005

Mis conclusiones, despus de compartir con los conceptos construidos por las dems personas: ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ _________ La evaluacin, igual como el monitoreo y el seguimiento, constituye un componente del Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin _ seMse. Es un componente integrador, ya que abarca los aprendizajes significativos de los dos componentes anteriores, siempre y cuando se trata de un momento de evaluacin que corresponde a despus de haber iniciado la ejecucin del proyecto. Como se constatar ms adelante tambin se debe considerar la evaluacin PREVIA al proyecto (ver 2.3.), esto no es el caso por el momento. La evaluacin es un proceso en si y puede tener como objeto un proceso o un producto (parcial o final) (ver 2.3.). Este proceso parte de los hallazgos del monitoreo y el seguimiento -donde ya se ha establecido una comparacin con una lnea base y los resultados de otros momentos anteriores de evaluacin-, profundiza sobre los mismos para poder llegar a la formulacin de un juicio de valor. La interpretacin que permite llegar a este juicio de valor se basa en el sistema de indicadores correspondiente a los objetivos y los resultados esperados. Consideramos fundamental la metodologa que se implementa en el proceso de evaluacin. Para que la evaluacin resulte en un aprendizaje significativo, es indispensable que el Proceso sea Construido colectivamente (niveles altos de participacin de todos los sectores involucrados) como una Oportunidad de Aprendizaje, el cual debe integrar una actitud emprendedora (de cara a encontrar alternativas de interpretacin de resultados y de alternativas de superacin) de calidad. Un proceso de evaluacin, igual como el monitoreo y el seguimiento, se orienta al control de responsabilidades asignadas con su valoracin crtica correspondiente, y al juicio crtico colectivo (consensuado o diferenciado) de los niveles de cumplimiento de responsabilidades compartidas. 21




Julio 2005

En esta pgina, se les presenta un resumen, indicando la interrelacin y las diferencias entre monitoreo, seguimiento y evaluacin. Es un resumen incompleto, ya que al considerar el todo como un sistema hace falta integrar la evaluacin previa, tal como se ver ms adelante.Dimensiones Temporal

SISTEMA DE - MONITOREO SEGUIMIENTO - EVALUACINMONITOREO Frecuente y sistemticamente Cortes transversales SEGUIMIENTO Permanentemente Enfoque de proceso y de vivencia Resultados de Monitoreo Observacin Participar y compartir Comunicacin Sistematizacin (Intra-, Inter-, Retro- e Infra-visin) Objetivo y Resultados Esperados Sistema de Indicadores Lnea base y resultados monitoreo Decisiones tcticas (definir rumbos programas) EVALUACIN Peridicamente Enfoque de Proceso y/o de Producto Resultados del Monitoreo Resultados del Seguimiento Participacin Comunicacin Aplicacin de Tcnicas (Intra-, Inter-, Retro- e Infra-visin) Objetivo y Resultados Esperados Sistema de Indicadores Lnea base Decisiones estratgicas (visiones, misiones, estrategias, niveles alcanzados en cuanto a objetivos y resultados esperados) Emite juicios de valor Valora IMPACTOS de ESTRATEGIAS EN EJECUCIN O YA EJECUTADAS (pertinencia,) Construir conjuntamente una oportunidad de aprendizaje de cara a la superacin Interno y/o Externo De Aprendizaje Constructivo El mayor nmero posible de actoras/es involucradas/es

Base

Aplicacin de Instrumentos (Supervisin)

Referencia

Objetivo y Resultados Esperados Sistema de Indicadores Lnea base y resultados anteriores de monitoreo Decisiones operativas (actividades)

Toma de decisiones

Lo que hace

Mide estados de la cuestin Mide RESULTADOS de ACTIVIDADES (eficiencia,) Obtencin de datos Interno De control (y de Acompaamiento) Autoridades en base a un poder compartido

Identifica y describe tendencias Describe EFECTOS de QUEHACERES (eficacia,) Compartir sentires y pensares, saber interpretar Retro-alimentacin Interno De acompaamiento (y de Control) Facilitadoras/es y actora/es clave

Relevancia Uso Enfoques Quin?

Podemos completar el cuadro anterior? Qu le falta, qu le sobra, qu est mal ubicado? Analicen, discutan, comparen y decidan CONSTRUYAN, en base a todo lo anterior y su experiencia propia, SU CUADRO COMPARATIVOPROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

22



Julio 2005

2.3. TIPOS DE EVALUACINEn este apartado se abordan algunos tipos de evaluacin, que podran servir para comprender y orientar mejor nuestras prcticas. Queda como tarea identificar y definir/describir otros, que por una u otra razn no se integraron a este texto. a. Evaluacin ex-ante (antes), on-going (durante), ex-post (despus) Al analizar los textos disponibles sobre evaluacin, resulta interesante constatar que en el mbito socio-educativo, la evaluacin hace referencia a procesos (participativos) a desarrollar ms que todo al finalizar una determinada etapa o el proyecto completo en si, independientemente que hay muchas voces que asignan importancia a la evaluacin continua, la evaluacin permanente, la evaluacin formativa, en contraposicin de la evaluacin de productos, la evaluacin de resultados o la evaluacin sumativa Sin embargo, al retomar textos cuyos contenidos hacen referencia a la evaluacin (social) de proyectos4 desde el rea administrativa y socio-econmica, nos encontramos con un enfoque de la evaluacin hacia el trabajo previo (diagnstico), un nfasis en los estudios previos (pre-inversin: pre-factibilidad y factibilidad) a la ejecucin de los proyectos. Se trata de estudios, cuyos resultados ms bien permitirn evaluar (= emitir un juicio de valor) TODAS las condiciones previas de un proyecto. En los quehaceres orientados hacia el desarrollo comunitario, es importante retomar las ideas esenciales de los diferentes enfoques. De all, que en el siguiente inciso, al referirnos a un Sistema, lo haremos en el sentido de un Sistema de Evaluacin MonitoreoSeguimientoEvaluacin, dejando claro que la evaluacin es principio y fin (para empezar de nuevo) de todo proyecto socio-econmico, tambin en la comunidad, ya que lleva a mayores niveles de conciencia sobre lo que hacemos y a qu apuntamos. Urza (2004, 45) propone cuatro tipos de evaluacin que aportan valoraciones distintas: Al principio5 (ex ante): Una evaluacin diagnstica que arroja informacin sobre los posibles impedimentos o las oportunidades para obtener los resultados esperados.4

Baca Urbina G. (2001-4), Evaluacin de Proyectos. McGraw-Hill, Mxico, 383 pp. / Fontaine E.R. (1999-12), Evaluacin social de proyectos. Alfaomega, Colombia, 471 pp. / Sapag Chain N. y Sapag Chain R. (1996-3), Preparacin y evaluacin de proyectos. McGraw-Hill, Santaf de Bogot, 404 pp. 5 Ojo con esta terminologa, ya que al principio se podra interpretar como al inicio de la ejecucin del proyecto y al ser as, ya no correspondera a una evaluacin ex-ante como se plantear ms adelante en este texto. PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

23



Julio 2005

A la mitad (intermedia): Facilita plantear correcciones dentro del proceso del proyecto. Es importante no confundirla con el seguimiento que es una actividad continua. La evaluacin intermedia es una actividad programada con los siguientes pasos:1. Definir preguntas concretas a las que la evaluacin deber responder conforme al ANLISIS DE LOS OBJETIVOS, ANLISIS DE LOS INDICADORES Y EL ANLISIS PARTICIPATIVO. 2. Definir los indicadores necesarios para analizar los criterios de evaluacin de la gestin: EFICIENCIA, EFICACIA, PERTINENCIA, RESULTADOS y EFECTOS. 3. Establecer un plan de recoleccin de la informacin para los criterios acordados y los indicadores definidos. 4. Identificar a los principales implicados en el proceso, los informantes clave, los aliados estratgicos, los responsables de la gestin u otros. 5. Elaborar el informe intermedio y difundirlo a los implicados.

Al trmino (evaluacin final): La evaluacin al final sirve para establecer los alcances obtenidos y compararlo con lo planificado y formular hiptesis sobre nuevos proyectos. Posterior (ex post): Es una evaluacin con mayor profundidad, ms all del alcance inmediato del proyecto; extrae lecciones, hallazgos y evidencias, permite la elaboracin de recomendaciones objetivas para nuevos proyectos. Es la base para determinar el grado de efectividad sostenible. Tambin Robles y Luna R. (1999, 6), refirindose especficamente a proyectos ambientales, hacen referencia a diferentes perspectivas temporales y metodolgicas de evaluacin: a. Ex-ante con el fin de lograr una ubicacin plena en el contexto y determinar la intencionalidad y direccionalidad ptimas para lograr el mximo de impacto. b. Concurrente, durante la ejecucin con el fin de determinar si la forma en que se est ejecutando permite generar el impacto buscado. c. Ex-post para determinar si se gener o no el impacto previsto y hasta qu punto, los resultados son atribuibles a las acciones realizadas. Profundizaremos brevemente en cada uno de estos momentos. ANTES En el caso de los procesos de evaluacin que se realizan antes de ejecutar un proyecto todava hay que considerar dos momentos:1. Todo el proceso evaluativo que se desarrolla, en sus diferentes etapas, como parte de la preparacin de un proyecto hasta llegar a la decisin definitiva de elaborar el proyecto tal como se requiere formalmente. (pre-inversin_ preparacin del proyecto) 2. El proceso evaluativo que se necesita desarrollar durante la formulacin del proyecto y que facilitar los datos necesarios para la elaboracin del sistema de objetivos y de indicadores. El sistema de indicadores es la base fundamental para la construccin posterior de todo el plan de monitoreo, seguimiento y evaluacin durante la ejecucin del proyecto. (formulacin del proyecto_ preparacin de la evaluacin)PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

24



Julio 2005

Lgicamente el primer momento permitir obtener mucha informacin, muy til para el segundo. Sin embargo, posiblemente no es suficiente y habr que conseguir datos adicionales (complementarios). ICCO (2000, 15-17), de Holanda, considera la evaluacin en esta etapa (ANTES) como preliminar para preparar el terreno: La evaluacin preliminar de cualquier intervencin proyectada comnmente incluye:Una evaluacin general del rea factible de ser intervenida, tomando en cuenta el contexto nacional e internacional. Una identificacin preliminar de las personas que seran directamente beneficiadas con el proyecto posibles beneficiarios o grupos meta- y sus caractersticas y preocupaciones, sus problemas y los factores que podran causarlos. Un anlisis de los intereses y preocupaciones de las personas presentes en el rea que podran verse afectadas por o podran afectar - el proyecto (anlisis de los participantes), incluida la consideracin de las respuestas que ya se hayan dado a los problemas y preocupaciones de los grupos meta. Una definicin preliminar de la respuesta que podra ofrecer la ONG, tomando en cuenta su misin, visin y mandato, adems de su base de recursos.

En este punto, la ONG por lo general decide si, tomando en cuenta su mandato, est bien posicionada y preparada para intervenir en el rea. Tambin se forma una primera visin de las prioridades y limitaciones que afectarn la planificacin. Como parte de una evaluacin preliminar, tambin identifican la evaluacin de la participacin: Quin est participando, clarificando principalmente el rol de las mujeres, pero tambin la participacin de otros grupos o categoras sociales? Hacia quin estn destinados los beneficios del proyecto? Qu mtodos e instrumentos se utilizarn en el proceso de planificacin participativa (por ejemplo, relaciones pblicas, debates grupales, entrevistas semi-estructuradas)? Otro aspecto mencionado de la Evaluacin Preliminar es el anlisis de la situacin, incluyendo el problema: Un anlisis de situacin identifica:(a) problemas prioritarios, tal como stos son entendidos a nivel local; (b) sus principales causas, tanto a nivel local como a nivel regional, nacional o internacional; (c) causas que podran ser abordadas mediante una intervencin local; (d) recursos existentes al interior de la comunidad, o provenientes de terceros, que podran ayudar a contrarrestar los problemas.PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

25



Julio 2005

La identificacin de los problemas y el sondeo de las bases deberan ayudar a identificar tanto las oportunidades como los obstculos existentes. Tambin es importante saber qu estn haciendo o planean hacer otras ONGs. Es necesario realizar un anlisis de riesgo para identificar factores externos que podran hacer peligrar la produccin o resultados o el logro de los efectos y/o impacto buscados. Las consideraciones costo/beneficio y las restricciones de tiempo deben ser tomadas en cuenta al momento de considerar qu problema podra ser abordado, y de qu forma. El anlisis de la situacin raramente es terminado antes del inicio del proyecto y, por lo tanto, debera ser extendido y actualizado utilizando la informacin y puntos de vista obtenidos de los monitoreos, las revisiones y los estudios posteriores de evaluacin. Parte fundamental de la evaluacin preliminar es visualizar cmo se va a monitorear y evaluar el desarrollo de proyecto, en caso que se decida su ejecucin: Las bases del monitoreo se establecen en la etapa previa, cumpliendo los siguientes requerimientos: Especificacin de acuerdos para realizar monitoreo, incluidas las responsabilidades, procedimientos, mtodos y herramientas para obtencin y anlisis de la informacin. Es necesario que los mtodos y procedimientos a ser incorporados observen y entreguen informacin sobre actividades y resultados imprevistos, pero importantes, y sobre los cambios de contexto y al interior de la propia ONG. Durante el perodo de planificacin, es necesario realizar preparativos para la evaluacin: Se debe preparar una lista con los efectos esperados del proyecto en relacin con sus objetivos especficos, con indicadores de efectividad; adems, dicha lista debe contener el impacto esperado, en relacin con la meta, con sus correspondientes indicadores de impacto. Debe existir una disposicin organizacional para realizar una evaluacin que especifique las responsabilidades, procedimientos e instrumentos para la recopilacin y anlisis de los datos, y tambin un presupuesto. Desde un punto de vista ms administrativo, se hace referencia al concepto de evaluacin de proyectos, conceptualizndolo como: un conjunto de antecedentes justificatorios en donde se establecen ventajas y desventajas que significa la asignacin de recursos a una determinada idea o a un objetivo determinado. El objetivo es plantear premisas y supuestos que hayan sido sometidos a convalidacin a travs de distintos mecanismos y tcnicas de comprobacin. Aqu se trata de la etapa de pre-inversin, la que integra los estudios de perfil, pre-factibilidad y factibilidad.PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

26



Julio 2005

El nivel de estudio inicial es el denominado perfil, el cual se elabora a partir de la informacin existente, del juicio comn y de la opinin que da la experiencia. En trminos monetarios slo presenta estimaciones muy globales de las inversiones, costos o ingresos. Se hacen consideraciones acerca de la situacin sin proyecto: proyectar qu pasar en el futuro si no se pone en marcha el proyecto. Se busca determinar si existe alguna razn que justifique el abandono de una idea antes de que se destinen recursos para calcular la rentabilidad en niveles ms acabados (PRE-FACTIBILIDAD yFACTIBILIDAD).

Se seleccionan aquellas opciones que son ms atractivas para solucionar un problema. Otro nivel de estudio es el llamado de prefactibilidad. Profundiza la investigacin, y se basa principalmente en informacin de fuentes secundarias para definir, con cierta aproximacin, las variables principales referidas al mercado, a las alternativas tcnicas de produccin y a la capacidad financiera de los inversionistas. En trminos generales, se estiman las inversiones probables, los costos de operacin y los ingresos que demandar y generar el proyecto. Como resultado de este estudio, surge la recomendacin de su aprobacin, su continuacin en un estudio ms profundo, su abandono o su postergacin hasta cumplir determinadas condiciones mnimas. El estudio ms acabado, denominado de factibilidad, se elabora sobre la base de antecedentes precisos obtenidos a travs de fuentes primarias de informacin. Se pretende contestar la interrogante de si es o no conveniente realizar una determinada inversin. Esta recomendacin slo ser posible si se dispone de todos los elementos de juicio necesarios para tomar la decisin. En trminos generales, 5 son los estudios particulares que deben realizarse para evaluar la factibilidad: la viabilidad comercial, tcnica, legal, de gestin y financiera. Cualquiera de ellos que llegue a una conclusin negativa determinar que el proyecto no se lleve a cabo, aunque razones estratgicas, humanitarias u otras de ndole subjetiva podran hacer recomendable una opcin que no sea viable financiera o econmicamente, como por ejemplo algunos proyectos de impacto social. Viabilidad comercial: Indicar si el mercado es o no sensible al bien o servicio producido por el proyecto y la aceptabilidad que tendra en su consumo o uso. En muchos casos, la viabilidad comercial se incorpora como parte del estudio de mercado en la viabilidad financiera. 27PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO



Julio 2005

Viabilidad tcnica: Estudia las posibilidades materiales, fsicas, y qumicas de producir el bien o servicio que desea generarse con el proyecto. Viabilidad Legal: Podran existir algunas restricciones de carcter legal que impediran su funcionamiento en los trminos que se pudiera haber previsto. Viabilidad de gestin: Definir si existen las condiciones mnimas necesarias para garantizar la implementacin, tanto en lo estructural como en lo funcional. Verificar en el estudio financiero si existen incongruencias que permitan apreciar la falta de capacidad de gestin. Viabilidad financiera: Determina la conveniencia econmica y financiera del proyecto. Existen otros estudios de viabilidad tales como: el estudio de viabilidad organizacional para el anlisis de la estructura de la organizacin; el estudio de viabilidad poltica que permite el anlisis del apoyo de las instituciones polticas al proyecto, y de la estabilidad institucional del pas; el estudio de viabilidad sociocultural en base al anlisis de las barreras e incentivos que tiene el medio social para la implementacin del proyecto; etc. Desde otro punto de vista, ms integral, se distinguen en esta etapa de evaluacin (ANTES) tres enfoques: (i) la medicin de la rentabilidad del proyecto, (ii) el anlisis de las variables cualitativas y (iii) la sensibilizacin del proyecto.(i) Cuando se calcula la rentabilidad se hace sobre la base de un flujo de caja que se proyecta sobre una serie de supuestos.

(ii) El anlisis cualitativo complementa a la evaluacin realizada con todos aquellos elementos no cuantificables que podran incidir en la decisin de realizar o no el proyecto. Principal dedicacin habr de darse la identificacin de los aspectos ms dbiles del proyecto; (iii) El ltimo enfoque podr avocarse a sensibilizar slo aquellos aspectos que podran al tener mayores posibilidades de un comportamiento distinto al previsto, determinar cambios importantes en la rentabilidad calculada.

Las evaluaciones ex-ante pueden ayudar a mejorar el desempeo de un proyecto en todas las etapas de su ciclo y mejorar las polticas y procedimientos de la organizacin. Las evaluaciones ejecutadas correctamente (antes) reportan las siguientes ventajas: 1) ayudar a analizar el desempeo de la organizacin en las etapas de definicin y planificacin de los proyectos; 2) respaldar el desempeo de las unidades ejecutoras mediante el monitoreo y la capacitacin en mtodos de evaluacin; 3) medir hasta qu punto se alcanzan los resultados previstos y analizar los factores que obstaculizaron o contribuyeron a este logro; y 4) evaluar los efectos e impactos de los proyectos sobre sus beneficiarios.PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

28



Julio 2005

La evaluacin de los proyectos se realiza para contestar por parte de las/os responsables (privado o estatal) y segn la orientacin (comercial o social) las siguientes preguntas:Qu producir? ( tipo de bienes productos y cantidades) Cmo producir? ( relaciones de produccin tipos de insumos y cantidad) Para quin producir? Quin va a financiar? Dnde producir? Cundo producir?

Para ello deben determinarse:Los beneficios sociales del impacto Las demandas de los productos dirigidas al proyecto Los posibles precios de los productos ofertados por el proyecto La viabilidad financiera (comparando ingresos de los productos con gastos en insumos o costos de los productos) Despus se debe realizar un anlisis de beneficio costo La aplicacin de esta metodologa general, modificada con las particularidades que cada tipo de proyecto exige, permite la formulacin de proyectos en forma sistemtica y eficiente.

Otro componente de una evaluacin ex-ante del proyecto es su ANLISIS DE RIESGO. El riesgo se manifiesta en la variabilidad de los rendimientos del proyecto Para su clculo econmico tcnico referimos a los libros especializados6. Sapag y Sapag (1996, 377) tambin hacen referencia al NALISIS DE SENSIBLIDAD: El anlisis de la sensibilidad permite medir cun sensible es la evaluacin realizada a variaciones en uno o ms parmetros decisorios. Visualizar qu variables tienen mayor efecto en el resultado frente a distintos grados de error en su estimacin permite decidir acerca de la necesidad de realizar estudios ms profundos de esas variables, para mejorar las estimaciones y reducir el grado de riesgo por error. Definitivamente, la evaluacin, desde ANTES de formular el proyecto es un componente fundamental a tomar en cuenta. Su proyeccin sigue durante y despus de la ejecucin del proyecto. Cmo manejamos la evaluacin en esta etapa de los proyectos en nuestro mbito institucional? Por qu? Ventajas y desventajas? A continuacin implicancias de la evaluacin durante el desarrollo del proyecto.

6

Sapag Chain N. y Sapag Chain R. (1996-3), Preparacin y evaluacin de proyectos. McGraw-Hill, Santaf de Bogot, 404 pp. / Fontaine E.R. (1999-12), Evaluacin social de proyectos. Alfaomega, Colombia, 471 pp.


29



Julio 2005

DURANTE Una vez elaborado el proyecto y tomada la decisin de ejecutarlo, es necesario implementar el Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin _ SEMSE. En concreto esto implica, al menos tres procesos, todos de acuerdo a lo planificado anteriormente:1. Elaboracin y definicin de una lnea base (situacin al inicio de la ejecucin del proyecto), la que ser el punto de referencia para valoraciones posteriores. 2. Momentos intermedios (de monitoreo, seguimiento y evaluacin) 3. Evaluacin final, al concluir el proyecto en cuestin.

a. En cuanto a la definicin de la Situacin Inicial _ lnea (de) base: Se realiza al inicio, con la mayor participacin posible de representantes de los grupos meta para facilitar la construccin de mayores niveles de conciencia todava en cuanto a la situacin que vivimos. El marco de referencia, lgicamente es el sistema de indicadores incluido en el proyecto. b. En cuanto al monitoreo y el seguimiento7:* Los proyectos deberan ser monitoreados no slo con una mirada retrospectiva, sino que, adems, con un punto de vista prospectivo. * El proceso de monitoreo debera efectuarse con la activa participacin del personal en todas las etapas, y debera disponer que exista una apertura en el flujo ascendente y descendiente de informacin y un espacio para el aprendizaje y el desarrollo organizacional. * La recopilacin de los datos debera limitarse a la mnima cantidad de informacin que sea necesaria para el cumplimiento de los objetivos del SEMSE.

Esta evaluacin durante u on-going, en ocasiones tambin es calificada como Evaluacin intermedia. La evaluacin intermedia se puede hacer en cualquier momento durante la ejecucin del proyecto. Suele usarse para analizar ms a fondo los problemas de ejecucin, o para ayudar a tomar decisiones sobre el desarrollo del proyecto. En todo proceso de evaluacin intermedia se suele considerar:a) Antecedentes: Propsito de la Evaluacin. Involucrados Principales. b) Marco Lgico del Proyecto7

Basado en: ICCO (2000), Pautas para una buena planificacin, monitoreo y evaluacin (pme) de proyectos de desarrollo comunitario implementados por ong del hemisferio sur con el respaldo de organismos ecumnicos europeos. En internet: http://www.ico.nl, p. 18.


30



Julio 2005

c) Metodologa de Evaluacin: Diseo / Enfoque General. Fuentes de Datos. Instrumentos. Equipo de Evaluacin. Factores Limitantes. Organizacin del Informe. d) Pertinencia del proyecto. Repercusiones de continuar el proyecto con o sin reformulacin. e) Eficiencia: Administracin de las Actividades al proyecto. Normas y control de calidad. f) Problemas en la Ejecucin del Proyecto: identificacin, anlisis y soluciones propuestas Conclusiones y recomendaciones. g) Eficacia: Logro de los componentes del Proyecto, planificados y reales hasta la fecha. Repercusiones de deficiencias encontradas. Efectos no planificados y su congruencia con el propsito. h) Conclusin: Continuidad de la justificacin del proyecto. Medidas para mejorar el desempeo. Experiencia adquirida y lecciones emergentes. Desempeo operativo. Impacto de desarrollo.

Datos obtenidos del monitoreo y el seguimiento revisten la siguiente importancia: Los datos de monitoreo, vlidos y oportunos, pueden mejorar la ejecucin de los proyectos. Los mecanismos eficaces, para recopilar y distribuir datos, facilitan la toma de decisiones para mejorar el desempeo de los proyectos. La evaluacin de monitoreo puede contribuir al rediseo de los proyectos para mejorar su desempeo. La evaluacin intermedia puede servir para diagnosticar problemas de gestin durante la ejecucin. A veces es necesario efectuar las dos evaluaciones por existir problemas de diseo y gestin

c. En cuanto al perodo de conclusin del proyecto: Adems de las actividades de monitoreo y de evaluacin formales ejecutadas durante la ejecucin de los proyectos en el ciclo de evaluacin, tambin se produce la evaluacin de terminacin. La adquisicin de conocimiento institucional emergente de la experiencia adquirida se puede lograr por medio de los: Informes de Terminacin de Proyectos, los Anlisis de Ejecucin de Proyectos; y las Evaluaciones Ex-Post (ver prximos inciso despus). Los Informes de terminacin de proyecto constituyen al mismo tiempo el ltimo eslabn del monitoreo y seguimiento, y el primer eslabn de la evaluacin ex-post del proyecto. Un Informe de Terminacin de Proyecto suele incluir como mnimo: Resumen del proyecto Detalles del proyecto Resultados del proyecto Fundamentos para los cambios desde que se aprob el proyecto Resultados obtenidos Diferencias entre los resultados planificados y los obtenidos Recomendaciones para proyectos futuros.


31



Julio 2005

Tambin se deben de considerar los siguientes aspectos:Continuidad de la justificacin del proyecto Eficiencia del proyecto Efectividad del proyecto Efectos e impactos del proyecto Experiencia adquirida (nivel de aprendizaje) con el proyecto

Para concluir en cuanto a los aportes sobre la evaluacin durante mencionamos los tres campos o competencias que indica Quintero Uribe (1995, 227-258) al referirse a la evaluacin de avances y logros parciales y el seguimiento a la estrategia y al proceso8:. El cumplimiento de actividades o metas intermedias (productos, grado de eficacia y grado de efectividad) . La evaluacin del proceso (Recursos humanos, fsicos y financieros; tiempo y grado de eficiencia) . La evaluacin de la estrategia (estrategia y tcticas: pertinencia, sustentabilidad, desarrollo humano sostenible, equidad y apropiacin).

A continuacin, lo que significa la evaluacin DESPUS o ex-post. DESPUS Al considerar la evaluacin como un proceso continuo, se asume que la terminacin de un proyecto no significa el final de las contribuciones al proceso de desarrollo. An cuando un proyecto haya tenido xito en generar sus productos, generalmente falta mucho para alcanzar los objetivos de contribucin directa a la calidad de vida de los beneficiarios y de impacto de desarrollo (a largo plazo). La funcin especial de una evaluacin ex-post es efectuar un examen sistemtico sobre los niveles de desarrollo, correspondientes al sistema de objetivos e indicadores, alcanzados ms a largo plazo. Desde un enfoque ms administrativo, se refiere a informe de operaciones (se elabora despus de haber concluido la ejecucin del proyecto). La evaluacin de operaciones del proyecto, o evaluacin del impacto9 implica entender sus efectos sobre el proceso de desarrollo para confirmar xitos y aprovechar la experiencia adquirida para aprender de proyectos cuyo impacto fue modesto. Se valora en lo Tecnolgico, Institucional, Las evaluaciones operativas Econmico, Poltico, Social y cultural, y lo Ambiental.

eficaces de tipo ex-post, estudian la continuidad de la justificacin, la eficacia, la efectividad, los efectos e impactos, y aportan lecciones aprendidas a travs de la ejecucin de proyectos.8 9

En cuanto a la evaluacin de procesos y productos se profundizar en el captulo 3 de este texto. Ver tambin inciso 3.2. de este texto.


32



Julio 2005

El Proceso de Evaluacin Ex-post:1) Determinacin de cuestiones preliminares (trminos de referencia, si es externa o interna) 2) Seleccin de evaluadoras/es en base a competencias (autoridades construidas) 3) Formulacin del plan de trabajo. 4) Informe de evaluacin: sesiones informativas con involucradas/os, oportunidades para confirmar conclusiones y recomendaciones, distribucin electrnica de conclusiones, recomendaciones y lecciones aprendidas, y al final un informe de evaluacin escrito. 5) Aprobacin del informe.

En el caso de CANTERA (2002, 37), definen la evaluacin ex-post de un proyecto como: . El propsito principal de esta fase es aprender de la experiencia. . Lo que se evala, fundamentalmente, es si el proyecto fue eficaz y eficiente, y por qu. . El impacto sobre el desarrollo slo se conoce bastante tiempo despus de la terminacin. . El conocimiento logrado con la evaluacin se utiliza en el diseo de otros proyectos posteriores. Sin mayor discusin, podemos afirmar que el desarrollo de la capacidad de evaluacin es importante por diferentes razones: Una mayor capacidad de evaluacin contribuir a aumentar la efectividad de la inversin y ayudar a resolver los problemas de desarrollo, mejorando as el desempeo global de la organizacin. El desarrollo de la capacidad de evaluacin contribuir a respaldar el mejoramiento en la capacidad de gestin de las organizaciones. Las evaluaciones, definitivamente son herramientas de aprendizaje.

Despus de haber profundizado sobre los diferentes tipos de evaluacin de acuerdo al criterio temporal, ahora pasaremos a distinguir brevemente la evaluacin segn el inters que exista, sea ste privado o ms bien social. Antes de esto, le invitamos a formular su conclusin principal relacionada con las evaluaciones ANTES-DURANTEDESPUS y particularmente de cara al desarrollo comunitario: ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ 33




Julio 2005

b. Evaluacin privada y evaluacin social de proyectos Adems de la importancia y la necesidad de prever y disear el sistema de evaluacin, monitoreo, seguimiento y evaluacin _ SEMSE desde la misma planificacin estratgica, tambin es indispensable diferenciar entre evaluacin en contexto de proyectos sociales y otro tipo de proyectos. Al respecto dicen en una publicacin (2003, 12-13) desde la realidad brasilea lo siguiente:Hay una gran diferencia entre proyectos sociales y proyectos de ingeniera. Para construir un viaducto existen etapas, hay un presupuesto de cemento, de hierro, mano de obra, gra. El resultado es visible, concreto, palpable. Ciment la base? S. Cimentaron las columnas? S. Ante este esquema de ejecucin, uno puede acompaar el desarrollo del proyecto y evaluar el xito o fracaso del equipo. En un proyecto social, s hay un punto de partida, pero muchas veces el punto de llegada no est tan definido. Un proyecto social es un proceso sujeto a variaciones de todo orden. No se ve un marco fsico fijo de llegada, pero s un marco referencial que evala si los actores sociales aumentaron su protagonismo y asumieron las riendas de su historia.

Fontaine (1999) plantea respecto a la evaluacin privada y la evaluacin social:La evaluacin privada de proyectos incluye (i) una evaluacin financiera y (ii) una evaluacin econmica. La primera contempla, en su anlisis, a todos los flujos financieros del proyecto, distinguiendo entre capital propio y prestado. Esta evaluacin es pertinente para determinar la llamada capacidad financiera del proyecto y la rentabilidad de capital propio invertido en el proyecto. La evaluacin econmica, en cambio, supone que todas las compras y las ventas son al contado riguroso y que todo el capital es propio; es decir, la evaluacin privada econmica desestima el problema financiero. Para la evaluacin social o socioeconmica, interesa el flujo de recursos reales (de los bienes y servicios) utilizados y producidos por el proyecto. Para la determinacin de los costos y beneficios pertinentes, la evaluacin social definir la situacin del pas (de la comunidad) versus sin la ejecucin del proyecto en cuestin. La evaluacin social de proyectos consiste en comparar los beneficios con los costos que dichos proyectos implican para la comunidad, para la sociedad; es decir, consiste en determinar el efecto que el proyecto tendr sobre el bienestar de la sociedad (de la comunidad). El rol fundamental de la evaluacin social estar en determinar la rentabilidad de proyectos cuyos bienes y servicios no pueden convenientemente venderse o comprarse en el mercado, como por ejemplo: calles, carreteras menores y alumbrado pblico.

Sapag y Sapag (1996, 6) expresan: Tanto la evaluacin social como la privada usan criterios similares para estudiar la viabilidad en un proyecto, aunque difieren en la valoracin de las variables determinantes de los costos y beneficios que se le asocien. La evaluacin privada trabaja con el criterio de precios de mercado, mientras que la evaluacin social lo hace con precios sombra o sociales, con el objeto de medir el efecto de implementar un proyecto sobre la comunidad, teniendo en cuenta los efectos indirectos o externalidades que se generan sobre el bienestar de la comunidad (p.ej. la redistribucin de ingresos o la disminucin de contaminacin ambiental). 34




Julio 2005

c. Evaluacin externa, evaluacin interna y auto-evaluacin Evaluacin externa: A cargo de un equipo externo a la institucin. Evaluacin interna: A cargo de un equipo tcnico de la propia institucin. Auto-evaluacin: A cargo de las personas involucradas mismas en el proyecto. Para incrementar la demanda de auto-evaluacin habra que lograr que sta se convierta en un instrumento de aprendizaje para lograr una mejor gestin y no de sancin. No imponerla sino incentivarla. Caracterizar a la evaluacin como un ejercicio de aprendizaje es tanto ms importante cuanto no existen metodologas uniformes para realizarlo y en todos los casos implica partir de definir los objetivos especficos dentro de la misin de cada organizacin en un momento dado. En el caso de la autoevaluacin, los niveles de participacin amplios juegan un papel fundamental. Cules seran las condiciones indispensables para lograr que la auto-evaluacin se convierta en una estrategia dominante dentro del marco del desarrollo comunitario? ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ d. Otros tipos de Evaluacin Para concluir este apartado respecto a los tipos de evaluacin, incluimos un extracto del Manual para la evaluacin de impacto en programas de formacin para jvenes de Abdala (2004, 23) por ofrecer una visin general diferente: Enfoques de la evaluacin Pseudo-evaluaciones En ellas, se cumple un proceso evaluatorio, pero con fuerte injerencia de alguna de las partes comprometidas con el proyecto y que presiona para que aparezcan resultados preestablecidos. El evaluador no acta neutralmente. Evaluaciones experimentales y cuasi-experimentales Son evaluaciones exclusivamente cuantitativas. Este diseo exige que se constituya un grupo de control (tarea ardua y compleja). Se mide el impacto por comparacin estadstica entre el grupo de control y el grupo beneficiario de las acciones del programa. Se miden: incremento del bienestar de los beneficiarios, segn empleo (empleabilidad, insercin laboral posterior, tipo de trabajo, satisfaccin laboral) ingresos y ciudadana. Asimismo, puede medirse focalizacin, desercin, retencin, cobertura. 35




Julio 2005

Evaluaciones verdaderamente mixtas _ cuanti-cualitativas El abordaje mixto permite tener los datos sealados en el grupo anterior y agrega el aporte cualitativo. Entre estos:_ cambios actitudinales _ cambios psico-sociales _ autoestima _ empleabilidad _ necesidad y satisfaccin con el programa

Puede medirse tambin el impacto sobre los restantes actores (capacitadores, empresarios, informantes claves de la poblacin). Se utilizan los estudios de casos, las observaciones, las entrevistas, en profundidad. El aporte mixto ayuda a entender ms por qu unos programas son exitosos y otros fracasan. Con lo anterior se han abordado varios tipos de Evaluacin. Seguramente en las

experiencias de desarrollo comunitario se podr identificar otros tipos de evaluacin. Escriba a continuacin en base a su experiencia y comparte con las y los dems: ________________________________________________________________________________ ________________________________________________________________________________ A qu conclusin llegamos? ________________________________________________________________________________ ________________________________________________________________________________

2.4. SISTEMAS DE EVALUACIN, MONITOREO, SEGUIMIENTO Y EVALUACIN/SEMSEUn sistema es la idea de ver a la organizacin o el proyecto como un todo y no como una serie de partes que pueden o no estar relacionadas. Un sistema es un conjunto de componentes, conectados en una forma organizada. Los componentes estn afectados al estar en el sistema y el comportamiento de ste cambia si lo abandonan.

Seguimiento, Monitoreo y Evaluacion de Proyectos Sociales

Documents

Transcript of Seguimiento, Monitoreo y Evaluacion de Proyectos Sociales