DISEÑO Y EVALUACIÓN DE PROGRAMAS Y PROYECTOS SOCIALES

“Evaluar para la transformación”

Dagmar Raczynski y Pablo Villatoro

Jornada Comunidad Organizaciones Solidarias

16 de noviembre 2007

Contenidos

Contenidos El ciclo de “intervención social” (programa, proyecto) y el lugar de la evaluación La evaluación supone y requiere de un adecuado diseño del programa o proyecto.

Elementos básicos del diseño de un programa o proyecto. El proceso de evaluación. Tipos de evaluación, sus preguntas y abordajes

metodológicos. El diseño de una evaluación Modalidad de trabajo Exposición y trabajo grupal de aplicación de los contenidos vistos a a nuestra labor,

compartiendo nuestros aprendizajes. Nota de precaución: No existe manual o receta para evaluar de forma universal todo tipo de proyecto o

programa, sí lineamientos sobre criterios y procesos requeridos y orientaciones para encarar una evaluación

Distintas temas, criterios, enfoques y técnicas de evaluación de programas y proyectos y ninguna alternativa es optima por se, respuesta depende de las preguntas que se desean responder, el contexto y viabilidad de la evaluación, el para qué de ella, la información disponible, los tiempos, plazos y recursos de la evaluación, entre otros.

Distintos niveles y unidades de evaluación: políticas, programas, proyectos

Ejemplos: evaluar apoyos al sistema educativo, cambios incorporados al funcionamiento de un servicio de salud, una escuela, un consultorio, una organización comunitaria, una política, un programa, un proyecto, el servicio brindado por una organización o por un conjunto de organizaciones a determinado segmento poblacional.

Programa y proyecto social son intervenciones planificadas destinadas a responder a un problema y obtener determinados resultados en un segmento de la población o una organización, sistema o servicio.

La diferencia entre ambas es en escala y duración: Programa conjunto de actividades integradas con continuidad temporal; Proyecto: una unidad menos compleja, de duración limitada y atiende a una demanda o necesidad puntual.

Política: un fin o propósito mayor en el cual se insertan y al cual concurren varios programas y proyectos

Conjunto especificado de acciones humanas y recursos materiales diseñados e implantados organizadamente (planificados) en determinada realidad social, con el propósito de resolver algún problema que atañe a un conjunto de personas, una organización o una realidad social especifica.

Política / Programa / Proyecto

VALORES

IDEOLOGÍA DOMINANTE

POLÍTICA

CIENCIA/CONOCIMIENTO

DIAGNOSTICO/ NECESIDADES

OBJETIVOS Y METAS

ALTERNATIVAS DE INTERVENCIÓN

DISEÑO DE PROGRAMAIMPLANTACIÓN

EVALUACIÓN

REPLANTAMIENTO DECISIONES

El Ciclo de intervención social y lugar de la evaluación

Lugar de la evaluación de programas y proyectos sociales en el ciclo de la intervención social

La evaluación no es una parte inicial o final del proceso de creación u operación de un proyecto o programa social sino que es un elemento constitutivo e inseparable del mismo. Planificación, ejecución, evaluación son un todo o momentos del todo en continua interacción

Diseño y planificación miran hacia delante / la evaluación mira hacia atrás (aprender de lo hecho, los aciertos y los errores, para recomendar giros o refuerzos en la acción futura).

La ausencia de sistematicidad en el diseño del programa y claridad en su modalidad de gestión y ejecución dificulta la definición de objetivos y características de una evaluación.

Requerimientos técnicos para una evaluación rigurosa

Que el proyecto o programa sea una intervención sistemática y estructurada

Tenga claridad en objetivos y en destinatarios Tenga claridad en su hipótesis (estrategia) de

intervención (unidad de intervención, qué hacer y cómo)

Disponga de una forma de organización de los recursos y agentes involucrados, una modalidad definida de gestión

Claridad en preguntas a las cuales se espera responda la evaluación (el qué y para qué de la evaluación)

Diseño de un programa y proyecto: Elementos cruciales del diseño

Diagnóstico del problema (recorte y descripción de una realidad)

– Identificación del problema y las necesidades / situaciones en que se expresa y consecuencias que tiene para el grupo humano. Priorización y dimensión de el o los problemas y a quiénes afecta. Dimensión del problema.

– Causas principales y factores condicionantes y efectos del problema (árbol de problemas y árbol de posibilidades).

– Identificación de factores sobre los cuales es posible y no es posible actuar

Diseño del programa– Fin y propósito: qué se desea conseguir – Objetivos y sub-objetivos: Qué resultados se espera obtener (definición clara,

específicos, factibles, medibles, insertos y coherente con fin y propósito), expresados en metas y plazos.

– Grupo objetivo o destinatarios: a quien o quienes se dirige – Principios orientadores tras el programa: asistir, invertir en capital humano,

expandir capital social, fomentar la participación social y ciudadana (control social), abrir oportunidades

– Camino de solución: teoría tras el programa e hipótesis/estrategia de intervención (operar el cambio), descarte de caminos alternativos.

Diseño de un programa y proyecto: Elementos cruciales / mínimos

Diseño del programa– Componentes y acciones y sus productos (qué hace)– Metodología de trabajo (cómo lo hace)– Modalidad de gestión: ¿con quiénes? Actores involucrados, funciones y

responsabilidades, organización entre ellos– Financiamiento y recursos materiales– Diseño para el monitoreo y evaluación del programa (sistema de información)

Implantación o ejecución– Plan de trabajo: actividades y cronograma – Insumos: recursos humanos, materiales y financieros– Monitoreo o seguimiento de aspectos financieros y uso de recursos, de

actividades, de procesos y resultados (productos) Evaluación para hacerlo mejor, aprender, transformar

ejemplo

Diseño de un programa y proyecto: Ejemplo: Diagnóstico y Diseño

Falta de conocimiento y escasez de oportunidades laborales dentro de la comuna

Poca motivación y oportunidades para los jóvenes

Bajos niveles de escolaridad de los jóvenes

Alto nivel de deserción escolar

Bajo nivel educacional de los padres

Bajas expectativas personales

Bajo nivel de autoestima entre los jóvenes

Altos niveles de consumo de alcohol y drogas entre los jóvenes

Dependencia económica y precariedad habitacional

Mala convivencia al interior de la familia

Hacinamiento

Bajo nivel de competencias laborales entre los jóvenes

Alto nivel de desempleo entre jóvenes de 18 a 24 años residentes en la población X de la comuna Y.

Herramienta para evaluar el diseño de un programa o proyecto: Matriz de marco lógico

Instrumento de diseño y de evaluación del diseño de un programa– Fin del programa (no implica que el programa en si mismo será suficiente para

lograr el fin, si debe contribuir al mismo)– Propósito del programa: resultado directo a ser logrado y en quiénes– Componentes del programa: productos y/o servicios que entrega el programa y la

modalidad de entrega– Actividades del programa: tareas que debe cumplir para el logro de cada uno de los

componentes y organización y gestión del programa– Insumos y recursos necesarios

En relación con los 5 elementos se definen indicadores (especificaciones cuantitativas que verifican la presencia /ausencia o nivel de logro de cada elemento), medios de verificación (como se obtiene la información sobre el indicador) y supuestos (acontecimientos fuera del control directo del programa que deben ocurrir para lograr la implementación de los productos y servicios, el propósito y el fin del programa).

Facilita realizar una análisis lógico de coherencia del diseño del programa, identifica a los actores involucrados y los supuestos sobre su conducta respecto al programa.

ejemplo

Ejemplo

FINBajo Consumo de alcohol entre jóvenes

PROPÓSITOJóvenes con competencias laborales

PRODUCTO 1Cursos de capacitación accesibles

ACTIVIDADES1. cursos de capacitación para jóvenes enhorarios vespertinos2. becas da capacitación3. …..

ACTIVIDADES1. Taller de dinámica familiar2. Actividades recreativas familiares3. ……

PRODUCTO 2Talleres familiares habilitados

Comentarios y preguntas sobre el diseño de programas sociales

¿Cuándo se termina el diseño de un programa? ¿Quiénes hacen el diseño? Importancia de la acción de los implementadores directos en terreno.

Cercanía – distancia entre diseño e implementación. Papel fundamental de la implementación

Estandarización - flexibilidad del diseño Cambios o modificaciones al diseño del programa

(metas, modalidad de trabajo, organización, aspectos operativos, colaboración con otros).

Trabajo grupal 1: grupos según cargo en la institución a que pertenecen (45 minutos

aproximado)

DEFINICIONES DE EVALUACIÓN DE PROGRAMAS

SOCIALES Conjunto ordenado y sistemático de procedimientos que permiten

establecer un juicio u opinión sobre el mérito o valor de un programa para tomar decisiones sobre él, que apunten a su mejoramiento.

Aplicación de métodos y técnicas de las ciencias sociales para levantar juicios relativos a la utilidad y eficacia de las acciones implementadas.

Acto de juzgar el mérito o valor de alguna intervención social, en algún momento del tiempo (por ej., en alguna fase del ciclo de programación social; antes, durante o después de la intervención social), de acuerdo a un conjunto de criterios (que pueden ser pre-establecidos o no) y con propósitos de generar algún tipo de transformación social.

Actividad programada de reflexión sobre la acción, basada en procedimientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables sobre las actividades, resultados e impactos de un proyecto o programa y formular recomendaciones para tomar decisiones que permitan ajustar la acción presente y mejorar la acción futura

Elementos definitorios de una evaluación

Tarea rigurosa y programada Reflexión sobre la acción basada en procedimientos

sistemáticos en base a información, mediciones y comparaciones (rigor metodológico)

Adopta un punto de vista o criterio que orienta el análisis y que es necesario explicitar

Como resultado, emite un juicio de valor sobre un proyecto, programa o política

Formula recomendaciones para perfeccionar la acción (resultados se utilizan para la toma de decisiones)

¿Para qué evaluar? Evaluación = aprendizaje y transformación Evaluación no es control de unos actores sobre otros, no es

fiscalización Es aprendizaje compartido entre quienes participan de las

gestiones de los programas y proyectos, de modo de provocar transformaciones en las situaciones insatisfactorias y en los modos de actuar para su resolución – Modificar situaciones de adversidad, inequidad,

vulnerabilidad– Da cuenta de la manera en que las acciones

desplegadas resultan o no adecuadas– Dar cuenta de la eficiencia y eficacia en el uso de

recursos– Sugerir cambios que es aconsejable introducir

¿Qué queremos evaluar? Tipos y temas de evaluación

Criterios de clasificación– Momento en que se realiza la evaluación: antes,

durante o después– Quiénes intervienen en la evaluación y son

responsables de ella (interna o externa)– Aspecto a evaluar del programa o proyecto

ASPECTOS QUE SE EVALÚAN

Etapas del ciclo de un programa: antes, durante, ex - post – Antes: Evaluación del diseño del programa: si debe implementarse

o no en función de una estimación de su eficacia, pertinencia, coherencia interna, factibilidad y rentabilidad económica

– Durante: Evaluación como instrumento de gestión (monitoreo o seguimiento). Mira aspectos operativos y procesos. Si se cumple el proyecto de acuerdo a la propuesta inicial. Genera información sobre procesos, actividades y los productos y los compara con las metas formuladas. Identifica aspectos no esperados.

– Ex - .post: evaluación de resultados a nivel de efectos e impacto e identificación de factores que contribuyen a producir estos resultados. Elemento central : línea base (diagnostico situación inicial y control de variables relevantes externas a la intervención). ¿conviene seguir implementando el proyecto?, en caso afirmativo, ¿qué aspectos pueden mejorarse a futuro?.

Temas que se evalúan

Evaluación de insumos, incluye evaluación económica

Evaluación de procesos y productos (dinámica institucional, política y organizacional de la implementación)

Evaluación de efectos e impacto, esperados y no esperados

Evaluación estratégica o integral

Según atributos del programa que se evalúan De pertinencia, medida en la cual una política o programa, sus opciones

metodológicas y su lógica de intervención, responden a las necesidades de la población.

De focalización, se refiere a la medida en que una política o programa llega a su población objetivo.

De cobertura, a cuántos de sus posibles beneficiarios un programa entrega sus beneficios.

De proceso, se refiere a las actividades y procedimientos que se realizan durante la implantación de la política o programa para determinar cómo éste está actuando.

De eficiencia, determinando si los resultados que se obtienen son adecuados a los medios utilizados. Costo de oportunidad de asignar recursos a un programa en relación con otro

De eficacia, se refiere a la medida en la cual existen pruebas de que los objetivos de la política o programa se han logrado. Costo - eficacia de la evaluación.

De efectividad, medida en que una política o programa ha alcanzado el conjunto de efectos sobre la población objetivo que se habían previsto.

De satisfacción, entendida como el sentimiento subjetivo por parte de los beneficiarios respecto de la política o programa.

Otras distinciones

– Evaluación sumativa y formativa– Evaluaciones participativas– Externa - interna – Metodologías y técnicas cuantitativas y

cualitativas

VENTAJAS E INCONVENIENTES DE LA EVALUACION DENTRO/FUERA

VENTAJAS INCONVENIENTES

Evaluación desde dentro -Optimiza la mejora del programa.-Minimiza la reactividad de los sujetos.-Menos costosa.-Mayor influencia sobre el programa.

-Minimiza la objetividad.

-Minimiza la credibilidad social de la evaluación.

-Minimiza la utilización de estándares y tecnología dura.

Evaluación desde fuera -Maximiza la objetividad.

-Maximiza la utilización de tecnología dura (diseño, instrumentos).

-Maximiza la credibilidad social de la evaluación.

-Maximiza la utilización de estándares.

-Minimiza las posibilidades de mejorar el programa.

-Maximiza la reactividad de los sujetos.

-Más costosa.

-Menor influencia sobre el programa.

EVALUACION CUANTITATIVA Y EVALUACION CUALITATIVA

Evaluación cuantitativa Evaluación cualitativa

Paradigma positivista/empírico Paradigma fenomenológico y constructivista

Predominio de la deducción Predominio de inducción, comprensión, interpretación

Diseño experimental y cuasi- experimental Investigación naturalista

Perspectiva desde fuera (observador externo)

Perspectiva desde dentro (actores involucrados)

Lenguaje numérico Aspectos objetivos, observables,

cuantificables

Lenguaje verbal y observación de conductas

Captación y comprensión de actitudes, valores, motivaciones,

Análisis estadístico Estudios de casos, desarrollo de procesos

Resultados generalizables estadísticamente

Resultados limitados en su generalización

Diseños y herramientas para realizar la evaluación Evaluación de efectos e impacto (grupo de control,

línea base, análisis contrafactual, diseños experimental, cuasiexperimental, natural, de control de variables)

Seguimiento de procesos, análisis de actores, estudios de caso, etc.

Análisis económicos de costos y costo- eficacia Técnicas de evaluación (recolección de

información)

Requerimientos político - institucionales de una evaluación Usuario de la evaluación y sus expectativas Independencia de la evaluación Clima político abierto a la evaluación y a

incorporar los resultados Oportunidad de los resultados (momento) Lenguaje en que se expresan y comunican

los resultados

Trabajo 2: parte individual (15 minutos, entregar por escrito)

Trabajo 2: parte grupal (40 minutos aproximado)

Propuesta de trabajo / tarea inter- sesión

Fecha de entrega informe: lunes 26 de Noviembre o antes; enviar por correo

electrónico a taller@fundacionemmanuel.cl

Referencia Bibliográfica

José Sulbrandt "La evaluación de los programas sociales. Una Perspectiva Crítica de los Modelos Usuales ", pág. 309-350. Bernardo Kliksberg (compilador), en “Pobreza. Un Tema Impostergable. Nuevas Respuestas a Nivel Mundial”, Fondo de Cultura Económica, México, primera edición 1993.