Evaluación Programas Sociales.pdf

8/12/2019 Evaluacin Programas Sociales.pdf

1/90

Bernardo Restrepo Gmez, Ph. D2014.


2/90

Qu es evaluar

Proceso para determinar el valor y mrito de unprograma, objeto o institucin

Hay diferentes definiciones, segn Orientaciones


3/90


4/90

Definiciones. Cont

Scriven: Comparar un valor observado con un

estndar.

Establecer un juicio profesional sobre la calidad de unprograma.

Examen sistemtico del grado en el que el programaha logrado satisfacer las necesidades de losStakeholders (Rasappan).


5/90

Evaluacin e InvestigacinTienen cosas en comn y diferencias.

En comn: indagan, buscan y procesan informacinsistemticamente. Utilizan tcnicas similares derecoleccin y anlisis.

Diferencias: El propsito final de la investigacin esel conocimiento; el de la evaluacin es un juiciovalorativo.


6/90

Qu evaluarInstituciones y programas, a travs de:

Factores o grandes componentes

Variables o aspectos

Indicadores


7/90

Por qu evaluar Realimentacin sobre el desempeo

Mejoramiento de:

- Calidad- Efectividad e impacto

- Eficiencia

Toma de decisiones sobre continuidad

Solucin de problemas


8/90

Por qu evaluar

Advocacy: posicionamiento, consecucin de fondos,

comunicacin, defensa del programa o institucin. Construccin de conocimiento

Construccin de capacidad

Aprendizaje organizacional y planeacin estratgica.


9/90

En suma, cuatro propsitos:

Realimentacin Rendicin de cuentas a la sociedad

Mejoramiento, sostenibilidad e impacto

Aprendizaje organizacional


10/90

Quin evala Evaluacin formativa (interna)

Evaluacin sumativa (externa)

Metaevaluacin


11/90

Cuando evaluar E. Formativa: continuamente

E. Sumativa: que no sea prematura

Ex Ante

Ex post facto.


12/90


13/90

Orientaciones sobre enfoquesSe han desarrollado siete grandes orientaciones en

evaluacin:

Resultados vs. Objetivos

Investigacin Evaluativa

Evaluacin orientada a toma de decisiones

Evaluacin Judicial o por Oposicin Evaluacin Orientada al Cliente

Evaluacin de expertos

Evaluacin Democrtica.

Evaluacin focalizada en el uso de resultados


14/90

Modelos y enfoques En un tiempo predominaron modelos sofisticados,

como el Experimentalista, el CIPP, el de lasmatrices lgicas y empricas, entre otros.

Hoy hay mayor flexibilidad y ms que modelosacabados existen variedad de enfoques. Inclusoalgunos aplican el esquema de la investigacin.


15/90

Criterios y sus fuentes Los Criterios son valores o normas requeridos para

llegar a un juicio (pertinencia, universalidad,intregridad, transparencia, responsabilidad,coherencia, eficacia), tambin denominadosestndares de evaluacin.

Las fuentes de los criterios o estndares pueden serlos stakeholders, la literatura, la experiencia,principios de alto orden ( Leyes, polticas,imperativos ticos, casos exitosos)


16/90

Evolucin de la Evaluacin como Disciplina

Cinco etapas modernas:

- Tyler y el comienzo- Suchman y la experimentacin

- Stake, Stuffflebeam, y Scriven

- Fetterman, Evaluacin democrtica

- Patton, Evaluacin focalizada en utilizacin de resultados

Siempre ha existido la auditora como evaluacin, sobre todode la cosa pblica.


17/90

El Modelo de Tyler Estndares claros y medibles del programa

Pruebas estandarizadas para medir los objetivos.

Anlisis de diferenciasAnlisis de variables concomitantes explicativas de los

resultados

Da por vlidos los objetivos. No los evala.


18/90

El Modelo CIPP de StuflebeamOrientado a toma de decisiones.

Ofrece cuatro tipos de evaluacin:

Evaluacin de Contexto

Evaluacin de Insumos Evaluacin de Procesos

Evaluacin de Producto


19/90

Evaluacin de ContextoConcepto:

Busca identificar historia del programa, las condicionesdel ambiente en el que se constituir el programa, lasnecesidades, fortalezas, debilidades, problemasinternos y externos y oportunidades que el ambiente le

brinda.


20/90

Mtodos para la Ev. De Contexto Recoger informacin anterior

Comparar la informacin con las metas

Entrevistar stakeholders para determinar necesidadesy problemas por resolver

Anlisis de contenido para detectar indicadores

Presentar informes anuales que actualicennecesidades, problemas, oportunidades


21/90

Uso de la Ev. De Contexto

Decisiones sobre cambio o mantenimiento delprograma.

Ver si el anlisis del contexto pide cambio, objetivosnuevos, nueva estructura, decisiones de planeacin.


22/90

Evaluacin de InsumosConcepto:

Identificar y apreciar el mrito relativo de lasalternativas, planes de asignacin de recursos,estructura, marcos legales, cronogramas, restricciones

financieras, factibilidad


23/90

Ev. De Insumos. Mtodos Evaluar la estrategia general escogida

Evaluar el plan de trabajo Evaluar el presupuesto, el personal

Revisar literatura investigativa relacionada

Determinar fortalezas y debilidades del diseo para

mejorar planeacin.

Talleres de discusin sobre todo esto.


24/90

Ev. De Insumos. Uso.

Decisiones de estructuracin e implementacin delprograma y prueba piloto si es el caso.


25/90

Evaluacin de ProcesoConcepto:

Es la evaluacin continua de la implementacin del plandel programa y la documentacin de sus procesos. Enqu medida se lleva a cabo el plan? Tuvo quemodificarse? Cmo y por qu?


26/90

Ev. De Proceso. Mtodos

Seguimiento de los procesos

Registro e informes peridicos de la implementacinde los procesos.


27/90

Evaluacin de procesos. UsoDecisiones sobre rediseo de eventos, actividades,

procedimientos y rediseo del diseo (vuelve sobreinsumos).

Uso posterior en interpretacin de resultados.


28/90

Evaluacin de ProductoConcepto:

Qu resultados positivos y negativos, buscados y nobuscados se obtuvieron? En qu medida alcanz asatisfacer las necesidades de toda la poblacin a la queestaba dirigido, es decir, de los supuestos

beneficiarios? A qu se deben las fallas?


29/90

Ev. De Producto. Mtodos Documentos.

Entrevistas a stakeholders para ver alcances,calidad, profundidad, significancia de los efectosdel programa.

Determinar impacto sobre la comunidad.

Llevar directorio de personas y grupos atendidos.

Registrar estadsticas en todos los campos.

Comparar resultados y plan inicial


30/90

Ev. De producto. Uso.

Decisiones sobre continuar, terminar, modificar,reenfocar el programa


31/90

El modelo de Evaluacin

Naturalstica de Stake

Concepto:

La evaluacin de un programa debe plantear su mrito yfalencias percibidos por grupos interesados en l,

sistemticamente levantados y procesados.


32/90

La teora o Rationale

El programa tiene que tener una filosofa o baseconceptual que ilumina todo el desarrollo delprograma y tambin de la evaluacin.


33/90

Modelo de evaluacin responsivaComponentes:

Tres matrices, as:

1. De metas, transacciones y resultados esperados(Matriz lgica)

2. De metas, transacciones y resultados observados

(Matriz emprica)3. De estndares y juicios sobre 1 y 2 (matriz de juicio

o evaluativa).


34/90

Esquema de las matrices M. lgica M. emprica M. Evaluativa.Contingencia Congruencia

Intenciones---------

-------------------Transacciones

------------------Resultados

Intenciones

--------------------Procesos

--------------------Resultados

Estndares

y

Juicios


35/90

Momentos de la evaluacinMatriz lgica:

Metas, intenciones, objetivos (planes)

Transacciones (procesos y actividades para cumplirlas metas)

Resultados, consecuencias de la implementacinde los planes.


36/90

Momentos de la evaluacin

Matriz emprica u observacional:

Metas y planes realmente montados y desarrollados.

Transacciones llevadas a cabo para implementar los

planes. Resultados obtenidos en la realidad.


37/90

Contingencia y congruencia El modelo contempla establecer la contingencia entre

los momentos de la matriz lgica y entre los de la

matriz emprica.

y la congruencia entre las matrices lgica y emprica.


38/90

ContingenciaPosibilidad de que algo suceda en el futuro.

Relacin vertical entre momentos: Contingencia intenciones-procesos o transacciones.

Contingencia transacciones-resultados.


39/90

CongruenciaCoincidencia entre los momentos de la matriz lgica y la

emprica:

Relacin horizontal entre cada momento

Intenciones planeadas y ejecutadas

Transacciones o procesos planeados e implementados

Resultados esperados y obtenidos.


40/90

Momentos de la evaluacinMatrix de juicio o evaluativa:

1. Estndares para evaluar los componentes(intenciones, transacciones y resultados). Todoprograma busca ciertos logros.

2. Juicios o evaluacin de lo encontrado.


41/90

Tipos de juicio o evaluacin final1. Evaluacin absoluta o basada en los estndares

fijados.

2. Evaluacin relativa o basada en los logros de otrosprogramas o del mismo en ocasin anterior.


42/90

Enfoques Modernos Evaluacin por Clusters

Evaluacin por empoderamiento Evaluacin focalizada en resultados

Evaluacin basada en la teora y modelo lgico delprograma.


43/90

Evaluacin por ClustersEs evaluacin holstica. Trata de responder lo que se

ha aprendido de varios programas que tienen lamisma misin, aunque son proyectosindependientes.

Enfoque iniciado por la Fundacin Kellog en 1992.Es apropiada para evaluar programas.


44/90

Esquema Evaluativo Recoleccin de documentos de todos los proyectos.

Visitas in situ a todos para darles asistencia tcnicae informacin de otros proyectos y ver qufunciona bien

Reuniones de la red para compartir objetivos y

estrategias, conocer evidencias, construirinstrumentos de evaluacin y recibir asesora deexpertos en campos especficos.


45/90

Esquema evaluativo ( Cont)

Realimentacin y discusiones comparativas paraextraer mejoramiento comn.

Producir informes de cluster.

Anlisis de evaluacin a nivel de proyecto

Anlisis global ms holstico para extraer lecciones dela diversidad.


46/90

Criterios de Evaluacin Sostenibilidad o construccin de capacidad

institucional.

Proyeccin o conviccin a la gente sobre la calidad delprograma y su potencialidad social.


47/90

Qu se evala en la evaluacin por clusters?

Slo lo que es comn al conglomerado o racimo deproyectos.

No los proyectos en s, que siguen siendoindependientes y debe evaluarse cada uno por smismo.


48/90

Evaluacin DemocrticaEvaluacin por Empoderamiento es uno de los nfasis de la

Evaluacin Democrtica.

Su proponente: David Fetterman

Empoderar es usar conceptos, tcnicas y resultados para

fomentar el mejoramiento y la autodeterminacin.

Busca ayudar a la gente a que se ayude (Autogestin).


49/90

Evaluacin por empoderamientoSe ha aplicado en educacin, gobierno, ONGs,

fundaciones, problemas de drogadiccin, Prevencindel SIDA, proteccin ambiental, desarrollo rural

Objetivo central: autodeterminacin y construccin de

capacidad.


50/90

Etapas:

1. Establecer misin o visin (Resultados esperadosy actividades requeridas) y determinar dndeest es programa.

2. Identificar y priorizar actividades mssignificativas del programa y determinar

evidencias que permitan calificarlas en unaescala de uno a diez. Se extraen luego fortalezasy debilidades.


51/90

Etapas3. Delinear el rumbo hacia el futuro. Hacia dnde se

quiere ir? El grupo establece metas y estrategias para

alcanzar el cambio deseado.Estos esfuerzos se monitorean a travs de

documentacin confiable entre evaluadores yfuncionarios del programa.


52/90

EVALUACIN POR EMPODERAMIENTO ES

Investigacin emancipatoria

En todas las etapas debe haber capacitacin,facilitacin, iluminacin y liberacin, as como

Advocacy (defensa y promocin del programa).

El evaluador es facilitador, educador, entrenador,

ambientador de la sociedad que se establece entrel y los stakeholders.


53/90

AlcanceSupera la bsqueda del mrito de un programa yprocede al compromiso con la autodeterminaciny la construccin de capacidad. Es un proceso

democrtico en el que todos son responsables de laevaluacin.

Promueve un cambio social responsable.

Su poblacin blanco: los excluidos.


54/90

Tcnicas para evaluar impacto Reuniones grupales amplias o focales

Entrevistas a beneficiarios Observacin directa

Uso de informantes clave

Anlisis cuantitativos: Cuadros, estadsticas.


55/90

Posicin de Fetterman sobre evaluacin por

empoderamiento. No pretende reemplazar todas las formas de

evaluacin, pero invita a la participacin.

Los evaluadores deben ensear a la gente aconducir su propia evaluacin

Ayuda a iluminar la importancia del uso delproceso.

El evaluador debe insistir en la rendicin decuentas.


56/90

Evaluacin Democrtica 2Evaluacin focalizada en la utilizacin

Exponente: M. Patton.

Dos alcances:

1. Uso que darn los usuarios de la evaluacin a losresultados de la misma.

2. Uso del proceso


57/90

Uso del procesoUsar el proceso de evaluacin para incidir en

organizacin institucional, en las prcticas delprograma, en hacer de las organizacionesorganizaciones que aprenden, en mejorar toma dedecisiones sobre los programas.

Es combinar la evaluacin con accin mejoradorainmediata.


58/90

Evidencia del uso del proceso En muchas evaluaciones reales el hecho de

transitar por el proceso de reflexin que laevaluacin induce y requiere es tan importantecomo los resultados. Ayuda al personal delprograma a involucrarse, a trabajar en equipo con

perspectiva evaluativa y de cambio. Es en s unresultado positivo para el aprendizajeorganizacional.


59/90

Uso de los resultadosEl evaluador debe promover y cultivar el uso, ayudandoa los decisores a identificar sus necesidades deevaluacin, a determinar qu informacin es ms til

para confrontar esas necesidades y generar resultadosque rindan el tipo de informacin requerida por losusuarios potenciales. La evaluacin se ajusta a losobjetivos que los que la solicitan darn a los resultados


60/90

El usoPatton afirma que la base de su enfoque es el uso

pragmtico de los resultados de la evaluacin y del

proceso de la misma. Es decir, que la evaluacin sedisee e implemente en forma tal que sus resultadossirvan para mejorar el programa y para mejorardecisiones sobre el mismo. O sea, el uso consecuente!


61/90

En evaluacin y monitoreo de programas deagricultura, por ejemplo, el seguimiento se orienta a

evaluar el aprendizaje de los programas para lainnovacin y promoverlos. Este paradigma se conocecomo el paradigma transformista (Van Mierlo et al.,2010): Enhancing the reflexivity of system innovation

projects with system analyses. American Journal ofEvaluation, 31 (2), 143-161.)


62/90

El uso y la comunicacin internaLa utilidad potencial de los resultados de la evaluacin

es afectada por los niveles de comunicacin dentro de

la organizacin, por la complejidad burocrtica y lacirculacin de la informacin en su interior.


63/90

Evaluacin Basada en la teora y

Modelo Lgico del Programa.Enfoque reciente que emerge entre los modelos clsicos

y la evaluacin democrtica.

Es un enfoque pragmtico que parte de una teoraexplcita sobre cmo operar el programa y qu

cambios lograr.


64/90

Componentes de la teora: Teora del proceso o cmo operar el programa en

prestacin de servicios, cumplimiento de funciones y

aporte de recursos necesarios para operar.

Teora del impacto o explicativa de los cambios queproducir el programa.


65/90

Cmo explicitar la teora?Se logra en:

Encuentros con los stakeholders primarios Revisin de documentos Objetivos del programaVisitas de observacin al programa

A partir de esto se construye el modelo lgico delprograma.


66/90

La teora es evaluable. Evaluar la pertinencia de la teora de impacto para

resolver el problema que el programa intenta resolver. Evaluar la teora del proceso, esto es, si los procesos

planeados responden a las necesidades de la poblacina la que se orienta el programa.


67/90

Evaluacin lgica de toda la teora Est bien definida la teora? Es razonable, es decir:

- Sus Objetivos estn bien definidos (evaluables)?- Objetivos viables?- Es razonable el cambio esperado?- Procedimientos definidos y suficientes?- Los recursos asignados son suficientes y

adecuados?


68/90

El Modelo Lgico del ProgramaEs una especie de foto o mapa del programa quemuestra la secuencia de insumos, actividades,productos y resultados, es decir, cmo trabaja el

programa. Asocia resultados a insumos,actividades y teora subyacente al programa.

Si hay una transitividad adecuada de recursosapropiados a procesos y de procesos adecuados aproductos esperados, habr buenos resultados. Silo contrario, la efectividad ser baja.


69/90

El modelo lgico del programa. Qu busc

ste a travs de sus componentes?

input

proceso

producto

impactomediano

largo

corto


70/90

Metodologa

Sobre los cinco componentes hay que hacer BUENASPREGUNTAS, construir indicadores, recoger datos yarmar informacin poderosa para evaluar cadacomponente.


71/90

Outcome Mapping Hoy el modelo lgico est siendo reforzado con el

modelo de Mapificacin de resultados, desarrolladopor el Centro Internacional de Investigacin delDesarrollo, de Canad, con ayuda de Patton. La esenciaes identificar los cambios deseados y trabajar paralograrlos. Enfatiza el logro de cambios de conductabuscados en los beneficiarios.


72/90

El Modelo Constructivista de Guba y Lincoln

Plantea siete etapas:

1. Identificar todos los stakeholders importantes.

2. Extraer de ellos sus preocupaciones sobre el programay construir consensos sobre ellas.


73/90

Modelo de Guba y Lincoln: etapas

3. Proveer un contexto y metodologa que facilite lainterrelacin de mltiples comprensiones, quejas.Crticas y construcciones evaluativas.

- Aplicar esta metodologa a cada grupo.

- Promover intercambio de construcciones de los

grupos de stakeholders entre todos ellos


74/90

Modelo de Guba y Lincoln: etapas4. Generar consensos

5. Preparar agenda para negociacin sobre items en losque no hay consenso o ste es escaso.

6. Recoger y proveer informacin requerida para estanegociacin.


75/90

Guba y Lincoln7. Facilitar la realizacin de un foro para que la

negociacin ocurra.

8. Generar informes que den cuenta de lasnegociaciaones y acuerdos logrados

9. Reciclar la evaluacin para continuar trabajando sobre

construcciones no logradas.

Evaluacin orientada al desarrollo


76/90

Evaluacin orientada al desarrollodel pas:

Tres principios bsicos:

El enfoque evaluativo debe ser comprensivo yholstico

Las metas y estrategias de desarrollo deben serposedas por el pas y basadas en participacin

ciudadana en su estructuracin. Los pases receptores deben dirigir y coordinar la

ayuda.


77/90

Procedimientos metodolgicos o tcnicas

de evaluacin

Se utilizan las tcnicas de investigacin que brindenla informacin requerida, cuantitativas ycualitativas. En esta fase la evaluacin y lainvestigacin convergen:

Observacin, pautas de cotejo, entrevistas,

cuestionarios, escalas, grupos focales,conversatorios, anlisis de contenido, estadstica; ymuchas ms, pero


78/90

Evaluacin de desarrollo Patton insiste en la ltima dcada, en lo que llama

Developmental evaluation, esto es, una evaluacin en laque los evaluadores se meten en el proceso mismo delprograma en curso para mejorar la intervencin y utilizarprocedimientos evaluativos para facilitar la marcha delprograma. Se utiliza el proceso evaluativo para promover eldesarrollo organizacional (Proyectos, productos, personal,gestin). Es lo que el mismo Patton denomina una

evaluacin orientada a la ayuda al desarrollo. Patton, M. Q. (2011). Developmental Evaluation: Applying compexity

concepts to enhance innovation and use. The Guilford Press.

l d l


79/90

Evaluacin de Impacto: Valor

Agregado Hind (2010) plantea la ADICIONALIDAD como forma dedeterminar la relacin de causalidad de un programa social

y los resultados. Es la exploracin del valor agregado que el

programa aporta a la realidad de los beneficiarios, o dichode otra manera: preguntarse qu hubiera ocurrido sin elprograma? Este mtodo se plantea en vez de la pruebaexperimental de causalidad.

El mtodo consiste en establecer la trazabilidad delprograma: los Objetivos, los entregables en tiemposprevistos, y los resultados reales, comparados con losesperados.


80/90

Adicionalidad o valor agregado Preguntas claves en la evaluacin:

- La aplicacin del programa ha marcado unadiferencia clara?

- Hubo un valor agregado en un tiempo considerable?

- Qu razones explican el alto o pobre desempeo?

- Se pudieron haber hecho las cosas de maneradiferente y cmo?


81/90

Tres seguimientos en este mtodo:Adicionalidad de insumos: Qu insumos se aportaron,

distintos a los usuales?

Adicionalidad de productos: Qu proporcin de losresultados no se hubieran adquirido sin el programa?

Adicionalidad de desempeo o conductas a largoplazo: Qu competencias nuevas se lograron comoefecto del programa?


82/90

El diseo de buenas evaluaciones requiere

precisar: Poblaciones claves

Preguntas claves

El objeto por evaluar

La informacin necesaria

El tiempo oportuno

Las fuentes de informacin

Los instrumentos de recoleccin de datos


83/90

El diseo requiere.

Los procedimientos (tcnicas) por utilizar

Los mtodos de anlisis e interpretacin

Los informes para comunicar hallazgos

Criterios para apreciar los resultados de la evaluacin.


84/90

La experiencia nos dice:La mejor estrategia es combinar modelos y enfoques y

mtodos y tcnicas (Eclecticismo racional).

Diversos aportes de los tericos de la evaluacin puedenarticularse imaginativamente en un buen diseo.

La clave es hacerse buenas preguntas y tener a disposicin unamplio elenco de modelos y enfoques.


85/90

Estndares Internacionales de Evaluacin

Son normas que deben aplicarse a lo largo de los

procesos de planeacin, ejecucin e informacin deresultados de la evaluacin.


86/90

Estndares1. Utilidad (que las evaluaciones sean informativas,

oportunas e influyentes)

2. Factibilidad ( realistas, prudentes, diplomticas yfrugales)

3. Propiedad o adecuacin (legales, ticas yconsideradas)

4. Exactitud ( tcnicas, completas y vlidas)


87/90

Estndares de Utilidad Identificacin de audiencias apropiadas.

Credibilidad del evaluador.

Alcance de la evaluacin y seleccin de informacin.

Claridad y totalidad del informe de la evaluacin.

Diseminacin apropiada de resultados.

Entrega de informe en tiempo oportuno.


88/90

Estndares de Factibilidad Procedimientos prcticos y factibles.Viabilidad poltica, es decir, que tenga en cuenta

diferentes posiciones y grupos de inters para no crear

interferencias y oposiciones. Costo-efectividad, es decir, que la evaluaclin

produzca informacin valiosa que justifique lainversin.


89/90

Estndares de adecuacin Conflictos de inters que existan en el programadeben abordarse abierta y honestamente para que nocomprometan la evaluacin.

Franqueza en los informes escritos y orales, incluyendolimitaciones.

Respeto a los derechos de y bienestar de los sujetos.

Equilibrio en los informes, planteando fortalezas ydebilidades del objeto de evaluacin.

Responsabilidad fiscal en el uso de los recursos de laevaluacin.


90/90

Estndares de Precisin Identificacin clara del objeto por evaluar.Anlisis del contexto y su incidencia.

Descripcin exacta de propsitos y procedimientos.

Descripcin adecuada de las fuentes de informacin.

Validez de la Medicin y procedimientos cualitativos.

Control sistemtico de los datos recogidos.

Anlisis cuantitativos apropiados. Conclusiones justificadas.

Informes finales objetivos.

Evaluación Programas Sociales.pdf

Documents

Transcript of Evaluación Programas Sociales.pdf