Técnicas para levantar información en Evaluación

Honduras2007

TÉCNICAS PARA RECOPILACIÓN DE INFORMACIÓN EN EVALUACIÓN

Para evaluar un proyecto se requiere recopilar y analizar diferentes tipos de datos con el fin de responder al desafío de armonizar:

Expectativas diversas de los diferentes actores y/o interesados en el proyecto

Recursos y tiempos limitados

Y aportar información útil y confiable para aprendizaje y toma de decisiones

¿POR QUÉ COMBINAR LAS TÉCNICAS?

Los cambios (efectos e impactos) son tangibles (mejora en ingresos, empleo) e intangibles (autoestima, capacidades para negociar, interactuar, incidir)

Brindar información diferente y complementaria: triangulación

Hay que dar cuenta de la multidimensionalidad de la pobreza

TECNICAS USADAS EN EVALUACIÓN

Por eso, en Evaluación se usa combinación de técnicas para recolección y análisis de información seleccionadas teniendo en cuenta:

Tipo de información que se requiere según variables e indicadores relevantes definidos durante la planificación

Ubicación del proyecto y naturaleza de su población objetivo

Personas que participarán en la recolección y análisis

Recursos y tiempo disponibles

¿QUÉ TÉCNICAS HAY?CUANTITATIVAS

Se usan para recolectar: Cifras precisas: números

porcentajes , volúmenes, series

En poblaciones grandes concentradas y de fácil acceso

CUALITATIVASSe usan para recolectar: Datos sobre

estimaciones, opiniones, actitudes, aspectos culturales, percepciones, relaciones

En poblaciones pequeñas y/o dispersas

PARTICIPATIVAS Involucra a todos los actores: acción concertada Todos asumen responsabilidades en todo el proceso Con enfoques amplios no predeterminados Enfatiza la evaluación como un proceso de

aprendizaje colectivo: “empoderamiento”

CRITERIOS PARA SELECCIÓN DE TÉCNICAS

CUANTITATIVAS Información sobre cantidades

Población amplia, de fácil acceso y/o concentrada

Pocos temas relevantes Equipo pequeño y que

maneje estadísticas y cultura

Puede requerir mayor tiempo y recursos

CUALITATIVAS Información sobre calidad Población pequeña, dispersa

y/o de difícil acceso Pocos temas relevantes Equipo interdisciplinario

“facilitador/moderador” con conocimiento del tema y cultura de la población

Pueden requerir menor tiempo y recursos

PARTICIPATIVAS Decisión política para flexibilizar la ejecución Equipo facilitador/moderador que conozca la cultura

PRINCIPALES TÉCNICAS CUANTITATIVAS

Entrevista estructurada por muestreo: Formulario formal para registro con preguntas predefinidas Selección de entrevistados con diversas técnicas de

muestreo según variables

VENTAJAS Estandarizar preguntas y

controlar sesgos no muestrales

Facilita registro y análisis de datos

Permite generalizar sus resultados en universo

Facilita replicarla para S y E

DESVENTAJAS Requiere tiempo y dinero

para preparación, validación y aplicación

Requiere personal capacitado y con conocimiento de la cultura de la población

Seleccionar pocas variables

PRINCIPALES TÉCNICAS CUALITATIVAS

DESVENTAJAS Exige registro sistemático de

deliberaciones para no perder información

Equipo Moderador con aptitudes de sistematización, facilitación y conocimiento de la cultura

Dificultad de registro y análisis de información

Sólo se deben tratar pocos temas

VENTAJAS Propicia “empoderamiento”y

“diálogo de saberes” Información más confiable,

exacta, por triangulación Recoge información “difícil” y

no prevista Evita sesgo de selección de

grupo

1. Reuniones con la Comunidad Invitación abierta con poco tiempo de anticipación Se usa una guía y/o combinación de técnicas (DRP) Implica tener Equipo Interdisciplinario y/o con buen

conocimiento del tema y cultura como Moderador

TÉCNICAS CUALITATIVAS

DESVENTAJAS Entrevistador con aptitudes de

sistematización, facilitación y conocimiento de la cultura

Sólo se deben tratar pocos temas

Exige gran conocimiento de temas: repreguntar

Puede sesgarse la selección de los Informantes claves

VENTAJAS Recoge información para

generar hipótesis a probar en población más amplia

Recoge información “clave” Se ahorra tiempo al

mantener “Foco” en la conversación

Datos más comparables

2. Entrevistas individuales: Semiestructuradas y/o con Informantes claves Conversación entre dos personas para profundizar sobre

posiciones /opiniones sobre temas específicos Selección cuidadosa del informante y de Guía de temas Complementa información recogida con otras técnicas

LA ENTREVISTA EN PROFUNDIDAD

Es una conversación entre iguales, solo predefine uno o pocos temas generales. Las preguntas surgen de la dinámica del proceso de la entrevista.

El entrevistador/a debe asumir una actitud no directiva: dejar al entrevistado la máxima libertad de expresión

Se utiliza para reconstruir procesos y/o indagar el por qué se da determinada situación (los datos de los indicadores, p.ej.)

El análisis de la información debe ir más allá de la descripción, a la interpretación que el/la entrevistado/a haga del tema

PLANIFICACIÓN Y DISEÑO DE LA ENTREVISTA

Selección de los entrevistados/as (relación directa con las preguntas de la evaluación)

Quién (es) lo entrevistarán (entrevistador/a y anotador/a)

Definición del objetivo de la entrevista (que información requerimos de cada informante con relación a preguntas de la evaluación)

Diseño de la guía de entrevista (una guía para cada entrevistado)

Materiales y equipos: Si se grabará la entrevista (grabadora, casettes, pilas) / papel y lápiz / etc.

Revisión de la guía (con relación a objetivos propuestos)

MOMENTOS DE LA ENTREVISTA

Apertura: Se debe crear un ambiente de confianza desde el saludo. Esto se logra con actitudes cordiales y amistosas Explicar el objetivo de la entrevista (5 minutos)

Desarrollo: realización de la entrevista en sus aspectos claves, que van a explorarse con mayor atención y que permitirá obtener la información mas delicada y exacta que se necesite (45 a 90 minutos)

Cierre: anuncia el final de la entrevista. Es importante agradecer y concluir en un ambiente de cordialidad recordando cómo se usará la información (5 minutos)

TÉCNICAS CUALITATIVAS

DESVENTAJAS Requiere personas con

disciplina, gran agudeza, comprensión, intuición, dominio de habilidades sociales

Dificulta la réplica Requiere cuidado para

recoger información sistemática

VENTAJAS Recoge información “clave”

de efectos e impactos, especialmente no previstos

Útil para complementar la visión del contexto

Permite “triangular información”

Permite aprovechar el tiempo de otras actividades: visitas

3. La Observación: Individual o participante Proceso deliberado y sistemático que debe orientarse por

una pregunta o propósito Es necesario conocer el qué, el cómo, el cuándo, el por qué

y el dónde observar Complementa información recogida con otras técnicas

LA OBSERVACIÓN Es un proceso sistemático por medio

del cual se recoge información relacionada con ciertos acontecimientos o fenómenos

Técnica útil para complementar la visión del contexto en que se realiza la evaluación y para verificar existencia de efectos e impactos. Permite “triangular información”.

Supone un acercamiento perceptivoObservación = percepción + interpretación

Planificación y diseño de la Observación

Selección de los lugares a ser visitados (características y vinculación con el proyecto)

Quién (es) harán las visitas (observadores) Definición del objetivo de la observación (qué ver

con relación a preguntas de la evaluación y con que otra técnica se complementa)

Diseño de la guía de observación (una guía por tipo de lugar a ser visitado)

Materiales y equipos: Si se filmara la visita (filmadora casettes) / si te tomaran fotos (cámara) / papel y lápiz /

Revisión de la guía (en relación a objetivos propuestos)

1. El Grupo Focal o Grupo de Discusión Dirigida Espacio de diálogo con un tipo de actor, con el fin de

llegar a conclusiones y consensos sobre su percepción u opinión, con relación a un tema específico (se usa guía de temas), relevante para el proyecto

Se usa cuando: Se está examinando en profundidad una sola temática o la

perspectiva de un solo actor. Puede reunirse en un solo lugar a un número de participantes

(de 8 a 15) con características homogéneas, seleccionadas intencionalmente con criterios predefinidos.

Es necesario obtener resultados rápidos.

TÉCNICAS CUALITATIVAS PARTICIPATIVAS

Se quiere conocer el sentido común de un grupo determinado. Se quiere entender actitudes, comportamientos, prácticas y

valores.

Utilidad de los GDDUtilidad de los GDD La gente expresa espontáneamente sus

percepciones sobre la intervención y por qué las tienen

Recoge información “difícil” y no prevista

Hay comprensión integral y amplia de un tema: varios aspectos y su contexto

Facilita concertación y acuerdo a partir de diversas reflexiones y opiniones

El “grupo” disminuye inhibiciones y miedos

La interacción entre los participantes fomenta ideas nuevas o interesantes

PLANIFICACION DEL GRUPO PLANIFICACION DEL GRUPO DE DISCUSIÓN DIRIGIDADE DISCUSIÓN DIRIGIDA

Acuerdo sobre resultados esperados del GDD Identificación de las Preguntas centrales: “Guía

de Preguntas y subpreguntas” (según indicadores) Identificación de categorías o criterios que

definirán a los participantes (según Indicadores) Conformación del equipo facilitador y asignación

de roles: Moderador/a, Anotador/a Donde se realizará (privacidad, sin interrupciones,

distribución adecuada, espacio para colocar papelógrafos)

Acuerdo sobre instrumentos de recolección y consolidación de información y contenidos del Informe

EJEMPLO DE MATRICES PARA CONSOLIDAR EJEMPLO DE MATRICES PARA CONSOLIDAR INFORMACIÓN EN GDDINFORMACIÓN EN GDD

TemaIdeas donde

hay acuerdo

Ideas con diferencia

s

Observaciones

Tema Síntesis de Ideas

Conclusiones / acuerdos

RECOMENDACIONESRECOMENDACIONES PARA PARA MODERAR GDDMODERAR GDD

Promover la participación de todos en un diálogo colectivo

Animar a los participantes a hablar entre ellos y no “responderle” al moderador

Sondear en profundidad: Utilizar preguntas abiertas y libres de sesgo Preguntar ¿Por qué? saber cuando hace falta profundizar una respuesta permanecer callado cuando es necesario utilizar la técnica de la repetición repetir la palabra del participante como pregunta pedir al participante que aclare una postura

Escuchar de forma activa, estar atento a la forma como se dicen las cosas (inflexiones de voz, temas difíciles), captar las indicaciones no verbales

La guía de temas no es una camisa de fuerza El GF no tiene por fin informar, ni persuadir Evitar que la discusión se aparte del objetivo de

la reunión Facilitar la construcción de consensos Estar dispuesto a improvisar

RECOMENDACIONESRECOMENDACIONES PARA PARA MODERAR GDDMODERAR GDD

TALLER MULTIACTORESEs un espacio de diálogo entre más de dos

tipos de actores, en el cual los actores: Analizan su experiencia en la intervención

Identifican cambios, sus causas / factores que los condicionan positiva o negativamente

Proponen caminos a seguir / soluciones concertadas

Es la técnica participativa por excelencia Actividad central de un proceso de

evaluación participativa

PERMITE: Identificar, en forma sistemática y con

participación de diversos actores, efectos e impactos tangibles e intangibles; previstos y no previstos

Los evaluadores son los mismos evaluados

TALLER MULTIACTORES

PROMUEVE: la generación de consensos y la asunción de compromisos

TRIANGULACIÓN, CONSENSO, CONCERTACIÓN

Propósitos Aprendizaje colectivo: diálogo de saberes entre tipos de

actores y búsqueda de consensos sobre pertinencia y efectividad de la intervención

Construcción colectiva del conocimiento: más real, integral y completo, a partir de interacción de diferentes percepciones

Planificación concertada sobre acciones a seguir: consensos sobre prioridades de desarrollo y qué hacer

NO tiene como propósito principal recopilar información sino facilitar su construcción

NO busca sumar ideas individuales sino más bien, construir consensos, manejar diferencias y establecer compromisos a futuro

TALLER MULTIACTORES

METODOLOGÍATRABAJOS EN GRUPOS – con un

Moderador /facilitador y Anotador (externos) Primero: por tipos de actor (homogéneos en rol e

interés frente a la intervención) Segundo: mixtos (Participación de todos los actores) Todos los grupos trabajan las mismas guías

PLENARIAS – posteriores a los Grupos, con facilitador para agrupación de ideas y elaboración de síntesis de principales acuerdos y diferencias y 2 Anotadores

Construcción de lecciones aprendidas, recomendaciones y definir compromisos y responsabilidades sobre pasos a seguir

PRIMER MOMENTO: GRUPOS POR TIPO DE ACTOR

GUIA DE PREGUNTAS para facilitar la discusión en los Grupos: con preguntas derivadas de los indicadores

ANALISIS DE EFECTOS E IMPACTOS: Un Facilitador y un Moderador por cada Grupo El Relator de las conclusiones ante la plenaria

debe ser seleccionado entre los participantes

PLENARIA:CONSENSO: acuerdos y desacuerdos sobre

las conclusiones¡NO es QUE TODOS PIENSEN IGUAL!

Grupos conformados por representantes de los distintos tipos de actores participantes

Guía para el trabajo de grupos: Conclusiones, acuerdos y desacuerdos de la plenaria anterior.

SEGUNDO MOMENTO: GRUPOS MIXTOS

PLENARIA:CONSENSO: Conclusiones y pasos a seguir

FIN:Identificar razones de los desacuerdos

Identificar recomendaciones y lecciones aprendidas

Acuerdos sobre pasos a seguir y compromiso de actores

CONSENSO sobre Recomendaciones y Lecciones Aprendidas

ACCIONES A FUTURO: Compromisos sobre pasos a seguir. Definición de plazos y responsabilidades de cada tipo de actor

Apreciaciones sobre la aplicación de la técnica

TERCER MOMENTO: PLENARIA FINAL DE COMPROMISOS

Al Final:

Recordar el uso que se dará (desde la intervención) a la información

Indagar qué uso le darán los actores a la información

FORTALEZAS PROCESO EMPODERADOR: fortalece

capacidades de interactuación, negociación, concertación

Facilita y democratiza el proceso de toma de decisiones a partir de acuerdos sobre pasos a seguir

Facilita procesos de planificación participativa

Promueve la acción conjunta y concertada

Permite trabajar con varios actores al mismo tiempo

LIMITACIONES Pueden hacerse explícitos los conflictos

de intereses existentes entre los tipos de actores

Los participantes más activos son generalmente los directivos o los más “poderosos”

Requiere de facilitadores externos con experiencia en manejo de grupos y de conflictos

Apertura y voluntad para ajustar la planificación a los acuerdos que surjan

ARTICULACIÓN DE LAS TÉCNICAS EN UN PROCESO DE EVALUACIÓN

Qué información se va a generar con cada técnica

Qué información se complementará con cuál otra

Qué información servirá para triangulación

Qué información para interpretación o aclaración del contexto

TÉCNICAS PREGUNTAS ACTORES

PAUTAS PARA ELABORAR PAUTAS PARA ELABORAR PREGUNTASPREGUNTAS

1. Deben estar enfocadas a indagar sobre efectos e impactos. NO sobre actividades ni metas numéricas

2. Deben ser abiertas para recoger opiniones de los diferentes actores sobre lo que se quiere evaluar y sus razones. NO deben poderse responder con Si o No

3. Deben ser claras, con palabras sencillas e indagar por un solo aspecto.

4. Deben ser neutras: no suponer la existencia de lo que se quiere evaluar, ni inducir la respuesta.

Criterios a tener en cuenta

Pregunta INCORRECTA

Pregunta CORRECTA

Preguntas abiertas: indagan por el por qué y NO son respuestas de Si o No

¿Ha oído usted hablar de los servicios de asistencia técnica que operan en la zona?

¿Qué sabe usted de los servicios de asistencia técnica que operan en la zona?

Preguntas neutras

Algunas personas dicen que en la aprobación de proyectos hay favoritismo ¿qué opina de eso?

¿Cuál es su punto de vista sobre la forma en que se están aprobando los proyectos?

Preguntas claras para obtener información precisa

¿Qué cambios ha percibido usted en las familias?

¿Qué cambios se han dado en las familias con su participación en el proyecto?

EJEMPLO DE PREGUNTASEJEMPLO DE PREGUNTAS

Criterios a tener en cuenta

Pregunta INCORRECTA

Pregunta CORRECTA

Preguntas con un solo tema a la vez

¿Qué otros cambios ha generado el proyecto en las familias, la organización y en la zona?

¿Qué otros cambios ha generado el proyecto en las familias?(Después de responder lo anterior)¿Qué otros cambios ha generado el proyecto en la organización?

Preguntas que no causen malestar en las personas o “sensibles culturalmente”

¿Cuál es su opinión sobre los integrantes de Comisión de Seguimiento?

¿Cuál es su opinión sobre la Comisión de Seguimiento?

EJEMPLO DE PREGUNTASEJEMPLO DE PREGUNTAS