Tema 4 (parte final)

EVALUACION

Nota: Para ver el archivo IMPRIMIRLO EN FORMATO PÁGINA DE NOTAS

Evaluación de resultados

= Evaluación de la eficacia

=/= Evaluación de objetivos

Evaluación de resultados

Diferentes clasificaciones :

1. Cambios en la situación de las personas

2. Cambios en las relaciones sociales

3. Cambios en las infraestructuras

Evaluación de resultados

Metodología:

1. Especificación de los efectos buscados en referencia a los

objetivos del programa.

2. Estricta delimitación de estos efectos de modo jerárquico, de

mayor a menor concreción, en términos medibles.

3. Selección de los instrumentos adecuados para medir dichos

efectos.

4. Recopilación de la información necesaria.

5. Análisis comparativo de logrado y de lo que se quería lograr.

Monitorización

Características:

a) evaluación permanente

b) rendición de cuentas

c) funcionamiento del programa

d) evaluación de tipo formativo

MonitorizaciónFases del proceso:

Primer paso: determinación de los objetivos de la evaluación.

Segundo paso: desarrollo de un modelo de flujo

Tercer paso: desarrollo del sistema de indicadores e información

Cuarto paso: desarrollo de los soportes documentales

Quinto paso: elaboración de un diccionario y un manual de aplicación de los soportes documentales.

Sexto paso: integración de los soportes documentales en el modelo de

flujo.

Séptimo paso: especificación de cómo se van a presentar los resultados

de la evaluación y cómo se van a utilizar los resultados de la misma.

Monitorización

Este diseño exige, por tanto:

• un sistema de indicadores,

• unos soportes documentales donde se recoja la

información necesaria,

• un sistema de información informatizado, y

• una metodología capaz de analizar

periódicamente la información recogida.

Monitorización

La monitorización permite llevar a cabo diferentes

modalidades de evaluación simultáneamente, entre las

más utilizadas:

1) Evaluación de la cobertura

2) Evaluación del esfuerzo

3) Evaluación del proceso

4) Evaluación de la productividad

5) Evaluación de la calidad de la atención

Monitorización

Evaluación de la cobertura

Dimensiones: volumen de población cubierta, perfil de la persona usuaria, accesibilidad al programa, demanda.

Indicadores: población objeto/población de la zona

casos atendidos

casos resueltos

abandonos

perfiles: edad, sexo, ocupación, estudios...

grado de conocimiento del programa

facilidad de acceso al Centro

demanda solicitada/concedida

MonitorizaciónEvaluación del esfuerzo

Dimensiones: inputs de los programas-servicios necesarios para la

atención prevista en la planificación de las intervenciones

Indicadores: volumen de recursos humanos

cualificación profesional

horas de dedicación según tipo de actividad

estatus jurídico del personal

número de equipamientos e instalaciones

recursos financieros

Monitorización

Evaluación del proceso

descripción de las actividades que tienen

lugar en la intervención relacionándola con

la distribución del tiempo de trabajo del

personal implicado en la intervención.

Monitorización

Evaluación de la productividad

Dimensiones: productividad técnica del personal de atención

Indicadores:

relación actividades directas/indirectas

ratio de casos en atención, abiertos, resueltos y nuevos por profesional

ratio de casos totales por profesional

Monitorización

Evaluación de la calidad de la atención

Dimensiones: tiempo de dedicación a cada caso, nivel de satisfacción de la

persona usuaria.

Indicadores: tiempo dedicado a estudio del caso

tiempo dedicado a gestiones

tiempo dedicado a atención directa

tiempo que dura la tramitación de la demanda

número de documentos exigidos

Fases de la evaluación

Fase 1: Planteamiento de la evaluación

Fase 2: Determinación del tipo de evaluación

Fase 3: Elaboración del diseño de evaluación

Fase 4: Recogida de información

Fase 5: Análisis de la información

Fase 6: Formulación de conclusiones y presentación de resultados

Fase 7: Medidas de retroalimentación y posible aplicación

Recogida de datos

• Ex ante• In via• Post facto

• Variables• Indicadores • indices

• Observación directa• Observación mediante encuesta• Observación documental• Observación Cualitativa

DEFINICION DE INDICADORES

Representación literaria del conceptoEspecificación de las dimensiones del

conceptoElección de indicadores observablesElaboración de indices

DEFINICION DE INDICADORES

CONCEPTO

INDICADOR

INDICE

EJ. CONCEPTO DE INCORPORACION

“conjunto de acciones que emprende una persona, por iniciativa propia o a propuesta de los sistemas de protección social, con la finalidad de obtener una mejora en su posición social. El proceso de incorporación social supone la puesta en marcha de un plan de acción –implicito o explicito – mediante la identificación de metas, objetivos y acciones”

“conjunto de acciones que emprende una persona, por iniciativa propia o a propuesta de los sistemas de protección social, con la finalidad de obtener una mejora en su posición social. El proceso de incorporación social supone la puesta en marcha de un plan de acción –implicito o explicito – mediante la identificación de metas, objetivos y acciones”

DIMENSIONES DEL CONCEPTO

• Participación en las relaciones sociales • Desarrollo de planes de actuación• Sentimiento de pertenencia • Utilización de recursos• Grado de alcance de condiciones sociales de integración• Etc.

INDICADORES OBSERVABLES

• PARTICIPACIÓN EN RELACIONES SOCIALES

Definición: Cantidad y calidad de relaciones sociales que mantiene la persona con su familia, red de amistades, vecindario.– Pertenencia a asociaciones culturales, deportivas, sociales,...– Frecuencia de relaciones mantenidas con familia, amistad...

– Asistencia a actos culturales, compromisos cívicos, etc.

INDICADORES OBSERVABLES

• DESARROLLO DE PLANES DE ACTUACIÓN

Definición: Puesta en marcha de acciones encaminadas a conseguir unos objetivos durante un plazo de tiempo determinado.– Acciones de mejora de las condiciones de vida

emprendidas por la persona en el último semestre– Existencia de calendario de actividades con

objetivos de mejora en las condiciones de vida para el próximo semestre

INDICADORES OBSERVABLES

• UTILIZACIÓN DE RECURSOS

Definición: Conocimiento de recursos sociales, públicos y privados, en cuanto a funcionamiento, forma de acceso y ámbito de intervención.

Identificación de recursos sociales del entorno– Conocimiento sobre programaciones de actos sociales,

culturales, etc.– Participación como usuario-a de determinados servicio de

incorporación social (centros de orientación laboral, agencias de colocación, etc.) durante un periodo determinado de tiempo

DEFINICIÓN DE INDICES

Diremos que hay un conocimiento de recursos sociales cuando la persona es capaz de:

Identificar al menos tres recursos, indicando nombre de la entidad, localización o emplazamiento, actividad principal, forma de acceso.Señala tres actividades actos sociales o culturales celebrados en su entorno (municipio o comarca en el último mes)Ha solicitado o recibido al menos un recurso relacionado con el empleo

Diremos que hay un conocimiento de recursos sociales cuando la persona es capaz de:

Identificar al menos tres recursos, indicando nombre de la entidad, localización o emplazamiento, actividad principal, forma de acceso.Señala tres actividades actos sociales o culturales celebrados en su entorno (municipio o comarca en el último mes)Ha solicitado o recibido al menos un recurso relacionado con el empleo

ALGUNOS INDICADORES

1. Número de personas atendidas con un determinado problema sobre el conjunto de personas atendidas

2. Números de personas atendidas con un determinado problema sobre el conjunto de personas con ese determinado problema

3. Número de personas que finaliza un proceso de incorporación sobre el número de personas que participan en procesos de incorporación

4. Tiempo medio de atención dedicado a las personas en procesos de incorporación que finalizan sobre el tiempo medio del servicio

5. Número de personas que abandonan el proceso de incorporación social sobre el número de personas que inician un proceso de incorporación social

6. Personal dedicado a atención de personas en proceso de incorporación sobre el número de personas potenciales usuarias del programa

Evaluación de necesidadesEvaluación de necesidades

Evaluación de la evaluabilidadEvaluación de la evaluabilidad

Evaluación de la implementaciónEvaluación de la implementación

Evaluación de resultadosEvaluación de resultados

Eval. económicaEval. económica

bibliografía

• Alvira, F. (1991) Metodología de la Evaluación de Programas, CIS, Madrid.• Ballart, X. (1992) ¿Cómo Evaluar Programas y Servicios Públicos?: aproximación

sistemática y estudios de caso, Ministerio para las Administraciones Públicas, Madrid.• Briones, G. (1991) Evaluación de Programas Sociales, Trillas, México.• Cohen, E. y Franco, R. (1993) Evaluación de Proyectos Sociales, Siglo XXI, Madrid.• Colás Bravo, Mª.P. y Rebollo Catalán, Mª.A. (1993) Evaluación de Programas: una guía

práctica, Kronos, Sevilla.• Fernández-Ballesteros, R. (1995) Evaluación de Programas: una guía práctica en ámbitos

sociales, educativos y de salud, Síntesis, Madrid.• Gómez Serra, M. (2004) Evaluación de los servicios sociales, ed. Gedisa, Barcelona• López Jiménez, J.J.. (1995) Indicadores Sociales para la Evaluación de las Acciones,

Cáritas, Madrid.• Medina Tornero, M.E. (1995) Organizar, Planificar y Evaluar en las Entidades Asociativas,

FAMDIF, Murcia.• Medina Tornero, M.E. (2000) Evaluación de la calidad asistencial del servicio de ayuda a

domicilio en el Ayuntamiento de Murcia, Universidad de Murcia, Murcia.• Pérez-Llantada, M.C. y López de la Llave, A. (1999) Evaluación de Programas de Salud y

Servicios Sociales: metodología y ejemplos, Dykinson, Madrid.• Rossi, P.H. y Freeman, H.E. (1989) Evaluación. Un Enfoque Sistemático para Programas

Sociales, Trillas, México.• Rueda Palenzuela, J.Mª. (1993) Programar, Implementar Proyectos, Evaluar: instrumentos

para la acción, Certeza, Zaragoza.