TEMA 1

CONCEPTOS BÁSICOS EN EVALUACIÓN DE

PROGRAMAS Contenidos

1. Definiciones

2. Qué es un programa

3. Componentes básicos de la E.P.

4. Qué intenta responder la E.P.

5. Fases en la historia de la E.P.

6. Modelos teóricos en E.P.

7. Evaluación y ética

8. Aspectos polémicos en la E.P.

9. Evaluación y otros estudios

10. El futuro de la E.P.

1. DEFINICIONES

Riecken, 1972

Es la medición de las consecuencias deseables o indeseables de una acción

psicosocial ejecutada para facilitar la obtención de metas perseguidas por el

sujeto

Perloff, Perloff y Sussna, 1976

Es la determinación de la medida en que un programa logró uno o más de

sus objetivos, las razones por las cuales no los alcanzó y la relación existente

entre los efectos del programa y una amplia diversidad de variables y

características del programa

Spaniol, 1975

Es un proceso sistemático y continuo que proporciona información acerca del

efecto o impacto de un programa, con el objeto de contribuir a adoptar una

decisión política de trascendencia

Ato, Quiñones, Romero y Rabadán (1989)

La evaluación de programas es un proceso que consiste en valorar si un

programa consiguió o no en alcanzar los objetivos para cuya consecución fue

ideado

Fernández Ballesteros, 1995

Es la sistemática investigación a través de métodos científicos de los efectos,

resultados y objetivos de un programa, con el fin de tomar decisiones sobre

él.

Freeman y Rossi, 1993

Es la aplicación sistemática de procedimientos de investigación social para

evaluar la conceptualización, diseño, implementación y utilidad de los

programas de intervención social

Rossi, Freeman y Lipsey, 1999

Es el uso de procedimientos de investigación social para investigar

sistemáticamente la efectividad de programas de intervención social

Requiere:

– Recolección de datos

– Existencia de criterios de valoración

Perspectiva de Fernández-Ballesteros (1995):

Evaluación → forma de investigación científica

Debe maximizar la objetivación de resultados

Control, manipulación adecuada y medición → garantías de trabajo

riguroso

El evaluador se sitúa como experto, frente a otros valoradores de la misma

realidad

2. PROGRAMA

Conjunto especificado de acciones humanas y recursos materiales, diseñados

e implantados organizadamente en una determinada realidad social, con el

propósito de resolver algún problema que atañe a un conjunto de personas

Características básicas de un programa

Especificación previa

Implantación coordinada

Objetivos del programa

De forma general, mejorar alguna de las condiciones humanas

Objetivo de la evaluación: mejorar el programa

3. COMPONENTES BASICOS DE LA EVALUACION DEL PROGRAMA

Programa

→ supone un tratamiento: Conjunto de manipulaciones que han sido

programadas para ser implantadas en una determinada realidad

socioambiental.

→ se aplica a una serie de unidades: Conjuntos de sujetos a los que se ha

implantado una determinada intervención.

→ pasa por la observación de operaciones en las unidades en las que se ha

aplicado el programa: expresión de objetivos a cubrir con el programa o bien

efectos que el tratamiento ha producido en las unidades

→ la evaluación se realiza sobre unos tratamientos, aplicados a unas unidades

en un contexto o situación específicos.

4. QUÉ INTENTA RESPONDER LA EVALUACIÓN DE PROGRAMAS

Respuestas externas en evaluación

• Certificación de calidad / acreditación externa al programa

• Fundamentar decisiones de distribución de recursos

• Mejorar decisiones de futuros programas

• Promover el conocimiento sobre qué y cómo se ha hecho

• Proporcionar información pública sobre los logros conseguidos

Respuesta a necesidades internas del programa

• Comprobar la utilidad del programa

• Servir de base para el mejoramiento continuo

• Promover procesos de aprendizaje colectivo e individual sobre lo que se hace

y cómo se hace

• Comprender los límites y aciertos de un programa

5. FASES EN LA HISTORIA DE LA E.P (Cook, 1988)

1965-1975 Scriven y Campbell

– Periodo asociado a teorías altamente objetivistas

– Base: método científico

1975-1982 La crítica

– Descripción válida y comprensiva de cómo operan los programas

sociales

– Más uso de métodos cualitativos que cuantitativos.

– Evaluación → Búsqueda de efectos más que la comprobación de

hipótesis apriorísticas.

– Autores: Weiss, Stake y Guba

Intentos de síntesis posteriores a 1980 (Cronbach)

– Teorías de evaluación prácticas

– Menos limitadas tanto en métodos, selección de cuestiones y rol del

evaluador

6. MODELOS TEÓRICOS EN LA E.P

Chacón, López y Pérez, 1992.

Evaluación centrada hacia los objetivos (Tyler, 1942)

Valora la coincidencia entre los objetivos del programa y los resultados

reales.

La evaluación se considera un proceso recurrente: se reordenan los objetivos

en función de los resultados.

No se explicita un diseño concreto.

Evaluación responsiva (Stake, 1975)

Se amplía la perspectiva anterior, incluyendo el examen de antecedentes,

procesos, normas y juicios, además de resultados.

Presenta un método pluralista, flexible, holístico, subjetivo y orientado al

servicio.

Planificación evaluativa (Cronbach, 1982)

Propone una evaluación asentada en una planificación previsora y flexible de

las actividades evaluativas.

Presenta el modelo de los UTOS.

Evaluación orientada a la toma de decisiones (Stufflebeam, 1985)

La evaluación es un proceso que proporciona información útil para la toma

de decisiones.

Estructura básica → CIPP: Contexto, Entrada, Proceso, Producto.

Metodología tanto cuantitativa como cualitativa

Método científico de evaluación (Campbell y Stanley, 1966; Cook y

Campbell, 1979)

Plantea que no hay diferencias metodológicas entre evaluación y método

científico.

Utilización del método quasi-experimental.

Modelo evaluativo orientado hacia el consumidor libre de metas

(Scriven, 1974)

El evaluador es un sustituto informado del consumidor.

El evaluador investiga todos los efectos del programa independientemente de

sus objetivos.

Diseños experimentales, pre-experimentales, análisis de costes y método

libre de metas.

EVALUACIÓN BASADA EN LA TEORÍA

Las creencias y supuestos que subyacen a un programa pueden expresarse

en términos de una secuencia de causas y efectos, delimitada en fases

(Weiss, 1997)

Dificultades para explicar la teoría subyacente

Percepción de teoría como algo abstracto y poco claro.

→ No obstante → teoría = conjunto de creencias y supuestos que rodean

las actividades de un programa.

La teoría que se explicita puede no ser la única que subyace al programa.

→ Los efectos pueden producirse por caminos distintos a los predichos en

la teoría.

Confusión en los componentes de la teoría

EEvvaalluuaacciióónn

CCaammbbiioo qquuee ssee pprroodduuccee

Cómo se produce el cambio

Teoría del cambio Teoría del programa:

Comprensión de cómo se logran

los efectos del programa

Teoría de implementación: Retroalimentación de cómo está funcionando el programa

Dificultad para identificar o construir teorías de los programas.

Evaluación basada en la teoría:

→ Recoge datos en proceso y resultados, analizando las relaciones entre

ellos.

→ Busca especificar los mecanismos que logran el cambio, no las

actividades asociadas al cambio.

Impone grandes exigencias en datos y recursos

→ El evaluador debe recoger datos de todos los pasos que le sea posible

→ Se necesitan fuentes adecuadas.

→ Consume tiempo y es caro, pero produce buenos resultados para la

evaluación.

Los resultados no pueden generalizarse.

→ Como en otros modelos de evaluación, ésta no puede aplicarse

mecánicamente a otros lugares.

Razonamiento lógico

DDooccuummeennttooss Primer paso

PPooccaa

Información de los

participantes DDiiffiiccuullttaadd ddee aarrttiiccuullaarr

tteeoorrííaass

Investigación previa

Teoría de las Ciencias Sociales

Observación de programas en acción

Fuen

tesb

ásic

asde

info

rmac

ión

→ Sin embargo, aporta información sobre pequeñas conexiones, que

pueden ser útiles para otros sitios.

→ Los decisores pueden analizar los hallazgos obtenidos y sus

explicaciones, tratando de averiguar los patrones que emergerán en el

futuro.

Necesidad de comparación

→Las intervenciones a nivel comunitario hacen difícil las asignaciones

aleatorias.

→ Evaluación basada en la teoría → permite apoyar la existencia de

relaciones causales.

→ No obstante → necesidad de estudios experimentales para garantizar la

causalidad.

Excesivo racionalismo

→ La labor evaluativa va dirigida a metas preestablecidas.

→ Tales objetivos a menudo cambian en el transcurso de la evaluación.

La evaluación no permite comprobar teorías.

Medida del error.

→ Problema general en ciencias sociales.

→ Se incrementa aquí: muchos constructos a medir.

Exigencias del análisis de datos

→ Análisis que permitan enlazar las teorías postuladas (análisis de vías,

LISREL, análisis de supervivencia).

→ Análisis cualitativos y cuantitativos (emparejamiento de patrones

TTiippoo ddee pprreegguunnttaa ppllaanntteeaaddaa

Cómo y por qué

DDiisseeññoo ddee llaa eevvaalluuaacciióónn a) Pocas intervenciones b) Cambios a largo plazo c) De complejidad

moderada

En programas que se esperan resultados positivos, negativos o inconsistentes

Descubrimiento de los mecanismos operativos

RReeccuurrssooss eenn ccoosstteess yy ttiieemmppooJU

STIF

ICA

CIO

N D

EL U

SO D

E E

. B. T

.

Destaca los aspectos más relevantes

Da información de logros parciales

Da sufiente información final para permitir recomendaciones

Diseñadores del

programa

DDeecciissiioonneess mmááss aacceerrttaaddaass

TTééccnniiccooss Confrontan sus teorías de cómo funciona el programa

Evaluadores

Directivos Permite determinar qué aspecto fracasa y dónde

Directivos y promotores de otros programas

Ayuda a comprender qué, cómo y por qué funciona un programa

PPoollííttiiccooss yy ppúúbblliiccoo

Facilita explicaciones

más comprensibles a

estas audiencias

VEN

TAJA

S PA

RA

LA

S D

ISTI

NTA

S A

UD

IEN

CIA

S

7. EVALUACIÓN Y ÉTICA

Necesario ofrecer guías sobre diversos aspectos: derechos de publicación, a

quien dar la información, etc.

Dos guías en USA:

– JOint Committee on Standars for Educational Evaluation publicó en 1994

los estándares para E.P.

– American Evaluation Association

Guiding principles for evaluators

Estándares de calidad

Competencia

Respeto a los participantes

Responsabilidades para el bienestar general: articular la diversidad de

intereses y valores

8. ASPECTOS POLÉMICOS EN LA E.P.

Cualitativo - cuantitativo

Primer enfoque: cuantitativo

Las dificultades inherentes de la investigación aplicada cuestionan la utilidad

de los métodos cuantitativos

Metodología cualitativa: una forma más comprensiva de apresar la realidad

Alternativa: multiplismo :

Utilizar múltiples enfoques teóricos

Probar múltiples modelos causales multivariados

Plantear múltiples hipótesis rivales

Establecer múltiples definiciones operacionales de las múltiples variables

implicadas

Plantear cuestiones valorativas procedentes de las múltiples audiencias

implicadas

Establecer objetivos múltiples que permitan múltiples análisis de

resultados

Utilizar múltiples métodos de evaluación

Realizar múltiples análisis de datos y contrastes de hipótesis.

Ciencia frente a política

La evaluación de programas pretende maximizar el cientifismo de la

evaluación

La Ciencia es un producto social

Mientras lo político interviene más en las primeras fases del ciclo evaluativo,

los aspectos científicos ganan prioridad en el diseño, planificación,

implantación y valoración de los programas.

Lo político

En ocasiones, los resultados de una evaluación tienen poco peso en las

decisiones en torno al programa

El político tiene un tiempo distinto al investigador, por lo que puede presionar

a este a entregar resultados antes de tiempo

La evaluación tiene un objetivo práctico y político en su propia naturaleza

Si el problema es polémico, requerirá rigor

Mudabilidad de los programas sociales

Los recursos, prioridades y la influencia de los financiadores de los

programas sociales tiende a ser dinámica

Pueden producirse cambios, a veces drásticos, en el curso del desarrollo del

programa

El evaluador debe estar preparado para asumir tales cambios

9. Diferencias entre evaluación y otras actividades

• Auditoria:

– Cumplimiento de normas, regulaciones o estándares financieros

– Contabilidad de recursos

– Auditoria de gestión. Eficiencia

Imprescindible la independencia para asegurar la imparcialidad

• Investigación

– Desarrollar conocimiento

– Generalización de resultados

– Realizado por y para la comunidad científica (principalmente)

• Medición de realizaciones

– Procesos descriptivos

– Estudios de validez y fiabilidad en el proceso de obtención de información

• Análisis de políticas (Policy analysis)

– Formulación de políticas

– Análisis de viabilidad financiera

– Análisis de coste-beneficio

• Plan estratégico

–– Estudio ddee llaass tteennddeenncciiaass ddee eevvoolluucciióónn ppoossiibblleess ddee llaa IInnssttiittuucciióónn oo llaa zzoonnaa

ggeeoo--ppoollííttiiccaa para trazar:

– Objetivos a corto, medio y largo plazo

– Estudio de DAFO: Debilidades, amenazas, fortalezas y oportunidades

– Concretar las metas a conseguir, estableciendo objetivos estratégicos

–Sistematizar el conjunto de evidencias y parámetros de medición que

permitirán verificar los resultados de la evolución

–Definir las reglas de adaptación que nos permitirán cambiar de estrategia a lo

largo de todo el proceso.

• Evaluación

– Proceso sistemático de obtención de información objetiva y útil

– Objetivo: apoyar el juicio de valor sobre un programa o intervención

– Finalidad:

• Comprensión de los resultados obtenidos

• Toma de decisiones sobre futuras actuaciones

Comparación entre evaluación y otras investigaciones

La evaluación de programas debe cubrir

Estándares idóneos de calidad de investigación científica

Estar totalmente dedicado a las necesidades de información requerida por los

decisores del programa

En ocasiones, tales objetivos se vuelven contradictorios

Diferencias

Toma de decisiones: la investigación se centra en la búsqueda de

conocimiento, la E.P. en la aplicación

La evaluación tiene en cuenta la opinión del decisor.

La evaluación compara lo que es con lo que debería ser

La evaluación se produce en un marco de acción, donde lo más importante

que está ocurriendo es el programa.

Es frecuente que se produzcan conflictos entre roles.

Muchos informes evaluativos quedan sin publicar.

Semejanzas

La evaluación trata de comprender la relación entre variables y de

establecer una relación causal.

Los métodos evaluativos representan un compromiso entre lo ideal y lo

factible

El evaluador tiene que tener un amplio conocimiento de metodología de

investigación, y aplicarlo en el mundo real.

10. FUTURO DE LA E.P. (Chelimsky y Shadish, 1997)

Idiosincrasia en cada país

– Los evaluadores en cada país del globo utilizan sus propias

infraestructuras para apoyar sus esfuerzos,

Global,

– Los esfuerzos realizados trascienden y se difunden por el planeta.

Transnacional,

– Los problemas y los programas que han de evaluarse trascienden las

fronteras de una nación, de un continente y de un hemisferio