Programas sociales_Google Académico

7/30/2019 Programas sociales_Google Acadmico

1/29

LA EVALUACIN DE PROGRAMAS SOCIALES:FUNDAMENTOS Y ENFOQUES TERICOS

Mario de Miguel Daz

Universidad de Oviedo

1. INTRODUCCIN

Frecuentemente constatamos que en la literatura relativa a evaluacin se utilizan

algunos conceptos de forma poco precisa lo que genera indudablemente expresionesconfusas. Por ello, antes de abordar el tema que nos ocupa, consideramos procedenteefectuar ciertas precisiones terminolgicas que permitan clarificar el punto de vistaque asumimos al realizar este trabajo, as como los parmetros dentro de los cualesdebe ser analizada nuestra aportacin ya que, de lo contrario, su lectura puede darlugar a interpretaciones muy distintas a nuestros planteamientos.

Un ejemplo de lo que acabamos de sealar sucede con los trminos investigacinevaluativa y evaluacin de programas. Aunque inicialmente aluden a un mismocampo de trabajo, en sentido estricto, su significado es distinto. Desde nuestro puntode vista, la investigacin evaluativa (evaluation research) constituye la aplicacin de losprincipios y procedimientos de la investigacin social para comprobar sistemtica-mente la eficacia de un programa de intervencin social. Cuando hablamos de evalua-cin de programas (program evaluation) aludimos al conjunto de principios, estrategiasy procesos que fundamentan la evaluacin de toda accin o conjunto de acciones des-arrolladas de forma sistemtica en un determinado contexto con el fin de tomar lasdecisiones pertinentes que contribuyan a mejorar las estrategias de intervencinsocial. Si el objetivo de un programa es mejorar las condiciones sociales, el propsitode la evaluacin es mejorar los propios programas (Rossi, Freeman y Lipsey, 1999). Delo cual se deduce que esta tarea conlleva algo ms que la mera utilizacin de meto-dologas cientficas orientadas a evaluar teoras e impactos.

Para percibir con mayor claridad los matices que distinguen ambos trminos bastarecordar la definicin comnmente aceptada sobre el concepto de evaluacin como

Revista de Investigacin Educativa, 2000, Vol. 18, n. 2, pgs. 289-317


2/29

290 Mario de Miguel Daz

un proceso sistemtico de bsqueda de evidencias para formular juicios de valor queorienten la toma de decisiones. De ella se desprende la existencia de tres elementos

claves que delimitan esta actividad: el proceso metodolgico que se lleva a cabo para recogere interpretar las evidencias relacionadas con el programa, los criterios que vamos a utilizar paraemitir los juicios de valor y, finalmente, la utilizacin que posteriormente se va hacer de losresultados. Por ello, toda aproximacin conceptual al campo de la evaluacin de pro-gramas debe contemplar necesariamente los tres pilares sobre los que se fundamentaesta disciplina evidencias, valores y decisiones ya que, de lo contrario, efectuara-mos un reduccionsmo injustificado.

Partiendo de este planteamiento, la distincin entre investigacin evaluativa yevaluacin de programas se percibe de forma ms ntida. La investigacin evaluativaconstituye esencialmente una estrategia metodolgica orientada a la bsqueda de evidencias

respecto a un programa, pero la evaluacin de un programa requiere, adems, abordar otrosproblemas relacionados con los criterios a utilizar para emitir los juicios de valor y con losprocesos relativos a la toma decisiones. Se dira, pues, que la primera constituye una delas herramientas metodolgicas bsicas a utilizar en una de las fases del proceso eva-luativo. Ciertamente una fase muy importante en la medida que nos facilita elsoporte a partir del cual vamos a emitir las valoraciones pero en modo alguno lanica.

Hemos considerado oportuno iniciar el presente trabajo matizando esta distincinporque en la bibliografa al respecto es bastante comn que a la hora de hablar deparadigmas, modelos o enfoques sobre evaluacin de programas se utilicen ms o

menos adaptados aquellos que son propios de la investigacin cientfica social comosi ambos trminos fueran equivalentes. Desde nuestro punto de vista esta extrapola-cin adolece de sentido; dado que supone una utilizacin indiscriminada de conceptosque aluden a dominios diferentes. No cabe, por tanto, trasladar a la evaluacin de progra-mas los supuestos tericos de los paradigmas clsicos de investigacin propios de las cienciassociales ya que la fundamentacin de esta disciplina requiere necesariamente contemplar elmundo de los valores y de las consecuencias. Por ello, necesitamos abordar este tema desdeuna ptica ms comprensiva.

2. DELIMITACIN DEL CONTEXTO DEL TRABAJO

Una de las caractersticas dominantes en el campo de la evaluacin de programasdurante los ltimos aos ha sido la multitud y heterogeneidad de los conceptos aso-ciados con este trmino. Al igual que sucede en toda disciplina emergente, constante-mente estn apareciendo aproximaciones, enfoques, modelos y mtodos que acuannuevos trminos y tipologas lo que hace patente la escasa consolidacin epistemol-gica que presenta actualmente este campo. Presionados por la realidad prctica, losevaluadores se dedican a resolver cuestiones de carcter metodolgico y relegan a unsegundo plano las cuestiones tericas relativas a los fundamentos de la evaluacin. Deah que la escasa atencin que se presta a la teora se considere como una de las debilidadesmas importantes que tiene esta actividad y que impide su consolidacin como disciplina cient-

fica (Bickman 1990, Rebien, 1997).


3/29

291La evaluacin de programas sociales: fundamentos y enfoques tericos

Ante esta carencia, resulta necesario revisar los supuestos tericos de esta discipli-na con el fin de contribuir a consolidar su estatuto epistemolgico y ayudar a los eva-

luadores a que puedan explicitar los criterios que implcitamente utilizan paraseleccionar, organizar y llevar a cabo sus mtodos de trabajo. La tarea del evaluadorno puede limitarse a una simple eleccin de metodologas y mtodos para obtener evi-dencias. Necesitamos de manera imprescindible una teora que justifique y expliquelos procedimientos y las prcticas que en cada caso se llevan a cabo. La evaluacin deprogramas es algo ms que una metodologa aplicada y, al igual que sucede en todas las disci-plinas, requiere sus propias bases tericas que justifiquen y den sentido a lo qu hace un evalua-dor, cmo lo hace y, sobre todo, para qu.

Como ya hemos avanzado, en este campo no abundan trabajos de carcter episte-molgico. Se habla mucho de mtodos y metodologas pero casi nada de epistemolo-

ga; es decir, sobre la teora del conocimiento vinculada a la evaluacin de programas.Ms an, en muchos textos no se matizan las diferencias entre fundamentos cientficosde la evaluacin de programas (foundations) y enfoques tericos aplicables a la evalua-cin de programas (approaches). Evidentemente estos trminos no significan lo mismoya que, mientras el primero hace referencia a las bases que fundamentan la evalua-cin, el segundo alude claramente a las distintas metodologas que podemos utilizaren la prctica para abordar los procesos. Aunque, lgicamente, ambos conceptos estnrelacionados.

Por ello, aunque explcitamente no se manifieste la justificacin terica, cadaopcin metodolgica ha sido elegida en funcin de las concepciones ontolgicas y

epistemolgicas que el evaluador tiene sobre los conceptos de programa y evalua-cin, lo que significa que existe un posicionamiento implcito. Detrs de cada aproxi-macin metodolgica siempre hay un enfoque terico tcito. Ello permite que, ante unproblema concreto, sea posible plantear estrategias de intervencin distintas y queevaluaciones con enfoques diferentes sobre una misma intervencin puedan llegar aresultados contradictorios (Dennis y Boruch, 1989). Lo cual significa que todas las apro-ximaciones tienen sus ventajas e inconvenientes y que es necesario que el evaluador precise, encada caso, el marco conceptual que asume a la hora de justificar y planificar su trabajo ya quelas decisiones metodolgicas deben estar siempre supeditadas a los planteamientos tericos(Shadish, Cook y Leviton, 1991). Necesitamos abordar la reflexin epistemolgica

sobre el tipo de conocimiento que nos aporta un proceso evaluativo y, en consecuen-cia, sobre el marco que justifica el trabajo de un evaluador. Necesitamos ms y mejorteora (Cook, 1997).

Situados en este contexto, el abanico de temas que pueden ser objeto de la reflexines tan amplio que necesariamente procede cierta delimitacin con fines didcticos.Desde nuestro punto de vista, siguiendo pautas de otros autores que se ocupan deltema (Bickman 1990, Shadish, Cook y Leviton 1991, Rebien 1997), la fundamentacinterica de la evaluacin de un programa exige una toma de postura, al menos, sobrelas siguientes cuestiones bsicas: el concepto de programa como estrategia de intervencinsocial, las bases epistemolgicas que determinan la construccin de las evidencias, los criterios autilizar para formular los juicios de valor, la utilidad o usos que van a tener los informes y elenfoque metodolgico a seguir para realizar el proceso evaluativo. A partir de las opciones y


4/29


decisiones que el evaluador asuma en torno a estas cuestiones podremos entender yjustificar las razones por las que elige un determinado enfoque terico y metodolgico

para evaluar cada programa concreto.

3. CONCEPTO DE INTERVENCIN SOCIAL

Toda aproximacin al estatuto cientfico de una disciplina conlleva identificar pre-viamente cual es el objeto del conocimiento. Necesitamos, pues, una definicin sobreel concepto programa. Habitualmente se entiende por programa todo plan, proyectoo servicio mediante el cual se disea, organiza y pone en prctica un conjunto de acciones diri-

gidas a la consecucin de una metas (De Miguel, 2000b). Este trmino aglutina, por tanto,cualquier tipo de estrategia de intervencin social orientada a promover cambios. De

ah que la primera reflexin que se debe plantear el evaluador sea sobre cmo debenser conceptualizadas, diseadas y aplicadas estas estrategias de intervencin para queproduzcan cambios sociales efectivos. En definitiva, necesitamos una teora que fun-damente la elaboracin y aplicacin de las estrategias de intervencin social y, en con-secuencia, que pueda ser utilizada como marco de referencia para tomar decisiones ala hora de planificar los procesos evaluativos (Bickman, 1987).

El trmino teora aplicado a la evaluacin de programas alude a un conjunto deprincipios interrelacionados que explican y predicen la conducta de una persona, grupo u orga-nizacin sobre la que hemos llevado a cabo una accin intencional y sistemtica (Chen, 1990).Lgicamente, existen distintas formas de entender las relaciones entre los principios,

las acciones y las conductas en el campo social, por lo que es muy importante conocercul es el punto de vista que considera el evaluador en cada caso concreto, ya queconstituye el determinante inmediato que justifica la perspectiva o enfoque tericoque adopta para planificar y evaluar una intervencin. De ah que una de las primerascuestiones que el evaluador debe explicitar sea la concepcin terica desde la queaborda el programa en tanto que estrategia de intervencin social.

3.1. El programa como verificacin de teoras

Una de las concepciones clsicas sobre los programas es considerarlos como estra-

tegias que permiten la verificacin de teoras que son tiles para resolver problemassociales. Quienes adoptan esta postura enfatizan el papel de la teora como fundamen-to de toda intervencin social por lo que el objetivo prioritario de toda evaluacin seorienta a probar las relaciones causa-efecto que se establecen entre unos tratamientos yunos resultados. Ello exige que tanto el diseo como la ejecucin de los programas selleve a cabo de acuerdo con los principios de la metodologa cientfica ms rigurosadado que su objetivo es muy similar a la verificacin de hiptesis conceptuales.

Quienes adoptan esta postura como ya propona el conocido trabajo de Camp-bell (1969), Reforms as Experiments, consideran que los cambios sociales pueden serplanificados a modo de experimentos. Los programas constituyen estrategias o arte-factos a travs de las cuales se someten a prueba si determinadas teoras son eficacespara la resolucin de problemas sociales prcticos. Al igual que sucede en todo experi-


5/29


mento, el evaluador formula una teora explicativa sobre una realidad o problemasocial sobre la cual construye y aplica una estrategia de intervencin siguiendo los

cnones de la metodologa cientfica (aleatorizacin y manipulacin) con el fin depoder probar su adecuacin y eficacia.

Para quienes defienden este concepto, el objetivo principal de una evaluacin eslograr identificar los efectos netos de un programa es decir, aquellos que se debenexclusivamente a las variables explicativas que justifican la intervencin al margende los efectos brutos. Otros autores prefieren hablar de resultados e impactos, enten-diendo por los primeros todos los efectos de un programa y acotando el segundo tr-mino solamente para aquellos sobre los que se tenga indicios razonables de causalidad(Schalock 1995, Boruch 1997, Apodaca 1999). Precisamente porque su finalidad pri-mordial es la identificacin de los efectos netos o impactos a corto, medio o largo

plazo asumir este enfoque implica introducir en la evaluacin de un programa todala problemtica de la experimentacin cientfica en el campo social, con toda la cargade dificultades y limitaciones que este hecho conlleva. Las caractersticas implcitas entoda intervencin social impiden la aplicacin de diseos metodolgicos rigurososque nos permitan obtener indicios razonables de validez interna y externa de formasatisfactoria (Cronbach, 1982).

3.2. El programa como tecnologa sistemtica

La realidad prctica nos hace ver que la resolucin de problemas sociales constitu-

ye ms un problema de contingencias que de teoras causales. Generalmente no exis-ten grandes discusiones sobre las teoras o principios que deben inspirar las polticaspblicas. Todos sabemos qu procede hacer cuando se quieren abordar problemasrelativos a la pobreza, la marginacin, la discriminacin social, tercera edad, etc Lasdiferencias no estn tanto en el terreno de las ideas como en la instrumentacin prcti-ca de las polticas que se llevan a cabo. Por ello, la evaluacin de los programas, antesque los problemas de causalidad de las teoras, se deber centrar sobre los procesos deinstrumentacin de las estrategias de intervencin ya que son las contingencias que seestablecen en cada caso las que en ltima instancia determinan las diferencias.

Este hecho ha supuesto que los enfoques relativos a la evaluacin de programas

desplazaran el foco de la reflexin hacia los problemas prcticos que conlleva todaestrategia de intervencin ya que son los procesos los que, esencialmente, determinanla mayor o menor eficacia de los programas (Wholey, Hatry y Newcomer, 1994). Deah que a la hora de evaluar sea muy importante distinguir entre los efectos que sedeben a al desarrollo de los programas (action hipotesis) y los que estn determinadospor las teoras (conceptual hipotesis). Asumir esta distincin implica un cambio de enfo-que sobre el concepto de programa ya que puede ser tipificado como una tecnologainstrumental que debe ser diseada y modificada de forma constante en funcin de suutilidad en relacin con los objetivos establecidos.

Desde esta perspectiva los objetivos de la evaluacin no se focalizan sobre la verifi-cacin de la inferencia causal de las teoras sino sobre las distintas hiptesis prcticasque se pueden formular en cada una de las fases que implica la conceptualizacin, el


6/29


diseo, la aplicacin y la utilidad de una estrategia de intervencin social. Por ello, unenfoque evaluativo global deber abarcar objetivos relativos a cada una de estas fases,

a saber: a) la estimacin del mrito de las metas que se propone cada estrategia, b) lascalidad del diseo y planificacin de las actuaciones a realizar, c) el grado de cumpli-miento y adecuacin con que dicha planificacin ha sido llevada a cabo (implementa-cin) y d) la calidad y la utilidad de los resultados e impactos generados. La mayorade los enfoques prcticos recientes coinciden en sealar estos cuatro objetivos comolas metas a tener en cuenta en toda evaluacin de un programa ya que nos permitendistinguir entre los fallos de la teora y los fallos que se producen en la cadena desecuencias que implica el diseo y la aplicacin de una estrategia de intervencinsocial (Brinkerhoff, Brethower, Hluchyj y Nowakowski, 1985).

3.3. El programa como compromiso con el cambio social

En un tercer enfoque situaramos aquellos que consideran que la justificacin teri-ca de todo programa es promover un cambio social por lo que ste debe ser, igualmen-te, el objetivo de toda evaluacin. Ms all de los problemas prcticos que conllevatoda estrategia de intervencin, debemos asumir que su finalidad primordial es pro-mover la transformacin social. Por ello, en la medida que nuestra bsqueda persigueidentificar las polticas, programas y acciones ms adecuadas a este fin, el evaluadorno puede realizar su trabajo sin cuestionar los valores y las consecuencias que seponen en juego en cada estrategia de intervencin. Lo cual significa que la calidad de

su trabajo estar mediatizada no slo por su capacidad tcnica sino tambin porsu compromiso en la resolucin de los problemas sociales (pobreza, marginacin,desigualdad, etc..) y en la lucha a favor de una sociedad ms justa e igualitaria (Patton1994, Fetterman 1994, De Miguel 1999).

La caracterstica fundamental de este enfoque es que el evaluador no se sita almargen del programa sino que constituye uno de los elementos del mismo y, en esamedida, asume un papel crtico respecto al cambio social. Frente a los enfoques ante-riores en los que desempeaba el rol de experimentador y programador social, en estecaso su trabajo se identifica con la misma finalidad que promueve el programa; esdecir, necesita concebir su funcin dentro del conjunto de acciones que desarrolla el

programa para promover el cambio y la mejora social (Nevo 1990, Sonnichsen 1994).Ahora bien, para asumir este papel es muy importante que el evaluador est compro-metido terica y vitalmente en la resolucin de los problemas sociales, situacin queno siempre es un hecho.

Independientemente del nivel de aceptacin de esta alternativa, lo que s debemosreconocer es que ha contribuido decisivamente a resaltar dos aspectos realmenteimportantes en todo proceso evaluativo. De una parte, la utilidad de las evaluacionesdebe estimarse en funcin de las mejoras sociales y la mayora de las veces stas no seproducen porque no se toman las decisiones pertinentes que se derivan de los infor-mes evaluativos. De otra, para que las evaluaciones tengan consecuencias, es precisoque los evaluadores se preocupen por maximizar el uso de los resultados de sus traba-

jos analizando y neutralizando, en la medida de lo posible, los factores polticos y con-


7/29


textuales que impiden que los sectores implicados tomen las decisiones oportunas.Cuando se asume el rol de agente de cambio, el evaluador no puede eludir ambos pro-

blemas, lo cual significa que no puede dar por concluido su trabajo mientras no seantangibles las consecuencias; es decir, la mejoras generadas a partir de la evaluacin.

Las diferencias entre las bases tericas implcitas en estas tres formas de conceptua-lizar un programa social son evidentes. De ah que existan muchas taxonomas queutilizan este criterio para clasificar los distintos enfoques tericos y metodolgicos quese aplican en los procesos evaluativos. Entre estas clasificaciones queremos resaltardos que nos parecen muy pertinentes. Por un lado, la propuesta de Stufflebeam yShinkfield (1987) que agrupa los modelos en seudoevaluaciones, cuasievaluaciones y evalua-ciones verdaderas en funcin de la concepcin y propsitos hacia los que se dirige el

proceso evaluador. De otro, la que recientemente propone Chelimsky (1997) que clasi-fica los distintos enfoques tericos en tres grandes perspectivas de acuerdo con la fina-lidad principal que orienta la evaluacin: a) estimar los resultados y la eficiencia de losprogramas (accountability perspective), b) obtener conocimientos especficos sobre elprograma como estrategia de intervencin (knowledge perspective) y c) contribuir amejorar el programa para incrementar la mejora y el desarrollo social (developmentperspective). Utilizando este criterio de clasificacin, este ltimo autor establece un con-traste entre los posicionamientos de estas tres perspectivas respecto a nueve categoraso dimensiones que habitualmente utilizan para delimitar los supuestos de un enfoqueterico.

4. LA CONSTRUCCIN DEL CONOCIMIENTO

Independientemente del concepto que el evaluador tenga sobre el programa, la pri-mera fase del proceso en toda evaluacin es la bsqueda de informacin tcnicamenteapropiada para determinar el mrito o valor del objeto que vamos a evaluar; es decir, la bs-queda de evidencias a partir de las cuales podamos justificar nuestras valoraciones. Aspues, cualquiera que sea la finalidad que oriente el proceso, el primer objetivo de unaevaluacin es obtener informaciones pertinentes, vlidas y fiables que acten comosoporte para nuestros juicios. Ello implica que, en esta bsqueda, debamos conjugar

dos tipos de criterios utilidad y rigor que no siempre se tienen en cuenta. Paraello, el evaluador deber reflexionar sobre el tipo de conocimientos que necesita sobreel programa y cmo puede proceder para su construccin; es decir, concretar a qudenomina informacin tcnicamente apropiada y, en consecuencia, cmo va a pro-ceder para su obtencin e interpretacin. Ambas cuestiones estn estrechamente rela-cionadas por lo que las ideas previas que tiene el evaluador sobre las cuestionesepistemolgicas sern determinantes a la hora de tomar estas decisiones.

4.1. Bases tericas del conocimiento

Dado que existen diversos tipos de conocimientos (causacin, generalizacin, pre-diccin, descripcin, comprensin, etc.), el evaluador se ver obligado a justificar cu-


8/29


les van a constituir el objeto de su bsqueda ya que, en cada trabajo, unos pueden serms adecuados que otros. La predileccin por un tipo especfico de metodologa slo

puede ser justificada a partir de los supuestos que fundamentan toda teora del conoci-miento; es decir, las bases ontolgicas, epistemolgicas y metodolgicas que sustentanla evaluacin de programas como una disciplina inserta en el marco de la investigacinsocial emprica. En la prctica es habitual especificar los planteamientos metodolgicoscon que se aborda la evaluacin de un programa pero rara vez se hace mencin algunaa las concepciones sobre la naturaleza de la realidad que es objeto de anlisis (basesontolgicas) o sobre los fundamentos para la construccin del conocimiento cientfico(bases epistemolgicas). Los evaluadores normalmente consideran que abordar estascuestiones es algo tangencial a su trabajo por lo que suelen evitarlas.

Esta postura, aunque es comprensible, es realmente engaosa ya que como sea-

lan Shadish, Cook y Leviton (1991) la opcin metodolgica elegida por un evaluadorimplica implicitamente una toma de postura ontolgica y epistemolgica. Por ello, a efectosde que no se produzcan graves disfunciones entre lo que se piensa sobre una realidad(programa) y lo que se hace en la prctica para conocerla, es necesario que los evalua-dores se habiten a explicitar las bases tericas que justifican sus planteamientosmetodolgicos; es decir, a conectar los mtodos que utilizan con los parmetros teri-cos que consideran pertinentes para la construccin del tipo de conocimiento expl-cito o tcito que esperan obtener a travs del proceso evaluativo.

En la prctica esta situacin se resuelve acudiendo a los paradigmas clsicos que seemplean en la investigacin social, por lo que habitualmente se utilizan los distintos

supuestos o principios que definen cada uno de ellos para justificar los distintos enfo-ques u modelos evaluativos. Ello determina que con frecuencia se hable de los para-digmas positivista, naturalista y crtico u otras de las denominaciones al usoaplicados al campo de la evaluacin de programas sin previamente reconceptualizarla idoneidad de los mismos para el tipo de conocimiento que se persigue en cada casoy, en consecuencia, sobre los mtodos a utilizar. Entendemos que esta extrapolacinconstituye un apriorismo injustificado, ya que, de una parte, no tiene en cuenta que eneste campo no existe ningn paradigma que resulte intachable ya que los problemasy dificultades son cuestiones inherentes a todos ellos y, de otra, supone abordar eltema de la diversidad paradigmtica desde las tesis de la incompatibilidad o comple-

mentariedad, al margen de las tendencias actuales sobre la unidad (Walker y Evers1988, Howe 1992).

Precisamente, debido a que ninguno de los paradigmas clsicos ofrece unas basesepistemolgicas plenamente satisfactorias al tipo de conocimiento que requiere estarealidad, diversos autores tratan de promover un marco terico adecuado que justifi-que esta disciplina que cada da adquiere ms relieve. Entre los esfuerzos realizadosen esta lnea, consideramos muy interesante la propuesta reciente de un nuevo marcoparadigmtico orientado hacia la explicacin social realista (Pawson y Tilley 1997)cuyos supuestos tericos se enmarcan en la tradicin que sita la explicacin cientficaentre el positivismo y el relativismo (Hesse 1974, Blaskar 1975, Sayer 1984). Avanzar enesta lnea nos puede aportar un marco epistemolgico ms adecuado que acudir a losparadigmas clsicos.


9/29


4.2. Naturaleza de las evidencias: datos y opiniones

Ubicados en el plano del realismo, hemos apuntado que el primer objetivo de todoproceso evaluador es la obtencin de evidencias sobre las que podamos apoyarnuestros juicios. En sentido etimolgico se dice que se tiene evidencia de algo cuandose tiene certeza; es decir, cuando la informacin que disponemos nos ofrece certidumbremanifiesta y perceptible. Ahora bien, en los procesos evaluativos recogemos informa-ciones de distinta naturaleza y no todas nos ofrecen el mismo grado de certidumbre.En unos casos son datos cuantitativos y cualitativos obtenidos a travs de proce-dimientos sistemticos ms o menos rigurosos que nos aportan informacionesprecisas sobre diversos aspectos del programa. En otros recabamos las opiniones (per-cepciones, expectativas, valoraciones, etc) que nos manifiestan el concepto o juicio

que formulan sobre diversos aspectos del programa las audiencias implicadas en elmismo.

El problema radica en a qu tipo de informacin le atribuimos la categora de cono-cimiento cierto, vlido y fiable. Algunos evaluadores, inmersos en la lgica positivista,slo aceptan como certezas aquellos datos objetivos que han sido obtenidos median-te la utilizacin de una metodologa cientfica rigurosa. Este apriorismo les lleva lgi-camente a centrar toda bsqueda de informacin sobre procedimientos metodolgicosduros en los que se garantiza la validez interna y externa de los datos obtenidos.Digamos que prevalecen los criterios formales a los prcticos, independientemente desu adecuacin para la evaluacin del diseo, desarrollo y mejora de un programa y de

su utilidad para las audiencias implicadas. Con frecuencia un tratamiento y anlisissofisticado de los datos impide que los resultados y los informes de una evaluacinsean comprensibles para aquellos que deben tomar decisiones (Cook y Reichardt 1986,Fetterman y Pitman 1986).

Frente a ellos situaramos a quienes presentan una actitud ms pragmtica al consi-derar que el rango de un conocimiento viene determinado por su utilidad, lo cual sig-nifica ante todo preguntarse por el tipo de informacin que se precisa para evaluarcada fase de un programa y, especialmente, la que necesitan los clientes y las audien-cias implicadas para tomar decisiones. Cuando se adopta este punto de vista resultaimprescindible recabar otro tipo de conocimientos construidos fundamentalmente a

partir de datos subjetivos y hacerlo, igualmente, con la adecuada metodologa siste-mtica para que puedan ser considerados como evidencias contrastadas. De hechomuchos de los trabajos evaluativos a realizar tienen esta finalidad: estimar el parecer o juiciosobre el programa que comparten la generalidad de personas implicadas en el mismo (opininpblica).

En definitiva, el evaluador deber precisar a qu tipo de conocimientos les atribuyela categora de evidencias. Todos sabemos que existen muchas clases diferentes deconocimientos que pueden ser objeto de nuestra bsqueda slo que, en cada estudio yfase del proceso evaluativo, se pone el nfasis sobre un determinado tipo o categoraen funcin de su pertinencia y oportunidad. Ello no significa que unos sean mejoresque otros, ya que todos tienen sus ventajas e inconvenientes. Lo aconsejable es abordarla evaluacin de un programa integrando distintas informaciones a partir de estudios


10/29


y mtodos diversos que nos permitan obtener conocimientos ms completos, fiables yvlidos, porque la calidad de un conocimiento se incrementa en la medida que existe un

mayor escrutinio pblico sobre el mismo (Shadish, Cook y Leviton, 1991).

4.3. La controversia entre deduccin e induccin

Partiendo de las consideraciones anteriores fcilmente se desprende que tan opor-tunos y adecuados son los procedimientos metodolgicos deductivos como losinductivos para la obtencin de evidencias. En los casos en los que buscamos com-probar relaciones entre inputs y outputs u obtener conocimientos generalizables eslgico que procedamos con una metodologa deductiva rigurosa que nos facilite unainformacin conclusiva al respecto. Por el contrario, si el propsito no es generalizar

una estrategia sino analizar y comprender lo que sucede en cada intervencin paracontribuir a mejorar el programa, entonces lgicamente resultar ms adecuado lle-gar al conocimiento por va inductiva a partir de las distintas informaciones e inter-pretaciones que nos aporten los implicados. No cabe, por tanto, contraponer dostipos de procedimientos verificacin frente a descubrimiento porque buscancosas diferentes.

De ah que los problemas tericos que conlleva la construccin del conocimiento enun campo tan complejo como es la evaluacin no se resuelvan sealando que se optapor tal o cual metodologa cuantitativa o cualitativa. La metodologa a utilizar es laresultante de una serie de decisiones tericas que previamente hay que definir y preci-

sar de forma explcita si queremos justificar nuestros procedimientos. Por ello, una vezque hemos determinado qu clase de conocimientos se necesitan y por qu, ser elmomento de proceder a concretar las bases tericas que justifican nuestros mtodos.Ello nos permitir discernir que no todos los mtodos son aconsejables para un mismoobjetivo y que es muy importante considerar las ventajas e inconvenientes de cadauno de ellos en funcin de los diferentes propsitos que pretendemos alcanzar conuna evaluacin. Lo cual significa que, desde el punto de vista epistemolgico, no exis-te ninguna primaca de unos mtodos sobre otros. De hecho, una de las principales carac-tersticas de la evaluacin de programas es que sus mtodos cubren toda la gama de paradigmasque dominan en la investigacin social (Rossi, Freeman y Lipsey, 1999).

Si se asume esta postura, la consecuencia lgica es que no cabe enfrentar o contra-poner las metodologas cuantitativas y cualitativas como ms o menos idneas para laevaluacin de programas ya que todas son necesarias. Las caractersticas especficasde los programas y de los procesos que conlleva su conceptualizacin, diseo, imple-mentacin y evaluacin nos obliga a considerar fennemos de naturaleza distinta y encontextos diversos para cuyo conocimiento se requieren mtodos diferentes en cadacaso, por lo que la polmica respecto a los paradigmas metodolgicos queda en unsegundo plano (Cook y Reichardt 1986, Fetterman, Kaftarian y Wandersman, 1996).De ah que, la evaluacin de programas constituya actualmente el mbito de la investigacinsocial aplicada en el que se hace ms patente la superacin del debate entre metodologa cuanti-tativa y cualitativa, lo cual significa que clasificar los modelos evaluativos segn este criteriocarece de sentido (Reichart y Rallis 1994, Cook 1997, De Miguel 1999).


11/29


5. EL PROBLEMA DE LOS CRITERIOS DE VALOR

La evaluacin de un programa no se limita a una mera recoleccin, anlisis e inter-pretacin de los datos para obtener evidencias. Una vez que disponemos de la infor-macin necesaria comienza la siguiente fase del proceso: formular los juicios de valor. Ala vista de los datos obtenidos deberemos emitir nuestra valoracin de forma clara, pre-cisando el rango y matices de los juicios (ausencia o presencia de calidad, puntos fuertesy dbiles, recomendaciones y propuestas, etc..). Ahora bien, para proceder a su formulacinel evaluador se encuentra con otro problema: concretar los criterios o marcos de referencia que va autilizar para emitir sus juicios. Los datos obtenidos sobre un programa son simplementedatos ms o menos probados pero su valoracin depende del criterio elegido. Preci-samente, debido a que en la prctica no existen evaluaciones libres de valores, el evalua-

dor deber especificar en cada caso los criterios que utiliza como punto de referenciapara formular sus juicios respecto a los distintos aspectos del programa.

Habitualmente en la literatura se hace la distincin entre los conceptos de mrito yvalor como dos marcos de referencia distintos intrnseco y extrnseco a la hora deformular los juicios (Guba Lincoln, 1981, 1989, Scriven 1991), trminos que a su veznos remiten a otra clasificacin de los criterios de evaluacin en dos grandes bloques:criterios descriptivos y criterios prescriptivos (Alkin y Ellet, 1990). Realizamos unavaloracin descriptiva cuando se elige o asume valores de otros como criterio dereferencia para emitir los juicios sobre el programa. Por el contrario, denominamosuna valoracin como prescriptiva cuando es el propio evaluador el que define los cri-

terios que considera adecuados y correctos para emitir los juicios, al margen de questos sean o no coincidentes con los que defienden otras audiencias.

Las diferencias entre ambos enfoques se perciben fcilmente. Cuando realiza unavaloracin decriptiva nuestro papel se limita a preguntarles a los dems los criterios autilizar y aplicarlos con rigor y correccin. En cambio, optar por una valoracin pres-criptiva exige decantarse por unos criterios frente a otros lo que supone previamenteadoptar una postura personal ante todas las cuestiones relacionadas con los valoresque se ponen en juego cada programa. En el primer caso, al aceptar los objetivos de losdems como criterios de valoracin, el evaluador puede conservar su independencia ymantenerse al margen de intereses sectoriales. En el segundo, dado que no existe una

teora general que pueda considerarse correcta sobre la valoracin prescriptiva, esmuy problemtico que un evaluador especialmente cuando acta como externoutilice sus propios criterios como marcos de referencia para evaluar un programa yque estos sean aceptados por todas las partes (Vedung, 1997).

Por esta razn, en la prctica de las evaluaciones relativas a programas sociales esms comn utilizar criterios descriptivos que prescriptivos. Aunque estos ltimos, entanto que defienden la primaca de valores absolutos (igualdad, justicia, calidad intrn-seca, etc) cumplen una funcin muy importante a lo largo de todo el proceso evalua-tivo, son realmente las teoras descriptivas las que nos proporcionan criterios mslegtimos y tiles tanto desde el punto de vista social como tcnico (Shadish, Cook yLeviton, 1991). De ah que la mayora de los evaluadores defiendan la utilizacin deeste tipo de criterios para emitir los juicios de valor sobre los programas.


12/29


No obstante, el problema no concluye al sealar que se asume como referencia unavaloracin descriptiva ya que los otros no son un conjunto homogneo sino que tie-

nen, o pueden tener, intereses diversos y, en ocasiones, contrapuestos. Necesitamos,por tanto, sealar cul es la perspectiva valorativa externa que utilizamos para emitirlos juicios; es decir, especificar el criterio que elegimos para juzgar que un programa esbueno. En este sentido cabe considerar que existen tres grandes opciones para elevaluador segn utilice preferentemente criterios polticos, democrticos o tcnicos.

5.1. Criterios polticos

Todos conocemos que la mayora de los planes y programas de intervencin socialestn patrocinados por organismos y servicios pblicos. Ello significa que tanto su

concepcin como el diseo y la aplicacin normalmente responden a determinadossupuestos ideolgicos e intereses de la poltica que los sustenta. Los programas consti-tuyen formalmente la concrecin de unas decisiones polticas respecto a unas priorida-des en materia de actuacin social, lo que indudablemente supone apostar por un tipode valores. Esta apuesta no slo se traduce en promover un determinado tipo de pro-gramas sino tambin en todas las decisiones que implica la seleccin y priorizacin deestas estrategias, especialmente las relativas a la redistribucin y asignacin de losrecursos.

Cabe, por tanto, hablar de un tipo de evaluacin que asume como criterios de valo-racin los objetivos polticos, econmicos, sociales, etc.. que se proponen alcanzar

los organismos y agencias que patrocinan los diversos programas. El evaluador, enestos casos, acepta los valores del patrocinador (gestores, administradores, empresa-rios, etc) como punto de referencia para emitir sus juicios y as poder facilitarle lainformacin que necesita para que pueda tomar las decisiones pertinentes. Este hechono implica en modo alguno que el evaluador, tanto si centra su tarea sobre los objeti-vos cubiertos como sobre los recursos empleados, pierda su objetividad convirtiendosu trabajo en una tarea burocrtica al servicio de un estamento poltico. Al contrario,sus anlisis y recomendaciones pueden cuestionar tanto los criterios que inspiran laspolticas pblicas como las acciones desarrolladas y, en consecuencia, promover cam-

bios internos importantes.

5.2. Criterios democrticos

Frente a la utilizacin exclusiva de los valores de los estamentos polticos, cabepensar que quienes mejor conocen la oportunidad y efectividad de toda estrategia deintervencin social son la personas directamente implicadas en la misma por lo quesus criterios deben constituir un marco de referencia preferente para formular los jui-cios de valor. Al margen de los planteamientos de los gestores, debemos considerarque todas las personas que constituyen las audiencias de un programa generan enmenor o mayor grado una serie de expectativas, percepciones y valoraciones intrn-secas que es necesario tener en cuenta a la hora de emitir las valoraciones sobre suoportunidad y eficacia. Ms an, en tanto que es algo que les afecta directamente, no


13/29


slo tienen derecho a ello sino que no podemos prescindir de sus criterios para valorarel programa (De Miguel, 1995). Cuando el evaluador asume este marco de referencia

decimos que realiza una valoracin descriptiva pluralista basada en criterios democr-ticos.

Ahora bien, para que el evaluador asuma este tipo de perspectiva valorativa esnecesario que previamente haya enfocado todo el proceso evaluativo de forma partici-pativa; es decir, teniendo en cuenta que quienes estn directamente implicados en unprograma son los que deben ser los actores principales de su evaluacin. Los argu-mentos para ello estn claros. De una parte, son los que conocen ms de cerca la reali-dad del mismo y, por tanto, pueden facilitarnos informaciones ms pertinentes einteresantes. De otra, son los ms implicados en las consecuencias y difcilmente sepodrn poner en marcha mejoras si ellos no participan activamente en su valoracin y

elaboracin. Todas las propuestas y postulados actuales sobre evaluacin pluralistainsisten en esta lnea: la oportunidad y conveniencia de utilizar criterios democrticos a lahora de disear, aplicar y evaluar cualquier estrategia de intervencin social (Fetterman, Kaf-tarian y Wandersman 1996, FlocHlay y Plottu 1998, Apodaca 1999).

5.3. Criterios tcnicos

En una posicin intermedia entre la poltica y la ciudadana situaramos la valora-cin tcnica; es decir, aquella que lleva a cabo el evaluador mediante la aplicacin deprocedimientos e instrumentos cientficos apropiados. Los procesos de evaluacin

conllevan la aplicacin de una serie de reglas y principios sobre estrategias de inter-vencin social cuya correcta utilizacin contribuye a clarificar tanto la adecuacin delos programas como la calidad de sus resultados (Martin 1993, Martin y Kettner, 1996).Cuando el evaluador asume este enfoque utiliza la propia teora normativa sobre eva-luacin de programas como criterio o marco de referencia a la hora de formular sus

juicios de valor; es decir, la calidad de las metas propuestas, la coherencia del diseoefectuado, la adecuacin de los procesos de implementacin, la efectividad de losresultados e impactos generados y la oportunidad y viabilidad de las decisiones toma-das en relacin con los procesos de mejora.

No obstante, el problema no se resuelve sealando que se van a utilizar criterios tc-

nicos ya que supone dejar los marcos de referencia demasiado abiertos. De ah que elevaluador deba precisar tambin las normas, estndares e indicadores que utilizar encada trabajo para valorar los diferentes aspectos del programa. En unos casos para esta-

blecer estas normas podr acudir a referencias nacionales e internacionales al uso (estn-dares de calidad, normas internacionales, protocolos sobre buenas prcticas, etc..). Enotros se ver obligado a establecer criterios y elaborar indicadores que le permitan obje-tivar el proceso de valoracin y justificar ante las audiencias los juicios emitidos. La difi-cultad que entraa esta tarea determina que sea una de las cuestiones tcnicas msproblemticas y controvertidas en todos los procesos evaluativos (De Miguel, 1991).

Dado que cabe utilizar diferentes perspectivas valorativas como marco de referen-cia para formular los juicios, se pueden igualmente establecer taxonomas evaluativas


14/29


utilizando este criterio de clasificacin. As, algunos autores hablan de modelos descrip-tivos y modelos prescriptivos (Alkin y Ellet, 1990), y otros de evaluacin burocrtica, auto-

crtica y democrtica (Mac Donald, 1977). Tambin se distingue entre modelospreordenados o convencionales y modelos pluralistas o participativos segn el grado deimplicacin de las audiencias en los procesos de valoracin (Lincoln y Guba 1985,Guba y Lincoln 1989, Rebien 1997). Ahora bien, independientemente de la oportuni-dad y adecuacin de estas clasificaciones, lo que s debemos constatar es que el cues-tionamiento actual de criterios polticos y tcnicos ha generado una fuerte tendencia afavor de los criterios democrticos que se manifiesta en todos los enfoques evaluativosactuales evaluacin pluralista, evaluacin participativa, evaluacin respondente, evaluacindemocrtica, cluster evaluation, empowerment evaluation, etc. cuyo denominador comnse caracteriza por concebir el trabajo del evaluador como un compromiso con los dere-

chos de todas las partes con el fin de contribuir a la educacin cvica, el desarrollohumano y la emancipacin social (Fetterman 1994, Smith 1998).

6. UTILIDAD Y CREDIBILIDAD DE LOS INFORMES

Toda evaluacin debe concluir con la toma de decisiones que se deriven de lasvaloraciones formuladas. Aunque el objetivo inmediato de todo proceso es ofrecer jui-cios razonados para la toma de decisiones, la finalidad ltima de toda evaluacin eslograr que tenga consecuencias. Precisamente, porque todos esperamos que nuestrotrabajo sea til para resolver problemas sociales, el evaluador no pueda prescindir del

anlisis y explicacin de las relaciones que existen entre los resultados y recomenda-ciones que emite en sus informes, las decisiones que se toman al respecto y las conse-cuencias que stas tienen socialmente. No preocuparse por estas cuestiones pone entela de juicio la credibilidad de nuestro trabajo. Por ello, la reflexin terica que conlle-va el diseo y aplicacin de una estrategia evaluativa debe abarcar tambin el anlisisde los factores cmo, cundo, dnde, para qu, que condicionan la utilizacinposterior de los resultados que se aportan en los informes (Rebien 1997, Chelimsky1997).

Ahora bien, abordar el tema de cmo se puede maximizar el uso de los informesevaluativos (knowledge use) no una tarea fcil ya que son mltiples los problemas y fac-tores implicados. No obstante, cabra agrupar esta problemtica en torno a cuatro pre-guntas o interrogantes fundamentales: Qu clases o tipos de usos pueden tenernuestros informes?, Quines son los usuarios potenciales de los mismos?, Qu papelpuede jugar el informe para estos usuarios?, Cules son los factores polticos y con-textuales que pueden dificultar la utilizacin de los resultados? Efectuaremos algunoscomentarios sobre estas cuatro cuestiones.

6.1. Posibles usos del Informe

Abordar el tema de la utilidad o usos del informe nos remite nuevamente a la fina-lidad que promueve y orienta todo el trabajo evaluativo, ya que entre ambas cuestio-nes existe una mutua implicacin. Como ya hemos comentado, existen propuestas


15/29


diferentes en relacin a los fines de una evaluacin aunque, tomando como referencialos usos, se podran agrupar las diversas alternativas en dos bloques: a) los que entien-

den que la finalidad primordial de una evaluacin es la bsqueda de observaciones yexplicaciones generalizables mediante la utilizacin de procedimientos cientficosrigurosos y b) los que consideran que lo verdaderamente importante es facilitar atodos los implicados la informacin que necesitan para tomar decisiones (stakeholdersservices). En el primer caso se conciben el informe evaluativo de forma similar al deuna investigacin por lo que los problemas de difusin, diseminacin y utilizacin delos conocimientos son muy afines a los que suceden en otras disciplinas sociales y quese conocen a travs de la literatura especializada (Keeves, 1988). En el segundo, dadoque cada evaluacin de un programa es una tarea singular, el evaluador se ve obligadoplantearse en cada proyecto cul puede ser la utilizacin posterior o usos posibles que

puede tener la informacin que se aporta en los informes. Al respecto, las demandas yusos ms frecuentes que se hacen de los informes evaluativos son los siguientes : paratomar decisiones, identificar problemas, inducir acciones y justificar decisiones (Braskamp yBrown 1980, Ewell 1989).

6.2. Identificar los usuarios potenciales de la informacin

Precisamente porque entendemos que la finalidad prioritaria en toda evaluacinde programas es facilitar a las audiencias la informacin que necesitan, consideramosque, inicialmente, el evaluador deber identificar quines son los usuarios potenciales

de su trabajo ya que de ello dependen los tipos de usos que pueden tener sus infor-mes. Deber tener en cuenta, adems, que aunque los trabajos sean objeto de contratono significa en modo alguno que los informes tengan utilidad solamente para losclientes. De ah que una de las primeras cuestiones para enfatizar la utilizacin de losresultados sea la identificacin de los usuarios potenciales de nuestro trabajo con el finde ofrecerles la informacin que necesitan, lo que implica, previamente, analizar losproblemas especficos que se dan en cada contexto y programa: audiencias implicadas,las posibilidades que tienen de acceso a la informacin, tipos de informes a elaborar,etc.. En toda evaluacin existen muchos implicados que, en mayor o menor medida,pueden hacer uso de los informes siempre que estos les ofrezcan informaciones opor-

tunas y asequibles Aunque algunos estn ms comprometidos que otros en los proce-sos de toma de decisiones ello no significa que los trabajos no les sean tiles. En lamedida que hacemos llegar informes adecuados a todas las partes implicadas en unprograma gestores, administradores, agencias, instituciones, cientficos, tcnicos,implicados, ciudadanos, etc. incrementamos las posibilidades de que nuestro traba-

jo tenga mas consecuencias.

6.3. Clarificar el nivel de operatividad del informe

Adems de identificar los usuarios potenciales de nuestro trabajo tambin tenemosque plantearnos el papel que va jugar el propio informe en los procesos de toma dedecisiones. Aunque existen muchas propuestas al respecto, siguiendo a Shadish, Cook


16/29


y Leviton (1991), cabe establecer tres tipos de planteamientos donde los informes se utilizancon criterios diferentes: instrumental, conceptual y persuasivo. Se considera que un informe

es instrumental cuando los resultados obtenidos se utilizan de forma directa paratomar decisiones sobre el programa. Se considera como informe conceptual aquelcuyas valoraciones no suelen ser utilizadas como soporte para decidir cambios peroque, indirectamente, influyen sobre cmo perciben y valoran las personas las interven-ciones sociales. Finalmente se entiende que el informe cumple una funcin persuasivacuando las evaluaciones son utilizadas para convencer a las audiencias que tienen esti-maciones apriorsticas sobre los programas de que la evaluacin es el proceso correctopara valorar cualquier estrategia de intervencin. Precisar estas cuestiones previamen-te no slo nos ayudar a elaborar informes ms operativos y tiles desde el punto devista prctico sino tambin a conceptualizar la funcin o papel que le otorgan a nues-

tro trabajo las partes implicadas en una evaluacin. Con el fin de evitar confusiones,algunas de estas cuestiones deben quedar explcitas en el protocolo que se elabore enla fase de negociacin de proyecto.

6.4. Elaboracin y difusin adecuada de los informes

Finalmente, para maximizar el uso de los informes tambin debemos considerarotros problemas que tienen que ver con el proceso de elaboracin y difusin de losresultados. Respecto a la elaboracin, el evaluador deber preocuparse de facilitar acada audiencia la informacin precisa, con datos que pueda fcilmente interpretar y

con un lenguaje adecuado. De ah que en este campo no sea oportuno utilizar tcnicasde tratamiento y anlisis de datos complejas cuyos resultados son difciles de valorarsalvo para especialistas. Los problemas de la difusin generalmente depende de facto-res de orden poltico que se generan en cada contexto de forma especial. En ocasiones,quienes encargan la evaluacin se aduean del informe y slo lo difunden en la medi-da que beneficia a sus intereses. En el sentido opuesto situaramos los planteamientosque consideran que todos los informes deben ser difundidos en trminos inteligiblespara todas la audiencias con el fin de que todos puedan participar y valorar tanto lautilizacin que se hace de los resultados como de las decisiones que se toman al res-pecto. Aunque las posibilidades del evaluador al respecto son bastante limitadas, ello

no significa que no deba tener en cuenta estos problemas (McLaughlin y McLaughlin1989, Wholey, Hatry y Newcomer 1994).

En resumen, aunque inicialmente la utilidad de una evaluacin depende de los pro-psitos, audiencias e intereses en funcin de los cuales se establece, en la prctica sonlos procesos de toma decisiones los que determinan finalmente las consecuencias quetiene cada proceso. Por ello, la tarea del evaluador no concluye con la elaboracin delinforme sino que debe reflexionar sobre los problemas que genera su utilizacin paraque tenga consecuencias. Asumir esta perspectiva implica cuestionar no slo qu infor-macin necesitan quienes deben tomar decisiones (evaluacin orientada a la decisin)sino tambin la que deben conocer todos los implicados (evaluacin orientada al usua-rio). No es lo mismo pensar que las decisiones dependen de los gestores y administra-


17/29


dores de los programas que involucrar tambin a las audiencias, clientes e implicados.Tampoco es igual que el informe aporte datos concluyentes en trminos tcnicos o se

faciliten informaciones y recomendaciones adecuadas a las diversas audiencias. Fcil-mente se advierte que la utilidad de una evaluacin es mayor en la medida que tienenposibilidad de acceso a la informacin todos los sectores implicados.

De lo cual se deduce que el problema de la utilidad y usos de los informes es unacuestin compleja que depende de factores diversos (identificacin de usuarios poten-ciales de los informes, claridad de los resultados, anlisis de las alternativas, procesosde toma de decisiones, etc..), que necesitan ser analizados con cierto detalle para evitarobstculos que impiden su utilizacin. De ah que, durante los ltimos aos, hayanaparecido diversas corrientes y enfoques metodolgicos que centran su preocupacinsobre las consecuencias de los informes: decision-oriented evaluation (Stufflebeam y al.,

1971), utilization-focused evaluation (Patton, 1978) stakeholder-based evaluation (Bryk,1983), beyond decision-oriented evaluation (Sheerens, 1987), outcomes-based evaluation(Schalock, 1995), etc.. Aunque estos enfoques presentan entre ellos matices distintos, eldenominador comn de todos ellos es la necesidad de abordar los procesos evaluati-vos teniendo en cuenta que la credibilidad del evaluador se halla comprometida por lautilidad y usos que se derivan de sus informes.

7. DELIMITACIN DEL ENFOQUE METODOLGICO

Al iniciar el presente trabajo hemos distinguido entre fundamentos y enfoques eva-

luativos como dos trminos relativos a la evaluacin del programa que tienen un sig-nificado diferente. Tambin hemos dicho que los evaluadores suelen ocuparse ms deprecisar los segundos que los primeros por lo que hemos considerado oportuno abor-dar algunos conceptos relacionados con los fundamentos porque, desde nuestro puntode vista, stos deben ser objeto de reflexin antes de optar por un determinado enfo-que metodolgico. La eleccin de una aproximacin o enfoque especfico no se limita auna simple distincin entre metodologa cuantitativa y cualitativa ya que supondrauna simplificacin absurda de una realidad compleja que tiene muchos matices yrequiere ser abordada de forma comprensiva.

En la prctica, la determinacin de un enfoque metodolgico (approach) se conocecomo la eleccin del modelo y el diseo de una evaluacin. Cuando hablamos demodelo hacemos referencia a la forma o modo de abordar y representar la conceptua-lizacin terica del programa que consideramos oportuna para llevar a cabo su evalua-cin una vez que hemos analizado los supuestos o fundamentos tericos que justificanesta actividad: naturaleza del programa, la finalidad que nos proponemos, audienciasimplicadas, informacin necesaria, metodologa a utilizar, criterios de evaluacin, utili-dad o usos de los resultados, etc. Por el contrario, el trmino diseo alude al procesoque deberemos seguir para obtener las informaciones que renan la categora de cer-tezas. El objetivo de los modelos es lograr una representacin terica sobre los fen-menos a investigar y los procesos a realizar que sea coherente y adecuada a lanaturaleza del programa y los propsitos de nuestro trabajo. La finalidad de los diseoses suministrar a los investigadores una lgica cientfica que aporte validez tanto a los


18/29


procesos de evaluacin como a los resultados. As pues, mientras que el modelo aludeal marco terico que justifica el enfoque que hemos elegido para evaluar un programa,

el diseo hace referencia a la estrategia metodolgica que vamos a utilizar para que losdatos obtenidos puedan ser considerados como evidencias (De Miguel, 2000).

7.1. La eleccin del modelo evaluativo

Al igual que sucede en toda investigacin social, la eleccin de un modelo paraevaluar un programa implica tomar decisiones sobre una serie de cuestiones tericasrelativas al tipo de estrategia programa que se pretende evaluar, las bases episte-molgicas que justifican la construccin de los conocimientos, los criterios de valora-cin y la finalidad o usos que justifican la evaluacin. Las preguntas claves que se

debe formular un evaluador antes de decidir el marco terico en el que va a situar sutrabajo son las siguientes: Qu quiero saber o qu quiere saber el cliente que meencarga la evaluacin en relacin con el programa? De qu tipo de programa estamoshablando?, Qu pretende hacer y/o decidir el cliente respecto al programa objeto deestudio? Qu tipo de informacin necesito? Cules son los procedimientos idneospara su obtencin? Cul es el papel que voy a desempear?, etc Las respuestas aestas cuestiones son las que realmente determinan el enfoque o aproximacin metodo-lgica y, en consecuencia, las tcticas y estrategias que justifican un proceso evaluativoque debemos adoptar.

7.1.1. Finalidad del estudio evaluativo

El primer paso para elegir un modelo evaluativo es identificar los fines que se pre-tenden alcanzar. La identificacin de los fines se puede realizar mediante dos procedi-mientos: segn el tipo de funcin que persiguen los estudios y de acuerdo con losobjetivos concretos que se plantean. Respecto a lo primero, actualmente se consideraque los procesos evaluativos se orientan a una de estas tres funciones bsicas: la rendi-cin de cuentas (accountability), la mejora de los programas (development) y el incremen-to de conocimientos respecto al mismo (knowledge) (Chelimsky, 1997). Desde el puntode vista de los objetivos los principales propsitos que determinan la peticin de proce-

sos evaluativos se pueden agrupar en tres grandes bloques, a saber: a) Comprobar si losobjetivos de los programas han sido alcanzados, b) Recabar opiniones fundamentadassobre la valoracin que hacen del programa las audiencias implicadas, y c) Obtenerinformaciones cualificadas a partir de las cuales se pueda tomar decisiones sobre elfuturo de un programa especfico (Vedung 1997). A estas tres alternativas se aade unacuarta cuando el objetivo es estimar la relacin entre los recursos empleados y los resul-tados obtenidos (coste-efectividad, coste-beneficio) que da lugar a los modelos econ-micos (Lewin 1983, Drummond, Stoddart, y Torrance 1991, Nas 1996).

El evaluador deber precisar cul o cules son los propsitos concretos que real-mente promueven cada trabajo con el fin de adoptar un marco terico adecuado. Aun-que ciertamente cada persona puede generar una comprensin peculiar de losintereses de los patrocinadores y las necesidades de los clientes y, en consecuencia,


19/29


establecer con libertad los parmetros tericos que considera apropiados para enfocarel proceso evaluativo, procede sealar que el modelo a utilizar depende del tipo de

informacin que se solicita y que el evaluador debe ajustar su eleccin a la finalidadque justifica el encargo. En otros trminos, los modelos deben ser elegidos en funcinde los propsitos del estudio.

7.1.2. Concrecin de los parmetros del modelo

Una vez que hemos concretado los fines procede delimitar el resto de dimensiones,factores y variables que intervienen en la determinacin y representacin de un mode-lo. Como ya hemos comentado en otro momento (De Miguel, 1989), para que unmodelo pueda servir de gua, adems de estar fundamentado sobre una teora, necesi-

ta concretar los fenmenos que intervienen y las relaciones que se establecen entre losmismos. Exige, adems, especificar operacionalmente las variables con el fin de probarla validez emprica del modelo y la posibilidad de generalizar su aplicacin. En el casode la evaluacin de un programa conlleva, adems, una toma de postura sobre elpapel de los valores y rol que el evaluador va a desempear ante todos los factoresimplicados en el proceso a los que hemos aludido anteriormente.

As pues, una vez clarificada la finalidad y antes de tomar una opcin metodolgi-ca, el evaluador deber reflexionar y explicitar los distintos supuestos o fundamentosque adopta en cada caso concreto y que constituyen los determinantes inmediatos enla eleccin de modelo. A la vista de la literatura (Shadish, Cook y Leviton 1991, Rebien

1997), no existe consenso entre los autores sobre cules deben ser los factores o dimen-siones que se consideran bsicas para la construccin de un modelo evaluativo, comopaso previo para su especificacin. Nuestra propuesta al respecto es que, al menos, sedeben considerar los parmetros que hemos abordado anteriormente, a saber: la con-ceptualizacin del programa como estrategia de intervencin social, las bases epistemolgicasque determinan la construccin de los conocimientos, el tipo de criterios a utilizar para la

formular los juicios de valor, la utilidad o usos de que pueden tener los informes y el papel adesempear por el evaluador a lo largo del proceso. Consideramos que estas dimensionesaglutinan las variables o caractersticas ms importantes a partir de las cuales se puededefinir un modelo evaluativo

7.1.3. Utilizacin de las taxonomas

Generalmente los evaluadores no construyen un modelo especfico para cada eva-luacin sino que utilizan como marco de referencia alguno de los que ya estn formali-zados en algunas de las taxonomas al uso (MacDonald 1977, House 1980, Guba yLincoln 1981, Madaus, Scriven y Stufflebeam 1983, Worthen y Sanders 1987, Stufflebe-am y Shinkfield 1987, Stake y Mabry 1997, etc). El problema que presentan estastaxonomas es que estn elaboradas con distintos criterios de clasificacin que impi-den cotejar y contrastar las distintas categoras que establecen. La eleccin de una uotra como marco de referencia ya implica una toma de postura del evaluador que si nose hace de forma razonada puede, en principio, generar incoherencias al no existir


20/29


correspondencia entre los supuestos tericos del modelo elegido y el tipo de evalua-cin que procede realizar en funcin de la finalidad.

Entre estas taxonomas nos interesa destacar de forma especial la propuesta porStecher y Davis (1991) ya que desde nuestro punto de vista nos parece realmentetil pues no slo tiene en cuenta como criterio de clasificacin la finalidad de la eva-luacin sino que tambin utiliza para su elaboracin dimensiones muy semejantes alas que nosotros proponemos: la naturaleza del programa, las preguntas o cuestiones

bsicas a resolver, la informacin que necesitamos, el eje o ncleo sobre el que se cen-tra el proceso y el rol que el evaluador desempea en el proceso. A partir de estos cri-terios, estos autores agrupan los modelos evaluativos en cinco enfoques experimental,dirigido a metas, orientado a las decisiones, centrados sobre los clientes y respondente quepueden ser considerados como arquetipos representativos de las diversas opciones o aproxima-

ciones metodolgicas que se pueden plantear a la hora de abordar la evaluacin de un progra-ma. Desde nuestro punto de vista, esta clasificacin de los modelos nos parecerealmente interesante y til como ya hemos comentado en otro momento (De Miguel,2000).

7.2. La eleccin del diseo y los mtodos

Una vez que hemos decidido el enfoque o modelo que vamos a asumir para llevara cabo la evaluacin procede establecer el diseo; es decir, la estrategia o plan quevamos a seguir donde se especifica la secuencia de decisiones acerca de cmo recoger,

ordenar y analizar los datos en funcin de los fines de programa (Anguera, 1992). Deah que el trmino diseo se utilice como sinnimo de plan o estrategia metodolgi-ca que orienta el proceso evaluativo, lo cual implica realizar una planificacin detalla-da sobre los aspectos o dimensiones del objeto a evaluar que vamos a considerar, losprocedimientos que vamos a utilizar para recabar y analizar la informacin pertinente,y los sistemas a emplear para dar validez a las informaciones que van a sustentar los

juicios de valor que se formulen.Al igual que sucede con los modelos, tambin podemos utilizar diversos criterios a

la hora de clasificar los diseos evaluativos (Ruttman 1984, Fitz-Gibbon y Morris 1987,Rossi y Freeman 1989, Scriven 1991). Entre estos criterios queremos destacar los tres

que se utilizan con mas frecuencia:

7.2.1. En funcin de enfoque terico adoptado

Utilizando este criterio los diseos se suelen clasificar de forma dicotmica en fun-cin de que el marco de la planificacin se establezca tomando como referencia la eva-luacin de los efectos del programa o el significado que ste ha tenido para losimplicados. Esta es la postura de adoptan algunos autores (Guba y Linclon 1981, Cron-

bach 1982, Patton 1987, Rebien 1997) al plantear dos tipos de diseos frontalmenteopuestos preordenado y respondente como representativos de dos formas diferentesde abordar los procesos evaluativos relativos a los programas sociales. Una evaluacinpreordenada parte de un modelo terico formalizado que se especifica mediante un


21/29


plan en el que se detallan todos los elementos del proceso: objetivos, audiencias, infor-macin necesaria, instrumentos, fuentes, tcnicas de anlisis, criterios de comparacin,

etc. Por el contrario, la evaluacin respondente se caracteriza por partir de marco te-rico flexible que busca las valoraciones de las personas implicadas en el programapara lo cual es necesario efectuar una planificacin emergente que se pueda recondu-cir en cada etapa del proceso en funcin de las observaciones que se deduzcan de laetapa anterior.

7.2.2. El sistema de control que permitan las variables del programa

Desde un punto de vista metodolgico estricto, el concepto de diseo alude a laestrategia mediante la cual se pretende probar el efecto de una o ms variables

manipuladas; es decir, un plan que nos permita constatar los efectos de las interven-ciones promovidas mediante un programa. De ah que cuando se utiliza el conceptode diseo con terminologa positivista, su ordenacin y clasificacin se establece apartir de los tres requisitos o condiciones que debe reunir todo experimento, a saber:aleatorizacin de los sujetos, manipulacin de la variable independiente y grupo decontrol. Si trasladamos estos requisitos a la metodologa de evaluacin de programas,los diseos evaluativos puede ser clasificados en cuatro grandes grupos en funcindel grado o nivel de garanta con que se cumplen estos requisitos. As, de acuerdo conAnguera (1992, 1995), los estudios evaluativos se pueden clasificar en funcin de lametodologa utilizada en los siguientes tipos: observacionales, selectivos, cuasiexperi-

mentales y experimentales. Consideramos que a esta clasificacin, aunque es muy com-prensiva, se debera aadir la metodologa centrada sobre costos-beneficios, cuyosdiseos se utilizan cuando la finalidad del proceso se orienta a estimar la eficienciadel programa.

7.2.3. El sistema de control que se utiliza sobre la informacin recabada

Finalmente elegir un diseo implica determinar el procedimiento mediante el cualvamos a contrastar la informacin que recabamos sobre el programa global o par-cialmente a fin de obtener las evidencias necesarias. Para ello no slo cabe recurrir a

los procedimientos propios de los estudios experimentales sino que tambin existenotros sistemas de control que aunque no sean tan potentes pueden ser ms ade-cuados y oportunos para ser utilizados en determinadas fases y/o tipos de programas.En esta lnea positivista, algunos autores (Rossi y Freeman, 1989) clasifican los diseosutilizando como criterios la existencia de grupo de control y el procedimiento utiliza-do para ello. As hablan de diseos comparativos o de cobertura parcial mediante con-troles aleatorios, construidos y estadsticos, y diseos no comparativos o coberturatotal que utilizan controles genricos, reflexivos y en la sombra. Desde enfoques parti-cipativos los sistemas de control no se fundamentan tanto en la estructura del diseocomo en las tcnicas (juicios de expertos, comisiones ad hoc, triangulacin, etc..) quese utilizan para contrastar y consensuar la informacin procedente de las diversosestudios y audiencias (Pineault y Davaluy 1989, Apodaca 1999).


22/29


7.3. Correspondencia entre modelos y diseos

Hemos avanzado que entre modelos y diseos existe una interaccin evidente quese hace igualmente patente en el caso de la evaluacin de un programa. Establecido elmodelo, la elaboracin del diseo constituye, en parte, una consecuencia lgica. Cuan-do la evaluacin se enfoca desde una aproximacin positivista lo lgico es que elabo-remos un diseo preordenado y que utilicemos una metodologa lo ms coherenteposible con los supuestos de este paradigma aplicando sistemas de control a serposible comparativos. Por el contrario, si nuestro enfoque se establece desde posi-ciones ms pluralistas lo normal es que la planificacin del diseo se organice deforma ms flexible fundamentalmente a partir de estudios observacionales y utilizan-do procedimientos de control participativos y no comparativos.

As pues, dado el abanico de modelos y diseos posibles, el evaluador deber con-cretar en cada caso la estrategia metodolgica que considera ms apropiada en fun-cin de su reflexin y anlisis sobre los supuestos tericos que justifican todaevaluacin, pero teniendo en cuenta que entre modelo y diseo debe existir una claracoherencia, tal como hemos plasmado en otro trabajo anterior (De Miguel, 2000). Espe-cialmente deber valorar a la hora de tomar una opcin las consecuencias prcti-cas, ya que la finalidad ltima en toda evaluacin de programas es la toma dedecisiones pertinentes que incidan sobre la mejora del programa. De ah la necesidadde potenciar enfoques evaluativos integradores que tengan en cuenta tanto los efectosdel programa como su significado para los implicados ya que ambos aspectos son

esenciales a la hora de elaborar las propuestas de mejora. Ello implica, de nuestropunto de vista, que sea aconsejable abordar siempre la evaluacin de un programa conun enfoque comprensivo que integre aproximaciones tericas diversas y estrategiasmetodolgicas complementarias. Lo cual significa optar por modelos y diseos menosradicales y ms eclcticos.

8. CONSIDERACIONES FINALES

Una vez que hemos abordado algunos de los problemas que conciernen a la fun-damentacin terica de la evaluacin de programas y a las exigencias que conlleva la

eleccin de un enfoque o aproximacin metodolgica, procede efectuar ciertas consi-deraciones finales que, a modo de resumen, contribuyan a clarificar el complejo marcoen el que se mueve el desarrollo de esta disciplina y el trabajo de un evaluador. Comoya hemos dicho, la evaluacin de programas es una tarea esencialmente prctica peroello no significa que est alejada de la teora. Al contrario, necesitamos ms y mejorteora que ilumine lo qu hacemos, cmo lo hacemos y por qu. En definitiva, necesi-tamos justificar tericamente una actividad que es esencialmente aplicada.

En este proceso de bsqueda hacia una fundamentacin terica, consideramosoportuno recapitular algunas de las lecciones que hemos aprendido desde la experien-cia (Shadish, Cook y Leviton 1991, Chelimsky 1997, Cook 1977, Scriven 1997, Stake yMabry 1997, Rossi, Freeman y Lipsey 1999, De Miguel 1999b) y presentar algunas delas connotaciones ms relevantes que actualmente enmarcan la evaluacin de toda


23/29


estrategia de intervencin social. Sealamos, entre ellas, aquellas que nos parecen quepueden contribuir positivamente a consolidar la identidad cientfica de esta disciplina.

A saber:

1. Profundizar sobre las teoras relacionadas con el cambio socialAbordar la evaluacin de una estrategia de intervencin social exige previamente

precisar qu se entiende por cambio o mejora social y cmo debemos proceder paraque esto sea posible. Ello requiere un conocimiento de las teoras sobre cmo se pue-den resolver los problemas sociales y, en consecuencia, sobre las caractersticas quedebe reunir toda estrategia de intervencin que se oriente a promover determinadasmejoras. En esta lnea algunos autores sealan la necesidad de que quienes planificanlos programas formulen previamente una teora normativa que defina y justifique

cada una de las intervenciones y cmo se debe aplicar para que tenga las consecuen-cias deseadas (Wholey, Hatry y Newcomer, 1994). El evaluador que tiene un mayorconocimiento de las teoras sobre el cambio social estar en mejores condiciones de lle-var a cabo procesos evaluativos ms adecuados.

2. Establecer una teora evaluativa explcita adems de implcitaToda evaluacin requiere una reflexin terica previa sobre el tipo de programa

objeto de anlisis con el fin de justificar los modelos y procedimientos que vamos autilizar para llevar a cabo los procesos evaluativos. Generalmente esta reflexin no selleva a cabo de forma explcita, aunque de una u otra forma todos los evaluadores tie-nen una teora sobre la evaluacin de forma implcita. Por ello, a efectos de que nues-

tra actividad sea algo ms que una metodologa aplicada, necesitamos reflexionarsobre los diversos supuestos que definen nuestro concepto sobre el programa y expli-citar los parmetros tericos y criteriales a partir de los cuales vamos a elegir el enfo-que evaluativo. Necesitamos pasar de una teora tcita o implcita sobre el programa auna teora articulada que oriente y justifique la aproximacin metodolgica elegida(Weis 1997, Rossi, Freeman y Lipsey 1999).

3. Clarificar los fundamentos epistemolgicos de toda evaluacinAhora bien, para llegar a la formulacin de una teora explcita es necesario que,

antes de proceder a la planificacin de una evaluacin, el evaluador reflexione y preci-se el punto de vista que adopta en relacin con los diferentes supuestos o fundamen-

tos que delimitan y justifican la evaluacin de un programa concreto. De modoespecial deber concretar el marco de referencia que va a utilizar en el proceso deconstruccin del conocimiento; es decir, delimitar qu pretende conocer, qu tipo deconocimientos necesita y cmo va a proceder para su construccin. Esta concrecinlgicamente implica reflexionar antes sobre cuestiones bsicas de carcter ontolgico,epistemolgico y metodolgico que son claves para poder entender y explicar susdecisiones prcticas (Shadish, Cook y Leviton 1991, Rebien 1997). Suplir esta reflexinpor la afiliacin a un paradigma no contribuye al desarrollo del pensamiento crticodel evaluador.

4.Abordar la evaluacin como una tarea eclcticaEste recurso habitualmente utilizado de definir o explicitar los supuestos teri-

cos dentro de un paradigma no es recomendable en el campo de la evaluacin porque,


24/29


como ya hemos avanzado, no existe un paradigma que ofrezca un marco terico com-prensivo capaz de integrar todos los interrogantes y problemas que conlleva la realiza-

cin de un proceso evaluativo que por su propia naturaleza debe responder a distintasfinalidades, diferentes audiencias y usos muy diversos. La evaluacin es esencialmen-te una tarea eclctica por lo que es muy cuestionable la utilizacin de los paradigmasclsicos con este fin (Cook, 1997). Este hecho nos advierte, al mismo tiempo, en lanecesidad de profundizar sobre el estatuto cientfico de esta disciplina desde otrasperspectivas ms realistas (Pawson y Tilley, 1997).

5. Elegir los mtodos en funcin de la finalidadDado que no existe un prototipo de paradigma para evaluar programas, procede

insistir que los mtodos deben ser elegidos en funcin de la finalidad que orienta elproceso y no al revs como frecuentemente sucede. La experiencia nos lleva a afirmar

que no existen mtodos de evaluacin que se puedan aplicar siempre y en todas lassituaciones sino que stos deben ser elegidos en funcin del propsito hacia la que seorienta la evaluacin y la necesidad de obtener resultados creibles. As como losmtodos cualitativos no son buenos para generar estimaciones cuantitativas sobre losresultados de un programa, tampoco los mtodos cuantitativos son adecuados paraobtener informaciones respecto a la teora que lo fundamenta y los procesos desarro-llados. No cabe, por tanto, apriorismos o planteamientos exclusivos ya que son nece-sarios ambos tipos de metodologas. Las dificultades se presentan en el plano de lalogstica, no en el de la lgica (Cook y Reichardt 1986, Cook 1997, Rossi, Freeman yLipsey 1999).

6.Fomentar la diversidad metodolgicaCuando se asume que las evaluaciones deben responder a diversos propsitos y

audiencias, lo habitual es utilizar una combinacin parsimoniosa de datos, anlisis ymtodos en funcin del tipo de informaciones y conocimientos que perseguimos encada momento y fase del proceso. La evaluacin es un campo en el que se pueden apli-car todo tipo de estudios y metodologas y donde la tarea se enriquece precisamentecon la pluralidad. Por ello, la nica opcin vlida es abordar los procesos con un enfo-que comprensivo y utilizar los procedimientos que en cada caso estimamos oportu-nos, al margen de polmicas estriles que no conducen a ninguna parte. La evaluacines un campo del conocimiento donde el debate entre metodologas est superado (Rei-

chardt y Rallis 1994, Datta 1997, De Miguel 1999).7. Promover trabajos de sntesis antes que individualesPrecisamente porque la mayora de las evaluaciones exigen recabar informaciones

diversas, utilizando fuentes muy distintas y mtodos diferentes, parece necesarioabordar esta tarea con una visin pluralista e integradora con el fin de que los juiciosde valor se fundamenten sobre conocimientos contrastados por la opinin mayoritariade todos los implicados en el programa. De ah que la fiabilidad y validez de las obser-vaciones y recomendaciones aumente en la medida que hayan sido elaboradas a partirde la integracin de los resultados de varios estudios, lo que significa priorizar los tra-

bajos de sntesis y metaanlisis frente a los individuales (Lipsey y Wilson 1993, Cook1997). No debemos olvidar que la calidad de un conocimiento se incrementa en lamedida que haya un escrutinio pblico mayor sobre el mismo.


25/29


8. Velar por la credibilidad de los informesFcilmente se comprende que la elaboracin del informe sobre una evaluacin no

es una cuestin neutra en relacin con las aplicaciones o usos de las recomendacionessugeridas. Para que el informe o informes sean tiles deben reunir dos notas que nosparecen muy importantes. De una parte, deben responder a las necesidades de lasaudiencias y ser elaborados de forma objetiva que no ponga en cuestin la indepen-dencia del evaluador, lo que conlleva considerar la naturaleza de las relaciones entre elevaluador y los implicados. De otra, deben ser redactados en trminos claros y condatos precisos que sean fcilmente comprensibles por las audiencias implicadas.Ambas cuestiones condicionan la credibilidad de los informes y, en consecuencia, suutilidad (Patton 1986, Wholey, Hatry y Newcomer, 1994).

9.Analizar los factores contextuales y polticos que condicionan el uso de la informacin

Adems de la credibilidad que ofrecen los informes existen otros factores contex-tuales y polticos que condicionan la aplicacin o utilizacin de los resultados y quetambin deben ser considerados por los evaluadores con el fin de eliminar las barrerasque dificultan que los procesos tengan consecuencias prcticas. Entre estos factoresdebemos plantearnos todos los problemas que surgen entre la entrega de los informesy la puesta en prctica de las recomendaciones oportunas; es decir, la difusin y dise-minacin de los informes, la interpretacin de resultados, el conocimiento de losimplicados en la toma de decisiones, los argumentos que avalan cada una de las alter-nativas sugeridas, etc.. El anlisis de estos problemas nos permitir buscar solucionesorientadas a eliminar o reducir sus efectos e incrementar as la eficacia de nuestros tra-

bajos (Braskamp y Brown 1980, Ewell 1989, Torres, Preskill y Piontek 1996).10. Realizar estudios de metaevaluacin sobre los trabajos efectuadosFinalmente todos debemos considerar que la mejor forma de avanzar y profundi-

zar sobre el marco terico de nuestra disciplina y nuestra tarea es a travs de la propiaevaluacin del trabajo que realizamos. De ah que debamos someter a control todosnuestros trabajos con el fin de que, al detectar sus puntos fuertes y dbiles, podamostener una visin realista sobre la calidad del mismo y las limitaciones que presentapara su utilizacin posterior. Para ello debemos habituarnos a efectuar estudios demetaevaluacin utilizando guas elaboradas con este fin y remitir nuestros informes aevaluacin externa para recabar otras opiniones independientes. Es un camino que

necesariamente debemos recorrer si queremos mejorar nuestro trabajo, mejorar lasbases tericas de nuestra disciplina, y ganar ms credibilidad ante nuestras audiencias(Joint Committee 1988, Shadish, Newman, Scheirer y Wye 1995).

Finalmente, quisiera aadir que estas consideraciones que sugerimos son algunasde las reflexiones a las que hemos llegado desde nuestra experiencia personal y que,en la medida que estn en lnea con el pensamiento de otros autores, esperamos pue-dan ser tiles para quienes estn preocupados por estas cuestiones. Los evaluadorespresionados por la prctica hemos dejado poco espacio para la reflexin terica y qui-zs ha llegado el momento en que nos tengamos que plantear la necesidad de funda-mentar nuestra tarea ya que en ello no slo se haya comprometida la identidad de estadisciplina sino tambin la misma credibilidad de nuestro trabajo.


26/29


BIBLIOGRAFA

Alkin, M. y Ellett, J. (1990). Development of Evaluation Models. En Walberg, H. yHaertel, G, (eds.). The international encyclopedia of educational evaluation. Oxford, Per-gamon Press.

Anguera, T. (1992). Diseos diacrnicos en programas de intervencin. En Rev.Bordn, 43 (4), 421-429.

Anguera, T. (1995). Diseos. En Fernndez Ballesteros, R. (ed.). Evaluacin de progra-mas. Madrid, Sntesis.

Apodaca, P. (1999). Evaluacin de los resultados y del impacto. Revista de Investiga-cin Educativa, 17(2), 363-377.

Bickman, L. (ed.) (1987). Using Program Theory in Evaluation. New Directions for Program

Evaluation n 33. San Franciso, Jossey-Bass.Bickman, L. (ed.) (1990). Advnances in Program Theory. New Directions for Program

Evaluation n 47. San Franciso, Jossey-Bass.Blaskar, R. (1975).A realist theory of science. Brighton, Hasvester.Boruch, R. (1997). Randomized controlled experiments for planning and evaluation: A practi-

cal guide. Thousand Oaks, CA: Sage.Braskamp. L. y Brown, R. (1980). Utilization of Evaluation Information. New Directions for

program Evaluation n 5. S. Francisco, Jossey-Bass.Bryk, A. (ed.). (1983). Stakeholder-based Evaluation. New Directions for program Evaluation

n 17, S. Francisco, Jossey-Bass.

Chelemsky, E. (1997). The Coming transformations in Evaluation. En Chelemsky, E.y Sadish, W. (eds.). Evaluation for the 21 Century. London, CA: Sage.

Chen, H.T. (1990). Theory-driven evaluations. Newbury, CA: Sage.Cook, T. (1997). Lessons learned in Evaluation Over the past 25 Years. En

Chelemsky, E. y Sadish, W. (eds.). Evaluation for the 21 Century. London, CA: Sage.Cook, T. y Reichardt, CH. (1986). Mtodos cualitativos y cuantitativos en la investigacin

evaluativa. Madrid, Morata.Cronbach, L. (1982). Designing evaluations of educational and social programs. S, Francis-

co, CA: Jossey-Bass.Datta, L. (1997). Multimethod Evaluations: Using case studies together with other

methods. En Chelemsky, E. y Sadish, W. (eds.). Evaluation for the 21 Century.London, CA: Sage.

De Miguel, M. (1989). Modelos de evaluacin sobre organizaciones educativas. EnRevista de Investigacin Educativa, 13, 21-56.

De Miguel, M. (1990). La investigacin en la accin. Una alternativa metodolgicapara las Ciencias Sociales? En Vzquez, J. y Otros. Metodologa de la Investigacincientfica. Santiago de Compostela, ICE.

De Miguel, M. (1991). Utilizacin de indicadores en la evaluacin de la docencia. EnDe Miguel, M.; Mora, J. y Rodrguez, S. (eds.). La evaluacin de las InstitucionesUniversitarias. Madrid, Consejo de Universidades.

De Miguel, M. (1995). Participacin ciudadana en la evaluacin de las polticas pbli-cas.Aula Abierta, 66, 211-218.


27/29


De Miguel, M. (1999). La evaluacin de programas: entre el conocimiento y el com-promiso. Rev. de Investigacin Educativa, 17 (2), 345-48.

De Miguel, M. (1999b). Problemas tericos y metodolgicos en la evaluacin externade programas multiculturales. En Martin, T. y Serrate, L. (Coord.). (1999). Evalua-cin y mbitos Emergentes en Animacin Sociocultural. Madrid, Sanz y Torres.

De Miguel, M. (2000). Modelos y diseos en la evaluacin de programas. En Sobra-do, L. (ed.). Orientacin Profesional: Diagnstico e Insercin Sociolaboral. Barcelona,Editorial Estel.

De Miguel, M. (2000b). La evaluacin externa de un programa de Educacin SocialEn Prez Serrano, G. (Coord.).Modelos de Investigacin Cualitativa. Madrid, Narcea.

Dennis, M. y Boruch, R. (1989). Randomized experiments for planning and testingprojects in developing countries. Evaluation Review, 13 (3), 292-309.

Drummond, M., Stoddart, G. y Torrance, G. (1991). Mtodos de evaluacin econmica delos programas de atencin a la salud. Madrid, Diaz de Santos.

Ewell, T. (ed.). (1989). Enhancing Information Use in Decision Making. New directiones forinstitutional research, n 64. S. Francisco, Jossey-Bass.

Fetterman, D., y Pitman, M. (1986), Educational Evaluation. London, Sage.Fetterman, D. (1994). Empowerment evaluation. Evaluation Practice, 15(1), 1-15.Fetterman, D., Kaftarian, S. y Wasdersman, A. (eds.)(1966). Empowerment evaluation.

London, CA: Sage.Fitz-Gibbon, C. y Morris, L. (1987).How to design a program evaluation. Newbury Park,

CA: Sage.

Folchlay, B. y Plottu, E. (1998). Democratic evaluation. Evaluation, 4 (3), 261-277.Guba, E. y Lincoln, Y. (1981). Effective evaluation. S. Francisco, Jossey-Bass.Guba, E. y Lincoln, Y. (1989).Fourth generation evaluation. Newbury Park, CA.: Sage.Herman, J., Morris, L. y Fitz-Gibbon, C. (1987). Evaluators handbook. Newbury Park,

CA: Sage.Hesse, M. (1974). The structure of scientific inference. London, MacMillan.House, E. (1980). Evaluating with validity. Newbury Park, CA.: Sage.Howe, K. (1992). Gedtting over the quantitative-qualitative debate.American Journal

of Education, 100(2), 236-255.Joint Committee On Standars, (1988). Normas de Evaluacin. Mxico, Trillas.Keeves, J. (ed.). (1988). Educational Research, Methodology and Measurement: A Internatio-

nal Handbook. Oxford, Pergamon Press.Lewin, H.M. (1983). Cost-effectiven

Programas sociales_Google Académico

Documents

Transcript of Programas sociales_Google Académico