Evaluación. Un enfoque sistematico de los programas sociales

10 INDICE DE CONTENIDO

valorar la repercusión, 154. Notas técnicas acerca de las medidas delos resultados, 155. Estrategia "correcta" para valorar la repercusión,160.

Cap. 6. Diseños comparativos para valorar la repercusiónConceptos principales, 161. Valoración de la repercusión de progra-mas con cobertura parcial, 163. El azar en el establecimiento de lacomparabilidad, 166. Estudios no aleatorios: controles construidos,179. Estudios no aleatorios: grupos control estadísticos, 188. Diseñode intercambios, 202.

Cap. 7. Diseño de grupos unitarios para valorar la repercusiónConceptos principales, 203. Controles reflexivos, 204. Controlesgenéricos, 210. Controles espectro, 212. Una nota acerca de la aplica-bilidad, 220.

Cap. 8. Medición de la eficacia 221Conceptos principales, 221. Perspectivas en el análisis de la ubicacióndel recurso, 223. Componentes en el análisis costo-beneficio, 226.Metodología en el análisis del costo-beneficio, 229. Análisis de costo-efectividad, 241. Resumen de un campo complejo, 245.

Cap. 9. El contexto de la investigación evaluativa (7247Conceptos principales, 247. Cómo interpretar los resultados de la eva-luación, 248. Cómo reducir los conflictos entre el evaluador y los eva-luados, 255. Tiempo de política y tiempo de evaluación, 262. Papelque desempeñan las evaluaciones, 264. Epílogo, 271.

BibliografíaIndice onomásticoíndice analítico

CONCEPTOS PRINCIPALES

Eualuación integral: Análisis de la conceptualización y el diseño de las inter-venciones, verificación de la aplicación del programay evaluación de su utilidad.

Conceptualización y análisis Estudios de: a) la extensión y localización de los pro-del diseño: blemas en los cuales intervenir; b) la manera de de-

161

Programas,políticas

203

evaluaciones

273283287

La evaluación sistemática de los programas de acción dirigidos y organizados es fre-cuente en la actualidad. La investigación evaluativa es un área dedicada a recabar, anali-zar e interpretar información acerca de las necesidades, aplicaciones y trascendencia delas intervenciones con las que se busca la superación de la humanidad mediante el mejp-ramiento de las condiciones sociales y de la vida comunitaria. Las evaluaciones se reali-zan por motivos diferentes, a saber: para juzgar la valía de los programas en marcha ypara estimar la utilidad de los intentos por mejorarlos; para evaluar la utilidad de los pro-gramas innovadores y las iniciativas; para incrementar la efectividad de la conducción delos programas y de su administración, y para reunir varios requerimientos contables.Asimismo, las evaluaciones pueden contribuir al conocimiento teórico y metodológicode las ciencias sociales.

Al planear los programas de intervención social, la atención de la investigación secentra en la extensión y gravedad de los problemas que requieren intervención social y enel diseño de programas para aminorarlos. Al poner en marcha los programas de innova-ción existe preocupación acerca de si éstos abarcan las poblaciones objeto y procuran losrecursos, servicios y beneficios que se pretenden. Conforme las intervenciones se realicen,crecerá el interés acerca de si son efectivas respecto de la magnitud de sus alcances. Parala explieación y planeación futuras es importante considerar los costos en relación con losbeneficios y comparar el gasto que implica la intervención con aquellas estrategias alterna-tivas para ubicar el recurso.

Algunas evaluaciones son integrales y contemplan todas estas interrogantes,mientras que otras están dirigidas hacia algunas de ellas. En todos los casos, se busca larespuesta más válida y confiable posible, dentro de los marcos políticos y éticos, y laslimitaciones impuestas por el tiempo, el dinero y los recursos humanos.

12 CONCEPTOS PR1NCIPALES 13

finir los objetivos en términos operativos, y c) la posi-bilidad de la intervención propuesta.

Análisis del costo-beneficio: Estudio de las relaciones entre los costos y los resulta-dos de los proyectos sociales; el resultado general-mente se expresa en términos monetarios.

Andlisis del costo-efectiuidad: Estudios de las relaciones entre el costo del proyecto ylos resultados; la conclusión generalmente se expre-sa como costo por unidad de resultado logrado.

Sistema de aplicación: Arreglos organizativos, incluido el equipo humano, losprocedimientos, las actividades y las instalacionesnecesarios para proporcionar los servicios del pro-grama.

Inuestigación formativa: Pruebas de diseño y desarrollo para maximizar los éxi-tos de la intervención.

Eualuación de la repercusión: Evaluación de la medida en que un programa causacambios deseados en la población objeto.

Interuención: Cualquier programa o acción planeada pára producircambios intencionados en una población objeto.

Monitoreo: Valorizar si una intervención opera de acuerdo con sudiseño y alcanza la población objeto especificada.

Eualuación de la utilidad del Estudio de la efectividad (repercusión) y eficacia (cos-program a: to por beneficio o efectividad) de los programas.

Población objeto: Personas, familias, organizaciones, comunidades uotras unidades hacia las cuales se dirigen las inter-venciones.

Problema por resoluer: Condiciones, deficiencias o defectos hacia tos cualesse dirigen las intervenciones.

Con el apoyo del Departamento de Justicia de los Estados Unidos, se han dise-ñado programas para hacer más visible a la policía en un gran número decomunidades, con la idea de que los delitos contra el patrimonio y las personasse reducirán debido a la percepción de mayor presencia del cuerpo policiaco. Apartir de un programa se dieron a los oficiales vehículos marcados para que losusaran tanto en lo personal como en horas de servicio, mientras que en otro seincrementó el número de horas de cada policía en su ronda a pie. Estos esfuer-zos han tenido poca influencia en el campo de la delincuencia.En cuatro grandes ciudades de Estados Unidos, una importante fundación pri-vada ha costeado la operación de centros de salud en áreas marginadas. Estoscentros se han diseñado para reducir el costo de la atención de pacientes exter-nos, que ahora es ofrecida por clínicas hospital y puestos de emergencia, asícomo para ofrecer una alternativa a la costosa hospitalización prolongada. Enotras partes de Estados Unidos se han realizado múltiples esfuerzos para brindarcuidados médicos económicos a la clase desprotegida y para evitar el encareci-miento de la atención médica. Las evaluaciones sugieren que los centros de sa-lud comunitaria tienen una relacíón costo-beneficio más favorable que el de lasclínicas hospital.En un país latinoamericano, la educación por televisión se ha utilizado paraelevar el bajo nivel de alfabetización. Plaza Sésamo, un programa educati-vo para la televisión, fue creado mediante la modificación de la serie de tele-

visión Sesame Street, y se muestra en horarios accesibles para los niños enedad escolar. En muchos otros países se ha intentado transmitir programasde educación similares. La utilidad y eficacia de estos esfuerzos, en cuanto acostos y beneficios, no se ha determinado.En un centro comunitario de salud mental, en una ciudad de regular tamañoen Nueva Inglaterra, se ha diseñado un programa extensivo que se auxiliacon miembros de la comunidad local como consejeros de adolescentes yadultos, para atender problemas emocionales, educativos y sexuales. Com-paradas con quienes son tratados por psiquiatras y trabajadores sociales, laspersonas atendidas por estos trabajadores improvisados parecen estar satis-fechas con el centro, en lo que respecta a necesidades de hospitalización ymantenimiento del tratamiento. Estos resultados se mantienen aun cuandolas características psicológicas y sociales de la persona se tengan en cuenta.La CETA (Comprehensive Employment Training Act-Acta Extensa de Empleo yEntrenamiento) destina fondos federales a los gobiernos locales para promover elempleo, mediante proyectos de servicios públicos, entre desempleados permanen-tes. Muchos de los empleos y centros de trabajo son "poco usuales", comparadoscon las oportunidades ordinarias, disponibles a largo plazo, para personas sinempleo. De cualquier modo, los periodos de empleo de los trabajadores de laCETA suelen ser cortos, pues no duran más de un año. La interrogante medu-lar de una evaluación del U.S. Department of Labor (Departamento de Trabajode Estados Unidos) es si los empleos de la CETA encabezan o no las oportuni-dades de trabajo.Dos terceras partes de la población infantil mundial que vive en medios ruralessufren una parcial o total desnutrición que produce comprobadas consecuen-cias negativas para su crecimiento físico, estado de salud y desarrollo mental.En América Central se ha demostrado la capacidad para mejorar la salud y eldesarrollo mental del niño por medio de un complemento alimenticio. Mujeresembarazadas, madres lactantes y niños, desde su nacimiento hasta los 12 añosde edad, contaron diariamente con un complemento alimenticio que contenía unaalta concentración de proteínas y calorías. Los resultados muestran avance ensu crecimiento físico y un cierto incremento de sus funciones cognoscitivas.Una fábrica de manufacturas, en un intento por incrementar la producción delos trabajadores y la calidad del producto, ha reorganizado a sus empleados engrupos de trabajo independientes. En estos equipos, los trabajadores diseñan yasignan tareas, recomiendan metas de productividad y votan por la distribu-ción de bonos con el fin de mejorar la calidad y la productividad. A pesar de quelos resultados a largo plazo aún no se conocen, la información obtenida al veri-ficar el programa sugiere que se redujo el ausentismo laboral, los cambios y lasdemás medidas similares de ineficiencia del empleado.

Éstas son algunas muestras de la diversidad de programas de recursoshumanos emprendidos y evaluados con el apoyo de grupos gubernamenta-les locales, estatales y federales, de organizaciones internacionales, de fundacio-nes privadas y filantrópicas, y de asociaciones y corporaciones no lucrativas ylucrativas. La investigación para la evaluación, en cualquiera de sus tipos, es unatarea difícil. A grandes rasgos, se estima que sólo el gobierno de Estados Unidosgasta anualmente entre medio billón y un billón de dólares en programas de eva-

14 CAP. 1. PROGRAMAS, POLÍT1CAS Y EVALUACIONES BREVE H1STORIA 15

luación. No hay manera de estimar ios gastos internacionales. Únicamente en elcampo de la planificación familiar, el Banco Mundial ha identificado más de uncentenar de programas de acción social de diferentes magnitudes, que utilizanestrategias empleadas desde la década de los sesenta, en los cuales han participa-do ciudadanos de cerca de 25 naciones.

No hay necesidad de recalcar lo obvio: muchos seres humanos padecengraves deficiencias en sus vidas, éstas existen tanto en los países industrializa-dos como en las naciones menos desarrolladas. Los cambios que se necesitanpara mejorar las condiciones existentes, las acciones organizadas (generalmen-te ayuda humanitaria o programas de acción social) y el inicio de otras nuevas,a menudo se basan en programas diseñados para mejorar las condicioneshumanas —sin tener en cuenta la ubicación geográfica y el tipo de patrocinio-que conducen a conclusiones erróneas, mal juzgadas, mal aplicadas e inefecti-vas. Con el fin de distinguir los programas en curso útiles de los ineficaces ypara planear, diseriar e iniciar acciones innovadoras que repercutan eficazmenteen los miembros de una comunidad y su ambiente, es importante que los políti-cos, las instituciones, los planificadores y el personal del programa, den respues-ta a preguntas como las que siguen:

¿Cuál es la naturaleza e índole del problema que requiere acciones?¿Qué intervenciones se pueden efectuar para aminorar la magnitud delproblema?¿Cuál es la población objeto adecuada para la intervención?¿Llega a la población objeto la intervención iniciada?¿Se realiza la intervención de la manera deseada?¿Es efectiva?¿Cuál es su costo?¿Es compatible con su efectividad y beneficios el costo relativo?

Las respuestas a estas preguntas son necesarias no sólo para los progra-mas complejos y amplios —como la planificación familiar en un país o losesfuerzos para mantener los ingresos nacionales—, sino tarnbién para proyec-tos locales y especializados —como los que ofrecen entrenamiento laboral enmedios rurales o los destinados a incrementar la seguridad pública en las gran-des ciudades. Ofrecer las respuestas apropiadas es la función primordial de lainvestigación evaluativa.

¿QUÉ ES LA INVESTIGACIÓN EVALUATIVA?

Esta obra se puede iniciar con una definición simple del término evaluación oinuestigación evaluativa (se usarán ambos indistintamente): la investigación eva-luativa es la aplicación sistemática de los procedimientos de la investigación social,para valorizar la conceptualización y el diserio, la ejecución y la utilidad de losprogramas de intervención social. En otras palabras, la investigación evaluativausa las metodologías de la investigación social para juzgar y mejorar la planifica-

la—efettividad y la eficacia de programas sociales de salud,educación, bienestar comunitario y otros.

Nótese que esta definición no implica que los estudios de la evaluación siganuno u otro modelo, o una particular combinación de los diferentes modelos deinvestigación social comúnmente empleados. La investigación evaluativa formaparte de las ciencias sociales, sus profesionales son reclutados de entre la granvariedad de especialidades de éstas, y sus métodos son aplicables a la extensagama de paradigmas de la investigación social. Las evaluaciones son sistemáti-cas en la medida en que emplean las vías básicas para recabar válidamente prue-bas confiables. Éste es el compromiso de las "reglas" de la investigación social yla esencia de nuestra concepción del térrnino evaluación.

Al describir las actividades evaluativas, Cronbach y sus colaboradores(1980) puntualizaron lo siguiente:

El propósito de una evaluación es influir en el pensamiento social y laacción, durante la investigación o en los años subsecuentes. También esrazonable esperar influencias a largo plazo.La prueba se obtiene con base en la experiencia de un programa existenteo uno establecido para los propósitos de la investigación. Después delanálisis, los investigadores publicarán sus conclusiones conforme lasobtengan. Éstos deben documentar sus observaciones y razonamientosde tal manera que el lector comprenda cada conclusión.

3. La finalidad del evaluador es proporcionar una interpretación integral ydisciplinada. La intención es impresionar a personas con mente clara,incluidas aquellas cuyas preconcepciones o preferencias estén en contrade los resultados. Es más, la información obtenida sirve para quienesindaguen e interpreten en forma independiente.

BREVE HISTORIA

La evaluación sistemática basada en datos es relativamente reciente, coinci-de con el avance y refinamiento de los métodos de la investigación social y conlos cambios ideológicos, políticos y demográficos ocurridos durante el presentesiglo en Estados Unidos. Durante el cambio de siglo, el compromiso de la evalua-ción sistemática de programas en los campos de la salud pública y la educación,es diseñar las acciones para alfabetizar y ofrecer entrenamiento laboral, n-lediantemedios económicos y efectivos, y para reducir la mortalidad y el padecirnientode enfermedades infecciosas. Desde la década de los treinta existieron científi-cos sociales que se abocaron a aplicar los métodos rigurosos de la investigaciónsocial para valorar los programas (Freeman, 1977). El intento de Dodd parausar el agua hervida como práctica de salud social en las villas del Este medio deEstados Unidos, forma parte de la bibliografía sociológica etnpírica de la pre-guerra; los estudios de campo de Lewin y las investigaciones de Lippitt y Whiteacerca de la democracia y el autoritarismo en las hegemonías, han sido bienconocidos por los psicólogos durante varias décadas, y el famoso estudio de laWestern Electric (Compañía Eléctrica del Oeste) ha contribuido para que el tér-mino efecto Hawthorne se haya incluido en la ciencia social desde hace más demedio siglo (consúltense la obra de Bernstein y Freeman, 1975, para más informa-ción, v la de Cronbach et al ., 1980, para conocer una visión histórica diferente).

ciencias soclale_s. Sólo con todoslos.4oztólpggs y.los.científicos,dé

á.iOs•ienfizITSOs en el I

El entusíasmo actual aceréa delaPlánificacióride'elqUéiiiiisadualmente, des-cublerto por los organi s mos o las agenClkdel gobieritp,ied.eral.eltadoithidense, dioalgqnas ..4per.3pzas..cle que esta deficie.gclá se

de esas agencias y elatiertmentalel'pátlIol'eleiltífItó<0.11aléS,

lOs':édiacadores y los acirilinistrIcIOr .elqiié. Iliíe.dari.alro.Ve-char sus Investigaciones..

Es.os,laberatorio.s,sitteiin.iticos de las agencias planificador.es de la NuevaVesigclaci6WP.etMif.9n..-._411.rde'rnodp más efectivo el rnétodo eXp.érimental en los'PrOW"Ci01 -40-iti.i.rítjgatOn'tié lOs - cienríficolsociales. Estatr. tvestigaclon.:pqciría ser

pienCia,;;„sinótati5bién ..ütia-:foiffie:de aUclitóría-socialy.41511 .4¡.119&C4t.h.biell esta.

.bleeldos::..enloIprogtamás.tiárijOS$ajos a la gente de barriada ola gente debarriada ifiac e los

barnos lia)61i.j...-¿1Odifari'earnbiargenté-áféctada?

ayndar a contestar estas interesantes y desconcertantes preguntas.Los estuclios realizados por los sociólogos resazIan que los barrios bajos son los

puntos debiles de la civilízación industrial moderna'zErrlas areas de bárdos bajos deicolcentros,ffirbaros . estadounicienseme localizan grandes ....centros.de delincuencia,

evasi ón delrriptit,:..enferrileciades,nutriCión deficiente, insalubriclad y condiciones similares, junto con los gruposcaracterísticos de bandas de delincuentes y establecirnientos cle vicio. Estos..estable.cimléntos y condictones compendtan la llarnada vida de ViCi0 de los baridos bájos.

gente viviéra en conclieiones.saludables;:•¿pódlia -poiextsfiretidériCía.sieriferrnedád?,:ebiritiltIblijii7giiif.14,:detia.tiláda

entur.619......"',:¿klarmenotdoih0000k.IdépénderIcla y

16

17

1

Surgimiento de la investigación evaluativa

Hace más de 40 años, en Arkansas, un profesor de sociología informó de laevaluación de los programas sociales de nuevos convenios del presidente Roose-velt (New Deal) (véase anexo 1.1). Hacia los primeros años de la década de lostreinta, e incluso antes, la investigación social aplicada recibió un considerableimpulso; su empleo se incrementó durante la Segunda Guerra Mundial: Stouffery sus asociados trabajaron con el Ejército de Estados Unidos (Stouffer et al.,1949) para verificar continuamente la moral de los soldados y evaluar al perso-nal y la propaganda política. La Office of War Information (Oficina de Informa-ción de Guerra) usó muestras al azar para verificar la moral de los soldados. Almismo tiempo, mediante múltiples estudíos menores, se valoró la eficacia delcontrol de precios y de las campañas para modificar los hábitos alimenticios delos estadounidenses. Esfuerzos similares en el campo de las ciencias sociales seiniciaron en Inglaterra y otros países (véase anexo 1.2).

enf errnecli7d?, ¿esta seouro el . lettel? Sin r mh,agnJ,si g,ente...gué.,Vivcj en suburbios noes parecicla a la que vive ért ble-rics'bájos,vos; gcneralmente;:és má quela gentéde barriadá.:, 1profaho podrra

L1Wé La rilejor rnanera de resolveiéste problema' Welnuos élé clelincuencia, depenclencia, comIsión de"delitos grá.liti;17.-éViféirIedid

factores similares) característicos de una población dada mientras vtven en labarriada, con los índices sociales ,de LtIld misma población p, una similar después deVivir er-r -nri áMbier. ite 'rerióvado. ,de úna "cOmuniclad rnodelo.',E.Stó podría significar un

iudio"anteS y.'después.".;-;eri'óil-aS'Palabr,71s,emactas dl enfoqu-e expérsi-rienil lo euál permitirfá:kilee1.4bOts./aCiOneleiátitróla::das y conocer con mas preciSIón las Illférenéiasmtento social que tiene lugar en el arnt-)Iente social at'alterat'lat :elOndiet6néeleGraficarriente, se pcdría - tiansferir a una nlasa poblacional del tubo de ensavelíqukio A al tubo de ensaye .. 1:40110iditi;OVIO.ieákiiiiéjátiirre. r‘:

Ctertan-tente, los índicá :lOetáll's'sitedéiiillitieilá:iáiiiilnos nionetarlóstérminos de costo para el gobierno (costo de la delincuencia, comisióngraves;-- dependencia, protecciónpolielaca,.enifermedadV -factores snoilares) y unacorripat'actOridelOs.costOS para el obiériió que .0.reden.y siguen alátnudanza deLbaritO a uria cornun'Iclád rnOdelo cOn iikriiVeY ,SOC161¿Onórrilcó saO9rlóri. Especitica,rnenté, tales_prograrnas ptieden dé délitosves.•Loá coStbs por'delincúente y Por crimin u ádulto se pueden calcular y la difererh'..-cia en , coltos bajós Para el Estádó p,uede sersesultadode.gatluiar el programa. Sepuede .cáidúlar 'el costo'social difer.énciai..`enlas.i.Cir:;datás7nt1Was tOrnunIclades, lascuules: 16g-i¿árriente,-- se -góbiernó ysocieciad. Tal cuerpo de datoS puede Servir--cOrriótáll . pái"aieeábátápóyo financie-ro para prograrnas funtros.

Futute: .tutrttiz.trftin dc A. S. Strphan,"Prospect and PosibIllhes The NetV Dealancl

, .15,:págk"15 y 518., -

the NeLti SL n clal ItLe,earch", en Sttclal FOrCe nurn.

Anexo 1.2. Primeros experimentosen comunicación de masas

Para disenar programas de erientaciOn de la Armada astadounldense, un pro-blema f/ecUentemente deb¿Itielo fue el que sigue euando ny:evidencia ápoyaba latesis principal Oue se preentaha, ¿ere mas efeetiVio preseniki sólb los Materia lesque apc . v.lban 1 tema frata,io, o eta mejor iris luir tambien los argumentos opuestosal [ema en cuestián?

1. Los clos pre-,grarilas e.rnpleados_

fin el tiernpoen que Sr2 planeaba el experinientoprinciplos de 1945) la guerra .en Europa est¿ba por , trtninar y se infornló gue la moral de la Armada estadourft-

J..dense era atectacla adv,ersarnente,por.un - gran..oprOnismo-acercIde. uty:ftnal,án'tiadcl‘de la gúerra' en'el PaCífi'll:Se.Creó`tiria'Cijré,0191:,»)..a'AMiad‘kpala..1M-Wek

concepciiiír/ rie laorigin,5 un5?,ntrOyetsía.'1:14j4

pero liii iyoría de los expertos eri álüríteit'irtilltajeS^C)

18 •BREVE HISTOR1A 19

•en la preponderancia de los testlmonios que uno de los bandos. Porto, se esccgió a urrsujeto adecuado para la experimentacIón.

gi;t1

Los grupos estudiados

La investlgaciÓti:prelirnMar se aplicddiír.taryte1arimeia sernana de abril de1945 a ocho compahfaS cle entrenamlentó .delcOrnisa -riadó .de guerra, Una sema-na después, ocho pelotoneS:únó- es¿ogido proporcionahnente para-cada una delas'ocho compañías, escucharon el prográma 1 (el cual representaba sólo a unbando) durante sus reuniones'Individuales de . orIentación. r.:Otro grupo , de ochopelotOnes, escogIdosslmIlartnente, 'escUéhó . el . Prograrnáll (el cual representabaa ambos'argurnentOs). Inrnedlataniente'deSPiiés del programa los hombres Ile-naróri el Segundo cuestioñarlo;cón fin de'pernntir a la gente quechse3 -56 el pro-. . ,grarna conocer cómo los.hombres'pasaban dicho pro ,grarna, En este segundocuestIonarlo se Inclutan preguntas transiclonales apropiadas, algunas pertene-cientes-a la . Prirnera inyestidáélón, en las que .Se Inquirfa a la tropá c6k»esti ma-ha personalmente el tarnano...de la guerra del:Pacífic-d.',Un tercer grupde ochotropas sirvió como control; átn recibir nIngún programa. Llenó un cuestionarlosimilar durante sus reuniones de orientación, en . las cuales-, adernás de adtnints-trarse los cuestIonarios análogos acéréade la guerra del Pacífico, se formulabanlas'mismas interrbgantes-respecto a lo 'que ellos penSaban de , su reunión deorientación y qué 'podr'ían querer respecto . de sUs futuras reunIónes. Para los gru-pos_control, las últirnas preguntas, en vez de aquellas acerca de las transcripcio-nes, se - Presentbari a la troPa con el InIco proPásito del cuestionario.

Resurnen de los resultados

Presentar los argumentos desde ambos lados dc un problerna era más efectivo,que dar sólo los areumentos que apoyaban e1ptinto de vistá hecho, en el caso deindividtios.que iniciplmente.:se oponíon al:punto de yista:presentado..Pátálal.tiOpa convencida del punto que se presentaba la indusión dé argurnentosdesde arnbas perspectivas fue menos cf,xthia, - plara elgrtipo corno un todo, que pre-.sentar sólo los argumentos que favc.m.ecían la posIción general qüe se-abogaba.Los hornbres mejor educados fueron afectados más favórablernente por la pre-,sentaci.bn - de.arnbas ...perspectivas, • mtentras . ,que:igls.menós . edu.cados fueron másafettadós p6r la'écirOiMicación ert la'qUe».16.se usaron argumentos de apoyo.

FuPnte: Aciaptado, ton aut r ,r1, v-1,5n Cari 1 Huvland et ul , E,pertuwnt, 5 nk lus, CnrnrrunicdtIon '1 n ,1( 11/: Studlestn So ial I o h, 7L'In World WorIi Princeton Univer:at Pi,,,Pr ton rJueva

.›r , ey, 1 ,M9 r5g; 201 z25

El período que siguió inmediatamente a la Segunda Guerra Mundial fue testi-go del comienzo de programas de gran extensión diseñados para diagnosticar lasnecesidades de desarrollo urbano y vivienda, de educación tecnológica y cultural,de entrenamiento laboral de las actividades de salud preventiva. Durante estetiempo también se estructuraron grandes comisiones para diseñar programasinternacionales de planificación familiar, salud, nutrición y desarrollo de la comu-nidad rural. Los gastos fueron enormes y estuvieron acompañados de las consi-guientes demandas de "conocimiento de los resultados".

culos y libros acerca delas prácticas de la investigación evaluativa, creíó dramáticamente. La reví-sión de los méto~nvestigación evaluati'(7á de Suchman (1967), la mono-grafía de Hayes (1959ácerca de la investigáci evaluativ países menosdesarrollados y elltáf---nado de Campbelld(196) para e ectuar experimentos so-ciales, son buenos ejemplos. Según Wall-Stre'et, en Estados Unidos y en todo elmundo, la investigación evaluativa a finales de la década de los sesenta se habíaconvertido en una "industria floreciente".

En los comienzos de la década de los setenta aparecieron muchos librosacerca de la evaluación: un texto (Weiss, 1972), colecciones de lecturas (Caro,1971; Rossi y Williams, 1972), críticas a las cualidades metodológicas de variosestudios (Bernstein y Freeman, 1975) y una reseña de la discusión de las limitan-tes estructurales y organizativas para realizar una investigación evaluativa (Riec-ken y Boruch, 1974; Wholey et al., 1970). Los dos volúmenes del Handbook ofEvaluation Research (Manual de investigación evaluativa) de Guttentag y Strue-ning fueron publicados en 1975. La Evaluation Review, que comenzara en 1976,la leyeron amp/iamente los investigadores de la evaluación; en la actualidad existenotras revistas como: Evaluation News, Evaluation and Health Proffesions, Jour-nal of Evaluation and Program Planning y New Directions for Program Evalua-tipn. La proliferación de publicaciones y conferencias, las formación de unasociedad profesional, la Evaluation Research Society (Sociedad de investigaciónevaluativa) y las sesiones especiales acerca de evaluación de estudios en reunio-nes de grupos académicos y de profesionales son testimonios del rápido desarrollode este campo. Los esfuerzos para mejorar y reformar las actividades evaluativascontinúan aún. Como lo pensaron Cronbach y sus colaboradores (1980, págsN12-13), "la evaluación se ha convertido en la frontera viva de la ciencia social i -estadounidense".

Sin embargo, la historia puede confundirnos; si bien existe un continuo des-arrollo de la evaluación, un cambio cualitativo ha ocurrido. Todavía en los prime-ros días de 1967, la definición de la investigación evaluativa de Suchman (asaber: la aplicación de técnicas de investigación social para el estudio de extensosprogramas de servicio para la humanidad) era útil y delimitaba eficazmente elárea. No obstante, en la actualidad resulta evidente que la investigación evaluati-va es algo más que la aplicación de métodos; es también una actividad política y de

A fines de la década de los cincuenta, los programas de evaluación de granextensión fueron muy comunes. Los científicos sociales se ocuparon de evaluarlos programas de prevención de la delincuencia, los proyectos de rehabilitaciónde reos, los tratamientos psicoterapéuticos y psicofarmacológicos, los progra-mas de vivienda pública y las actividades de organización de la comunidad.Estos estudios se realizaron no sólo en Estados Unidos, Europa y otras nacionesindustrializadas, sino también en países menos desarrollados; como resultado,se incrementaron los programas para la planificación familiar en Asia, los denutrición y cuidado de la salud en Latinoamérica y los de desarrollo agrícola ycomunitario en África, incluidos sus componentes evaluativos (Levin et al.,1981; Freeman et al., 1980). Así, se amplió el conocimiento de los métodos deinvestigación social, incluidos los complejos procedimientos estadísticos y lasencuestas. Las cbmputadoras hicieron posible efectuar estudios muy extensosy realizar análisis estadísticos complejos.

Durante la década de los sesenta el número de

20 CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES BREVE HISTORIA 21

dirección, el umbral que conduce al complejo mlbsaico del cual emergen las deci-siones políticas y el lugar de su aplicación en la planificación, el diseño, la ejecucióny la continuidad de los programas para mejorar la condición humana. Debído aesto, la investigación evaluativa también necesita ser extendida, por lo menos enEstados Unidos, como parte integral de la política social y de las actividades de laadministración pública.

Costumbres sociales y actividades dela admínistración públíca

El entendimiento profundo del desarrollo de la superposición de las cos-tumbres sociales y las actividades de la administración pública requeriría nosólo observar el notable crecimiento de la población y la industria en EstadosUnidos durante la primera mitad del presente siglo, sino también analizar cuidado-samente los cambios en los valores sociales relacionados con la responsabilidad deprocurar el bienestar a los miembros de la comunidad, desde los voluntarios ymiembros de la familia hasta los grupos públicos. Por lo menos, sería importantetener en cuenta lo más sobresaliente.

Surgimiento del papel gubernamental

Primero, como destaca Bremner (1956), ofrecer servicios humanitarios antesde la Primera Guerra Mundial era visto como una responsabilidad personal. Losbeneficiarios de las sociedades locales de caridad, constituidas principalmentepor voluntarios provenientes de las clases más privilegiadas, eran la gente humil-de, los inválidos física o mentalmente y las familias con problemas. Nuestra ima-gen de esos voluntarios como damas de edad avanzada o ricas que cuidan a niñosen canastas, es sólo un poco exagerada. Junto con las asociaciones cívicas ylos "hospitales de caridad", los asilos del condado o del estado, las escuelas públi-cas estatales, las escuelas normales estatales y los albergues para ancianos, losvoluntarios eran el baluarte del "sistema" de servicios humanitarios.

En segundo lugar, el gobierno, sobre todo el federal, era comparativamentemás pequeño antes de 1930. Había pocas iniciativas nacionales para atender lasalud, la educación y el bienestar y, por lo tanto, no era necesario un ejército deburócratas. La sola idea de gastar billones de dólares del presupuesto federal enla investigación de la salud, podría haber desquiciado completamente al gobier-no de la década de los arios veinte. El apoyo federal a la educación pública erainsignificante; en la actualidad, desde Washington se le destinan, en seis meses,más dólares que durante toda la primera década de este siglo. La extensión y eluso de la información social y económica muestran la poca importancia de lasoperaciones de los programas de gobierno. Lynn (1980) registró que, aun a fina-les de la década de los treinta, el gasto del gobierno federal por concepto deinvestigación en ciencias sociales y estadística, fluctuó entre los 40 y 50 millonesde dólares, y hoy día se gasta 40 veces más.

Finalmente, los servicios humanitarios y el gobierno operan con normas dife-rentes. Los funcionarios clave en el gobierno y aun los empleados ordinarios seseleccionaban sin un criterio de competencia objetivo; de hecho, existían pocas

formas de determinar la competencia de manera realista. Los servicios profesiona-les civiles eran sólo una parte de lo que ahora son, muchos empleos no requeríanconocimientos técnicos y había pocos programas formales de entrenamiento. Másaún, como las actividades públicas eran comparativamente menores, existíapoco interés acerca de lo que hacía el gobierno en cuanto a los programas de ser-vicios sociales. La manera de operar de la burocracia hizo más difícil la solucióndel problema; por ejemplo, el Federal Freedom of Information Act (Acta de liber-tad de información federal), que permite el libre acceso a los documentos delgobierno, es comparativamente reciente.

Desarrollo de los programas

Los servicios humanitarios se incrementaron rápidamente con el adve-nimiento de la Gran Depresión y, por supuesto, con las acciones del gobiernoantes y después de la Segunda Guerra Mundial. Debido, parcialmente, a las di-ficultades que acompañaron a este acelerado crecimiento, hubo una fuerte pre-sión para aplicar los conceptos y las técnicas de la tan nombrada administracióncientífica, así como para que fuese apreciada por la industria. Estas ideas primerofueron manejadas por la Defensa y luego por otras organizaciones gubemamenta-les, incluidas las agencias de servicios humanitarios. Los conceptos y procedimien-tos de planificación, control de calidad, contabilidad y, poco después, las máscomplejas nociones del análisis de la relación costo-beneficio y los sistemas demuestras, se convirtieron en aspectos importantes en el área de recursos humanos.

Al mismo tiempo, individuos con entrenamiento en ciencias sociales, parti-cularmente en ciencia política, empezaron a utilizar los conceptos y procedimien-tos mencionados para comprender la toma de decisiones políticas, organizativasy administrativas en los departamentos ejecutivos y otras oficinas gubernamenta-les. Simultáneamente, los economistas perfeccionaron los modelos de planifica-ción y toma de decisiones y mejoraron las teorías macroeconómicas (Stokey yZeckhauser, 1978). En parte, el interés de los científicos sociales en el gobiernoera puramente "académico"; querían conocer cómo trabajaba el gobierno y unaexplicación de la dirección de sus actividades; sin embargo, sucedió algo más:algunos reconocieron que sus conceptos y métodos podrían facilitar y mejorarlas operaciones gubernamentales y las que ellos documentaban.

Asimismo, quienes ocupaban puestos de dirección en las oficinas guberna-mentales probaban las maneras de relacionarse con sus grandes equipos de trabajoy con sus altos presupuestos, y reconocían la necesidad imperante de ordenarlosde acuerdo con sus responsabilidades políticas, administrativas y de programacióny planificación. Finalmente se convencieron de que los conceptos, las técnicas Y,algunas veces, los principios de la economía, la ciencia política y la sociologíapodrían ser útiles. El estudio del sector público creció y se convirtió en una especia-lidad que se conoce comúnmente como ciencia política o análisis político.

Conforme el gobierno federal se tornaba complejo y técnico, no podía sermanejado por personas contratadas aparentemente por su inteligencia, o porsus relaciones con protectores políticos, parientes o amigos. Muchos empleosadministrativos medios y una gran cantidad de puestos ejecutivos superioresrequerían habilidades técnicas específicas y quienes los ocuparon necesitaron

22 CAP. 1. PROGRAMAS, POLITICAS Y EVALUAC1ONES

23

entrenamiento o una vasta experiencia para realizar su trabajo competente-mente (véase anexo 1.3). Las contrapartes locales y estatales de las oficinasfederales se expandieron de manera similar, estimuladas en parte por la iniciati-va y fondos federales y porque también necesitaban personal capacitado. Losdepartamentos de ciencias sociales de las universidades proporcionaron algu-nos de los recursos humanos necesarios para ocupar los puestos en el gobierno,y también entrenaron nuevos investigadores. Actualmente, en respuesta a lademanda de "tecnócratas" por parte del gobierno, las escuelas de administra-ción, salud pública y trabajo social comenzaron programas para satisfacer lasnecesídades en cuanto a ejecutivos y técnicos; y las escuelas especializadas,generalmente con carreras de "administración pública", se organizaron yexpandieron. En suma, surgió una nueva categoría de profesionales.

Anexo 1.3. El origen del análisispolítico

El creorniento estahli:ado en el narnerc>, la vaneclad, la complctdad y lairnportancia social de los problemaspolificos queafrontaba eI gobierrio estadou-nidense incrernentó las . demandas iriteléctuales dé 'algúnas autoridades y sussubiírdinados:. ¿Qtié pbsición debería tornarse respecto de seguridad nuclear, elernbarazo en-addlescentes, la declinación urbana, el incremerrto de costbs enhospitales, el desempleo entre la juventud negra, la violencia entre'esposos yhadia los niños, y la disposición de ..aguas tóxicas? Mtichósfde los- sujetos qu'e noparticipaban en eáios problenias no estaban éti la agericia pública-20 años atrás;sin embargo, son problernás Prioritarios ahOra, y algún problema , nuevo d,ecárácter sirnilar surge irttialmente cadá año Para muchos oficiales electos y,para sus eguipos, tales interrogantes escapan a su juicio y experiericia previaCorno la'cuestión no se puede dejar a un lado, las auto/ idadesdii gohkrnc> espe-rán negOCiar su responlabilidad y eficsencia.

Para ayudarlos a pensar y decidir acerca de la rnaterla, las autoriel¿Ides hanLlependido de la extensión del conocirniento derivado de Id investsación, el análisispolítico, la evaluación deprograrnas yla estadística para inforrnar o arioyar sus pun-tos de'Vista. ,En el pasado;: los oficiales electos en las . diversas'ramas del gobierno,desCle los juzgádoi-federales hasta lós hornbres de piOvincia, citaban eátudios, datosoficiales y su opinión experta en por lo menos justificaciones parciales de sus accio-nes.' En las últsmas décadas; su personal se ha incrementado en tamaño v responsa-bilidad, incluidb el creciente núniero de gente entrenada o familiariztadit con-técrucas analíticas para recabar y evaluar- la inforrnación. Se e:t,ta efectuando unmcrernentO en la investigación, el análisis y la Captura de datos., ,

Dt_bido a que el poder de influir en la política CSta muy con-iparticlo en elnia de gobierno .estadounidense, las autoridades-buscan marupularla, - o sea,

phtcticar bien el juego político, pero' deben ser':muy rierivasivos. Debido alcarácter cambiante de IOSProblernas'políticos, es probablé que haya necesidad

ser más Persuasivo de lo eomún, El ser accesible, amable e inteligente en el"rodar y negoclar n influye menos, relativarnente, que tener un conocimientogeneral y pensarmento agudo, tener habílidad para hacer sugerenCias y.dar.solu-ciones qüe- puedan atraer,una secuéncia amplia, o que téner reputación-de crín-co bien infórmado. Los colaboradores del présidente cada día ejercen menosinfluencia en los clebates políncos, en lo que T10 pueden conseguir beneficios ocuendo sus ideas y argurrkaltos son carnblados e‘ ..itosamelialpoPlós expertos cie

la oposición. De hecho, la orelen cletalladá , y general : e,,Iliproblema Suele ser un

1

rnanclato. Los legisladorelrequieren:ejeciitivos,expeRdSlentOsiprogratnas,ypro-Uleinas bal,) tilliliridi¿éi'O 'n—, ::.á la v e z .qiielóS jUlCi'ciá .:Wqri-iiiln:PrúébaS detallad ás

. de las decision:eS administrativas que no sean arbltrarias 9 caprichosas. Por su.- parte, los oficiales del' Oresupuesto demanclan evaluaclones de programas que

se.an positivas,st el PUblico déseá rnejores explicadones. Ast, el proceso dlnáml-co . que enfrenta dondegtilera el ..siStema acercableinassocialeS PerCeptiblernente.:(ss nOes'Oue ldrainátleamente) 1.iii4r-i‘ Ci:Iiiiénte:do las exigencias' dela Competencia sustantiva y adminIstrativa en la ejecucióri .de las responsabiliddes-públIcas

. ,. _,:,,,,Fu,ill,naté: .11,(:,pdn:t;, i 5.0ov, c ,_,,n,dut L nce 1~o n izac 1 ,5 rd de aure E. Jr Désign!ng Public PolicY, Sc'DttF ,,,tnl , • -

, .. ,., ' 1.-'/ ••=,--,1,

La institucionalización de programas de análisis político y de administraciónpública en las universidades, ha mantenido el impulso de las actividades interre-lacionadas de la ciencia política y la administración pública. Los conceptos ymétodos de las ciencias sociales se han convertido en la parte medular de los pro-gramas educativos que formaron a muchos de los funcionarios públicos y losdirectivos de la programación; además, estos programas acentuaron el entrena-miento para la investigación evaluativa. La importancia de las evaluaciones esreconocida actualmente por quienes desempeñan papeles políticos o ejecutivos;por ejemplo, la oficina de Contabilidad General, dependencia "guardián" delCongreso, estableció un instituto de evaluación especial, en 1980, en respuestaal interés de los congresistas en la conducción de programas de valorización. Lainvestigación evaluativa empieza a ser algo más que un asunto académico aisla-do, pues ha tenido éxito en las actividades de la política social y la administra-ción pública.

Por último, cabe hacer notar que en los últimos años se ha cuestionado seria-mente la continua expansión de los programas de gobierno, ya se han incremen-tado los requerimientos de efectividad y eficacia (Freeman y Solomon, 1979) ylas auditorías de los gastos gubernamentales. Referendums como la Proposición13 de California (la cual limita la recaudación de impuestos locales) y las leyessunset (que estipulan la suspensión inmediata de los programas inefectivos) hanincrementado la demanda de evaluación sistemática (Adams y Sherman, 1978).Paradójicamente, los políticos y fiscales conservadores, a menudo escépticoshacia los métodos de la ciencia social, apoyan a los defensores de la expansión delos programas de acción social que se necesitan para atender la información quela evaluación puede proporcionar.

La evaluación debe reconocer la importancia de la embestida de los nuevostíempos en Estados Unidos. Los esfuerzos para controlar la inflación y revivir unaeconomía con déficit continúan mediante la restricción de los gastos federales,incluidos, por supuesto, los destinados a los programas sociales. Una posturasimilar se manifiesta en muchos estados y ciudades; las reacciones estatales ylocales contra la inflación suelen ser particularmente severas. Esto no es una sim-ple consecuencia de la desconfianza, de la hostilidad y de las acciones políticas delos miembros de la comunidad, desanimados por los gravosos incrementos de losimpuestos sobre los ingresos y las propiedades, sino también es causa del descon-

24 CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES LAS EVALUACIONES 25

tento que ha producido la larga serie de programas promovidos por políticos,planificadores y funcionarios públicos desde la Segunda Guerra Mundial. Evi-dentemente, la elección de Reagan para la presidencia, ha sido vista como unamedida para reducir, o por lo menos reorganizar, los programas sociales y huma-nos. Las elecciones recientes en algunos países de Europa Occidental sugierenque esto se ha convertido en un fenómeno común.

Dado el curso de los tiempos, cabe esperar un escrutinio de los programasexistentes, así como presiones para suspender o desechar aquellos que ofrez-can una evidencia limitada de eficacia y de la eficaz prestación de servicios. Almismo tiempo, las evaluaciones serán necesarias para valorar las alternativaseconómicas de los programas reducidos o abandonados y para revisar susmedios de aplicación.

Estado actual de lainvestigación evaluativa

El florecimiento de la investigación evaluativa seguramente se basa en losesfuerzos de los científicos sociales comprometidos con estudios técnicos ycomplejos destinados a lograr un cambio social progresivo (Berk y Rossi,1976); sin embargo, quienes están cerca de la "línea de fuego" (los legisladores,el planificador, el administrador del programa y el ejecutivo de la fundación)constituyen verdaderamente el vehículo de la investigación evaluativa, puesson los responsables, en primera instancia, del amplio crecimiento de la activi-dad evaluativa. Su disposición para ordenar su desarrollo político e instrumen-tación continuará siendo la mayor influencia en la dirección de los trabajos de lainvestigación evaluativa.

No obstante lo anterior, cualesquiera que sean los valores sociales, las metasy los objetivos de quienes ocupan puestos importantes, es indispensable tenerinformación acerca de la eficacia del programa y sus costos para aclarar el proce-so de toma de decisiones que dirigirá el diseño y la ejecución de los programas ylas políticas sociales. El producto de la investigación evaluativa —su trabajo prác-tico— ha alentado el crecimiento tan notable de este campo.

CONS1DERACIONES GENERALES ACERCADE LAS EVALUACIONES

Las evaluaciones se pueden emprender por varias razones (Chelimsky, 1978):con propósitos administrativos y de conducción, para valorar la efectividad delos cambios de un programa, para identificar los caminos diseñados para realizarintervenciones o para satisfacer los requerimientos contables de los grupos deapoyo. Dichas evaluaciones se pueden efectuar con propósitos de planificación ypolíticos, para probar nuevas ideas acerca de cómo afrontar los problemas huma-nos y comunitarios; para decidir si se expanden o suspenden los programas, ypara defender un programa que se opone a otro. Finalmente, la evaluación se pue-de emprender para probar una hipótesis particular de la ciencia social o un prin-cipio de práctica profesional (el programa particular estudiado para este casopuede ser, principalmente, un problema de conveniencia).

Para cualquiera de tales propósitos, la clave es diseñar y poner en marchauna evaluación tan objetiva como sea posible; es decir, que ofrezca una valoriza-ción firme y que no cambie si la repiten los mismos evaluadores u otros.

Elementos de la evaluación

La extensión de cada evaluación depende, por supuesto, de sus própósitosespecíficos. Más aún, la forma en que las interrogantes de la evaluación seanformuladas y los métodos de investigación adoptados dependen del programaevaluado de una intervención innovadora, de una modificación o expansión deun esfuerzo existente o de un programa bien establecido para las actividadespermanentes de los servicios humanitarios.

La evaluación abarca varios grupos de actividades relacionadas. Es útil dis-tinguir tres grandes clases de investigación evaluativa: el análisis relativo a la con-ceptualización y el diseño de las intervenciones, la verificación de la puesta enmarcha del programa y la valoración de su utilidad. Aunque no siempre es posi-ble hacer todo esto, la evaluación de muchos programas sociales necesita incluirestas tres clases de actividades; las evaluaciones que los hacen se Ilaman evalua-ciones integrales.

Un análisis detallado de las variaciones en las estrategias evaluativas, relacio-nadas con los tipos de programas, es el tema cenral del capítulo 2. Aquí se estu-diarán, en términos generales, los tres elementosde la evaluación y se listarán lasinterrogantes más importantes de cada una.

Diseño y conceptualizacióndel programa

Las intervenciones, sobre todo durante la planificación y durante toda laexistencia del programa, se pueden considerat como solución de problemascomunales percibidos o incipientes. El origen un programa social es el reco-nocimiento de un "problema social" —es decir, rn conjunto díverso de defectosen la condición social y humana— y la intención de realizar acciones objetivas yorganizadas para resolverlo. Por ejemplo, la trascendencia de un programapara desarrollar las habilidades educativas, generalmente radica en el reconoci-miento de que un número significativo de personas, en una población dada,muestra deficiencias en sus habilidades para la lectura y las matemáticas. Unprograma en funciones se puede justificar por la persistencia de algún proble-ma social: en las escuelas preparatorias la educación automovílístíca recibióapoyo del público y está sujeta a evaluaciones debido al continuo y alto índicede accidentes automovilísticos, sobre todo entre conductores adolescentes. Enel capítulo 2 se analizan las relaciones que hay entre la ídentifícación de proble-mas, el diseño y la planificación de programas las actividades evaluativas. Asu vez, en el capítulo 3, se examina el "diagnóstico" de las actividades evaluati-vas, esto es, los conceptos y procedimientos que permiten específicar un proble-ma social y la manera de mejorar los diseños de las intervenciones apropiadas ysus evaluaciones.

Interrogantes en el diseño y la conceptualización del programa

¿Cuál es la extensión y localización del problema por resolver, de la pobla-ción objeto o de ambos?¿El programa está diseñado de acuerdo con los objetivos?, ¿hay una explica-ción coherente, que lo apoye?, ¿existen posibilidades de que su aplicaciónse,a óptima?¿Cuál es el presupuesto asignado o estimado y qué relación tiene con losbeneficios y con la efectividad?

El monitoreo y la responsabilidad porla administración del programa

Existen muchas razones para verificar los programas. Primero, la adminis-tración y el manejo de los programas de recursos humanos requieren eviden-cias empíricas acerca de su costo y de las estimaciones tomadas. Cada vez másexiste preocupación por la carencia de información acerca de la responsabilidadde los programas, particularmente de los públicos. Segundo, no hay punto decomparación con el resultado de un proyecto particular, a menos que tomaralugar y sirviera adecuadamente a los participantes.

Muchos programas no se ponen en marcha de acuerdo con su diseño origi-nal. Algunas veces, el personal no se haya disponible o el equipo está descom-puesto; otras veces, el personal puede ser prevenido políticamente o por otrasrazones para abstenerse de actuar. Algunos miembros de los proyectos sonnegligentes o no tienen motivación, o de plano no saben realizar las tareas enco-mendadas. En otras ocasiones, aun la estimación errónea del presupuesto o lamisma inflación lleva a los integrantes del equipo a modificar sus esfuerzos.Otras veces, los participantes del proyecto no existen en número suficiente, nipueden ser identificados precisamente o no cooperan como debieran; porejemplo, en ciertas comunidades, se han aportado fondos para desarrollar pro-yectos en los cuales los participantes se identifican como niños con problemascardiacos hereditarios. Sin embargo, para algunos de esos proyectos, la partici-pación de gente de la comunidad ha resultado tan costosa que los fondos soninsufícientes para el tratamiento.

El monitoreo puede alertar al personal del proyecto acerca de tales proble-mas, al dar una explicación sistemática acerca de si se efectúa o no el programa,si opera de acuerdo con el diseño, y si alcanza a la problación objeto específica.Como resultado de tal evaluación, el equipo del programa de desayunos de lasescuelas de la ciudad de Nueva York descubrió serias deficiencias en sus servicios(véase anexo 1.4). El monitoreo y la responsabilidad se analizan más detallada-mente en el capítulo 4.

26 27

Anexo 1.4. El repor-te del monitoreo delos programas de alimentación grattata

El iiiI del menitoreo tuvo cons htuido pcd- uitint lo on \periuncIJ enclacación; nutrición e invesngación. y los serviciesa la niñez efectuaron yisitas a las

cscuelas de la ciudad de Nueva York parad rihir el programa de desayunos gra-tuitos. Se seleccionaion 2 1 CSCLICL1S de Ill1CVC dl q tritos y se entreVistóa los integran-.tes del equipo escolar .de manera informal. Los monitores observaroriel salón de

sayunó Y las cotidicioiic de trabajo en la cocina; aciernás Se'ánalizaron 1322cuestionarlol de los trabajadótes saíóri de desayunos.

En marzo de 1975, en Nueva York hubo un total de 1 292 esclielasinstituciones que sirvieron un promedio de 537 359 desaYunos diariarnente; de

ésos, el .90%era grattiltd. Hasta Unales de 19.75;no se habíariredticido préCios en c Iprograma de .alirnentacióriescolar de la'ciudad de Ntieva Yóik, "perdya sé há hechoen respuesta a la legislación federal qú lo di. u anda. Cerca del 57% de los niñoS Ins-critos én escuelas elemenHés y ecundaririsson elegiblespara el desaYuno gratuito.de ellos, el 87% partic,pa en 1 prOgrarna Cle desayunoS estólares. Si la reclücción deprecios estuviese disponible en lós de cáyunoS,los monifores .estirharían que, conbase en ercenso de 1970, quedabán ai in elegibies 250 000 rtifiós aspirantesa ella.

Cc)n-lo en )unio de . 1975,22 de los 32 distritos escolares comunitarios s'irvie-wn un promeclio de 63 838 desayunos diarios en-365 esCuelas. Sólo el 13% delos niñós elegibles 'en /a ciudad de Nueva Y ork reCibieron .delayunb áratuito. Porlo menos-400 000 de los Otros, que ahora ton. Mr1 .desayuno gtatutto, son elegi-.bles para él, pero no se les sírve.n.

Administración del prograrna

Los modlitores Cf1C0 ntraron que la distribucrán centralizacia de alunentos no esri,'oesariamente la más barata ni la rnanefatiliás eficai-cle proporcionar alitnento a

niños en edad escolar. Durante sti visita aTas esetielaS,-los monitores observaronqu é el alimento compraclo al rnayóreo por medio delá Oficina de Desayunos Escolares frecuentemente era más costoso cle lo que podía haber sido en el mercacio

por eiemplo, el pullo ccaliprado por medio dela Oficina costó 0.67 dólare.s elmedio kilograrno, rnientras que el precio en el ínercadolOCal era de 0.47..clólares.además, las escnelas oficiales se quejaban de,que la Oficina pdgdb¿i por grandesentregas de productoS onlenados o que se podrían

Cuíidocl de los alimentos

Erigenexal. los rumlitures estaban poco satistechos ncon la apaliecia y elsi delbs alimentos servidos en esos programaS. Ellós cálificarb¡i la,COMida

Lle sólo iieá cil:los 14 prógizimas cle. desayUnoS Yjde‘. 12 deicil'á0.:Prograinal de' al-n-iuerzb viSitáCiós;".cOrno ',`Apetitosa en Cilátrodesaytmos y en 10almuerzos s¿lbía bien. EncOntraron "hot dogs7 corí hongos y¿Jgrios . los frijoleS; así como mezclas inidentificableS de arroz y carne, rollosantargós, verdüras pqdridas y otros pi itillos poco apietitoSdS.MaChbs :Idé lós pro-qrarnas cle almuerzos v casi todos los desavurios no ofrecían . álternativas -en el

Algunos monitures inform¿Iron que había idna'gran parte dé niños mayotes gui. iurm cuandof,tio les gv,istaka el ciesayuno,.dejaban pocos residuos.

11

28

29

Plani,ficacián t distribucián del utenú

Las escucla s. no distributan niena ¿Implja o regularniente. Ni los padres ni losniños,conoeian el n lenü _con anticipación, ni I azron consultaclOS,para planificarlo,

n111-111Cji:ié aacitaéllOS lo osigieron en algunos escu,z'as r: Los monib9J-éS, --„notar9n .que enuna eseuela del lado (301-inferibib'de Esbados Unicios, iosplanificáión del ns un conel riáSultadb de gLIC ta.e;euela sers4M.A,, nutritivos,'Nó se hiclercin praviSiones en cuantóa'dietas espétiales.b. plobJer,as.„ „Atinque 10-.trabajadoiéS en el otainedOr -clljerqn Iiii .Oi .frecuentériteritelabían las pre-fer'encis dé. loá errvéz.dela,¿citadi ia, que ouna rt:banada extra cle:Pán paya que hiciesen emparedados—, fueron incapaces deinfluir en la (21aboraciÓn'fiel

Atmásfera en el cornecior

Ntuchas escuelas contaban coipócos recursos a qi'andes canti,clades de niños L.Os. comedores y los hórartos de sertitctiti algu-vccesrnuchos c'e4tie.,'¿1?ir'élt,y'tért.ritáírié'.10con sus abrigos (o

jimentos y para . salir a recrei¿orrita réstiltádo quejaranrtkilláornida o dietan_dejutIlr;17tiTSJ:tHir, c nDll lo que la atnaósterá.'re hacia demasiado rüldogi"e inconfopara aquellos que aün comían, Existía Lina cintldad signlficativadebasuraymu

--,:txtescuelás:eyan catalog;-tdas 'COMO-dotadasy los plsoS COnio iás áreas alrededor deló é basüil.eá

atcstacas, m)entras que en cytras

Sepcirgtián cle gülenés recibían el.gratuíto de /us cierlitís ustucliontes

Ekistta evidencia r de'que los-niños •:que recibían gratuitomonte el almuerzu yaqueililue, pagaban porél odlevaban ersuyo sé S-eparaban. De las ecuelas vlsita-das qUe seriiían almuerzos gratuitos y paqados, la rnitad separaban a los niños queno pagzHn, manbanían filas diferentes, rnesas sepandas yío usaban boletos en vezde dinero.

Tt 1, 1 5 I Oç Fi s,dniufu pus 0111,2 1` ,/u York CIty,Iln,1-5t1,n 11,r 1ril d U

Interrc,gantcs dcl prograrna cle verificación

¿Aharcd (21 programa a la p J. 1 acu nobjetooaJ ra. objetivo es¿Se:realtzan los csfuer¿os de irderjOri .élti'Cbirilsp'.1s0Cifi el diseño delprograma?.,

Valoración de la utilidad del programa

Obviamente, es importante conocer los grados de repercusión del programay sus beneficios en relación con los costos. El primero es la efectividad o repercu-sión del programa, y el segundo, su eficiencia (en el capítulo 8 se analizarán elcosto-efectividad y el costo-eficiencia).

A menos que el programa tenga una repercusión demostrable, es difícildefender su puesta en marcha y su continuación; de aquí la necesidad de valo-rar la repercusión. Sin embargo, el conocimiento de la efectividad es insuficien-te en la mayoría de los casos; los resultados o la repercusión se deben estimarcontra los costos iniciales. Algunos programas pueden no contar con apoyodebido a sus altos costos en comparación con su repercusión; por ejemplo,algunas universidades al afrontar problemas de'presupuesto, han finiquitadosus programas de asesoramiento a los estudiantes, debido a sus altos costos yligeros resultados. Otros programas pueden ser ampliados, retenidos o termi-nados con base en su costo comparativo; por ejemplo, los resultados acerca dela repercusión del cuidado institucional, en oposición al comunitario, para ado-lescentes infractores sugiere que los programas comunitarios son preferibles,debido a su bajo costo. La necesidad de determinar la relación de tales costos yla efectividad requiere una valoración eficaz.

Valoración de la repercusión

Valorar la repercusión permite medir el grado en que un programa originacambios en una dirección deseada, lo cual implica que existe un conjunto demetas específicas definidas operacionalmente y criterios de éxito. Un programacon repercusión permite lograr cambios o movimientos hacia los objetivosdeseados. Estos objetivos pueden ser de comportamiento social (como los delos analfabetas funcionales con nivel bajo o las deficiencias nutricionales entre losnirios), de relación con la comunidad (como los que reducen la frecuencia de cier-tos delitos) o físicos (como los que reducen la contaminación del agua o incre-mentan el número de viajes en autobús para conformar un horario).

Para realizar la evaluación de la repercusión, el evaluador necesita un plandestinado a recolectar datos, con el fin de demostrar de modo persuasivo que loscambios están en función de la intervención y no pueden ser explicados de otramanera. Los planes específicos para valorar la repercusión pueden variar consi-derablemente: algunas veces es posible usar diseños experimentales clásicos enlos que existen grupos control y experimentales, los cuales reciben tratamientosdiferentes y se constituyen por medio de una selección al azar. Las estrategiasbásicas para analizar la repercusión se encuentran en el capítulo 5, y los experi-mentos aleatorios se estudian en el capítulo 6.

Sin embargo, por razones prácticas a menudo se requiere emplear enfoquesestadísticos en lugar de experimentos verdaderos. Los experimentos no aleato-rios y los métodos no experimentales se utilizan comúnmente en la valoración dela repercusíón. Con el cuidado y las calificaciones apropiaclos, tales dise'ños noexperimentales pueden dar una estimación razonablemente firme de los efectos.Esos diseños se analizan en los capítulos 6 y 7.

30 CAP. 1. PROGRAMAS, POLITICAS Y EVALUAC1ONES

31

Las evaluaciones de las repercusiones son esenciales cuando existe un inte-rés en cualquiera de los casos (comparar programas diferentes o probar la utili-dad de esfuerzos nuevos) para reducir un problema comunitario particular. Unejemplo a este respecto es la evaluacón de un programa para optimizar el des-arrollo psicológico en niños (véase el anexo 1.5).

AfleX0 1.5. Cttidado infantil diurno

¿Asisteii. los infantes a:uri centro grupal de cuidado bien ideado, educativo y.xesp gnsablelos cinco días . dé la sernana, clurante un poco más de 100 áeinandS

qüe muestran:diferentes patrones de,desarrollo psicológico en transcurso o alfinal de ese periodo, cuando. se Compara con ninos dél rnismo sen.y.anteteden,tes familiares que son relegádos en el context() ,sociar familiarnoreste de Estados .Unidos?le Una investigaCión a largo.plazo se di senO para-valurar los efectos psicológic,os.

un prograrna experirnental realiza clo acerCa .del rno de niñOS entre láladades ..de y 29 . rneses..-.LOs'sujétos'fueráñ-Chitias'9...Caitásicos defárnilias delaclaSe- :frabajadórá' vinediá;-'161 . Ctiales ft.jeran Cutdadól:Paitist grüpo de asistenéla,ocial especial 'en un centro, duránte de la sernana; el gru-po control principal estuvo constituido rd1-11MC relegadéks totalmente. a su . casa ycomparables cOri los niños experimentales en tii , rminos de sexo, clase socia19 rela-ción étnica.

La cuestión central que pr(Y.'0 n16 la investigación se puede contestar COIlclerta,eguridad: atendey ith centro de cuidzIclo cliunto con empleadosaclultos conscientesy educativos duranteios 2.5 a .ños nu;pareciti et ,ear ult perfil psicológico 'diferentedel crado por la permaneriCia en el:hOgar ,de lOs'nifícis control. Esta concluSión sebasa .na ..sÓló . en'la . .vatoración tárribtérferflas pbsertracioná.triforrnalesde las'rtiñOS durarité él periddci'de 2� añOs. nci ¿onfirm.— an :It'atias rtocto-.. • . . •nes cpriáticlas acerca de Ids grupos de culd¿Rio. Aunque esrazonable presurnir que

encúentradiari .o'Con otroSioños durante los pnmerus doS arios podría aCelerar larnaduraciórt de .las secuenclaS interaccio: tales sociales vistas en nitios de 3 y.4:años,lás datps recabádos riq'apóstaron significatiVamente .e.sta predicción. Las niños de2ii .y..25MeSes de edatinó füerón : Muy'sociablés ni iniciaban juegos con 'otres niñós.LoS roca rri. juegos:cooperativos y agresivos no se vieron flenteente entre arnbos gru-póS: Habia nirios tímidos tanto entre-e1; ..grupo de culdado diurno Corno . entre :lps

iños de contipi hogareño. De hecho ocasión los -autores sattlficiéróri 1u.ctiriósidad acerca de . uria-niña:. qUe:nolmalmente cra poco tírnida, con una semejan-te .extraña-énila :Valóraéión para : 20 . inese s y enviaron una pariente al centro de cui-dado.dítirno. La niria • Se refügió de inine d,ato con Sll ITIZ1CStro del centro de éuidado

únpenSaba que a estaba erisu territorío.:Los niños del centró de cuidá;.do no',fueróri'mas.Coóperativos ni rnás agrestvoS que'14. niñós control en Eríreuine1-1;11á evaluáción:. reki.e.10 una función de -creCimiento similar entre los nmoscontráLdel hogar-ccirrio. :en .los del centro dé cuidado.

Fuente: Adáptádb -de Kagani Eilects ofde19. 7:7, ;. p;Igs 1(19?.1.42

Valoraciones de la eficacia

Desde que los recursos presentan problemas constantes que se agravan, elprograma requiere valorar la eficacia. Las intervenciones compiten unas conotras para captar fondos de las fundaciones, de los organismos intemacíonales yde los diversos niveles del gobierno. Asimismo, las intervenciones específicas enlos programas, suelen competir por fondos y recursos. Frecuentemente, se debeescoger entre programas con fondos y sin ellos, continuos y discontinuos, yamplios o restringidos uno respecto del otro.

Por lo menos una de las consideraciones que implican lo anterior conciernea lo económico: ¿un programa produce suficientes beneficios en comparacióncon los gastos realizados?, ¿es un intento por producir un beneficio particular aun costo bajo, por unidad de resultado, respecto de las otras intervenciones o laentrega del servicio se ha diseñado para lograr la misma meta? Las técnicaspara responder este tipo de preguntas, tienen dos enfoques relacionados: losanálisis del costo por beneficio y los análisis del costo por efectividad (para unejemplo del análisis del costo por beneficio, véase el anexo 1.6). Las ideas conlas que se destacan los dos enfoques y los ejemplos ulteriores de ellas se presen-tan en el capítulo 8.

Anexo 1.6. Cirugía ambulztnteen un hurnano

En años recientes, el sujeto tratado en cirugía arnbulante há llegado a tener ungian interés en el .carnpo del cuidado de la salud. En Estados Unidose1 interes ha

do estimuladp por la'apertura del centro de cuidado quirúrgico gratttito a lo largodel país, y por los esfuerzos en incrernento de las ágencias reguladoras de la sdludpara contener'el aurnento tan rápidó .de las costos en el cuidado=de aqUella:

El estudio es un exarnen retrospectivo de los datos tórnados de un sistema decuidado rnedico autocontenido, que incluyó un cambio en los servictos quirúrgicas,de su hOsPital..E1 'servicio dé cirügía ambulatoría queproporciona es sírnilar al ofre-ido en los centrós de ctiidado quirúrgico de estancia libre. Los cirujanos delKalser-

Permanent_MediCál Caré Program (PrO§rarna de .Cúidado médico permanente Kat-er) "dé Poitland,.Oregon, han practicado "Oirugía arnbulatoria durante más de 20

áños. En 1961-,.el . 10%de los pacientes que habían pasado por cirugía en los cuartosperatórioS del-hospital_no fueron admitidos antes o después de la cirugía. A su vez

en 1977, cerOa de1419.(Dde los pacientes que habían pasado por cirugía ambulatoriadel programano fueron alniticlos en el hospital.

AturdisiS del ohcn rro en los costos

mvestigaron las dderencias dcl prc,ccsot I ambulatoriasla interna,'y encontr6 ;. ciúe la única difcrenc'- L s ui'a 'sigt'-'-iifiíca()dtt\;-11: .12,714(kitítLtkno se

admitieron lós pacientes arribblantes (salva nd

costos paralol págetit0.1ittelos),ea Olue usaban más tiernrio

cicuartos tielry nternos. Estas

ron cdmol giáüe ::Pará'hallar tos 'ahorrosen:e costo:o)iertos:procedirriientoS la mPdalidad interna a ambulatória'éálátlái.t;hi

143nen, la presuncton de que ,(excepto I ,.)Igunos casos notados el costodel a.rváta

-,

, n 7I n .11 Devel6pmentr; en Eváluatioh Quarté,Iy._ .

.'lisis de los prOceddmientos seleOcIónados) . 1a cirucla ambnlatoria no esiába c1,4ponl-. ble y, por tanto, podrían haber sido admin dos Po r ellocuatidio:él . Procedirniento se7ealizó.corneren , e1 . caso ambulatorio se ala-O rrarortéoltós'd'elnternarló:lOS cnalesMeluyen el servicio de rutin por costb de internado y , el'coMO del doetor pár visitarat intérno v son parcialMente influidos pór el costo extra dél llempo en el cuarto derecuperacIón del Pacierrte arnbulatorio, el cua1 s Mayor que paia los Internos.

25raty

AhOrros;en los; eostos por caso ambulatorlo medlante proccrlimientos selectos!(basados en loS prócedinnentos arnbülatorios de 1974, áplicadd a -dólares de 1977)i

,

total•

SustracélÓn del Costo total.

ór pactenté costo del cihorradopor caso

ra ián lat

113.41ataaión y curációcfeUútekT1,.Etlrpactón y dé,Strude(óri':dé.iél

Lven, la piel y el tejido sub-cutkne0;_Ilgarnento lateral y divisl¿n déla

trompás de Falopio'ysalpingectornía bilaterai

Miringotomía -(> 131opsia del seno niastectorjifái

.pareiál ' • ,Extlrpaciórt de la leslón clel

muscular y faScláEX'plórión y neurolisisJ:perifiérko

,.Clreuncisiónparcia1del

I•tráVe'OtO -mía (éoni,iació111ITOdos los procediMientos .

selecciOnaclos (tasa promedgi.:casos

onclusiones

n este ..41.tilfii •sa .'ericoritro-atielá .éttilafá:ár03alaiit .paedé ah"<.-iiar-gf-bn-cnriff:•. . _ „..

dad de.dinero : para los constmuclí,res de ciii Lidosaii la s¿alud-rl se ejer utara a nivelnacionaLenuna proporelon sunilar ,7)1 estudlo hectio,-se ahárrarían.apttOmáda-i-nchte'750-nrlit anualtriérite.•'(áSaddeiiigrIf4'.'de-19,1».). -1-árn-blén'se encontró que Ids pacrel n tes n,))Ositii-6VééClél-es de cuidados estaban satisfe-chos con la cirugía ambulante y que'-la•cálidad,del cuidado era muy alta., • , _

Los resultadoS del estudiO indican clararnente que unprograma de cirugíaarnbulante,podriajSer beneficoal ,sisteina,:tptaLdeuiliOps , en la salud. Él estudio

: tambien rétrela-í. rré tal progranía,se,Todría'gjecutarlácilmer4.

PuésteY, 'Ad.,-,p-tn-dó, cnrin;o1 xt,111. 1,14 , rer.c, : tle 1 50 ;gs:' 127 1,1;0.

ETAPAS DEL PROGRAMA

Como se vio en párrafos anteriores, las evaluaciones se realizan para res-ponder a una variedad de interrogantes relacionadas con las listadas en lostres enfoques de la investigación evaluativa: la conceptualización y el diseñodel programa, la puesta en marcha del programa (monitoreo y explicación) yla utilidad del programa (valoración de la repercusión y de la eficacia). Ade-más de tratar estas interrogantes, una evaluación se debe adecuar a la etapadel desarrollo de la intervención que se ubica. Esto se puede encontrar al loca-lizar al programa en un continuo cuyos polos sean los programas "innovado-res" y los programas "establecidos", con puntos intermedios en algún sitioentre los polos, y que señalen las necesidades de "refinamiento", "modifica-ción" o "afinación". Mientras que los mismos procedimientos genéricoscaracterizan todas las evaluaciones, el estado de desarrollo de un programa—al que se hará referencia como la etapa del programa— determina el nivel deesfuerzo y los procedimientos técnicos seguidos durante la evaluación.

.20?'

Evaluación de programas innovadores

Las intervenciones nuevas son relativamente raras. Muchos programas pre-sentados como "nuevos e innovadores" suelen ser modificaciones de las prácticasya existentes. Lo que hace innovadora a una intervención es que el "tratamien-to" no se haya aplicado nunca a la población específica. Puede haber sido proba-do en pequeña escala, demostrados sus juicios de manera impresionista, peronunca con el intento de ponerlo en marcha en gran escala.

En términos nuestros, un programa innovador es aquel que no ha estadosujeto a ejecución y valoración en los siguientes puntos:

1 La intervención misma está en una fase de desarrollo y de investigaciónemergente; es decir, no hay evidencia (o está muy limitada) de que ejer-ce un efecto en un programa establecido. Por ejemplo, los hospicios, quese instalaron con propósitos no médicos para pacientes enfermos en víasde recuperación, están siendo evaluados como una opción innovadorapara la hospitalización prolongada. Aunque los hospicios han funcionado

Interrogantes acerca de la utilidad del programa

¿Es efectivo el programa para lograr sus metas?¿Se pueden explicar los resultados del programa por medio de algún proce-so alternativo, el cual no está previsto por dicho programa?¿Tiene el programa algunos efectos que no se planearon?¿Cuáles son los costos de entrega de servicios y beneficios para los partici-pantes del programa?¿Utiliza el programa eficazmente los recursos, en comparación con los usosalternativos de los mismos?

1 54

i, 16 .

2 054.32

21.9,

32 33

34 CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES ¿CóMO SE USAN LAS EVALUACIONES? 35

durante muchos años, sólo recientemente se les ha considerado comouna amplia posibilidad, la cual quizá deba tenerse en cuenta para merecerel apoyo gubernamental o de fundaciones nacionales.La entrega de sistemas o parte de ellos no se ha probado adecuadamente.Tal programa podría incluir la idea no probada de tener estudiantes denivel medio y dar educación nutrícional e información a los ancianos.Los objetivos de los programas son nuevos o amplios. Una interven-ción de este tipo puede ofrecer entrenamiento de lenguaje por mediode cintas grabadas, para escolásticos inmigrantes, quienes no estánpresentes en gran número para justificar los programas educativosbilingües en escuelas individuales.

4. Un programa, originalmente tomado en respuesta a un objetivo, se conti-núa o amplía a causa de su trascendencia en otros objetivos; por ejemplo,un programa mediante el cual se proporciona automóviles marcados a lapolicía para el uso de su personal, puede haber sido iniciado con el fin dedisminuir el índice de delincuencia, pero se continúa para restringir lainestabilidad del trabajo y mantener a la policía cerca de sus distritos.

Evaluación del refinamiento

Una vez que el programa está en marcha, es importante probar las diversasformas de su funcionamiento. La mayor razón para hacer esto es mejorar su efi-cacia, o sea, incrementar la magnitud de su repercusión o disminuir sus costospor unidad de repercusión. Un ejemplo de lo anterior podría ser un programa deinstrucción semanal para niños pobres que mejoren sus habilidades en un gradoaceptable, pero que el equipo de trabajo considera que podría ser más efectivo silos niños tuvieran oportunidad de aprender una vez a la semana. De acuerdo conesto, se evaluó e incluyó un programa complementario de "tareas para la casa".Un ejemplo de lo anterior es el programa que comprende tres meses de asesoríadiaria para alcohólicos recién salidos del hospital. Como el costo del programaera muy alto, se hizo la evaluación para valorar la reducción del programa de tresmeses a dos.

Existen otras razones para depurar las evaluaciones. Una es dar los serviciosde manera equitativa, esto es, que los servicios del programa se den a la poblaciónobjeto al mismo tiempo que se proporcionan a las personas de la población engeneral. En una clínica dedicada al cuidado de la salud, esto implicaría establecerun programa de citas, con lo que se conseguiría abatír el tiempo de espera. Aquí elresultado podría ser si se han satisfecho o no las necesidades del paciente; con unbuen sistema de entrega, esto se incrementaría sin pérdida de eficiencia. Otra basepara depurar un programa es reducir las deserciones de la población objeto. Ennuestra clínica hipotética, esto podría ser un razonamiento secundario por ejecutardespués del sistema de citas.

Cabe destacar que no existe una división clara entre innovador y depurado,este último también conocido como esfuerzo de modificación. Algunas veceslos cambios que se prueban son menores y fácilmente s modificables. Sin embar-go, en otras son costosos y pueden estar ampliamente ramificados en la red deservicios; por ejemplo, la depuración que en un principio integró a los centros

comunitarios para la salud con los hospitales de enseñanza, no cambia el con-cepto básico que apoya el servicio de cuidados médicos a personas con bajosingresos. No obstante, puede tener mayores consecuencias en el costo de talescuidados, desde el punto de vista nacional, y alterar marcadamente la calidaddel servicio recibido.

Evaluación de programas establecidos

Los programas que establece la legislación, y aun aquellos con décadas deexistencia, pueden estar sujetos a evaluación debido a causas diferentes. Prime-ro, un programa se pudo establecer debido a múltiples razones externas y/o polí-ticas, de modo que es importante, para justificar su continuación, expansión oterminación, tener un programa de computadora y el rango de sus beneficios porcosto. Los cambios en la disponibilidad de recursos, puntos de vista, prioridad delos miembros de la comunidad y las declinaciones reales o afirmadas en la magni-tud del programa objetivo, pueden originar actividades evaluativas. Quizá másimportante al estimular la evaluación de un programa establecido sea la suposi-ción de que los programas son deficientes. Incluso, como ya se mencionó, losprogramas estatales y locales y el creciente número de los federales deben cum-plir los requisitos de la legislación vigente, la cual dispone de un programa regu-lar de revisiones y terminaciones "automáticas" de los programas que no puedendemostrar su utilidad. Las evaluaciones de los programas establecidos pueden en-focarse en los rangos de los efectos y en costo por beneficio; sin embargo, a menu-do, las valoraciones se limitan a examinar la entrega de servicios. En tales casos, laevaluación se centra en las interrogantes del monitoreo: si se sirve o no a los gru-pos objetivo apropiados y la extensión en que el personal del programa y la admi-nistración cumplen los requisitos con respecto a la calidad de servicios entregados.El área de servicios humanos es altamente susceptible al cuestionamiento serio yresponsable, acerca de cómo se realizan los programas, así como respecto de losataques políticos o de la publicidad. Los resultados de la evaluación (o sea, los ori-ginados por la verificación del programa y los causados al evaluar la eficacia y latrascendencia) pueden influir en las decisiones acerca de la expansión, continua-ción o terminación del programa, así como en las decisiones de las organizacionesque son responsables del mismo.

¿C(5/§40 SE USAN LAS EVALUACIONES?

Efectuar evaluaciones no sólo es diferente de acuerdo con el estado del pro-grama desarrollado, sino también con el uso que se les dé. En el alcance y diseñode las evaluaciones se deben tener en cuenta los usos múltiples; sin embargo, noexiste una distinción clara. Aunque el rango de usos nunca se puede describirespecíficamente, es posible considerar los usos de la evaluación en términos de laforma de tomar decisiones. El uso también se puede examinar en términos de lasconsecuencias o ramificaciones del esfuerzo evaluativo. Ambas perspectivas sonadecuadas con respecto a cómo los evaluadores desarrollan su trabajo.

36 ¿CóMO SE USAN LAS EVALUACIONES? 37

Formas de las tomas de decisiones

Como en toda investigación aplicada, las evaluaciones se efectúan parainfluir en las acciones y actividades de los individuos y grupos que pueden unirsus acciones para obtener resultados derivados del esfuerzo evaluativo. En elcaso más simple, los resultados se dirigen a un ejecutivo individual, como unoficial clave en el servicio público, quien tiene la autoridad y responsabilidad decolocar recursos y así establecer un programa de servicios humanos; por ejem-plo, dentro de ciertos límites, los jefes de policía pueden decidir cómo asignar asus oficiales, cómo estructurar la comunicación entre las diferentes divisiones ycómo tratar las emergencias y otros sucesos imprevistos.

En otros casos, la situación es más compleja; una gran variedad de partesinfluyen en la forma de diseñar y ejecutar los programas de recursos humanos;por ejemplo, la iniciativa de un seguro nacional para la salud podría requerir con-venios, en programas delineados, para ramas ejecutivas y del congreso delgobierno federal, e implicar la atención de las opiniones y el interés de muchagente evaluada, incluidos los profesionistas en el área de la salud y sus organiza-ciones, grupos de trabajo y manejo, aseguradores y agregados de consumo. Laspermutaciones y combinaciones variadas de evaluados, así como el rango deinfluencia y el proceso de toma de decisiones encontradas mediante las activida-des de recursos humanos, están sujetas a indagaciones especulativas y sisternáti-cas. Existen tres posibilidades para la toma de decisiones, las cuales se estudiaránen seguida.

Decisión de continuar o no continuar

En varios puntos de la programación de servicios humanos se requieren ac-ciones decisivas; por ejemplo, la Secretaría de Salud y Servicios Humanos deberecomendar al Congreso o a la Casa Blanca si se debe o no dar entrenamiento a lasdistintas categorías de practicantes en el área de la salud, cuáles pacientes admitiren los hospitales auspiciados por el gobierno, los requerimientos para elegir losprogramas de bienestar, etc. En un nivel local, los superintendentes y las juntasescolares pueden decidir si se impone o no un ordenamiento acerca del tamaño delsalón de clases, con el fin de establecer un programa de estudio-trabajo para estu-diantes de secundaria o para terminar la instrucción preprimaria.

Relativamente, existen pocos casos en los que las decisiones se basan sólo enlos resultados de la evaluación, aunque si estos resultados son convincentes y losestudios son defendibles desde el punto de vista de rigor, pueden dominar latoma de decisiones.

Desarrollo de una fundamentación para la acción

A menudo, las evaluaciones influyen en la toma de decisiones, a saber; lasconsideraciones prácticas, políticas y de los recursos, así como la sabiduría y laexperiencia de aquellos con influencia. Algunas veces, las evaluaciones afec-tan directamente la fundamentación esencial de un programa y, en consecuen-

cia, las divisiones profesionales, políticas y legales acerca de ello; por ejemplo,la presión para desinstitucionalizar el tratamiento para enfermos mentales ypersonas retardadas está acompañado de numerosas conclusiones prácticas,políticas y legales. La primera orden dada por un tribunal con respecto a ladesinstitucionalización de las facultades otorgadas por el Estado para retarda-dos mentales, fue acompariada por una evaluación pagada, con el fin de termi-nar las consecuencias de esta desinstitucionalización en las personas severa-mente retardadas, sus familias y los miembros de la comunidad que viviesenjunto a donde ellos podían residir. Los resultados podían tener importantesconsecuencias para la legislación futura y para las decisiones legales en variosestados e incluso a nivel nacional.

Otras veces, las decisiones tienen un efecto indirecto o diferido. Las que setomaron para desarrollar el conocimiento o para los objetivos de un programaparticular pueden tener una repercusión subsecuente. Esta repercusión evalua-tiva es referida algunas veces como uso conceptual de los resultados de la eva-luación; por ejemplo, hace algunos años mediante estudios cuidadosamentecontrolados se examinó la repercusión de la psicoterapia en las prisiones. Losresultados demostraron que la psicoterapia tenía utilidad limitada, si existíaalguna, misma que estaba disponible desde varios años antes de que existierapreocupación acerca de su eficacia en los programas de rehabilitación con pri-sioneros (Kassebaum et al., 1971). Los esfuerzos para ampliar la psicoterapiaen las prisiones, incluidas las acciones de la corte, resultaron poco útiles ante laevidencia de la ineficacia, la cual contó con la evaluación previa. En este senti-do, aunque con dificultad para ponderarlas, las evaluaciones pueden contribuirseriamente en el área de los servicios humanos. Asimismo, las evaluaciones sir-ven para "disciplinar" el programa de toma de decisiones. Como se verá másadelante, el énfasis de las evaluaciones sobre metas explícitas, los criterios o laespecificación de actividades intervenidas, puede influir en cuanto pesen otrasdecisiones importantes que se hayan dado.

Legitimidad y explicación

Las evaluaciones también pueden servir a cualquier programa ya sea de opo-nentes o seguidores, como inicio a los descuidos de los programas. La informa-ción acerca de cómo se han realizado las intervenciones, la extensión en que hanalcanzado sus objetivos, su repercusión y sus costos pueden ayudar a los seguido-res de un problema en particular a tener cuidado de sus oponentes o viceversa.La legitimización se puede requerir en niveles diferentes; por ejemplo, la juntade trabajo de una fundación que apoya el programa de salud en una escuelapodría estar preocupada por que se tratara o no a un número de niños suficien-te y por el costo del cuidado de cada niño como unidad. La administración estatalde ese programa podría usar los reportes regulares de tal información para esti-mar la producción y el desempeño de los grupos de trabajó sobre salud en laescuela, los cuales se localizaban en los sistemas escolares en todo el Estado.

Por supuesto, las evaluaciones de los objetivos de la legitimización no tie-nen como finalidad justificar el statu quo con respecto del programa. Más bien,alertan a los financiadores del programa o a los administradores acerca de

38 CAP. 1. PROGRAMAS, POL1TICAS Y EVALUACIONES ¿QUIÉN REALIZA LAS EVALUAC1ONES? 39

..puntos débiles" y sirven como base para la modificación, expansión o reduc-ción de las intervenciones; por ejemplo, en el distrito, los diferentes índices depersonas inválidas que regresan a sus labores, podrían sugerir al director de laagencia estatal que se necesita reubicar los recursos humanos o trazar de nuevolos límites del distrito para centrar la atención en los grupos de población congrandes necesidades.

La política y los estudios administrativos

La bibliografía acerca de la investigación evaluativa, o sea, muchos de loscomentarios en las diversas investigaciones aplicadas, se refiere a la "adecuaciónpolítica" del trabajo en el campo. Las evaluaciones políticas se pueden describir,en general, como aquellas que tienen un efecto potencial en grandes sectores dela población, o que originan cambíos operativos mayores en la estructura y lasactividades de los grupos participantes, o que son críticos para ubicar los recur-sos monetarios, humanos u otros. Marginalmente, es fácil separar a la política delas evaluaciones administrativas; sin embargo, en la práctica la distinción recaeen la manera en que los evaluados perciben las consecuencias de la valoración;por ejemplo, es evidente que la evaluación de un programa como P/aza Sésamose puede considerar un estudio político. Los resultados tienen implicacionessobre los fondos públicos, los requerimientos para los canales de televisión conrespecto a la asignación de tiempo para la transmisión pública, y los tipos deotros programas relacionados con el aprendizaje de la lectura o la enseñanza. Encontraste, la decisión de una agencia del gobierno acerca de evaluar "el tiempoflexible" para su grupo profesional (al permitirles trabajar a veces en lo que ellosescojan, conforme cumplan con el número requerido de horas) se puede consi-derar una evaluación administrativa, aunque pueda influir en múltiples personas,incluidos los grupos de otras agencias, los clientes y las familias de los mismostrabajadores.

Ciertamente, conforme las evaluaciones son más generales y permiten tomardecisiones costosas y difíciles (esto es, cuando los cambios que se efectúan influyanchrecta e indirectamente en un gran número de personas), son más factibles derotularse como "evaluación política". Sin embargo, es importante que la extensiónde las evaluaciones políticas no se destaque sobremanera y que la relevancia de lavaloración administrativa no disminuya. En muchos programas, pequeños ygrandes, la evaluación de la tecnología, de los cambios en los procedimientosburocráticos y de las modificaciones menores en la entrega de sistemas, puedetener consecuencias importantes en la efectividad y eficacia de los mismos.

También cabe destacar que la dístinción entre política y estudios técnicosadministrativos es artificial. En parte, depende de la perspectiva desde la cualse determine el nivel de evaluación; por ejemplo, muchos podrían considerarque una forma de disminuir el índice de delincuencia de usar autos policialescomo autos personales, parece un estudio técnico o administrativo. Sinembargo, para administradores políticos, las materias de costos, responsabili-dad del seguro, moral policiaca y aceptación pública aumentan las responsa-bilidades políticas.

La manera en que se percibe un estudio depende de lo que es el programa yde cómo se formula. Existen dos programas nacionales de salud infantil, apoya-

dos y evaluados por el gobierno. Uno, realizado en la UCLA (Universidad deCalifornia en Los Ángeles), consiste en desarrollar centros ambulantes de cui-dado primario en escuelas públícas, atendidos por enfermeras practicantes(con médicos internos), quíenes dan servicio a nirios de familias con escasosrecursos. Si es eficaz y eficiente, podría ser un modelo para el programa nacio-nal que cuenta con apoyo federal. La naturaleza de la intervención minimiza lasoportunidades para estudiar los componentes individuales del programa; sólouna interrogante de intervención amplia podría brindar una valoración total. Elsegundo programa fue evaluado por la Rand Corporation (Corporación Rand)y se diserió para mejorar la salud dental de los escolares; es un experimento enel que numerosos escolares, en todos los Estados Unidos son asignados a pro-gramas de tratamíento diferentes. El tratamiento más completo consiste en uncurso acerca de educación de salud dental, el cepillado y uso de hilo para losdientes, la fluorhidracíón de éstos y una aplicación anual de un obturador querellene las cavidades. El diseño del experimento permite estudiar la repercusióny el cbsto por beneficio de los componentes del programa por separado, en todaslas combinaciones posibles. Según los resultados, se podrían poner en marchaprogramas elementales individuales. Por varias razones, esto se podría conside-rar un estudio técnico masivo; pero el grupo de la fundación apoyadora y losdiseñadores en el área de la salud lo consideran un estudio a nivel político, debidoal efecto de los costos en el cuidado de la salud dental, incluida su influencia en eltrabajo de los dentistas particulares, todo lo cual prueba si es eficaz (RobertWood Johnson Foundation, 1980).

Por supuesto, el nivel de la evaluación tiene consecuencias en su diseño y eje-cución en términos de fondos, tiempo para su terminación y sus requerimientosde gente. Los evaluadores exitosos son aquellos que se han clasificado a sí mis-mos, a sus apoyos y al equipo de trabajo, acerca de cómo debe usarse la evalua-ción y sus niveles de aplicacíón. Esto es necesario siempre que la evaluación seaun programa innovador, un programa con exigencias de depuración o un pro-grama establecido.

¿QUIÉN REALIZA LAS EVALUACIONES?

Los estudios para evaluaciones sistemáticas se basan en las técnicas deinvestigación en ciencia social, que tíenen aplicación en estudios evaluativos.Por consiguiente, muchos especialistas en evaluación han tenido entrenamien-to en ciencia social. A primera vista, las personas poco relacionadas con lainvestigación evaluativa difícilmente podrían comprender los análisis profesio-nales de las evaluaciones. Como en otros campos profesionales, los evaluadoreshan desarrollado su propio vocabulario, sus expresiones taquigráficas y sus re-glas para efectuar el trabajo. Uno de los principales propósitos de esta obra es pre-sentar al lector este lenguaje especial que emplea el evaluador. Para facilitar elaprendizaje del vocabulario, al príncipio de cada capítulo aparece un glosario téc-nico especializado con el nombre de conceptos principales.

Parte de la complejidad de la evaluación se debe a la tendencia de algunos pro-fesionales de desarrollar su propío lenguaje, pero parte de esas necesidades, encuanto a terminología especial, deriva del concepto único y de los desarrollos inter-nos propios de cada campo. En un nivel mayor de complejidad, las actividades

40 CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES

evaluativas pueden ser técnicamente complicadas, complejas en su concepción,costo y larga duración, por lo cual requieren la participación dedicada de especia-listas altamente entrenados y con habilidad para asimilar la teoría de la cienciasocial, los métodos de investigación y las técnícas estadísticas. Estas evaluacionesaltamente complejas son realizadas por grupos especializados en evaluación. En elotro extremo, existen muchas habilidades de evaluación que pueden comprendery completar fácilmente personas con poca experiencia.

Uno de los propósitos de esta obra es ofrecer a todos aquellos cuyas posicio-nes actuales, intereses académicos o su natural curiosidad los inspiran a quereraprender la forma de realizar las evaluaciones. El objetivo es ayudar a las perso-nas encargadas de la administración y el manejo de programas de recursoshumanos, con suficiente comprensión de las tareas evaluativas y sus actividades,no sólo a juzgar por sí mismas qué géneros de evaluaciones son apropiados asus programas y proyectos, sino también comprender los resultados de estu-dios completos adecuados para su organización. Se ha tratado de escribir unaobra que sea útil para aquellos que realizan (o planean realizar) evaluaciones,para quienes las contratan, para quienes supervisan personal y para quienesson consumidores de la investigación evaluativa realizada por otros.

Cómo integrarlasevaluaciones

Cada evaluador no puede ser un planeador y un ejecutor de programas; sin embargo,las relaciones entre el programa y su evaluación requieren una comprensión mutua de lashabilidades y del proceso en que participan ambas pa:rtes —de aquí la necesidad de consi-derar la planeación, el diseño y la ejecución del programa. Cada evaluación se debe inte-grar a su programa. Las tareas emprendidas por los evaluadores son diferentes en variossentidos, según la etapa de actividad en que se desarrollan y las necesidades e intereses delos evaluadores, como los políticos, administradores del programa y grupos financieros.


Va/oración de /a eva/uación: Conjunto de procedimientos para planear las evalua-ciones de tal manera que el interés de los evaluadosse teriga en cuenta con el fin de optimizar la utilidadde la evaluación.

Metas: Conjunto de declaraciones generales y abstractas delos estados deseados en las condiciones humanas ydel ambiente social.

Modelos de repercusión: Conjuntos de hipétesis guía que remarcan la planea-ción y la puesta en marcha de un programa.

Objetivos: Declaraciones específicas y opcionales, mediante .lascuales se considera el cumplimiento deseado de losprogramas de irrtervención social.

Planeación: Proceso de convertir las metas en objetivos, de talmanera que se formulen las intervenciones específi-cas y se definan las poblaciones objeto adecuadas.

Sistema de manejo de la infor- Sistema normal de recolección y análisis de datos quemación (SMI): permite el cumplimiento puntual para la entrega de

servicios y de la información resultante.

La investigación evaluativa es una parte integral del conjunto más amplio deactividades que generalmente se describe como política racional, toma de decisióncientífica o planeación y ejecución de programas Sin embargo, se debe reconocer

41

42 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES 43

que las decisiones que afectan los programas casi siempre se originan de una mez-cla compleja de consideraciones políticas, de influencias personales de los princi-pales evaluados, de limitaciones económicas y de la disponibilidad del personaltécnico necesario, así como de tecnología (véase el anexo 2.1). Por tanto, la inves-tigación evaluativa se debe considerar como una de las múltiples posibilidadesde iniciar la investigación, el diserio y la ejecución de programas. Para maximi-zar su influencia, el evaluador debe comprender los arreglos organizativos for-males e informales del ambiente en el que labora. Por otra parte, los políticos ylos administradores del programa deben asegurar que la toma de decisiones, laplanificación y la ejecución se realicen de manera clara y explícita, de modo quelas intervenciones serán para beneficiarse del esfuerzo de los evaluadores.

Anc,x0;2:1•:-.:Histotiá-:del experimento,Idel intpuestonegátivo áljháiégiM,Pé -nnsylúaniá-Ntieva Jersey

LóS'prograrnás ildtinpuctos eg, -It I VUS ti / 1,2I"(2Su ,usotuyen lus debienestar .. . , -, ,social,whan;sido;defendijdos por per,ona ,,. tan div . ersaScornp .„Milt91:riedrnan yotrcS•éConbrnistási-riláTlibjerales..

..->atractiVOJ 'cle'algáriOs' álljkalés: -Prógrántáálf;'0V&s.In's-e. Zito. JDébido.

. ... • • •, . •que no..gui.ó, la „ aprobáción,,pOlítita,:,,e1 equipp de , la-oro busc6 rnaneras d'prbducir¿onírin¿érité,'evidericia'de sn-•factibilidad., •. , _ - - ,.,....

En 1 C_) b 'y 1967, se enüiarorr nun-Jerósós planes.de.la ..:0EQ,para-eornenzarprut Liás de->".C.árn-po , ácerca‘j.de lOs-diiid"sos.,plárieS`idel>,,iñnpilestb

Ingreso. 1.111án rriáS > atráctivO'fue , enviádo pof Mathernatica, una erttpresa09 . 1r.inT ,- ce.ton,- 1\f-tib:ra-:-Jerlesr.

, ffil-InciarjestkiSr nbeiliciOn, Sargent..,.':$.hliver;'•dtrector > . déj11.0E0, éltába-indecikde,_ preSrar:íart §-r:an a0da. á'ea'étripresaJinsisrtó e. n[gLiejel"pro. Yeétose realizartiajó

' - la -jreSPOnsjabilidadj.látjtnCIPal - 'del " InStitnte for ' Re,earchj on Poyerty dristitutó'deI,, in's;iestigáéféin'S'obre`-.1alSóbreiaj de lá'UniverSic1,-Jd de Wisconsin corno prirner.co,n-

tratado:y Máthernaticázcomo > subeOntratado. -A.j rn-ediadós-dejl.96,7,se,-firrnáron:los:corittd.tos › se consu nlier-on 141rneses..en.,;,,.•

el cliseñó del.estudio, el cual se-ideó cc>rno . un experirnentó corij üleatbribS en el qiie-los'ia'ago5 ;negátivoS,del,irnpueSto sOre el , ingres9..variaáfissis- •-• ,

iernáti¿ari'leñie'eri'doS,dirneriSionel-S :21a , gáraritláldé.'iiidreSb rnírl'irrWli;165.6ziejjia: -jes`cle_jirríptieSTO:allicabler-Désdkelotqñáikle,-.19613.1-iástaoágo-s,-„ dierón á.f,"fartnliasjériTgrirpos',¿Zier-tinentales,. = Y 1 .61f Ofu—IS-61'. taiít'd. eXpneri-mentales corno cc.ntrol rinnuciu•jaruent„ p.or J1•_. J2ntrevistas •-•:-._, _ .personales • •

Dluante todo el espe lunento ocurriel on 5 lOOeventos (11.11: muestranraccic,nes entre los eventoS, p-olítiqbs y la reálización dela actividácIl.ev'áluati nid'El---'prun„er evento tue 14P cl-unbi 9ieri la:políitc•de1bierteStarsocial--en -ebEstadc? d..e:Nue.va 'jíláCó 'Clejr>ties'd J é r;'eSi .:71.er.é.Scó i ó_ . .cornpub sitiO párCi0;debido á .,quela, riólítit&de.biénestár.s(pcial actualsólo,abarca-,;-b#,'"ájá.p:pládiés'de3fámiliábájólalAIDC:;.(Aiiitó.' Fmiliesvith Dependent.Children

farriiliaseón hijos ‘ dependientes-, 7 )..Er.¿an-lb:b.tórnó_a las familiás.concle:biénéStaf:'-'j

Nueva .‹.1,2rse.1,7corup j , Ptivas j cjón algunqs,planes, menos generosos.:,--,El Nneva--Jerse9,-c'reóiótrób-•pr'obterna::•Lbs:Of -„.. • , . .„,..

.oeieS de:bienestar so¿JiaLlóc.alés se,p,reoeuparon reicir

,i,ceptabs -irincv; pilqt_)s dr leiew mi v los j‘jkperiméntalr-_Js•i;Eldirector detpro9e7C4O-ftiecit-)do en la corte N ic n. n 0: jJernsjejy;Y:Se le on-lei'j&JbaCerriiélistros expenUrentaleS.

. Aunque el citatclirio do tuvb'él cáraeter de obldátário, se'Vequirió o Mattrernati¿áque conlpens,lra a lo*depaí-tameiitos . de tienestar soclal locales por nl sobiépagootcTg40:1?ápIps,;familiá'.,éxííéririeht¿ilés.

É11969, Cb-nf¿t-tine eflCcingreso tm nusi deroha uná reforrna al bienestars¿?presionóal equirio,de.trakájo, Par. ágtie prc;dujeralesúltados dei;exPerirriántó gtie

sárjadecuad¿S párá la legi 1 inc o q1:1,2 se .C. onsideraba:t o's.res sé:coryilíilai. C5i,i;iy ,..-Présentarórt pr,.j .-Ju raciam en testl jnortio:, antej . e1.1.0,ou'seWayS-anctMeanS'Corrunittée'(dornIté"de nTaneras y signIticádos de la caSa): ÑC•ijObs:tante, los op. Ositores á lalégislaérón éSiirnaron a los rrperimnentadoresi COrriO defertsores reforrnas, proOueStás> al -bjerlestar' sociI y prestonaiorir--.1a.GeneralAccountin§OffiCe-(Qticina , de Ontabtlid,_n ,c1 g rural) - pára gue efeetuara,Unianálisiscrítieó-rdel'éPeliner irieluida'litO; 'Unáth e-t>vi¿jaciórt'aCéjitárdil.lOá.'clatoS'OrigiViálelos

- , „reentn35isras.con 1 ujetos experimentalessj:.,

•n Fair, TfiP Nety it y Inc,rit•

Es f ritn-77t tol I 'Ara,i,mac P", 'a.15rk. i.ágs 4 5'

Cabe hacer dos advertencias. Primera, el análisis que sigue proporciona unaperspectiva ideal de las relaciones entre las actividades evaluativas y la planifica-ción, el desarrollo y la ejecución de los programas; supone que existe un acuerdoformal entre las partes participantes para efectuar la ejecución en el orden en quese hará. El lector debe notar que la tarea actual de ubicación y sus secuenciasvarían marcadamente dentro y entre las áreas de servicios humanos.

Segunda, existe una amplia variación en los arreglos organizativos. En unextremo, el evaluador puede hacer su trabajo casi por completo independiente-mente, o bien puede programar o planificar al personal. En el otro extremo, elmismo grupo de personas es responsable de la planeación, el diseño, la ejecu-ción y la evaluación del programa. Es muy raro que el programa qUede tan bienplaneado, diseñado y ejecutado, que el evaluador disponga de tiempo para con-centrarse sólo en lo que se puede concebir específicamente como las tareas deevaluación técnica. El trabajo del evaluador suele incluir su: participación, seaparcial o total, en las actividades que idealmente deben proceder del esfuerzoevaluativo, o por lo menos deben ser responsabilidad de otros. De hecho, algu-nos evaluadores argumentan que esta participación, en un proceso mayor, esuna gran contribución al esfuerzo evaluativo (Wholey, 1979). Es esencial con-tar con una orden compartida para diseñar y tomar programas, de tal maneraque maximicen la probabilidad de una evaluación rigurosa. Apoyar estas activi-dades es uno de los objetivos de este capítulo.

PLANIFICACIÓN DE LAS EVALUACIONESDE LOS PROGRAMAS INNOVADORES

El proceso de planificación incluye identificar las metas de los gastos de laorganización y del inicio de la intervención, valorar la extensión en que las actua-les condiciones se desvían de aquellas metas, y desarrollar una infraestructura

4544 CAP. 2. CÓMO INTEGRAR LAS EVALUACIONES

general o estrategia para lograr las metas deseadas al modificar las condiciones oel comportamiento. Lo segundo requiere especificar los recursos humanos nece-sarios, así como los recursos financieros, designar las responsabilidades indivi-duales para obtener las actividades de la intervención, y establecer un horariopara llenar los objetivos de la reunión. La planificación se considera un deseo dereducir el vacío entre las metas y la realidad; no obstante, en algunos casos lameta puede ser mantener el statu quo para afrontar el deterioro anticipado.

El diseño de todas las evaluaciones tiene cualidades genéricas similares.Aunque en la sección siguiente se examinan estas características en relación conlos programas innovadores, muchas de ellas son aplicables a las secciones subse-cuentes en la evaluación de programas establecidos y en su depuración.

Cómo establecer las metas e identificar los objetivos

Los programas de intervención social se pueden diseñar sólo en relación conuna meta. Para propósitos evaluativos, establecer las metas debe permitir operarcon los resultados deseados, una aclaración que especifique la condición pornegociar con un criterio de éxito establecido. Los autores y otros investigadoresevaluativos se refieren a estas condiciones operacionales como los objetivos.

La distinción entre metas y objetivos operacionales es vital: muchos progra-mas, sobre todo aquellos con grandes poblaciones objeto o con efectos lejanospor alcanzar, inicialmente establecen sus metas en términos amplios y vagos; porejemplo, cada año los componentes de los departamentos del gobierno federal,como el Department of Health and Human Service (Departamento de Salud yServicios Humanos), disponen "planes futuros" o papeles estratégicos a sussecretarías con metas que reflejen las aspiraciones de su departamento. A menosque esas metas funcionen en objetivos específicos, es improbable que se trace unplan y se trabaje para lograrlas (véase el anexo 2.2).

Anexo 2.2. Sino le importa dónde lo consí u 'entonces no importa hacia dónde va

Para gue un PrOgrama logré loobjetives, debe s,atIfIt'er los ciiterios

1 , „ Que I ós objetivos rnedibWs ,se hayan , esPecificaolo; es decir, gue los encarga-dbs del prágrama, cgmo los polífieCil y los nclministradores del p'toorarna,hayan COnYenido con los objetiyós nin'edibles, incluida cualquier . medida nece-saria a los costos y la ,s actiyida44,-del piograma, a los resultados intentadosa la irifluenOia , Intentada izril-problerrias afroniado's por el prograrna.

,2, 0,'„ ue e,ist-an presunclonlirobables relacionacins orn la aplicación de los ,.recursos a las actividades:del .progr-ama, cOn'lá_'ae,tlyidades del prograrnapnra intentar resultados i íón los resultadólidéVbferarna'rdspdcto delosobjetivos de éste—

• . ,

3. Los encargadps de.1 programa deben tener la motiVacIón,labilidad v autort-dacl par:a.adMiniSlrarlos, -• ' • '-'

Se teconoce que algunpsprogramas, • puoden sér..inás o rnenos rnanejables;de_actici do con':Iá.extensión'enjiue se satistaeén o no,los tres criterios antriores. Las .

lnve_sttgaciOWS al respecto r velanque et p;cogr9ma s feer1 f es Inmane-- jable," j-1;íque n rerine UT10 o más cle los'treritehos, - -

,Aunquecada programa fecieral pres-enta di yersosobjetlyos, &tosgeneralmen-.te Y10 los ha'n definido e ncargados (políticos y administrádoresdelV},,ióátárna)---

, - ,de mane'ra gire progresenhacia objetl yos quesep,tle'dary'lite.,.seaniítiplotigntes'para apoyar las presuncidnes de_l programa prob jW0:- U.41):0:01rarflátSfáh 5114;;;J.-cientemente :definidos Párz-1 ap-Oyarlos,

-modo que se logren obleti yos esPecífico's-telatitiOs alasrnetaS irnplicadas-len, 1129iSlación autori2ádá --, En ' táleS proliáM-ái;ttliquler actiVidadiealizada tienl?- ,,• , • . „,ser sinónimo de los -objetiyós; esto es;desdelá perspecttva,,-adrnintstrativa„, ,efectos Intentados se logán cuando las 4. tiViclades del prográma se realtzan_inde . •pendientenierde cie los réultadosdei , prograrna ode la repercUsióri subse'ciíentl-

' - • •lós,-,probternas afrontaclOpor,

t Tainadu, de Na..1; et .ci Yo.0 -"1 1.42 Tch” Then I t M dtt"''

_ _,WIthlWay yuo Go",- én CIC„Abt (chi'.), The EVUILIUtiOn of .Soctal ProlnarpsSpgre POlicati.ortS, bi,verlg

97MS • - •- '

El logro de un objetivo absoluto requiere que una condición indeseable seelimine totalmente o que una deseable sea atendida por todos. Un objetivoabsoluto en el área de la salud podría ser inmunizar a todas las personas deenfermedades como la tosferina. Los educadores abogarían por otro objetivoabsoluto, como la eliminación de los iletrados. Los objetivos relativos estable-cen estándares de los logros es términos de mejorar de algún modo las condi-ciones que existen en algún punto en el tiempo; por ejemplo reducir en 50% lagonorrea como enfermedad del aparato sexual podría ser un objetivo relativo.La contraparte relativa del ejemplo educativo anterior podría ser reducir en75% el número de personas con menos del sexto grado de educación.

Evidentemente, establecer metas y objetivos específicos requiere suposicio-nes o conocimientos acerca de los dos aspectos fundamentales de la situaciónsocial: los valores y las condiciones existentes. La meta de lograr la inmuniza-ción refleja ciertos valores básicos que favorecen la salud y los rangos de morta-lidad bajos. La meta para eliminar el analfabetismo supone la importancia delas tareas educativas en la participación productiva del sistema económico.Ambas metas, como cualesquiera otras, están basadas en la suposición de quehay campo para el mejoramiento; es decir, que hay una discrepancia entre lascondiciones actuales y las especificadas por las metas.

Aunque una deficiencia se puede reconocer con facilidad, se requiere valorarrefinadamente la situación empírica, antes de que se puedan formular las metas ylos objetivos y planear los programas para lograrlos. Los procedimientos paradiagnosticar los problemas sociales se estudian en el capítulo 3.

Una vez que las estimaciones refinadas de las condiciones existentes sehan obtenido, las metas y los objetivos deben modificarse. Esto puede sernecesario debido a las condiciones externas referentes a la población objeto oal problema objetivo; por ejemplo, los diseñadores de programas pueden comen-zar con el objetivo absoluto de eliminar el hábito de fumar, pero encuentran quela testaruda resistencia de los adictos al cigarro necesita el objetivo relativo dereducir el número de fumadores en algún porcentaje específico.

46 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES

47

La modificación de las metas y los objetivos puede también resultar de lascondiciones que intervienen en el esfuerzo; por ejemplo, es esencial que el eva-luador, los diseñadores, el equipo de trabajo y los patrocinadores convengan enlos criterios que se emplearán para valorar si se han logrado o no los objetivos. Siun programa casero se evalúa parcialmente, de acuerdo con cierta morbilidad,las medidas específicas de ésta (como el número de inasistencias al trabajo o a laescuela debidas a enfermedad) tienen que basarse en los indicadores del resulta-do. Al fallar en este acuerdo, la evaluacíón se puede afrontar como un conflictorencoroso entre el evaluador y los diseñadores, el equipo y las políticas proyecta-dos, cuando se presenten los resultados de la evaluación. Algunas veces, si se dis-pone de recursos adecuados, la solución es incluir múltiples criterios que reflejenlos intereses de cada parte que interviene. Otra solución es formar objetivos en adi-ción a aquellos que proponen los evaluados, con base en los puntos de vistacomunes, así como, en las teorías relativas, el campo sustantivo apropiado(Chen y Rossi, 1980).

De lo anterior se infiere que una tarea inicial del evaluador es trabajar con losdiseñadores, los administradores del proyecto y los patrocinadores para transfor-mar los objetivos ambiguos o contradictorios en declaraciones claras, congruen-tes y operativas. Cuanto más cercanos estén los objetivos a los resultados, demanera que se puedan medir directamente, más probable será que resulte unaevaluación competente. En el anexo 2.3 se muestran las reglas útiles para especi-ficar los objetivos.

Anexo. •23. Algunas reglas paraespcificar bbjetivos

...cuatro técnicas son particularrnente útil, para decrIbIr objetivos, Velltdi0-

sos: .á)ju. sar Verbos fuertes;-b) estableeer sólo un próPósitO u objetivO; c)'esbecificarun selP resultadp:ó.procludo final;y d).eSpecifiear ei,tiérritie . éperadp -pará-el lógro

férence Manúdi, Wasbingion,D. C.', 1975, Department of Fksltli. Educatión and'Welfare, Office.'of-Hurnan DevelopMent).' Un verbo : "Juerte"'es tiria . aceión orientadá'éri forma cle vc-Tho que describe un

coniportamientdibbseliable o;rnedible que ociirriráj por ejemPlo,,uso . dé los maieriales ,:de.;eduCación una declaráPión.cle,áCciónorientada gúée1 CompOr-farniéntó, obseniable:- En cOnti-aste, "Prornover. , _ . --rná.yor uso de los Matetialés educattyós para la salud" es una declaración más débily Menos específiea. El térmirío,pr9rriotier se -presta a .rnitchas-,interpretaciones.EjemPlOS.dé Verbos itiertes. de' -aCción.Orientada inéluYe éscribii- reurnr, encontr'ar,. .InCrérriéritar y firrriar; rnienita5 -qué ejetriptos-rde YeibiE;:s rio específicOs y dábilés soncnr.prénder, estimular, elevar y prornouer.

',.U.na segunda suglypryekalirtibpara describir'un :.objenvo': .0aro, esestablecer unsob.. . :bldhéd:op'roP6110:»IlieSdell116,: rnüchos prPgráinálliendrari ,obje061-mtilti-

--ples, Pere err cádá objetivo sólo,deb delinearse un únieo:proj56ájtO. Un-Objetivo.gue establece dos o más propósitos o re ultados deseadOs puedei'équerir diférenteejénición y estrategil';dé-OloiaPiól; así Porno clifiCialtarétlógro de los objetlyós:por eiempi

raZadáS-iiique proporCiária-'1eCiP1--de tranSPortáción para-a. Cortiodar.25 nitije‘rs-.. t,: -esfeblee.e? .a .71a.g).W40.. de . trés. -claset .:P..i.'énatalel'ParáM. .ujeznembi..a-

. por e,ue nr re dificultIdes Erte objétivo contieng dos_propósitos: pnvorctonar

-clases prel ttanspor'te.Si cm propósitó::ecáiini.1.4d41,n9 el,otrp. ¿en ,que e).cten.sión .se cumplirá el objetivo?"Es.mejOieStablePér un

córno "cornenar it'es clAes:Pré:natales para/nujers preñadas - o "propo l c,,n, I r o o de tr,insporte a 25 nuOeres ernbara-/.adas pár claSe

Especificar uri o pr,,itdcto es la tercer técnica que contribuye alograrobjetiVOs ,,entai osos ; Por ei áTlP10 , -éstab lecer la declaración "Comenzar trescraleS -. Prénatales para mujeres e-mbarazadas mediante un'subcontrato con el CityMernorial : HOspitalOiespital memciriar-citadinor connene dos resultados: las tres

Subcontrato. Es mejor establecer'estos objovoliseparadarnente, sobretodo Por- ive uno es un objetiV.6-de rriaYOr orden (cornert:lárlies clases prenatales),ek:cual.depende.yiarcialmente de Li con-IpIctación de un objetivo cle segundo orden(e.talileCer .nri-Subcoritrato).,

Un objetivO claramente a ,:cr n to puée-lé contener un propbsito stngular y un. ,resulta.do.p. -predu.cto., fipal; por.ejernplo,,la dedáración ", Eltablecer_cornúnicáción

Healt.t. i;50ern1 'Age Age riciá en-Silternas de Saltid)"indica el propósitopero no el'resUltado firial deSeado. .¿Clué contribuye a eviclenciar la coinunicación:liarnadas telefóniPas, reúniones o inforines? No espPcificar un producto finál cvi-dente dificulta extremadarnente la valoración,

Lo anversoeSequivalente cierto, o sea, pueden existir declaráciones que espe-cifigüen .urt..PredlictO . fiñát pero no un objetivo o PrOpóSito. "Rernitir todos iosextractos descargados menslialmente a la Corntnission of.Prófesiónal and HospitalActivities Iço .misión de actiVidade.s profesionales y hospitálarlásr esun ejemple deuna declaiación'con un produetó:finaL ,Peró sin.proPó.lito. El proPósitopuede serrinejorar Ia4 declaracieries ..del eqUipo Médico, y . la adrninistracióh 0, rneio-rar: la PálidadAel.citidadó médico , pero río- és evidente que rerrntir las extraccionesarnplir. I .estos objetivos, ni los objetivos-se Pnedén valorar sin un propósitO o . decla-raCión Clé . unarinanera acertada: ...Quienes .escriben y evalúan objetivos deben teneren cúenta,Clos euestionés: a)--¿p6dría alguien ciite'lee el Objetívo, cón o sin conoci-mientPdetprograma hallar el mismo p ropostto corrió el primero'i tentado9 b)

está-presente come evidencia de eue losUbjetivos se han .CUmplidó? Los pi'dpósitos deScribenlo qué se hará, mientras que elresultado o prOducto .deséribé las evidencias que existirára de lo que se hafiecho, o sea, as. gurarse lector "conoce uno cilándo. ve uno".

especificar.eltiernpo esperado para lograr el otjetivo Laieclaraci6n.dé..-`.'Establecer una - clíniCa • tari--Prónto corno sea posible" no será unbjetivo.a la vaguedad de tan "pronto como sea posible". Es niás útil

e;.PéCifiCar.la - feeba. .9,: .en cas.ó. s en. .que . exista duc.r. lírla re: oporción cle fechas. poremplo, `.tín ttia entie maríCil. inatz&-3.0".

nn !,,1 5Lep 1,11 5, r.`.1r. I r )1 R1 ,1-131, -Ht,ft. I Evuduci(1,,ri T11:(' Louic igs 21, P.,Impreso Elut,rt:ac!Cm

Procedimientos formales

Existe un número de medios formales para establecer los objetívos, cuyosdetalles técnicos son el tema del presente libro. Un procedimiento muy conoci-do en el campo evaluativo es la decisión del enfoque teorético (Edwards et al.,1975), el cual permite la explicación formal y la categorización de los objetivos

48 CAP. 2. COMO INTEGRAR LAS EVALUACIONES

49

de los diversos grupos. Cada grupo, primero define y categoriza sus objetivos,además de dar información de aquellos que considera más importantes. Luego,mediante un conjunto de procedimientos conocidos como estadística bayesia-na, los objetivos escogidos se analizan y reportan a los grupos. Con base enesto, se reordenan las prioridades. El proceso de dar información, vincular losobjetivos con las inferencias y reordenar los objetivos continúa hasta que los gru-pos Ilegan a una solución en la cual se tienen en cuenta los diversos puntos de vis-ta. Este enfoque es particularmente útil cuando los evaluadores manejan puntosde vista conflictivos y agudos, y los fondos de objetivos potenciales apoyan lareconciliación informal. Otro enfoque formal —valorar la evaluabilidad — buscaproducir evaluaciones con una utilidad potencial básica. Aunque la valoración dela evaluabilidad es aplicable a todas las evaluaciones, incluidas aquellas que serealizan para programas innovadores, se realiza más a menudo en relación conprogramas establecidos; por tanto, se estudiará más adelante en otra sección deeste capítulo.

Escala para el logro de metas

Aunque muchas evaluaciones cuentan con declaración de objetivos, que inclu-yen cambios en las medidas de los grupos objeto, la escala para obtener metas per-mite reunir las metas en unidades individuales dentro de la población objeto. Elresultado se puede resurnir con el fin de dar una estimación compuesta de la reper-cuslón del programa (Kiresuk, 1973). En este enfoque se usan más medidas relati-vas que absolutas, una idea que ya se ha estudiado; por ejemplo, en un programade tratamiento contra el alcohol se emplea el número de días de cada tres meses deausencia en el trabajo como un criterio de resultado. En el caso del trabajador A,quien es inicialmente un "bebedor de fin de semana", la meta puede ser reducir elnúmero de días por trimestre de 12 a cuatro. Para el trabajador B, quien es un"bebedor exagerado", la meta puede ser reducir el número de días de 12 a ocho.También se pueden diseñar los objetivos para la entrega de sistemas; por ejemplo,la frecuencia con que se pierden las citas para terapias se puede individualizarcomo en el ejemplo anterior. El evaluador puede calcular luego las anotacionesdiferentes y examinar las estimaciones individuales para obtener un resultado com-puesto. Las expectativas de la obtención de metas se pueden basar en el punto devista de los practicantes, ya sea de los propuestos, de los externos o una combina-ción de ambos.

Como la escala para el logro de metas tiene utilidad evaluativa en variasáreas, (enire otras las psicoterapéutica y la de la educación especial), tambiéntiene sus limítaciones. Primero, consume mucho tiempo y es costosa para estu-dios a largo plazo o en los que se incluyen muchos objetivos. Segundo, se contra-pone a los enfoques de las intervenciones de muchos programas relacionadoscon los resultados congruentes para la población objeto. Tercero, dicha escalapuede dar por resultado objetivos deprimidos; por ejemplo, en una clínica, parareducir peso se diseñó un objetivo con el fin de hacer perder 2.5 Kg a un pacienteque tenía un sobrepeso de 15 Kg, de tal manera que éste tuvo un "éxito" reducidocon un mínimo esfuerzo. Sin embargo, independientemente de tales precaucio-nes, este método sigue siendo atractivo para algunas evaluaciones.

Diseño y desarrollo del programa

En algunos ejemplos, los evaluadores toman la pauta al diseñar y desarro-llar los programas que evalúan; no obstante, esta tarea suele ser responsabili-dad de los diseñadores del programa: son encargados por los patrocinadoresdel programa o por los ejecutivos de la fundación y los legisladores. Sin conside-rar quién efectúe el trabajo y para realizar una evaluación exitosa, se requieretener en cuenta ambos aspectos: el del convenio de objetivos y el de la descrip-ción detallada de cómo se lograrán. La susencia de un mode/o de repercusiónbien detallado limita severamente las oportunidades para controlar la calidad yefectividad de un programa (Freeman y Sherwood, 1970). Por analogía, elpaquete de la información de la computadora (software) no es útil si no ha sidodocumentado adecuadamente. Aun cuando un programa sea exitoso en su entre-ga de servicios y en el logro de los objetivos para el que se estableció, sin unmodelo de repercusión explícito no hay base para comprender cómo y por quéfunciona, o para reproducir sus esfuerzos en una escala mayor, en otros sitios ocon otras poblaciones. Si no hay modelos de repercusión (o sólo existe unoincompleto), cuando una evaluación se emprende el evaluador debe inducir alequipo de trabajo del programa o a los patrocinadores a crear uno o efectuar estetrabajo él mismo.

Elementos del modelo de repercusión

Una intervención o modelo de repercusión es un intento por trasladar lasnociones relativas a la regulación, la modificación y el control del comportamientosocial o de las condiciones de la comunidad, en hipótesis sobre las cuales se puedabasar la acción. Son raros los modelos explicados completamente. A menudo, el"modelo" de la intervención consiste en las presunciones que destacan el funciona-miento del programa. Estas presunciones pueden haber sido diseñadas con baseen estudios previos (realizados en muestras pequeñas o en otras localidades) opueden tener bases deficientes o no empíricas, ideadas en vez de los procedimien-tos no probados, en los cuales se han basado los practicantes.

El modelo de repercusión toma la forma de una declaración acerca de lasrelaciones esperadas entre un programa y sus metas: establece sucesívamente laestrategia para Ilenar el vacío entre el establecimiento de metas durante el proce-so de planeación y el comportamiento o condición existente. Dicho modelo debecontener una hipótesis causal, una hipótesis acerca de la intervención y una hipó-tesis de la acción.

Hipótesis causal. En la esencia de cualquier modelo de repercusión seencuentra una hipótesis acerca de la influencia de uno o más procesos o determi-nantes del comportamiento o condición que el programa busca modificar. Aun-que existen muchas maneras de pensar acerca de las causas, una simple idea decausa es suficiente; por ejemplo, numerosos científicos sociales creen que care-cer de empleo entre los ex reclusos, después de un cargo de felonía, resulta en unregreso el delito (reincidir). Múltiples investigadores (Irwin, 1970) afirman que siel prisionero liberado es incapaz de encontrar un empleo legítimo, buscará pro-bablemente modos ilegales de obtener ingresos.

1

•11'!

.1i

"I

En este caso, la hipótesis causal podría ser que reincidír es resultado deldesempleo; pero, para ser práctico, todas las hipótesis, incluidas las causales,se tienen que establecer de tal manera que permitan hacer pruebas o medidas.Éste es el proceso de operacionalidad. Para operacionalizar las hipótesis, elevaluador puede establecer que el rearresto por delitos es más probable entreprisioneros liberados, los cuales tengan mínimas calificaciones vocacionaleso que encuentren mercados de trabajo relativamente pobres. Cabe hacer no-tar que esta forrnulación no es la única que parece congruente con la hipóte-sis causal. La reincidencia se puede medir con base en si una persona es convictade felonía o no; las calificaciones vocacionales pueden significar la historia previa decontratación, el entrenamiento vocacional mientras se está en prisión, o las califi-caciones en varias pruebas de aptitud, y el mercado comunítario de empleos sepuede medir por la lista de vacantes que emiten las agencías de empleo, por elnivel medido de desempleo en la comunidad, etc.

El punto de apoyo importante es que reincidir, las calificaciones para elempleo y las oportunidades para obtenerlo se tienen que medir en la evaluaciónde cualquier programa diseñado para reducir la reincidencia entre los prisione-ros. Por tanto, parte de la tarea de diseñar un modelo de repercusión consiste enespecificar las variables causales en términos operacionales medibles.

Hipótesis de interuención. Esta hipótesis es una declaración que especificala relación existente entre un programa, lo que se hará y el proceso o determinan-te vinculados en la hipótesis causal con el comportamiento o condición que sereducirá o cambiará. En el ejemplo del control de la reincidencia, la hipótesis deintervención podría ser que el empleado ex convicto está relacionado con la ter-minación exitosa del entrenamiento de un programa vocacional. De esta manera,el modelo de repercusión para reducir la reincidencia podría establecer la hipóte-sis de intervención de que dar entrenamiento vocacional a prisioneros liberadospermite reducir la reincidencia.

Otras hipótesis de intervención son congruentes también con la hipótesiscausal. Una hipótesis de intervención que da oportunidades de empleo directa-mente, mediante alguien que motive a los empleadores a contratar a prisionerosliberados (quizá por medio de subsidio a los impuestos), podría ser una opcióndel entrenamiento vocacional. También sería una hipótesis de intervención laque destaque la asistencia para buscar trabajo a prisioneros liberados. De hecho,una agencia que trate de diseñar un programa efectivo para reducir la reinciden-cia puede considerar los trel - enfoques separadamente y en combinación paradiseriar un programa de intervención más eficaz y efectivo.

Hipótesis de acción. Se requiere este tercer tipo de hipótesis, que permitaevaluar si la intervención, aun en el caso en que conlleve un cambío deseado de lavariable causal, está necesariamente unida a los resultados, esto es, al comporta-miento o condición que se busca modificar. Esta tercera hipótesis es necesariaporque, aun cuando un cambio natural en las condiciones existentes puede cau-sar una serie deseable de eventos, la inclusión de este cambio por medio de unaintervención puede no resultar en el mismo proceso social o de comportamientonatural. Una acción se puede planear y realizar como una intervención, pero lascondiciones deben ser diferentes de cuando tales acciones ocurren "generalmen-te". De esta manera, la competencia que resulta del entrenamiento vocacionalpuede no ser la misma que aquella que resulta de aprender lo que sucede durante

las experiencias de trabajo regular; por ejemplo, los ex convictos que han llevadocursos de entrenamiento vocacional pueden no cumplir con el rango de califica-ciones requerido por los empleadores o estimarse que no lo poseen.

La importancia de la hipótesis de acción se puede considerar como unaparte interesante de la investigación reálizada desde hace varios años acerca deldecremento de la discriminación racial en los empleos (Festinger, 1964). Losenlaces causales estaban presumiblemente entre: a) la comprensión y el conoci-miento de los negros; b) los prejuicios, y c) la discriminación. Al respecto, seideó un programa por administradores de empleos para incrementar su com-prensión y conocimiento acerca de la raza negra, de manera que se redujeransus prejuicios. El resultado raro del programa fue que los administradores deempleo cuyas actividades cambiaron se convirtieron en sujetos más discrimina-torios que antes. Para explicar este resultado, Festinger argumentó que la dis-ponibilidad de nueva información permitió polarizar el . cornportamiento. Enotras palabras, el enfrentamiento que provocó el programa, hizo imposiblepara los administradores continuar comportándose como lo habían hecho. Portanto, mientras que algunos de ellos se volvieron menos discriminantes, otrosincrementaron esta actitud al realizar sus prácticas de empleo: Ni los hallazgosdel estudio, ni la explicación de Festinger invalidan las relaciones causales queexisten en el curso normal de la socialización. Aun cuando los cambios ocurrie-sen en un ambiente natural, no se podría inducirlos; sin embargo, la hipótesis deacción es tan importante como las otras hipótesis en las investigaciones eválua-tivas y se debe estudiar empíricamente.

Fuentes de hipótesis. Idealmente, las hipótesis en las que se basan los mode-los de repercusión se derivan de los estudios experimentales que permiten hacerinferencias causales, de teorías bien diseñadas o de ambos. En la actualidad, losestudios causales y las teorías del comportamiento social y del proceso socialdiseñadas con lógica son escasas. Muchosmodelos de repercusión se derivan deimpresiones clínicas o de asociaciones estadísticas entre las variables indepen-dientes (presumiblemente causales) y las medidas dependientes (o resultados).El estado de desarrollo en el campo y el conocimiento de los resultados de otrosprogramas de acción son determinantes de las fuentes de hipótesis. Desde luego,los programas exitosos en la entrega de servicios y en sus resultados son más pro-bables cuando def inen razonablemente el conocimiento disponible para diseñarun modelo de repercusión.

Manipulabilidad y factibilidad

Los modelos de repercusión se basan en la presunción de que las váriablesrelacionadas con el fenómeno que se modificará son susceptibles de manipula-ción. Primero, el modelo de intervención debe especificar las variables de inter-vención que son acciones adecuadas para la población objeto, es decir, lasintervenciones que puedan afectar a los objetivos directa o indirectamente. Lamanipulabilidad se impide cuando existe una condición indeseable, debida aque el objeto se vincula a esa condición de una manera particular en el momen-to en que se produce la intervención. Éste es el caso, aparentemente, en el áreade la realización educativa. Evidentemente, mucha de la variaCión en la acti-tud de los estudiantes de nivel medio, por ejemplo, no está en función primor-

50 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES PLANIFICACION DE LAS EVALUACIONES 51

PLANIFICACIÓN DE LAS EVALUACIONES 5352 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES

dial de lo que le sucede en la escuela; en vez de ello, se debe principalmente ala influencia de sus familiares y el ambiente social anterior (Sewell y Hauser,1975). Si se detecta una asimilación deficiente, se prestaría a que hubieracualquier intervención cuando los estudiantes son más jóvenes, aun "sacrifi-cando" a los niños de edad secundaria. Desde luego, el enfoque de un progra-ma se debe hacer en las variables, que sean manipulables y que tengan untiempo adecuado para manipularlas.

Segundo, se debe evitar seleccionar intervenciones con poca factibilidad.La baja factibilidad se puede deber a la aceptación del programa por los patroci-nadores, los sujetos objeto y otros evaluados, los valores ideológicos y los impe-rativos de la vida comunitaria, o al riesgo de que ocurran efectos colaterales nodeseados. Por ejemplo, en un programa diseñado para reducir la contamina-ción del aire, ciertas condiciones (como la cantidad de humo emitido por losautomóviles) se pueden considerar manipulables; otras (como la reducción dedescargas de la industria contaminante) se pueden identificar como no tanmanipulables debido quizá a la carencia de técnicas científicas para reducir lasdescargas de humo o la indisposición de la industria para pagar los costos. Losimperativos ideológicos y políticos se pueden ejemplificar con otro problema.Se ha encontrado que la clase social está correlacionada con las enfermedadesmentales, pero un cambio revolucionario en la estructura económica estado-unidense es difícil, una intervención que se podría atribuir a un político típico.Los efectos colaterales pueden resultar del uso de grabadoras telefónicas paraidentificar a ciertos delincuentes como los apostadores profesionales. Dadoque en la grabación se necesita incluir las cintas de gente inocente y de la incul-pada, su uso significa una invasión de la privacía, un efecto colateral militante,contra este género de intervenciones.

Entonces, tanto los evaluadores como los patrocinadores y el equipo de tra-bajo necesitan diseñar modelos de repercusión que sean sensibles a la manipula-bilidad. Dichas personas deben estar preocupadas por el espacio político, por elcual se entiende la congeniabilidad entre las acciones de la intervención que sedeben tomar y la factibilidad de la ejecución en términos de los intereses, sus fina-lidades y los puntos de vista de los evaluados, en los que se incluyen los sujetosobjeto.

Selección de poblaciones objeto

Debe quedar claro que existe una acción entre la selección de la poblaciónobjeto y el diseño del modelo de repercusión. De alguna manera, la distinción entreambas tareas es artificial. El modelo de repercusión debe incluir un conjunto dehipótesis acerca de la plausibilidad de un evento que precede a otro. Tales hipóte-sis se basan en las predicciones respecto de las características de una poblaciónobjeto relacionada con la intervención.

Al considerar la selección de una población objeto el investigador debe tenercuidado de que frecuentemente se desea distinguir entre el grupo que estará sujetode inmediato a intervención (el objeto directo) y la población total que requiereeventualmente intervención (los objetos indirectos). Algunos modelos de repercu-sión implican tales distinciones; por ejemplo, cuando el problema consiste enincrementar el ingreso de los desempleados. El gobierno había aumentado los

pagos de los desempleados, los objetos directo e indirecto eran los mismos: aque-Ilas personas sin trabajo; sin embargo, el gobierno podía decidir convertir a losempleadores en el objeto directo, al permitirles reducciones especiales a los im-puestos, siempre y cuando contrataran trabajadores con un historial de desempleo(quienes son ahora los objetos indirectos). Para predecir el efecto de tal interven-ción, el evaluador debería tasar los datos de estudios pasados o recolectar nuevosdatos, y las relaciones existentes entre ese incentivo del impuesto para losempleadores y el incremento del empleo; una tarea tan importante como prede-cir la composición de la población objeto, —los trabajadores desempleados— ensus características sociales y psicológicas (para un estudio más detallado de losobjetos directos o indirectos, consúltese el capítulo 3).

Además, debido a la relación existente entre la manera en que están organiza-dos los programas y su aceptación y uso por las poblaciones objeto, los modelos derepercusión necesitan tener en cuenta la forma en que se organiza un programa entérminos de aceptación por parte del objeto. El cambio de la salud constituye unejemplo útil. Los estudios correlacionados sugieren que la carencia del cuidadoprenatal, sobre todo durante los últimos meses del embarazo, está relacionado conlos problemas subsecuentes en la salud de la madre y el niño — entre otros, unaalta probabilidad de que el niño estará retardado mentalmente. Un subgruporepresentativo de una población objeto está constituido por madres solteras,particularmente en áreas con bajos ingresos. La solución viable suele ser muysimple: incrementar los servicios médicos disponibles en las áreas con bajosingresos, las cuales tienen grandes poblaciones de mujeres jóvenes; sin embargo,esto no necesariamente significará que el incremento de los servicios hará másfácil o incrementará el uso de los servicios médicos para las madres solteras.

Escoger una población objeto adecuada es una decisión estratégica. El enfo-que del programa debe cambiarse rápidamente si las poblaciones objeto no sonlo que originalmente se pensó. Por ello, en el capítulo 3 se verá cómo se debenestimar los objetos.

Diseño del sistema de entrega

Las intervenciones, no importa cómo se conciban, pueden no ser efectivas yeficaces, a menos que exista un cuidadoso y bien diseñado sistema de entrega.Algunos sistemas de entrega son comparativamente simples, sobre todo cuandolos objetos están poco definidos. Proporcionar educación para la salud en lossalones de clase es una proposición comparativamente simple. Otros sistemas deentrega son altamente complejos. Los cuidados especiales para la salud de madresprospecto, que experimentan "altos riesgos" en los embarazos, pueden requerirmédicos familiares, especialistas en obstetricia y pediatría, hospitales generales ycentros especializados en el cuidado infantil.

Elementos del sistema de entrega

Para documentar y valorar un programa se deben explicar los elementos y cri-terios de representación diseñados y medidos. Entre los elementos generalmentemonitoreados, los cuales se estudiarán en el capítulo 4, están los siguientes:

, tP.of4nrgt.r.Anexo 2.4. Investigación format Ivade Plaza Sésamo

,Ilna parte Unttórt.aritéde h: Investigación formativa $aliz'ada en año y medlo

de planificación dePtaii Sáhinci impllc6 lárnedtelón dela aildiencia, y su atencIónera Ull elemento importante para saber si Plaza Sésarno lograba su audiencía y si lamantenía.Pequelos grupolde :nittós.de¡gclad apropiada y con habilidades cognos-útiv.al evidentes fueron seleccionados pata que acudieran a los estudios.del Tallerde IsphOs cátveiflii:tillier:prograinaS propOestos y ' Partes de estos CiltIrnos:E1,0i-o-grania ssé Proyectá 'étitttiaparatode teleyisión, 'rrtientras que, sobre unapared radya-cente, se proyettaron transparencias en angulo para los nIños. Los observadoresobtuyteron una proporción cds 7 5 seaundos de que los niños vefan el programaen vez . de las tr.ánOaréri. CIal, ',Provectablas Lb. s.PródjgVores -pu, dieron

pimto en el 'grado de

atericiákqué existia sobre el ptitglámá'ci .párte de'la pr obada denItios.De:a..lejítar,:‘ii:r.réChazar versiones de prograrnas, se hicieron

41.eiC0.-delaS 'carattérláticas que Itrajerono n0:1A_atención de lasn i net.l.é;OnáilnitatpentldesOeittájacióí:12 investilátóri fOrMátiVa desernpeñó unpaiiet,-crüciffl, s:seMplo,1 prcidüCtOtél i al reduclr el rIesgo de que Plaza Sésarrio no

iéle:Jtyla t ic,,nzada:.„ .

105,0;,Tpe rirít,Ylar-63 Sesame Streml The Formanse', -

54 CAP. 2. CCIMO INTEGRAR LAS EVALUACIONES

PLANIFICACIÓN DE LAS EVALUACIONES 55

Identificación del problema y de la población.Provisión de procedimientos y servicios.Las calificaciones y competencia del equipo de trabajo.Los mecanismos para reclutar y obtener la cooperación de la poblaciónobjeto.Los medios para optimizar el acceso a la intervención, incluidas la localiza-ción y las características físicas de los sitios de entrega de servicios.Los esfuerzos de referencia y seguimiento.

Por supuesto, cada programa tiene sus propios conjuntos de elementos deentrega de servicios. Aquí será útil un ejemplo. Una enfermedad neurológicainfantil, rara pero invariablemente fatal, es la de Tay Sacs,* por lo general trans-mitida y confinada casi exclusivamente a los judíos con antecedentes en Europadel este. En uno de cada cuatro embarazos en los que cada padre potencial Ilevael gene recesivo del defecto, el niño se verá afectado (los objetos están identifica-dos). Fue diseñada una intervención para prevenir tales embarazos, en la cual seofrecen análisis sanguíneos (prueba de Tay Sacs) a la población con anteceden-tes en el este de Europa; los portadores son advertidos de los riesgos que correnal tener relaciones sexuales con otras personas que Ileven el mismo gene; las por-tadoras embarazadas son aconsejadas para que busquen un diagnóstico evaluati-vo del bebé en el útero, y en el caso de la existencia de un feto con Tay Sacs, serecomienda médicamente la intervención de un aborto terapéutico (procedi-mientos y servicios).

El programa está bajo la supervisión de un consejero especialista en genéti-ca, hay enfermeras para tomar las muestras sanguíneas, y un especialista enpublicidad es contratado para seleccionar sujetos objeto. Uno de los esfuerzos dela intervención se realiza cada semestre, en los recintos universitarios, en unlugar conveniente (por ejemplo, la confederación universitaria). Los casos positi-vos se envían al consejero, el cual se encuentra ubicado en la clínica de la ciudaduniversitaria (reclutamiento y acceso al sitio). Los estudiantes portadores que nobuscan al consejero son contactados tan frecuente y agresivamente como seaposible por su doctor y, una vez identificados, son contactados anualmente porcorreo para impulsar la prueba también en sus parejas potenciales o comunes(retención del objeto).

Además, para valorar los diversos elementos del sistema de entrega se debenrecabar datos de los costos, si se tiene que efectuar una evaluación eficaz. Loscostos en salarios, el trabajo, las cuotas y la propaganda podrían ser adecuados yaplicables al ejemplo anterior (véase en el capítulo 4 lo relacionado con el moni-toreo y en el capítulo 8 lo referente a la eficacia de los estudios).

Estudios formatiuos

En el diseño y desarrollo de muchos programas es útil y frecuentementenecesario efectuar actividades evaluativas durante el diseño de la intervención.Tales actividades pueden ser rnuy simples o tan complejas como las evaluacionesexhaustivas. En algunas ocasiones se dirigen a interrogantes específicas relacio-

Entermedad congénita caracterizada por retraso mental, ceguera progresiva, parálisis y muerte (N. del E.).

nadas con el desarrollo del sistema de entrega, con la selección de objetos y con laestructuración de la intervención. Otras veces son evaluaciones de repercusiónmíníma realizadas para colectar las estimaciones de la magnitud de la repercu-sión que se espera con una intervención particular. La necesidad de contar conuna evaluación formativa es una razón importante para permitir un tiempo ade-cuado a la planificación y el diseño del programa. Muchos programas fallan en sufase de diseño para invertir suficientes recursos en esfuerzos formativos. La con-secuencia puede afectar la importancia del programa. Las evaluaciones forrnati-vas pueden incluir la prueba y valoración de un programa, ya sea en uno o pocossítios, o con una pequeña muestra del objeto antes de la ejecución exhaustiva.

Por ejemplo, como parte de la planificación y el diseño del programa Sesa-me Street (Plaza Sésamo), el equipo de trabajo estaba consciente de cuálescaracterísticas particulares de la televisión debían ser escogidas como los agen-tes del mensaje por comunicar. Se realizaron experimentos relativamente senci-llos. Los mismos mensajes de aprendizaje se transmitieron en caracterizacionesdiferentes y en frecuencias distintas. Los grupos de niños que veían las represen-taciones en las pantallas de televisión eran evaluados en la variación de su aten-ción a la pantalla. Con base en esto se tomaron decisiones respecto al formato delprograma (véase el anexo 2.4).

En otro ejemplo de un estudio formativo, una porción "típica" de la poblaciónobjeto se seleccionó para partícipar en un proceso de prueba de la intervención.Este estudio se realízó para estimar el número de poblaciones objeto que podrían

r777 - "",

5756 CAP. 2. COMO INTEGRAR LAS EVALUAC1ONES

utilizar un programa comunitario de salud mental con atención semanal. Se man-tuvieron registros cuidadosos de los medios para "seleccionar" sujetos objeto, enla proporción de quienes asistieron al curso de ocho semanas y de quienes deserta-ron. Se entrevistó a los que abandonaron el curso, con el fin de saber por qué nocompletaron el programa, para encontrar mejores maneras de reclutar a la pobla-ción objeto.

Por supuesto, los estudios formativos varían en el grado en que son rigurososy en la complejidad de sus recolecciones de datos y de su análisis; sin embargo, enmuchos casos aun los estudios más simples permiten examinar los problemas queafronta la intervención y los medios para resolverlos. Es más, en muchos casos losestudios formativos también permiten probar con anticipación los procedimien-tos e instrumentos de la evaluación, así como la evaluación misma. Los evaluado-res comprometidos en estudios formativos deben participar en el diseño actual yen el esfuerzo de programación, pues el énfasis aquí consiste en incrementar eléxito de los esfuerzos de las intervenciones subsecuentes y de sus evaluaciones.Así, el evaluador se convierte en un defensor y partidario participante de las acti-vidades del programa.

Simulaciones del programa

A menudo, el tiempo, el costo y otras exigencias impiden realizar estudiosformativos en el diseño de actividades innovadoras. En tales casos, el equipo delprograma y los evaluadores pueden alternar las simulaciones del programa (véa-se el anexo 2.5). Las slmulaciones también pueden complementar los esfuerzosformativos.

n segulda de las bastantes ,sóliclas experiencias de éxIto én el aeroespacto, laIbillcta;:lárcórnputacIón y las decharactóri,es:;de he§ticlo,s; ta tolcnica de la simulálkti¿n Ppr OOputadora aparec-e lasj'aPlidaelOnes de blenest4.is6cIaL5Aúnque en los últimos Casos el sisterna rnodelado era rnenosestructurado,y-_las VarTables cle los .reSultádos eran frecuenternente menos. defintdas,ciones se ernprendían por tazones típicas para la técnica: existía un sistema devariables interrelacionado, completamente, en el sentido de qüelas relaciOrreehtre los ingresos y los egresos no eran Intuitivamente obvlas, perosídifícileSideenki-,car de manera analítica S I el siStema s'e pue.d re relresentar de modoactecu-adá en un.„ -Modelo, los egresos resultantes del patrón particular de ingresos sepodraneSiimany-

L. , la información ernpleacla en cu,alquier procesp_dejdecisión es-tará,.~nible:rEhliano de 197 , se '1: ecabarb n'claíias cle:1 'pe--riodo--de ' sePtiembje'de 1974 a

abril de:1975Sue permItIeron describir los númerOS de pacie ,ntes de aCtierdo .con laáecIsíión;-, sijas' di'strIbúclohes cle los periodos de estancialkir cada `segmentoeStanCia:1-6Súj¿tos fueron pacientes que 'ingtesaron e.nd pabellón durante .elsepertodoTjLá datos Prirnarlos fue un sisterna de ,dátOS cornputárizado.de-unCentró de salud rñe-rital:, eOinunItario relativO, el Cnal durante eSe tiernPótamÚlénincluía a todos lospaclentes que ingre ,:aban . en el,pabellón psiquiátrico. Datoscionales Se -ohiuvieron del regis'tro"del condado.y bPortaron profesionales''en

salud merital qüe conforMbron el ingreso:inicial,de pacientes.pcitencialesrios. Los clatos colectaRicís incluyen fuentes referenciales internas y dIsposiCión fuera del pabellón, datos de fechas acerca dé adn'ilsión y, desearga, y fechás de cadaaddi.r2.ncia Cárnbio de estains inlentrás los paciCntes PerMariecfail en et

, Cada paciente fue clasificado de acue, do con su estado por cada díaen el pabe„--donde las categorías de estados fueron de bdmisión voluntaria, converttglas

voluntariás (adn-iltidas thyoluntariamente,.per9 rn, ,ás tardese ton y lno en que se corvio ,cde 90 días,

-Dado el tuegO de,CláSifiCacir5n pára.pacientes, se prograrnas decornputadoras que podrián ,resurtur . las fuentes referenciales y las disposiciones den, =

- tro-;,;:fuefra de pábellón,-',. tárabjo, seil-"Yel es-tadolde4-,paciente, frecue,ntlay,tipo.s „.de 1asaudiencias legáles, dIstribuclones de las longitiídes de estancias distribuciones d.,,nürneros , y'fipoS- de adrnisio,nes, y

b da tipd de pacientes: t3s'El par_ tictuarrnenlene"CUP3 a Cd

1ción acerca'lli -admisiortes,audiencias y cambios en.et:estatus, Una buena reacción natural cle esos materla esÍ hetho7de-,.'quefue "¿Qué pasaría mejore,s versIones delaeuestIónIn'eron: b)¿quéliabríasucedido sI la eornbinációry'de los.Paclentes voluntarios e involuritario's:hublesé''carnbiadó?:V. b. ) . 4ulliábría'sücedieló si lós jueteS -erhpezaran'a Intfeinentár-odet re.-.meritaretrailIó en-aüchiCiéton cornprórniIós'en l priinera aüdiencia? Esasres son de interés especial debido a su repercusIón en la cornbinación de pacientevoluntariosiinvoluntarios (dado que estdafecta'al pr9gre.ama)'proriredIoclo de estadía y proporción de ernpleo de camas. Talés íSibbierilas han,Sidó .de, -importaritia par-litular porqüe,la cg, que representa un cat'nblia,raclical moderadoen el próCediriiierito, era aúri'relativaniente nueva, y los mét&lás para responder aella apenas se habían consolIdador , Un estudio cle simulación pareció ,la rnahera'apropiacia de dirigir las interrogantes. • ' '

El segundo propósito del estudio de simulacIón fue adquitir alguna. , -con'la téenica de sImulación en un esfuério por valorar su utilldad para la évaltia"-:

isa. ción 11:1 kograina y les.fUnclope,s,de.lainVQ.spgacI5n

Álgunas simulaciones son altamente cuantitativas y formales, e incorporanmodelos complejos elaborados en computadora (incluidos los estudios de efi-cacia anteriores, examinados en el capítulo 8). En otras se aplican enfoquescualitativos, como en las consecuencias de cada manera de identificar, delimi-tar y reclutar poblaciones objeto. Asimismo, varios niveles de repercusión sonestimados Por programas de intensidades diversas. Finalmente, los evaluado-res suelen simular los resultados de estudios de programas similares para quelos patrocinadores, los planificadores y los diseñadores puedan confrontar eltipo y la magnitud *de resultados que logren.

Mucho del trabajo de simulación que los evaluadores efectúan durante eldiseño de un programa y durante toda la evaluación es similar al realizado entodos los estudios de investigaciones; por ejemplo, un anexo comúnmente reque-rido en los diseños de evaluaciones es un conjunto de "tablas falsas", las cualesmuestran lo que los resultados de una evaluación deben parecer y en cuál rango

Anexo ujo Involuntatiodel paciente

Efectividucl ambigua de la e ikacióncontru ei alcoholisalo


de uso y estimación de la repercusión se debe incluir. Las "tablas falsas" debenalertar al equipo de personas, a los patrocinadores y a los evaluadores acerca desi se plantean o no las interrogantes apropiadas para la evaluación, sugerirán lasestimaciones razonables de la repercusión y, de este modo, formarán expectati-vas de acuerdo con la adopción del programa en una base más amplia, o si secontinuará apoyando en cualquier nivel.

Resumen de las actividadesinnovadoras de la evaluación

Cabe recalcar que el evaluador, al planificar, diseñar y probar los nuevosprogramas, debe ser capaz de emprender un arnplio rango de actividades. Éstasvarían de acuerdo con el tipo de programa puesto en marcha, las exigencias enrecursos y políticas y las tareas particulares del equipo del programa y de los gru-pos evaluativos. En muchas evaluaciones de programas innovadores, el evalua-dor participará por lo menos en alguna de las tareas examinadas en este capítulo,a saber:

Identificar y describir el problema o la preocupación.Operacionalizar los objetivos del programa.Desarrollar un modelo de intervención.Definir una población objeto.Diseriar el sistema de entrega y los procedirnientos para verificarlo.Valorar la repercuslón y estimar la eficacia.

EVALUACIÓN DE PROGRAMAS ESTABLECIDOS

Mientras que la evaluación de programas innovadores representa unaimportante actividad para el campo, la mayoría de los recursos de los programas(y, por tanto, de los esfuerzos evaluativos) recae en la valoración de los progra-mas comunes establecidos. Los esfuerzos evaluativos relacionados con programasestablecidos son menos evidentes que aquellos vinculados con prograrnas innova-dores. Primero, la mayoría los realizan "en casa" equipos asociados con las agen-cias operantes. Segundo, parte de la evaluación de programas establecidos serelaciona con asuntos administrativos de mantener y mejorar la efectividad delprograma.

En este sentido, las reglas de campo son diferentes. Los programas estableci-dos suelen ser una respuesta histórica a preocupaciones sociales; muchos hansurgido de esfuerzos tradicionales, permanentes o mejorados, y sus estructurasbásicas rara vez son susceptibles de cuestionamiento. El valor de los cosejeros-guía en las escuelas, los programas vocacionales para impedidos, la supervisiónde la palabra de honor para ex convictos y la educación cornunitaria en la saludpara prevenir enfermedades se consideran cuestiones resueltas. El público espe-ra no sólo que esos programas sean vigentes, sino además que involucren adefensores y empleados, y que una proporción significativa de la fuerza de traba-jo nacional intervenga en su continuación. Así, las presiones para mantenerlosresultan fuertes.

EVALUACIÓN DE PROGRAMAS 59

Al mismo tiempo, en muchos sectores de recursos humanos existe un escrutiniocontinuo e intensificado de programas establecidos. Muchos se basan en valores ymodelos de intervención que no son adecuados, mientras que otros han perdido susfundamentos aparentes y sus objetivos. También, como ya se hizo notar, existe unacomunidad creciente e inconforme acerca de la proliferación y la redundancia de losprogramas. El costo en espiral de los programas y las limitaciones incrementadas delos recursos, sobre todo de los fondos públicos, requiere escoger lo que se apoya y sumagnitud. En consecuencia, se han planteado interrogantes serias acerca del gradoen que el programa funciona eficazmente y se apega a los requerimientos ftscales,legales y operacionales. Finalmente, los distritos electorales y los seguidores de cadaprograrna están preocupados por su repercusión y su relación costo-beneficio, encornparación con los prograrnas con los que compite por patrocinio y financia-miento. Por todas estas razones, los encargados de la política y responsables deubicar los recursos, los administradores del programa que defienden su puesta enmarcha y los grupos de seguidores irnplicados reconocerán la necesidad urgentede evaluar los progrannas establecidos. En el anexo 2.6 se describe el cuestiona-miento común de los programas de educación acerca del alcoholismo.

educación 'acerca deralciShol,¿previene IpCproblemas del aleoholismo?

Una premka razonable es que la prevenoón de los problemas de alcoholismoy consumo de drogas entre los jóvenes debería empezar con enseñar entre losnthos y adolescentes ei conocimientode la realidad acerca de la naturaleza, el co. n-

,

surno, y los éféctos dé.aquellas sastantias que son bbjeto de abuso. No obstante,:eyldenclás-ieelentes sugleren que los programas de educación contra el consumode drogaS- tiuf?dn aumentar en vez de disrnInuir las achtudes prociroga y el c.onsu-rno de"droqas ha incrementado las críticas a los esfuerzos actuales de ectUcacláncontra el aicobol y las drogas y ha permitido a algunos buscar una mórátoria a losenfoques de -preiP encIón pnmaria R e -.pecto dela educación contra el alcohól, estepapel examina críticarnente las evidencias acerca de esta falla en la edueaólóncomo una InedIda preventiva y c.onsidera st una acusaciáncontra empleo cfe, ,estos rnE:todos se g¿,trantiza en este tiempo. Adernás, se examin,an varias caracte-rísticas nCcesária;s7dé una'prueba'adecuada de efectividad de n la edueactón'eOntrael•Atifique 'eSte docurnento se retaciona con la educacl6n contra elalcoholkmo, se ha incluido información de la bibliografía acerca de cclucacióncontra el consurno de drogas más abundante cuando sea pertinente.

Auncitle.:lás .:Inttlínico_ -,édnlati!;4'.:en Estados Llnidos reclben aprobacionescorcliáy colinOZIrderiVel'Ireler'ithiCIrlifinar-lOW.:1110i:lin:a.;,aftaIncia de que virtual-merliltOdos lcil:.10418i:rellgeten. ltistrIcCIÓnAjelaCIO`ii :15g1/ alcohollárnO en lase sc u c I a s'Príhlióál; ;.11.éjeltielória .Ctithl,de:104ilOgilihállfiltitIctivos generalinente sehadó.que

phriciad4iijg-hallai4i, :ahlaItiCi6hsf,MérflOat Gicitietil . entre Otros: lha sugeri-, „ .,.„.,.., .„. , . ..:,, .., , :... ...„ ,,..- .....-. ,..:1¿:Iiréséhté"Iihi.aéi6h'se drigth6Círándóil InfliteriakdélOs . grupos de rnode-,--‹,. .„ .:... .. , ..,,..,. , .ración:(15Or :e)priiplo, i.él DePr..:. 5.1,q,..nt:Oti; so'mrs1I. e.nitiérariCe ,Departavinento de

Dg Alc.:,hol Education P-re--•up Educovon, vot, 25, ntIm.

,

Perspectiva de la evaluabilidad

60

.......I'v,....?•7,111~.. ....:;:-.'".:.7.. ., - - , . , .

ddél:któii.::Ciério . 40.1i.1¡ • Ilitirpo*...; . - • . - irnetos ,esfuerzos-de esos'grw,,.. p9 .1..rd, 4. : 4;bli. _e-ra'cl.,ón.. .......tenj4.ó.... 1 ...9 ....., .Çgyr:•4..;".14.....ed. .110.¿..I.i5.n ...1Có.nti-a., .':1.,ral,s6.1451.12-1--'üill.Párte:iinpili,tánte de(picig-r."ainá¿ini-10.4ri;i:lklaS:es'Cuejal:PúblIali..S!.¡Srnátéríal

. ....e¿IúCáíitTói..:Tnéixini.,altiicad01..C:Oiiii>5'..tlilnyliónaélólY,:baIlidós.sPfiliielnáliri'erite:InTiolSéliiiinieritós'ile.:Wiledólj.:Z141 .C:iíti401aIejld-a's-',"pón.:,el' d.Verii.fnIeri.tól.51:.:IbrOgICIO.I.:,.

‘7.1e',11Pinhibleián, dañareki'd etta.hiddelenfitiáne..:CleinneleYalÓ.n.y:'llejátón'Itnutind.!..-'".11001:ecímreglarnentos-enlIn¡..que:S.e;‘¡:e0nría,11(illir,11:90.1.esol..0,41.9,911:00.i6.:i.

.:. riciii•:'1.1•;: .-ílilion ningún ::.ffiétime.táltfletitio.::40 ..:teoppioárá • lá•oiétlát,..:ciorlii. •:;.......,wiliiie' .ilabit ..Éilfrelit,401 c...dn'eSte.`41erini:;:leiS'..édi4a4.14;e1r.patec.éntiabli-.011..l'.;..t.IrnIi';.::E't difiere

inetlá yniétnClót;;:-.E.c11: 111teo.010:410 04,..s'4•pto-lii'd14 ..1é...011.10ii-en Is..1)3-Ci..liá¿:1-...i.áléial'éiái .1.-oliketI . tá.ii. :.cki 1.4....,..."..6ith*. él:iétiíá'.e14.'éducácin ¿cintie

.',.'ll'smciY,lell'efec.t.OICenclüctUaIgl. .:S.• • * . ilt41-clela,ICOJi.011tOn njituna até ".44:Illiii1044té'...t." x .ti" . • , . ''''adOé-Icebtes:

•• '''.-'•Unaideclárációri r:11: :-'4:1'..1)›.'...9. ,-.13.... 'm.édibleá",'es Ltna forrna necesar:.L,....... -„.. .. .. . • ,,.. . .. ,.,, .,... ..ciAl. r,ul.p.t9glatna'.'1:1491 ,flia..re.9.„- . ,003.1 , signi0c4tiva, aun cuando.:-.yaristshari .a(?:Itá'c00 -1: •¿"$'iéiilki .t.án: 'i.leei:¿¡ité szle.'ine.aí,'érilos prograrriA' de'éducacontra'eraltitiOliátntiMúchtisIilogtoriá0. 14-rietpoi.isin una'clai-a,d'efintciÓn.d

_filosoff430'..esul: iiilre0,:e.ii, p.áitoi. :..1«,:;e1..,ke:11501S4ble de la ausenC1A de estudiosbien c6Vrtídiá'cid .s . ádétcáifela-efecfivIdad . détatéli-biógr.alnaS. En 196 -6, Fre eman ySCOtt infornlaron que muchos de los prOgrátnas'de..;edn.lación contra el alcoholls-nió,::.rglfeiifei;:: .0.iét:ál: .eltiP.d.f.I.F:e'l,íi. ef I cierecle.:....OFjáii;.e. ,Pefct..1.5; ó n y que poco SCi_-)dría,..ti'a¿'.. --. — - ' - ititáción, El ' eiMa subsiste, después de

-. .

La idea estudiada en esta sección parte de las experiencias de un grupo en elUrban Institute (Instituto Urbano), cuyas actividades evaluativas les permitieronllegar a dos conclusiones relacionadas (Wholey et al., 1970; Wholey, 1979). Pri-mero, encontraron difícil y algunas veces imposible poner en marcha evaluacio-nes de los programas públícos porque los adrninistradores y otros evaluados seresistieron, fueron poco cooperativos o fallaron en centrar los propósitos de losestudios. Segundo, encontraron que, a menudo, los resultados de la evaluaciónno se utilizaban para refinar o rnodificar los programas. Esto fue dirigido desde elpunto de vista de un enfoque sistemático, lo que Wholey Ilamó valoración de laeualuabilidad, que debe preceder cualquier esfuerzo evaluativo tradicional. Lasvaloraciones de la evaluabilidad o evaluación previa están diseñadas para dar unambiente apropiado al trabajo futuro de la evaluación; además, como una con-sulta de la administración sisternática, tales esfuerzos en sí mismos pueden serutilizados por el equipo de trabajo antes de las actividades evaluativas (Schmidtet al., 1978; Rutman, 1980). La valoración de la evaluabilidad también puederevelar si la puesta en marcha oorresponde al programa tal como la definieronaquellos que crearon su política y los procedimientos operacionales; en caso con-

EVALUACIÓN DE PROGRAMAS 61

trario, cualquier evaluación que se emprenda será probablemente poco útil.La valoración de la evaluabilidad requiere la disposición incondicional del

personal y, en muchos casos, la colaboración del patrocinador y de quienes seencargan de la política, para explicar los objetivos, la descripción del programay decidir las tareas evaluativas. Mientras se puede argüir que el equipo de traba-jo del programa debía, de acuerdo con su propio convenio, realizar las activida-des descritas como valoración de la evaluabilidad, el evaluador encontrará queesto ocurre rara vez. En consecuencia, estas evaluaciones se convierten en unaresponsabilidad del evaluador, por lo menos en términos de liderazgo, el cual esnecesario para efectuar el trabajo.

Valoración de la evaluabilidad

Realizar la valoración se puede considerar como una serie de aproximacio-nes sucesivas. El especialista en evaluación usará cada encuentro con el personalde trabajo para ampliar sus conocimientos, identificar a los nuevos informantes,verificar la información recolectada y probar los diversos escenarios de las futu-ras actividades evaluativas y las opciones de programas alternativos.

El método está reconocido como uno que requiere un juicio detallado de par-te del especialista en evaluación. Se han hecho esfuerzos en varias descripcionesdel método (Rutman, 1980) para codificar los procedimientos, con el fin de queproporcionen una valoración reproducible por otros asesores. En general, se hanseguido los siguientes pasos repetitivos:

Preparación de una descripción del programa. Esta descripción se basaen documentos formales, como los de los propósitos de los fondos, losfolletos publicados, los manuales administrativos, los infornnes anuales,las minutas y los estudios evaluativos cornpletos. Se incluyen las declara-ciones que identifican los objetivos del programa y los clasifican en formaentrecruzada con los elementos del programa. En otras palabras, como elestudiado rnodelo de repercusión para prograrnas innovadores, la des-cripción del programa compara cómo se supone que funciona actual-mente la intervención.Entreuistas con el personal del programa. La gente clave es entrevistadapara recabar descripciones de las rnetas del programa y de sus fundamenta-ciones, así como para identificar las operaciones actuales del programa.De esta información, los modelos de las intervenciones de las operacionesdel prograrna se diseñan y verifican subsecuentemente con las personasentrevistadas.Exploración del programa. Aunque la valoración de la evaluabilidadno incluye una investigación forrnal, en el sentido de una recolecciónde datos a gran escala, suele incluir visitas para obtener impresionesprirnarias acerca de cómo funciona actualmente el programa. Estasinformaciones se confrontan con la inforrnación de los documentos yde las entrevistas.Diseño de un modelo de progr-ama eualuable. A partir de los tipos deinforrnación variada, los elernentos clel programa y los objetivos se expli-carán para induirios en los planes evaluativos.


Identificación de los usuarios de la eualuación. De acuerdo con lospropósitos de las actividades evaluativas y con los evaluados clave, enseguida se identifica a quién se dirigirá. En reciprocidad, se decidiránlos cambios por efectuar, respecto de las nuevas decisiones (esto es,administrativamente o por medio de la legislación).Logro del conuenio para continuar. El paso final es revisar el plan evalua-tivo con varios de los evaluados. El proceso de acopio de la informacióndurante la valoración de la evaluabilidad incluye, típicamente, diálogoscon los individuos clave y con los grupos importantes. Para este punto sehan aceptado la mayoría de los componentes del plan. Antes de que losevaluados "firmen" el plan, es importante que se llegue a un acuerdoexplícito en lo siguiente:

Los componentes del programa que se analizarán, el diseño de la eva-luación y las prioridades para iniciar el trabajo.Entregar a las fuentes requeridas y convenir acerca de la colaboracióny cooperación necesarias.Un plan para utilizar los resultados de la evaluación.Un plan de los esfuerzos requeridos por el equipo de trabajo del pro-grama para reforzar el potencial de la evaluabilidad de los componen-tes del programa, los cuales generalmente no son manejables por laevaluación, y un enfoque a la ulterior integración de los mismos en elesfuerzo de la evaluación.

Al final, la planificación de las evaluaciones para programas establecidosno es muy distinta, cualitativamente, de la que ocurre en las intervencionesinnovadoras. Quizá las dos distinciones clave en el estilo son: el énfasis incre-mentado para incluir el modelo del programa de evaluación desde las activi-dades existentes del programa y la atención más deliberada a los puntos devista de los evaluados, así como a sus responsabilidades y sus influencias. Enel anexo 2.7 se muestra un ejemplo de la valoración de la evaluabilidad.

Anexo . 1,7. Appalachian Regíonál Conamission(Cornisión Regional de los "Apalaches)„.

En la Appalachian Regional Conunission (ARC), los e, valuadores trabataronadministradóreS" ylós pOlítipas, pára lograr un'consensp acerca del diseno

- t f"un nuevo Prograrria rnaS . verosímll . P mara eos rat e escmpeno ce a e ectivi d aclLa-Valoración clé la evalaabilida'd de loS progra'rnas de salud y desarrollo del niño deIkha'organizaCián c"nipezo'con una colocción de'datos acerca de las íntenslond, los

dtlyInistrádores v la confnhiliciálpor. 'éitirbáta lnstitute (instituto urt;ano), lOsevaluaie .ron io sIguiente- -

•Revc=c1 rca) los clatos de la cornisión en cada uria de las 13 ARC estatales fundadas y rcspeuy dc lo's:progrartilas-de salucl-y desarrollo delos niños,Visitaron duiante, un ' día crldauno de los cin.co estado-s para' a yndar la,s• cd_y:ción de dos siaclos, cj ue ba-rticip-andn_en la evaluación de sisterna cle

63

Re ,,d,aron cerca de 4() piiCsJr documentaciór, consideracla esencial para .rnprender los,,objetivo, y ars actividades ,de la comtsión,. del congreso,•del

e,ta o en relación con ei proyecto incluidos la autortzación de la legtsla1:-)s audiencias'del congresdy. ‹-etinforrne del coinitI;los_dckUrp:entoldéplári1fIcación estatab9.1a .-a¡alica¿C n 11.2S cle perraiscrs il proyet Jj"Revisaron entié 50 si 60 piezas dc documentación,'Incluidos 1(35 Orm'elstlos cont‘ratos, ARC; lós docilmTltos'.-de planes locales, los rnateriales proyec-, - ..„.taclos;-7 1a" dbCurnentación CSPit,-11- Vlós p roy cc tos de investigación:Entrevistaron aaproximaidmcnte . 75 personas de los equlpos congresiona- -les; del Cúarter.de la corm siún, del,OersOnal de los prograrnas de salud y

-arrollO;del estado de la ARC de otros dos. nnidades.. . .p'anifIcación local y de los proyectos localesParticiparon en los tattcies con aproximadarnente,Z,QprIcticanteláctiltdrrs

' 110 S

de saluel clesarrolk) del uulo perso nal estatár de laARCy analiaaS.ext

nródiajetóri:.01,1"M.qn preSentába laS actIVidades y IOS-pbietiy n)s elel progfa arcoo ls yeiátjo:e-clusále'asunildás'entrellábáCti .vidadés,det-prórán'iá -r-láynedición, y,faCtibilidad délds:Obietivos'cletotlpgraníaredefiniCIOneS.del .diSeñó del , PrOgiárna. 'Aqní los evaluádores, influtdosorlas5cricas estériles'alprograrna y s-u .diseño, sugirieron córnoloS políticos y

, cloresP,Odrían estableder objetivosfealistas y inedibles, a"dernááde ciatoS de-,ejecucjón'creii=Prográtna 'para-rnejOirai'.'n'actuación.„ -

jEl - jnforine se pi'esehtó ,de dosrnaherás:,como modelo ma tótárde -serieS indiVidualéde "friódeldCada uno coneerniente con'im objétivo

identifieadó del Prbdrainál ' El'infortne'séñal >atia'una serie'de opciones en' la informa-ción; eOresadas en;:términóS de Modelo;Cualesquiera de los cuales se podría des-arroltaren uii estudioespeCífico o sisterria.z‘,clé-"evalaad6n:',At ieyisar el informe, et,'eqüipo de la . ARC tus,›:0 que esco jet explícitarnente -entre,10C-iirm--ás alternativos de-lá accióri11 . pi. dceso-de reciiáión.empleadó, fue una serie s,de discusiones intensivas_ _ -Cdn los;-egUibOá:pay'fiCipánt'á de la ,ARGydel Urbárv-IriStmate;centradas en .„tiVo y un ificidelo:del .:PXograi-na á- lá _vez..10-cacla sesión; se intentó llegar ci un acuere-lz-dp acerca dé .1á validez del niodelddeflujo:p .rescntadd,éTVei informe la atenSi."4:

eruque„cullligíti_e'ZI:d1 - '14-1;e-lOnét-41inforrnáción, se' podíaperSegiiir.

I u,áblbdádse - corn_ p , eto ,en,aptoxima, ,de 50 000dolares Otros dos rheSeside"trabajO'Cai :la Ápi3aighian:

CorniSSIon Con'lás,rupOs'estatales yllóCáles'PiOdujeton decisloriede.-lFIC 'siltémátiCas para,,mOnítorear;lár eje'C'CiCióit'.Cle'ródíSicis:Iroyectósdesárr011o de la niñez de la ÁÉC, aí -c6mO -pára idehtifieáf-Y -evalual. la 'efectividad deproyec.tós'::Inno -

-,-6Aiil'13 - estádál;:delafÁRCT 7-1'hah'adoptado voltirn taidaiWit;l'érliátéma- ,rhónitoreó de;la,ejecución:=Dhiersós representi,mtes mfOrman que,en la áctualidadlos diseñOS del -proveCto rst iii mas cl¿Ii¿Irnente artieulados y creen quelosproyectosSe han ri-iej¿írádo

Adaptaciój ic119::S.,Wytqley;,.."Ustng Lvaluation to Piógram eiíse Reseaji-h aricl, F:ractic¿.:Climp¿ratiue óridInterilcrtióni21 Perspect.Iues S

-Jt1 V-;

64 EVALUACIÓN DE PROGRAMAS 65

Estudios explicativos

Por cualquiera de las dos causas, como consecuencia de los mandatos exter-nos o con base en la valoración de la evaluabilidad, los estudios explicativos tie-nen como finalidad proporcionar los hallazgos adecuados a las exigencias decada tipo de preocupaciones para explicarlos.

Los patrocinadores, el equipo de trabajo y un amplio rango de grupos comu-nitarios pueden estar preocupados por uno o varios de los puntos que se enume-ran a continuación:

Explicación de ia repercusión. Los administradores del programa estáninteresados por la repercusión por dos razones: las internas de operacióny para justificar los programas externamente.Explicación del alcance. Se refiere a las cuestiones clave relacionadascon el número y las características de las poblaciones objeto, el grado dela penetración (esto es, qué proporción de poblaciones objeto potencia-les son servidas), los rangos de deserción, etc.Explicación de la entrega del servicio. Generalmente, es necesario valo-rar la operación actual del programa conforme a los planes de éste; porejemplo, los centros de salud mental comunitaria pueden incluir en susplanes tratamientos de emergencia durante las 24 horas; la explicaciónen cuestión implica si éstos proporcionan o no. Asimismo, muchos pla-nes de intervenciones especifican las calificaciones para los proveedores;de esta manera, la extensión de la entrega del servicio por un grupo detrabajo calificado es otro problema digno de explicación.Explicación de la eficacia. Obviamente, la repercusión relacionada conlos costos del programa es importante de dos maneras: internamente, entérminos del juicio de los beneficios relativos y de la efectividad contra elcosto de cada elemento del programa, y externamente, al competir porlos recursos.Responsabilidad fiscal. Los programas tienen una responsabilidad clarapara explicar el uso de los fondos en sus informes fiscales; sin embargo,además de lo que es una responsabilidad estricta explicativa, pueden sur-gir pertinentes cuestiones anexas; por ejemplo, el costo por cliente y elcosto por servicios son datos que no se pueden abstraer de un informe fis-cal. El incremento de los costos o los costos marginales son también perti-nentes, dado que los programas varían en tamaño, o porque se incluyendiferentes pob/aciones objeto, etcétera. Finalmente, los costos diferencia-les pueden estar en función del sitio, la época y el inicio de programascompetitivos.Responsabilidad legal. Todos los programas, públicos y privados,requieren de reglas para cumplir sus responsabilidades legales. Éstasincluyen el consentimiento de información, la protección de la privacía,la representación comunitaria en las juntas para tomar decisiones, laequidad en la provisión de servicios y el costo compartido. En los pro-gramas públicos una adecuada complacencia con los requerimientoslegales es un requisito previo, el cual a menudo se debe cumplir paraseguir contando con el financiamiento.

El enfoque de las actividades explicativas de un programa está determinadopor dos tipos de requerimientos: externos e internos; por ejemplo, muchas leyes,incluida la legislación reciente, requieren un informe de la repercusión del pro-grama antes de la aprobación de su financiamiento para años ulteriores. Losadministradores y ejecutivos del programa, a quienes se informa, están conscien-tes de la información explicativa, para que se mejoren y modifiquen los esfuerzosy para administrar sus intervenciones eficientemente. De muchos modos, la valora-ción de la evaluabilidad se considera un medio para diseñar una estrategia aclarato-ria que se integre a las necesidades actuales y futuras de la intervención. Al diseñarlas estrategias explicativas existen dos consideraciones importantes: las evaluacio-nes continuas en oposición a las entrecruzadas y las valoraciones internas en oposi-ción a las extemas.

Evaluaciones continuas en oposicióna las evaluaciones entrecruzadas

En muchos programas extensos se utiliza el monitoreo y el sistema de infor-mación, a menudo referido como sistema de administración de la información(SAI), que permite valorar en una base continua el trabajo y los resultados de losprogramas. Este sistema registra la información de cada encuentro, de la entregade servicios y de los resultados y costos. Los sistemas continuos frecuentementese critican porque "frenan" el impulso; sin embargo, como representan unaentrega permanente de recursos, necesitan justificar su uso constante.

No obstante, al mismo tiempo, en los estudios individuales o entrecruzadosde vez en cuando se realizan gastos excesivos en los costos y pueden ser eroga-dos por el equípo de trabajo, pues no se consideran parte de las operacionesrutinarias. Es más, pueden no ser oportunos y deben tener menos utilidad en lasdecisiones administrativas dignas.

Otra vez, aquí no hay modo de aportar las reglas; en su lugar, se debe juzgaren términos de costo por beneficio un sistema continuo de monitoreo. Enmuchos programas se usa una mezcla de monitoreo continuo con el fin de valo-rar el proceso con evaluacíones entrecruzadas para estimar en varios niveles larepercusión y el costo por beneficio.

Evaluaciones internas en oposicIóna evaluaciones extemas

Las evaluaciones explicativas agravan tajantemente el problema de si el per-sonal de los programas debe emprender sus propias evaluaciones o contratarlasen el exterior. Por una parte, es evidente que en el caso de esas evaluaciones, elevaluador debe conocer muchas operaciones del programa, con el fin de diseñarla evaluación y abocarse a la consulta, la educación y el diálogo requeridos paraoptimizar su utilidad. Por otra parte, existe el riesgo de que el evaluador, quienforma parte del programa, sea acorralado y que los patrocinadores y los evalua-dores que están fuera del grupo de trabajo sospechen de la autenticidad de losresultados. En programas extensos en los que los evaluadores pueden trabajar en

66 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES

DEPURACIÓN DE PROGRAMAS 67

grupos serniautónomos, probablemente es más benéfico y económico para las eva-luaciones explicativas que éstas sean internas. En programas pequeños puede sermejor tener asesoramiento externo, próximo a los métodos de las auditorías fisca-les. En algunos casos, una combinación de ambos, en que se emplee a consultantespara proporcionar asistencia técnica inadvertida, es más ventajosa.

DEPURACIÓN DE PROGRAMASESTABLECIDOS

Frecuentemente, como se señaló en párrafos anteriores, existe un sutil límiteentre lo que se Ilama intervenciones innovadoras y la sintonización del programade ejecución, mediante su depuración. Asimismo, la depuración de las evaluacio-nes comúnmente traslada las evaluaciones de programas establecidos. Con baseen la información de evaluaciones actuales, los administradores del programapueden efectuar camblos, día tras día, en el aspecto tanto administrativo comotécnico, bastante extensivos y sujetos a una evaluación sistemática. No obstante,la parte medular de la depuración es la modificación del programa que repercutede manera notoria en los esfuerzos de la intervención. Su esencia la denota el tér-mino inicianua, el cual se aplica a menudo en los esfuerzos de depuración en lasintervenciones nacionales o a gran escala.

Típicamente, la depuración de programas ocurre porque los patrocinadoresy el equipo de trabajo no están satisfechos con la efectividad, con la eficiencia delas intervenciones o con ambas. La base para efectuar tales cambios se origina enlos hallazgos de los estudios de la evaluación sistemática de monitoreo o repercu-sión tipo, en los resultados de la valoración de la evaluabilidad o en una evidenciamás notoria, fundamentada en la nula satisfacción de la manera como se han rea-lizado los esfuerzos.

Algunos ejemplos serán útiles. En el campo de la salud mental, los centroscomunitarios de salud mental en áreas donde existe una población sígnificativade habla hispana, han llegado a tener cuidado con las barreras que estas personasafrontan por problemas con el lenguaje. Se ha tornado una variedad de enfoquesdiferentes con la finalidad de agilizar el acceso a personas de habla hispana. Unode ellos ha sido incrementar la proporción de personal de habla hispana paratransmitir las características del centro por medio de un lenguaje dual en signos ymaterial educativo acercade la salud, y mediante el empleo de personas deherencia hispana para contactar a grupos religiosos y culturales que sean clavedentro de la comunidad hispana. Un segundo enfoque ha sido establecer progra-mas "nutridores" satélite en las comunidades altamente pobladas de hispanos;aquí, el personal, el material y las relaciones interpersonales reflejan la característi-ca específica cultural de los residentes, el diagnóstico a corto plazo y el tratamientoestán disponibles y los pacientes se refieren a sus centros originales. Por supuesto,el problema es si esos enfoques incrementan el acceso a la población objeto y cuálde ellos es más efectivo.

Otro ejemplo de depuración se relaciona con el gran número de iniciativasvinculadas con los centros comunitarios de salud, muchos de los cuales comen-zaron como organizaciones gratuitas. Aquí, los grupos extemos al centrocomunitario de salud, incluidos el gobierno federal y las grandes fundaciones,han adoptado una variedad de programas para relacionar a los centros comuni-

tarios de salud con los hospitales y las escuelas de medicina. Mientras que lascaracterísticas básicas del cuidado médico no han cambiado en los centroscomunitarios de salud, las iniciativas se consideran mecanismos que reducen lasobreposición indeseable de los servicios entre las instalaciones hospitalarias ylos centros mencionados. Asimismo, tales afiliaciones incrementan la continui-dad en el cuidado del paciente, lo cual da mayor satisfacción al cliente. Simila-res tipos de esfuerzos para reducir la fragmentación del cuidado han tenidolugar en los centros vecinales individuales que ofrecen, a quienes reciben ingre-sos de beneficiencia y a otras personas con ingresos marginales, una variedadde servicios previamente disponibles sólo en oficinas separadas una de otra porescasa distancia.

La depuración requiere básicamente, por parte de los patrocinadores delpersonal del programa y de los evaluadores, tres juegos de actividades relaciona-dos, los cuales se examinarán a continuación.

Reestimación de los objetivosy los resultados

Los esfuerzos de depuración y los programas innovadores constituyen unarespuesta a las condiciones existentes; sin embargo, en el caso de la depura-ción, la acción se centra en las condiciones inherentes al programa, en vez deaquellas relacionadas con el problema nuevo o poco tratado. A menudo, laadvertencia de que un programa no ha resuelto los problemas comunitariosrequiere modificar los objetivos del programa y los criterios de los resultados.Al respecto, considérese el problema de los centros comunitaríos de salud men-tal y de la población hispana. El objetivo original de los centros puede habersido proporcionar un rango de diagnóstico, emergencia y tratamiento en susprogramas a corto plazo para atraer a los residentes del área. El objetivo, comose estableció originalmente, no incluía considerar de modo especial las cuestio-nes éticas y los pasados culturales de la población objeto. Al afrontar el error deproporcionar acceso a personas particulares por sus pasados sociales y cultura-les, se hacía clara la necesidad de mejorar los objetivos. Asimismo, el programade afiliación de los centros comunitarios de salud con los hospitales localesrefleja un mejoramiento de objetivos; se han redefinido y operacionalizado losobjetivos para incluir la máxima continuidad en el cuidado.

La necesidad de redefinir los objetivos suele ser evidente conforme se esta-biliza el programa innovador y surge como especulación establecida en el cam-po de los servicios humanos. Algunas veces, la redefinición de objetivos seramifica del diálogo que casi siempre acompaña a las actividades administrati-vas cotidianas. Otras veces, el evaluador realiza estudios especiales, ya seacomo contratista independiente o como miembro de un equipo de trabajo, paraobtener datos que ayuden al personal del programa a revisar sus objetivos. Enotros casos, el evaluador y el personal de trabajo tienen a su disposición (comose vio al estudiar los programas establecidos) la administración actual y los ser-vicios del sistema de información que aportan datos acerca de los problemasreferentes a los objetivos comunes y el grado en que se satisfacen. Cada vezmás, se han empleado nurnerosos enfoques formales para auditorías continuas.

Funcionamientode objetivos

Desarrollo delmodelo deintervención

Determinaciónde laevaluabilidadDesarrollo delmodelo deevaluación

3. Identificación delasoportunidadespotenciales demodificación

Estudios de larepercusión

Redefinición deobjetivos

3. Diseño de lasmodificacionesdel programa

Conceptualización 1. Descripción delproblema

68 VINCULACIÓN DE LAS EVALUACIONES 69

Valoración del prestigio

El término valoración del prestigio se emplea con el fin de denotar el esfuer-zo sistemático para obtener de los evaluados (sobre todo de las poblaciones obje-to) opiniones y datos acerca de la experiencia, mediante lo cual se enjuiciará elgrado de éxito del programa para lograr sus objetivos. Valorar el prestigio consis-te básicamente en obtener datos del banco de información. Algunos programascontienen cuestionarios para el cliente con el fin de obtener información de ellospara conocer su satisfacción con los programas. Esto se puede hacer medianteun estudio especial o como parte de un esfuerzo común de monitoreo. La investi-gación podría incluir preguntas acerca de varios aspectos del tratamiento talescomo tiempo de espera, realaciones con los practicantes, costos y cuotas, etc.,así como buscar expresiones de los servicios deseados y de las necesidades nosatisfechas.

En resumen, sobre todo para programas extensos, el evaluador puede inves-tigar al proveedor de servicios. Tanto las personas que ofrecen servicios como elcliente tienen sus proplas desviaciones y riesgos en el programa, pero puedenpercibir las fallas y deficiencias susceptibles de corregir mediante una depura-ción; por ejemplo, los datos regulares y sistemáticos se pueden obtener de maes-tros, acerca de varios tipos de servicios especiales ofrecidos por una escuela,como el proporcionado por consejeros que tratan problemas emocionales y el delas guías vocacionales (en el capítulo 4 se abundará acerca del monitoreo).

A menudo, la valoración del prestigio señalará los esfuerzos de depuracióncomparativamente simples, como dar retroalimentación a los maestros acercadel tema que tratan con los estudiantes, áreas en las que fallan los programasespeciales y la manera de colaborar eficazmente con el fin de entender los proble-mas del estudiante. Otras veces, la información puede resumir la necesidad dehacer considerables modificaciones del programa.

La información menos formal incluye las presiones de los que abogan por losevaluados y los grupos comunitarios, y la dan personas de clase media y en lavida política. Cuando la valoración sistemática del prestigio se realiza antes deestas presiones, el personal del programa de administración puede tener inter-venciones mejores y evitar convertirse en sujetos de juicio.

base informal en cursos de inglés y matemáticas, para someterse a los exáme-nes de la junta del colegio. Si se puede demostrar a la junta de la escuela queesos estudiantes obtienen más altas calificaciones, las sesiones preparatoriasformales se pueden incorporar en el currículo regular de la secundaria, sobretodo porque optimizan las oportunidades de los estudiantes de elegir la profe-sión y el plantel que prefieran, lo cual es un objetivo congruente con una de lasmetas generales de la educación secundaria. Al mismo tiempo, tal modificacióncurricular puede incrementar el vacío que hay entre estudiantes con aspiracio-nes y aquellos que no las tienen, lo cual requiere el énfasis de otros aspectos delprograma educativo e interfiere con los planes del maestro durante el curso.

Así pues, en términos de depuración, el evaluador debe participar en lastareas siguientes:

Revalorizar los objetivos.Usar los datos de evaluaciones previas, así como la información acercadel progreso del programa, conseguida como parte de la entrega de ser-vicios, con el fin de buscar la manera de modificar el programa.Comprender y usar la valoración del prestigio.Participar en la replanificación del programa y en su rediseño.

e) Planificar y poner en marcha los diseños de la evaluación para realizar elmonitoreo de los cambios del programa y su repercusión.

VINCULACIÓN DE LAS EVALUACIONESCON LOS PROGRAMAS

En este capítulo se ha expuesto cómo la evaluación se ajusta al desarrollo delas intervenciones innovadoras, dentro del conducto de los programas estableci-dos, y en el mejoramiento y la depuración de los programas. La primera lecciónque se podría transmitir es que la evaluación.se debe vincular con el programa(véase el cuadro 2.1).

Cuadro 2.1. Revisión de las actividades de evaluación

Replanificación del programa y rediseño Programasinnouadores

Programasestableciclos Depuración

Evidentemente, poner en marcha la depuración y el mejoramiento requie-re revisar los diversos pasos y las actividades examinadas con algún detalle enla sección de evaluación de programas innovadores. Es necesario que el pro-blema se halle bien identificado y descrito, que los objetivos estén operacionaliza-dos, que se diseñe un modelo de repercusión revisado, que la población objetosea redefinida, que el sistema de entrega se diserie de nuevo y que se hagan losplanes, por si se requiere revisar la repercusión del monitoreo y la eficacia.

Cabe destacar que no sólo los esfuerzos de depuración son más comunesque las intervenciones innovadoras en el campo de los servicios humanos, sinotambién que las consecuencias de esos esfuerzos son extensivas; por ejemplo,en muchas escuelas secundarias, algunos estudiantes son preparados con una

70

Cuadro 2.1. (Continuación)

Progra mas Programasinnouadores . establecidos

Depuración

Definición de la 4. Determinaciónextensión y

dedistribución de la requerimientospoblación objeto

de contabilidadEspecificacióndel sistema deentrega

Ejecución 1. Investigación 1. Verificación del

1. Refinamientos Rformativa y programa y y D al programadesarrollo estudios contables

2. Ejecución de la

2. Cambios alverificación programa de

verificación

Vaioración 1. Estudios de la

1. Estudios de la

1. Estudios de larepercusión repercusión repercusión

2. Análisis de la

2. Análisis de la

2. Análisis de laeficacia eficacia eficacia

Por supuesto, de ninguna manera se pretende restar importancia a lasactividades ténicas de evaluación y a sus procedimientos que siguen de la con-ceptualización de los estudios. De hecho, esto es lo que se pretende en estaobra. Más aún, es importante reconocer que los programas y las evaluacionesson "dinámicos" en el sentido de que la experiencia adicional al programa, laretrolimentación de la evaluación preliminar y los turnos en los contextospolíticos, económicos y sociales en que los programas y las evaluaciones ocu-rren, pueden requerir modificaciones y ajustes para diseñar las evaluaciones.Al mismo tiempo, a menos que las evaluaciones comiencen por ser detalladasy que sean congruentes con las operaciones del programa y sus requerimien-tos, los estudios sistemáticos exitosos probablemente se suspenderán. Mien-tras haya límites con respecto a cómo completar el proceso de enlace —puesesto implica no sólo la formulación ordenada y el mejoramiento de ideas conla integración de los datos, sino también el diálogo, la discusión y la interac-ción con los evaluados—, el mensaje debe ser claro. La comprensión y partici-pación máxima del evaluador para ajustar las evaluaciones a los programas esesencial para emprender con éxito las evaluaciones sistemáticas.

3Procedimientos

dediagnóstico

Como parte del desarrollo de las actividades evaluativas y la aphcación de los méto-dos de investigación social en el área de servicios humanos, los enfoques sistemáticos yreproducibles se han proyectado para identificar los problemas no tratados y las condicio-nes que no se ajustan bien a los programas existentes. Estos procedimientos de "diagnósti-co" algunas veces constítuyen el paso inicial en la identIftación del problema, mientrasque otras veces siguen la impresión del evaluado y la valoración de las necesidades paradiseñar programas de acción social organizados. En ambos casos, la documentación siste-mática de la necesidad del programa se debe realizar de tal -nanera que se puedan planear,mejorar, ejecutar y evaluar los esfuerzos para la acción social.


Número de casos nuevos de un problema particular ocondición identificados u originados en un área específi-ca durante un periodo determinado.

Medida que refleja un problema o condición del cual exis-te información por series de tiempo.

Valoración sistemática del tipo, la profundidad y el alcan-ce de los problemas como fueron percibidos por laspoblaciones objeto o por sus defensores.

Unidad de poblaciones objeto potenciales que común-mente manifiestan una condición determinada.

Segmento de una población que tiene una probabilidadsignificativa de desarrollar una condición.

Número de casos existeMes con una condición dada enun área particular en ur. tiempo específico.

Ocurrencia o existencia de una condici6n expresadacomo proporción de una unidad en la población (porejemplo, la muerte de mil adultos).

Colección sistemática de información de grandes gruposde estudio, generalmente por medio de entrevistas ocuestionarios administratívos a una muestra de la uni-dad de población.

Incíciencía:

Indicadores:

Medición de necesidades:

Población en necesidad:

Población de riesgo:

Predominio:

Rango:

Inuestigación:

71

72 CAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO ESTIMACIÓN DE LAS 1NTERVENCIONES 73

Si viviéramos en un mundo utópico, donde casi siempre se tuviera buenasalud, no hubiera diferencias sino un equilibrio social completo, amplias oportu-nidades para participar en las actividades culturales y socioocupacionales y exis-tieran programas de servicios humanos eficaces relacionados con las deficíenciasindividuales, interpersonales y comunitarias (lo cual, por supuesto, podría sermenor), no habría necesidad de efectuar evaluaciones, ni nuevos programas nidepuración de los existentes y tampoco sería útil verificar los esfuerzos estableci-dos. Así, la evaluación se puede considerar como una respuesta al esfuerzo deencaminarse hacia un mundo perfecto; los múltiples problemas actuales y antici-pados en los campos humano y social, y la gran presión para diseñar, ejecutar ydepurar diversos programas que los reduzcan y controlen son el objetivo funda-mental de la evaluación.

EL IMPULSO PARA INTERVENCIONESY EVALUACIONES

En una concepción global, la contribución del evaluador en identificar yescalonar las deficiencias sociales y humanas y en la innovación y el mejora-miento de programas que las traten es realmente modesta. Los investigadoresevaluativos deben ser modestos acerca de su influencia en esta materia a la luzde las acciones de los grupos políticos, de las corporaciones de abogados, delos ponentes y de las personalidades carismáticas. La atención del mundo pos-terior a la Segunda Guerra Mundial con respecto a las enfermedades mentalesse debió en gran parte a un congresista singular; los prograrnas con subsidiofederal para ayudar al retardado mental recibieron un gran impulso durante lapresidencia de John F. Kennedy porque él tenía un pariente retardado; el mejora-rniento de la seguridad automovilística se puede acreditar en gran medida a losabogados de la guía Nader; y los esfuerzos para controlar la prestación impropiae ilegal de los servicios de salud y bienestar a menudo se deben a los riesgos a queestá expuesta la clase media y a las actividades de interés y presión de ciertos gru-pos, incluidos los esfuerzos de organización de los clientes.

Sin embargo, los evaluadores desempeñan un papel (reconocido como par-cialmente responsable) en la identificación de los parámetros de los problemasque requieren atención y en las deficiencias y limitaciones de quienes realizanesfuerzos comunes. Lo que el evaluador agrega (por lo cual se hará referenciaa esto como procedimiento de diagnóstico) son los enfoques sistemáticos y repro-ducibles para identificar los problemas comunales y para aclarar su alcance.

La importancia del diagnóstico de la información no se puede exagerar.Mientras que las informaciones especulativas, impresionistas —y aun las desvia-das— pueden acicatear a los políticos, a los planificadores y a los patrocinadoreso a sus organizaciones para iniciar acciones, es esencial tener una informacióntotalmente confiable acerca de la población objeto potencial del programa y res-pecto del contexto en el que una intervención podría actuar antes que el progra-ma comience. Así también, antes de afinar una iniciativa existente o de abreviarun programa actual, se debe estimar la magnitud del problema. En seguida sedan algunos ejemplos de los que sucede cuando se ignoran los procedimientos dediagnóstico adecuados:

En una intervención social diseñada para rehabilitar a delincuentes juve-niles en un suburbio de la parte oeste se descubrió, después de terminar elprograma, que virtualmente no había delincuentes juveniles en la comu-nidad. Los planificadores creyeron que como la delincuencia juvenil eraun problema general de la sociedad, podría encontrarse también en estacomunidad.Los planificadores de muchos proyectos de renovación urbana realizadosdurante la década de los sesenta creyeron que las personas que vivían enedificios "en ruinas" y consideraban sus casas como defectuosas, podríanpagar la demolición de su hogar y aceptar la relocalización de nuevas casas.De ciudad en ciudad, los residentes de las áreas urbanas renovadas presen-tan una fuerte oposición a los proyectos de renovación urbana diseriadospor los planificadores.La media de los programas diseriados para motivar a la gente a buscar unexamen físico con el fin de detectar los primeros signos del cáncer, hizoque los centros de salud se vieran saturados al enviarles más pacientes delos que podrían atender, pues muchas personas hipocondriacas sin indi-cios de cáncer fueron estimuladas por el esfuerzo medio y creyeron queestaban experimentando síntomas.'En un proyecto de televisión educativa diseñado para mejorar las habi-lidades de los adultos urbanos en una ciudad poco desarrollada, seencontró, después que el programa había comenzado, que la mayoríade los adultos sin habilidades educativas no tenían acceso al aparatotelevisivo.

5. Un proyecto de control natal se amplió para reducir el alto rango deabortos reportado en un gran centro urbano. El programa falló enatraer a muchos participantes adicionales, y después se descubrió quemuchas de las pacientes potenciales ya eran atendidas. Para la mayo-ría, los pacientes potenciales eran mujeres jóvenes que llegaban a laciudad procedentes de áreas rurales; una alta proporción de residentesurbanos practicaban ya el control de la natalidad.

En todos los ejemplos anteriores, la investigación diagnóstica podría haberproporcionado información que permitiría prevenir los problemas de la ejecu-ción del programa. Cabe señalar que en los ejemplos en los que la intervenciónno falló, fue simplemente porque la investigación no se realizó debido a que lapoblación objeto no existía, o porque no se procuró el programa previsto, o seidentificó incorrectamente, o se plantearon demandas que la intervención nopudo cumplir.

ESTIMACIÓN DE LAS INTERVENCIONES NECESARIAS

El paso crítico en el diserio de un programa innovador es verificar que unproblema actualmente ígnorado o que se ha tratado sin resolverlo, sea tan gra-ve que requiera una intervención nueva o una adicional. La justificación poste-rior de los programas comunes y de los esfuerzos para depurarlos requiere laevidencia de los defectos persistentes o no resueltos en las condiciones socialeso en el sistema de entrega del programa. La acción de veríficar y medir la magnitud

74 CAP. 3. PROCEDIMIENTOS DE DIAGNóSTICO

y localización de un problema y de su población objeto intentada se ha llamadovaloración de /a necesídad. Valorar la necesidad es indispensable porque tanto losprofesionales como los miembros de la comunidad, en su celo por mantener yampliar los programas en los que ellos tienen algún interés, pueden sobreestimar eltamaño o la característica de la necesidad. En algunos casos, aunque un problema-por ejemplo, el predominio de incapacidades físicas- puede ser obviamente gra-ve y tan difundido que requiera una intervención, puede ser necesaria informaciónacerca de sus características de distribución. Entonces, si las incapacidades físicasson predominantemente un problema de personas de edad avanzada, originadapor enfermedades relacionadas con la edad, el tratamiento será diferente de aquelque se aplica a las incapacidades entre las personas jóvenes. Así pues, las valora-ciones de la necesidad se realizan para estimar el número y las características de lapoblación objeto en el programa.

¿Qué es una población objeto?

Las poblaciones objeto suelen estar constituidas por individuos, aunque pue-den ser grupos (famílias, grupos de trabajo, firmas, establecimientos, etc.), áreasrelativas geográficas y políticas (como pequeñas comunidades de una región par-ticular) o unidades físicas (casas, sistemas de carreteras y similares). Cualquieraque sea la población objeto, al principio del esfuerzo de diagnóstico es imperati-vo definir claramente la unidad de análisis. El criterio de definición varía. En elcaso de indivíduos, las poblaciones objeto generalmente se identifican en uno omás de los siguientes puntos: a) características sociales y demográficas; b locali-zación, o c) problemas, dificultades y condiciones de la población. La poblaciónobjeto de un proyecto educativo en el que los individuos reprueban se podríanespecificar como niños del sexo masculino, cuyas edades van de 10 a 14 años,quienes residen en un distrito escolar y se encuentran entre uno y tres años pordebajo de su grado normal en la escuela.

Cuando las poblaciones objeto son conjuntos (grupos y organizaciones), amenudo se definen en términos de las características de los individuos que losconstituyen, de sus propiedades colectivas formales e informales y de sus proble-mas comunes. Una población objeto organizacional podría ser las escuelas deenserianza elemental con por lo menos 300 alumnos, de los cuales el 30%, comomínimo, provenga de familias con ingresos inferiores a la línea de pobreza.

Poblaciones objeto directas e indirectas

Como se mencionó en el capítulo anterior, las poblaciones objeto se puedenconsiderar como directas o índirectas, según si los tratamientos se dan a laspoblaciones objeto ínmediatamente (directamente) o eventualmente (indirecta-mente). En la mayoría de los programas se especifican sus poblaciones objetodírectas. Esto sucede claramente en las intervenciones médicas, en que una per-sona con una aflicción directa recibe la atención del médico; sin embargo, enalgunos casos ya sea por razones económicas o factibilidad, se intenta establecerprogramas que afectan indirectamente a las poblaciones objeto, haciendo comosus objetos inmediatos a las poblaciones o condiciones que influirán en aquellos

ESTIMACIÓN DE LAS INTERVENCIONES 75

que recibirán los beneficios. Por ejemplo, en un proyecto de desarrollo social seseleccionó a los granjeros influyentes de las pequerias comunidades y se les pro-porcionaron programas de entrenamiento intensivo. Después de un tiemporegresaron a sus comunidades y comunicaron sus conocimientos a los otrosgranjeros. De nuevo, un proyecto que identifica a sus poblaciones objeto comolas unidades de habitación subnormales puede influir indirectamente en los ocu-pantes de esas habitaciones.

Si la población objeto se define corno indirecta, la efectividad de un progra-ma dependerá de la gran extensión en los patrones, principalmente del inmedia-to a la última población objeto. La efectividad del prosiecto en el que se emplea alos granjeros influyentes depende de las habilidades y de la motivación de aque-llos granjeros para comunicar sus conocimientos a otros miembros de su comuni-dad. Asimismo, si existe una relación estrecha entre la calidad de la vivienda y lasalud de la familia, la investigación e inversión para mejorar físicamente las habi-taciones se puede justificar; pero si la correlación es tan baja o esencialmentenula, tal inversión podría ser inefectiva o de desperdicio.

Especificación de las poblaciones objeto

La especificación del tamaño y la distribución de las poblaciones objeto pue-de parecer simple en primera instancia; sin embargo, casi no existen defectoshumanos y sociales que se puedan estimar fácilmente, sólo por contar a los indi-viduos u otros componentes de un problerna o una condición particular. Consi-dérese un ejemplo sencillo: ¿cuál es la población dé personas con cáncer en unacomunidad determinada? Primero, depende de si se cuenta o no a los residentespermanentes o si también se incluye a los residentes temporales (lo cual podríaser extremadamente importante en Miami Beach, por ejemplo). Segundo, ¿secuentan los casos "recuperados", o aquellos sin una recaída, digamos en los cin-co últimos años, se eliminan de la estimación? Tercero, en la estimación se debentener en cuenta los propósitos para los cuales se usa. Si se utilizará para diseñarun programa especial de cuidados de enfermeras en casa, las personas con cán-cer en la piel no se deben incluir, pues su condición rara vez requiere cuidados.

Un ejemplo de las consideraciones que consisten en especificar poblacionesobjeto se muestra en el anexo 3.1, tomado de un artículo que influye gratamenteen el desarrollo del concepto línea de pobreza, una definición de pobreza queaún se emplea en la actualidad.

_Anexo 3.1 Cómo se mide la pobreza

.- Co, ntar la pptylza elun ejercicio detartgde 1922.1., 1. posible. Para decidir quién es, ti.re. ,.las:plegar--01- 1bn'rnákirrlábt-tantel' q' tiébbt'

inéá. lands ' ' *l

l5Oltézk....é .stá éti i ói'V - ,P9Mu a. Pobteza , como la

Cli-tiiI.T's,,,,....é-,",p111.‘a.e.all'cl:éttiv ...,'¿4:i-9,21t,a,jfagét. :"_".Pii°Ifieár. 111:17.::é: 1:41ép::1Pn.::p0111-94t1n1;1_Zinc.1 iütaic.sti:Su-dgve_vs'iliO°nr,'alu°nn'cnocnattig°na

:- 1994 9 n9r.:P991:kii1119:1-..pbbi'l.eitáe.locla Clálé d1 táibres de juicios: El.con-;:...cpp.tb.,:debe: ser inu9 liriiitác1.6›,..:: tiOs. :00- pnSpite's 4. leinflu'itárt- é- hla definición Nb exis

una rdzon part páro,oritár.la pobreza,.a:Menol'qüese. hacta alqó'Por evitart-d.~1.Si 1710511,i I des de la ilaittig"a-ción

- •:Caélyglitiéral son diversas. cuando

76

77

yaea a clehnir I pobreza; solo se puecle ser subjetivo o me.nos que eso, pc-ro no ser

SW

.C)c finición de.I piobliVii. :

En la Administraerón d •el Seguro5Ocial, la pobreza 'se defir0 primero ,en térmi-nos. de problerna o ¡ .)olítieIá i pUbliéa:- ¿a cüántaL getite y a cuáLqtieremos dirigir la,preoCupaeicM cle una po a irec a? Aun cuandci se tehga en.IC4enta.esto,',.eknivelde \.ida emPleaclo para separ Iar el - tener" del "no tener" podriIaI S'ertan rigUtIOSo

: geniruso como quisiera LI nivel se Pódría" eStablecer;deltalinaleni .que en¿rlquie-o ra güe sIe c-ontara edél de Ioó quie rkitienennl'eallítériteribienga bastanté. Si

se hizo lo Contratid; se Corierá el riesgode contar a alguten qüe no debiese eStar ahf.:En resu rnery nO -aiste un esquerna perfecto ni uno de"valorlibre. Iny41

Dado quease intenta mOS-brar el,nIVe1 de r preocupaelárIpPillco,se quiere-estarrséguro de que cada fámilia o únidad deconsunio tenga lá OPOrttInidaIdeseiContadoentre aquellos que Se consideran con necidaddeatención:De-beetiOI,-Precisarnent_é..;

, para asegurar la Inclusión dé las noCr2sidadés defamIlias grancle:YI1 c11-!e.fiás , ,- .gente joyerti-,y:gt-andeil.se.tnejorartkn , lás'inqrtnas.mlciale_s,diseñadoSPór'el ConntilEconorriíe-:Ádl-iiPers-.'-(ef3ticiliOdecualquier familia cle dos o rnaS Integrantes comingresos menores111.00(5d-rolare-S:anual; así corno cltalquier , pc. :rsona que viviese sola , coMli5G0 dólares; Se',Pddrían_cOnsideiar pobres par¿a efectbs de la•plánificaciótidel prGgrarna dé antipObre:?_a, perono par¿lelegtbiliclad-de este Esta original norma permitió . la irrégülaridad reSultantede que tina'pareja.ddedad'¿on,2•900.'dólares dé ingre_so al año se íitielféracánsiclerar

- pobre, peroAne uno famili -agan'tin mando, espoSa yetiatr9 hijospe. queños com3 100dólares dé ingreso anuar '

Es risas, cuando en las distribuciones derno- gráficas sé . cornpara -pobres_ ,'Con la PobláCiOn tbtal, se-efectúart .des:Ctibrimientos im, POrtanteS; por ejernplo, elporcentáje de 'farniliás clásifiCadaS cOrrió'PrObres - qúenditerien hltós éra mas'alto queel • de la-'151-Obla¿fánlotal; y - para haCeilo-Poco realista, el porcentaje de :farniliaspobres eOn:cuatrOhijos pequenos o tnasfer :a menor que la representaciómcle talesfarrailiaS;:endipOiilkeión. Co,inOresto'iti>era c-tirt .écto, se trzttó de váriar bá„línea de-

-": pobrez-a nece,sano- de, 1-re-rcur:-.'COrtel'farriaño y la eórnposición de lafamilia. La razón dé que estb pp.ló hict tos.dato- o,estaban•••disponibles para ellos en e_sétiem

.:

- Cómo esta -blecer la inarC'-

Un Coricepdó que puede influir en el pensarnicnto público debe ser social y pOlí-ticarnente , crediticio. Se néces-itan rn'aréas Pará diStinguir i grupo de la población-

diii upar. Flsa rriarc,a no debeseleccionar a ungrirPo-tanpégüeño:-ires-pet,O,de tbda.1á peblaciOnIeqUe parezcz difícil que sin'a para un programa 9,renera/,nl tári-gr-a-nde: oíre la SoluciOMa Sus prOblemas Pareca . irnposible-, pOr ejeinpló, eh lá

, dec",:a- dadélos treinta el préSid -énte ROOSevelt'dijo 32éo délante de mí a un terelo dela riación, Sincasasin ropa y sin comida Esta ,fraCCión es ahora parte de la hiltp r iaestadeUItiideriSel",WIMPOritalíttl nún-i -eros sé tefiganahora; si Más dé un teráll.de lapOblaciárl Se Ilarna pobi-éj--Terclerá yalor como Puntó ,de referencia Pública,

.En.,--la,/drninistraciórúdei„SegUro . SociaLse-,decidió-,,que se podrían idéat-dosri-Kidida_S!de 1¿-1 nece ,--(clád y declarar con bals;e enla Mar, -tra de ingresos.de-aciOn-Actual d -P¿'1:1-Jetói;-,'éuantos_O quét¿itétds (le : tánultIs cirin delineados

_porestas medidas. La Administración delaSegtiri_ ad iSocial no establecia la0

rinea-liobreza. Tanto I Of ficje of E.conomiCOPPorttintriji(0,ficipa de Següill'ad

la Colitejl oftenfári la responsábilidad 'de'Seleteitariat- -•--ár rítás bajo en las dos inedldás'y decidttcuál irsar conlo instrumento de trabajo -Liamejor deque se pue decir ta - medida es. - ,que cuarldo,era útil estatia;ahí, :Es interetanteadyertir que pocas personas, coneXCeptin'. ,-dellás',Perteneciéri' Seguiro,Sociatl'qutsiela_liáblar'aCerCáliélarnay-orde láliriedidás:-,TodbldeéabanliablaUe lábrada . línea de pobre'iája cual produjo c.asi los mismos números de.gente pobre_que la Orlginal de . 3 000,dólares, excepto que unaS Pocas familias con muchos hIjos, • - - - -fueron sustituidaS Por - farnilias de mayor edad, peío-sin ;

Urnbrales de la pobreza

- Se han diseñado urrIbrales de la Pobreza, que corresponden a los Ilarna-dia0:Éppres y los cerca de„Ip. :ppbreza._.Esjc>s.utTibr:4)11:ton conjuntos,séparado0e,:,2,,--

menores de 18 años el núntero de adultóSytilet familia vive o nraumbral se clefine como tm intento de 'espleifIcat ettnininto ingreso.ci:;h.qu'epúde vivir una fanulia promcclio de compostción dada.;',a1 más bajklri1sie1 9git.tentrl,,,,.con b:;,s,cStándare .S5je.:ülda prOálecientes entlpals;.estábásadonéCésttan la gifarroliáSde-difererites tarnañO`Stlipoparatbrriprar uná dletanutriélo-„,nal adecuada, ante la pruslmción de que no se uSa.más de un terelO[del ingresofarnifiar para corrrprar corriida". Los dos urribraleIs<1;idesarrollaron-cleinvcstiga:,_

en cOrnida póIftedas láSfamilías fue de aprO)drnadátrie-nte un tetcio del'Ingresd;-'ciories acerca del consurno de alirnentos, que reyebban que el prorne,diO ,gast.ad, o

-Se supuso.que los pobres podrían terverlarniSrna;flexibilidad de. --übicíar el ingre=só córno.eliestO de la población-, pero, obilairtente';,:Sti-- rnargen de sele41 -6it Podiíaser menbr: LaTcantidad nbicadá Para cornIda-del Pnl'prnédiagastado ff.ie,re'Cdrt,-;da almínirno que ell:512partamento de agriCulturadijópcIdila seMfa las fatnibas estadou-

' nidenses para satisfacer una dieta adecuada. Sé-ajalj -c4e1 plaribajo de costos para

caracterizar a los cercanos a e_Star pobres, y pa - -réalínefite7Pubres uno aún.na4sbajo: el plan económico de alirrieritación.2,

t : ,M. Orsba.nskyl.zr,IrsiwetvesFloruhly Ldber Ecuiew, núrn. 92, iebrero de 1969, págs. 37-41. Relinpres-o c¿n autoriz.adón.

. ,-

Límites de las poblaciones objeto

Una adecuada especificación de las poblaciones objeto establece límites, osea, reglas de inclusión y exclusión. Un riesgo al especificar a la población objetoes hacer la definición muy amplia o que incluya demasiado. Considerar a un cri-minal como cualquier persona que ha violado una ley o regulación administrati-va, puede ser de poca utilidad, pues sólo los individuos más honestos no han (deun modo u otro, en algún momento u otro) violado marcadamente o de otra for-ma una ley o regulación. Los individuos comisionados para evaluar la pobrezapueden describir a sus poblaciones objeto como personas o familias cuyos ingre-sos no permiten tener un estándar de vida razonable. Evidentemente, tal defini-

Anexo 3.2: Valoración de las necesidadesde salud mental voluntaria

78 CAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO

ción no puede ser el punto de partida para valorar la necesidad útil o para diseñarun programa, pues no proporciona un criterio lo bastante específico para deter-minar al grupo objeto adecuado. Por tanto, una definición que incluya demasia-do puede resultar en una sobreestimación de la necesidad y causar una inversiónnada económica, en una intervención cuya población objeto se beneficiará pocode ella, o en una malversación del programa con el fin de servir a un grupo objetoexcesivamente grande.

La definición también puede resultar muy restrictiva o incluir poco hasta elpunto de que casi nadie forme parte de la población objeto; por ejemplo, en unprograma diseñado para la rehabilitación de presos liberados en la ciudad deNueva York, se decidió excluir a aquellas personas con algún historial de drogas ode abuso en el consumo de alcohol. El predominio de abuso de las sustancias fuetan grande entre los prisioneros liberados que sólo uno de cada 10 era elegiblepara ser incluido en la población objeto.

Factibilidad

En resumen, las definiciones útiles son aquellas que pueden tener aplicación.Una especificación en la que se basan algunas características de personas difícilesde observar, por ejemplo, una actitud favorable hacia la investigación evaluativa,es virtualmente imposible de poner en práctica. Las definiciones complejas querequieren mucha información detallada son muy difíciles de aplicar en la selec-ción, por lo cual se deben evitar: los datos requirieron buscar poblaciones obje-to definidas, tales como granjeros que hubiesen plantado cebada por lo menosdos temporadas, y que tuviesen dos hijos adolescentes que fueran miembros de.una cooperativa de productores, lo cual podría ser difícil, aunque no imposible,de conseguir.

En general, cuanto más criterios tiene una definición, más pequeño es elnúmero de unidades que pueden calificar para incluirlas" en la población objeto(los granjeros que satisfacen el criterio anterior podrían ser sólo unos cuantos).Por tanto, las especificaciones complejas pueden ser parecidas a las estrechas, yconllevan los mismos riesgos.

Variación de las perspectivas en laespecificación de las pobláciones objeto

Otro problema aldefinir los problemas y las poblaciones objeto se origina enlas diferentes perspectivas de los futuros profesionales, así como de los políticoso de los beneficiarios de los servicios. Lo que parece un problema humano osocial para un grupo puede no ser percibido así por otro. Así, los diseñadores deun programa orientado al mejoramiento de la calidad de la habitación disponiblepara personas pobres, pueden tener conocimientos profesionales acerca de lacalidad de las viviendas que difieran del criterio de aquella gente que viva en ellas.Por ejemplo, en el Experimental Housing Allowance Project — Proyecto de asig-nación de vivienda ex -perimental— (Abt Asociados, 1977), se consideraba unanorma en la construcción de los edificios lo referente a la proporción del área delpiso y del área de las* ventanas en las recámaras; se consideraba inadecuada la

ESTIMACIÓN DE LAS INTERVENCIONES 79

vivienda cuya proporción era inferior a 10. La perspectiva de los propietarios einquilinos era muy diferente, ya que estimaban que tales hogares eran suficiente-mente adecuados.

Las discrepancias también pueden existir entre los puntos de vista de lospolíticos y los de los otros grupos. El congreso puede tener planeado aliviar lacarga del gobierno federal al reducir la ayuda especial a las víctimas de los desas-tres naturales. Un medio para lograr esto es estimular a los gobiernos estatalesy locales para que inviertan en diversas medidas preventivas, tales como la ad-ministración y el uso de las riveras de los ríos y los códigos de construcción paradisminuir los riesgos de daños y perjuicios. Los gobiernos estatales, y en especial •los locales, pueden objetar fuertemente al plan con el fundamento de que comolas crecidas de los ríos ocurren en su propio terreno, tales medidas pueden perju-dicarlos. Ciertamente, se ha confirmado que sólo ocurren 100 crecidas por ario,en cualquier lugar, una vez cada 100 años (en promedio); sin embargo, desde laperspectiva federal, las 100 crecidas de ríos pueden ocurrir tan a menudo comouna vez cada pocos días, pues, en Estados Unidos, el gobierno federal tiene queresponsabilizarse de todas las crecidas (Wright et al., 1979).

Obviamente, mientras que la investigación no puede establecer el problemaacerca de qué perspectiva es la "correcta", puede eliminar conflictos que podríanoriginarse en los grupos que discuten entre sí. Planificar la investigación puedeimplicar obtener la valoración de la necesidad desde varias perspectivas. En el

anexo 3.2 se describe un método diseñado con el fin de valorar la necesidad desalud mental para la comunidad, al interrogar a cinco grupos de evaluados, cadauno de los cuales contribuye con su punto de vista particular. En el anexo 3.3 semuestra un ejemplo de servicios juveniles e indica que se puede requerir unavariedad de fuentes para expresar los puntos de vista de la agencia, de la juventudy de los padres.

El modelo cle.consumo pre.senta del yirograma tín máodo paral :. •,valorar las necesidade. 1 ..de.sáltid incntal comunitaria, para ló cual se ernpleá al con;',..ttsurnidorcomo mayor uen e e ingreso. El consumiddi_;_Se -define como cuaiquiermiernbrorlet lacornuniciad que en un á rea geografic:a detertninada. El módelo-:;.

. ,

aporta infobnaci6n cle las priorici.derS'en las flecO dudes de serviciOsptor pi oblerna t5Idjetivo,:grupo det_dadesu area geográfica. Dentro del rnoclelo,co grupos de consurnidores fuerori - investtgados: •

-1 Agencius de Se/illd MEntal: at_tencias o inclividnos que tratan gente directa

IndircctarneMb7?. con prottlermas de=2...ttfigencias, ,securtdarius relocionacias: agencias que hacen referencla a.los±;:

ertiiCioS-.de-szlud mental. -3. Ir 'idit;idtios c¿n riesgo§ altos indiciduos que, débklo ' a su cornPortamien0Y td„

pdsado o presente, usan o hatí US,71do serviciol-'dé sakid, ;4 Grripos círticos ricbrnurtitariost grupo.. en la comunidad que

edos dIre(_leclor de una meta común o de un propOsito específico.'-5 1_,(9 rnayoríd u,munitaria.u ira selecctunadá:;.dejesident de. un

,rt. ue Pueden est,tr asociadós o no cot i cualqureradelcloiroscu%tro -grxr,Pos.,

81

Anexo 3,13. VálOraCión de . tas -áeeesidadés dela jiis-Jentúd

80

A•fin cfe deterrninar la factibiliclad clel moclelo y stritso,se invéstlgárórafflaríosf-g rupoS.pertenécientes-al area s'ubregional'cle. la Me-saKearny'del Conda. do de ' Sa. n

' Diego:bé-laS42 -arM I:suhregionalcs en el coildado, se eSco q i151 -a'-flesa Kearny ' pnr-. que Se aproxima. _estrechamente alas caracten2stic.as'sociodernograficas cle la pobla-; ción total

CueStionatió1V-0-10-euistas

Agencias de sá ud mental.-Se n úna-escuelá, 111--pettutnalniente, un centro,de erists familiar y de personas que e_seapaban, un hospital ps1-qutátrieo privado, un centro de servicios familiares, VarioS ceñtros ,de entrenarnientó-para retardados, clínicas de consulta - externa y'facilidades , de tratarniento.resiclenTcia!Para ruños. DelaS-13 agenclas qUe reeible,ron el euestiOnárlo, tddaS lo llenarony regresaron.

Agencias, seeundarias ielacionadas. Se incluían varias escuelas el - departa-rnento de vigllancla; el meclico forense, la sala jüvenil, un hos¡attal-generaLuna'casade cómjalecencia, un centró cle'serviciósjlegaleS, uba clíni dd ció yaúdición -una oficiña- de desínpleoi De las 33-1-Jgenclas'que-recibleron el cueStiOnario, 22(66•6%)'»lo lleriaronsY regfes_aron. ' _

El cuestionario pedía a ambos grupos que graduaran.los-problemas objetivo, _ .que regiterían la primera, segUnda. Jytercera rpás:OrnédiatáValebtlopés en trespos de edad: jóven esVn e n nres'ejllayibS);'aclújtOS(delaiSIM'eriatras (de 60•'o inas) Además, se buscó infortnaéjárrco tíaSe en la - cantidac(si,-eljtipo:de programasjexisterites en el^afea de la Mesa,KeártlY. ,;,le,-plúntearonOteriritas acerca delMáinértó de persórias . serviclas, tratad¿Sjaltsta de esperay. laedad; lá rai,ét .,•y el -area , gc gr ifica Se rs ida' -

Grup(aS,cfrticós y cornunItarióS. Seineluían las mujeres auxibiárdélas aoen-cias Públicas, un club'sbcial de darnas, una asóciación de paclre_s y rriaestre,

. zaciones de serYicios para bombres. una YivICA (Asociación de:jóveneS'eriStiafiOs")•y un clülápára niños. pe los 10 grupos a quines se enviótin cueStlbriaraó' ;.cinecares---:

. • -requería del respondietiteIltve-,Vei'tfieWtalcil;etkltósYlié'd

' rian eStar disyaonibles para un mayor número de gente en el área de la Mesá-l<ennypara lós tres grupos,de edacles. A fin deasegurár,un muestreo representatIVO'POrmediO de los grupos étnicos -ysoeioeconántICOS:'se'P'reg, untd a cada • la

- edad;-'iel niVel dé ingresos y e/ geográfico'délos' miernbros.ynnyoría cornundada. :,Seenvia. ron cuestionanos a muestras de residentes .

s'eteeelónaclbs al azar del Direéto1r1O,Cle:: Localización Flaines, el cual conteníar ta .pOr;:ealles y.rastros deF.cerisc1, :-Sel.sétecciónáron doS,d1recciones al azande cada

al factor .c6St6;•'S¿leá9.41fati-iilia- S .`,(e1,--16`X)délas farnilias de, la Nlesat Kearney) 'ffieron (O-Sea<t,a18.9%) ¿:›gresaron-el

cuestionarió. I as 53 famillas inbl6nan 176-thdlVfdttps ;(0, seal ,; :3 3 por familia)...El cuestionario peclia que se venficaran los servims.que débeiíen estar dispo-

; mbles a unnaayor numeró de gente en el área de la Mcsa hearney. También pedíaaleonstírrildbf:qtie incliéar'a la edad, la raza, los ingresosja Manera de y icia y el tspó deresidencla'de los mlernbros delafarnilia. eincluy6 urilre.sPuesta ablerta qüeal eortSümicior citie l3tara a la Pers'on 'a'd'persOna.-1a laS'"C uales'acudiríaen buSca de

l aux1110 si tuviera Un-prOblerna.personal.

Fuenfe:Tfirni¿lo -chli,1n .-T e tonsumer 1.1,1El`d osis 5, t,_.1 -2. 1975 u e 71 Rei 'mpréc 'r.c 'óri p€rne, .

El mas reciente y completo intento por clesarrollar una , metodOlogía y unosloInss'truirientós para valorar' las necesidades en los jó\; ;eneS lo Béhav•

ra 1

Research and Evaluation Corporátion (Corporación p-ara la Eváliiáél&tiecrón Conductual -BREC-).11:álatirneraestrategla recornendada,era'uh ahállsis der-fáreal,i,ociul;; e1.-cpaipropgrcióna Mformacián acerca de,las.,caiá¿terisficas. - - • • ; . • ,.

, dernégráfWas'yeconó.miCas r de.la comuniciad, con énf¿Isis eSpecial:tantO en la

' tud, córno en la estoktura y organización de la bornuniclad .,'Aquí se recolectaronda rLás-áis-pOnibles déteenso_de los iegistroS de la Oorte.Vla policia, los datosres, los d.é la seguriCtá&lOCiál, los del clesenipleo, etc., y se analIzardraparaprender la naturaleza d la comunidad y la extensIón en qtte e_staban preSentescategorías de próbléffias,-

- La "valoradó:n de las necesidades de la fuVentud" que BRÉdttaintento por resufnír iras.„peciclacles de toda la .juyentud enla poláláél6n,en forma oputa OPTil los jók;ens que 'reciben ' servIcios, La rnetodolog'íaimplicaba tin tnuestreo ai azar éii Iás Ocuelás g un muestreo agrupádOen lás esctielasi.o casas..Se cliseñaron cliátro,t1p-c cle;ártícJüléjs del resurrien:des y.neeesidades, especificéndo lafrecuencia de su presencla- y Seriedad; 2. sentis •",

_. rnientosi--achtucie:s;wcpmportannentos, en que se consideraban cuatro factores: "c1)1,oporttinidades percibidas para lograr as metas persbnales .y los paPeles soclalesdeseados, b) marcado negátiYól3éI.ibiclo por padres, rnaestroS y arnijOsí_ic)

:nile.ntes de, soledad y recha-z¿a:Y-c4,Mjvolucración autorreportada en conditCtastiyas-‘7; 3 percepctón y és;álúrzlcióii -del jOVCilieSpeeto de los servicios disponibles y de

" las age,néias, y 4, Antecedeptes'PersonaleS y,datos socloeebn6rnItial,cle)6140,. una , m

datos1 d' t i›Cládéklio — 1 'd.-1 s

base para valoraciones de la.repercusión subsecuentesyLás percepciones del equipo cle la agencia en que se consideran las neceslda7-

des de los jóvenes se pneden medir con el másrno instrumento ernpleado -por losjóvenes, donde las agencias personales sbn Mterrogadas para astiMar.:el:p.orcentade jO y enes con problerna.,y,yalori.,,,ar,ta:SértédIr'.de-e..StOsitíltiM'Istr"•--

Fuente::11,urne,-;', con íle ry- ricititrokfórCorybnprotpfiparid Fecubock InstrumenLs, vot 1, ,a1 ke,c31-<_h In-titufz, EGfilder, C.C4drac.,16¡1 '

La información colectada de los diversos puntos de vista acerca de la necesi-dad puede permitir considerar de nuevo el problema, la prospectiva de la inter-vención o la posibilidad de abandonar el programa (sobre todo si cada punto devista pierde validez por manipularse excesivamente y ser altamente contradicto-rio). La consecuencia de proceder con la idea de que existe un consenso cuandolo que hay es un conflicto considerable, se puede ver en el destino del programade renovación urbana (Wilson, 1966). Este programa se estableció después decelebrar un convenio en el que se consideraba el importante criterio de la dilapi-dación y obsolescencia de la vivienda por los diseñadores, los residentes y las ins-tituciones. El criterio seguido por los diseñadores a menudo no corresponde conel de los residentes. En consecuencia, los proyectos de renovación urbana encada ciudad crean conflictos con rencores, tantos que en muchos casos los pro-gramas se abandonaron gradualmente.

84 CAP. 3. PROCEDIMIENTOS DE DIAGNOSTICO 85

Otra vez, mientras que todos los adultos analfabetas están en el grupo de los querequieren un programa educativo vespertino, sólo aquellos que tienen disposicióno que pueden ser persuadidos de participar se consideran la población objeto (estoes, aquella con demandas). Evidentemente, las distinciones entre población enriesgo, con necesidades y con demandas son importantes para estimar el alcancede un problema, anticipar el tamaño de la población objeto y diseñar subsecuente-mente, así como evaluar y poner en marcha el programa.

Incidencia y predominio

Otra distinción útil es la diferencia entre incidencia y predominio. La inciden-cia se refiere al número de nuevos casos de un problema particular identificado uoriginado en un área geográfica durante un periodo específico. El predominio serefiere al número de casos existentes en un área geográfica particular en un tiem-po específico.

Aquí, de nuevo se han derivado los conceptos de los esfuerzos en el área dela salud, donde las distinciones entre los términos son agudas; por ejemplo, laincidencia de la gripe durante un mes determinado podría referirse al número decasos nuevos detectados durante el mes. El predominio de la gripe podría ser elnúmero de gente afligida en cualquier momento en un mes específico. Al planifi-car proyectos en el sector salud, generalmente existe interés en la incidenciacuando se relaciona con alteraciones de corta duración, como las ínfeccionesdel aparato respiratorio superior y los accidentes menores. El predominio es unconcepto importante para aquellos problemas que no se pueden erradicar rápi-damente, sino que requieren administración a largo plazo y un tratamientoexhaustivo. Esto incluye diversas enfermedades crónicas, como el cáncer, y lasenfermedades de larga observación clínica (por ejemplo, la disentería y la des-nutrición severa).

Los conceptos de incidencia y predominio se han adaptado al área de losproblemas sociales. Algunas veces su uso obvio; por ejemplo, al estudiar la tras-cendencia de los delitos en las víctimas, el problema crítico es la incidencia decasos nuevos que ocurren por intervalo de tiempo en un área dada. Proporcionarservicios para prevenir el abuso por mes hacia los niños en una ciudad sería unamedida acertada de la necesidad de intervenir para resolver ese problema.

Para otros problemas sociales, a menudo no es claro si se debería definir o noa la población objeto en términos de incidencia o predominio. Al relacionar elproblema del desempleó, es importante conocer el número o las proporciones dela población total desempleada en un momento dado. Sin embargo, cuando loconcerniente se basa más en la provisión de apoyo financiero para los desem-pleados, no está claro si la definición se debe referir a las personas desempleadasen un tiempo particular o a aquellas que se convierten en desempleadas en unperiodo dado. El principio implica centrarse en el problema de si uno está intere-sado en detectar y tratar los casos conforme aparecen, o en detectar los casosexistentes en una población, cualquiera que sea su tiempo de origen.

Rango

Además de estimar el tamaño de un problema grupal, es importante conocerel rango de un problema específico. Muchas veces es difícil expresar la incidenciao el predominio como un rango: el número de casos nuevos de desempleo o pordebajo del desempleo en un área en la que se experimente una recesión sepodrían describir con la base por 100 o por 1 000 de una población (por ejemplo,133 de cada 1 000).

Los rangos o porcentajes son especialmente críticos para identificar lascaracterísticas de una población objeto; por ejemplo, para describir el tamaño ylas características de las víctimas de delitos, es importante tener estimaciones porgrupos de edad y sexo. Aunque casi todos los grupos de edad están sujetos a servíctimas de algún tipo de incidente delictivo, la gente joven es mucho más sus-ceptible de ser víctima de robo y asalto, mientras que las personas de edad madu-ra o avanzada quizá hayan experimentado más asaltos y hurtos en su hogar; elhombre parece ser menos víctima del abuso sexual que la mujer, etc. Poder esti-mar a las poblaciones objeto por medio de varias características permite planeary desarrollar el programa de tal manera que maximicen las oportunidades paraincluir a los particípantes más apropiados y vincular al programa con las caracte-rísticas particulares de los grupos medibles.

Las estimaciones de las poblaciones objeto y de sus características se puedenhacer en varios niveles de fragmentación; por ejemplo, los rangos de analfabetis-mo, calculados al dividir el rango de iletrados funcionales en varios grupos deedad entre el número total de personas en tales grupos de edad, permíten estimarla población objeto que se puede obtener si se relaciona un proyecto con seriesespecíficas de periodos de edad. Las técnicas estadísticas más eficaces se puedenemplear para tener en cuenta simultáneamente las variables sociodemográficasadicionales.

En muchos casos no sólo es tradicional sino también útil especificar los ran-gos por edad y sexo. En las comunidades donde existen marcadas diferencias cul-turales, así como variaciones en el pasado racial, étnico y religioso, también sonimportantes estos denominadores para dividir las características. Otras variablesútiles para identificar las características de la población objeto pueden ser el nivelsocioeconómico, la localización geográfica y la movilidad residencial (para unejemplo de los rangos de víctimas por delito divididos por edad, sexo y raza, véa-se el anexo 3.5).

Un conjunto final de rangos se puede referir a los problemas relacionadoscon la habilidad para participar en el programa y con las medidas relativas a laejecución del programa. Así, en varios programas de entrenamiento técnico pue-de ser ventajoso estimar los rangos por grupos que requieren 15 minutos, mediahora o más de una hora para llegar a los centros de entrenamiento.

SELECCIÓN DE LOS OBJETIVOS DEL PROGRAMA

Los programas son más eficaces y efectivos cuando los objetivos alcanza-dos se limitan a las unidades que necesitan la intervención; es decir, en los tér-minos señalados en la sección acerca de los límites de las poblaciones objeto, nohay inclusión excesiva ni inclusión deficiente.

Anexo 3.5. Rangos de victimizacioncriminal

Delitos peisonales: rangos de_yictimización por edad de las personas cle 12atíos O más, por raza, sexo y edá'd de lás víctimas, y tipo de delitos (proporciónpor 1 000 residentes de la población en cada grupo)

Raza, sexo y eclacl Ilomicidlos con uiolencia Homicidio pcir roboBlancos

Masculino12-•5-(14100)16-11 05,700)20-24 (28.100)25-34 (29 100)35-49 (26.700)'50..-64 (27.-700).65 .b . rnás (19.900)

129157139112515438

69133164150936966

Fernenino12-15 (13.100).1619 (19.200)2024,1 (133.400)25-34 (31.400)35-49 (29.7.00)50764 (36.500)65 o más (34.400)

64657362343114

561872291901318159

NegrosMasculino

-

42-15„(4.200)(3.6b0)(4á00)

25-34 (5900)35 19--(5.8b0)50-64.(3700)

71113173596556

14897

160131100

650 más (1.800) 15-4 191Femenino

1245 15.0P0)16.19:(4.500)'20-24•(7.000)2534 (10...100)35 , 19. (8.200)50 64 (5.100)65.o rnás:(.,?,po)„..,...

4710267644630

O

569482

114114123'66

tefletéla:/a .población en eT grupo,e,staciísticarnente poco, .

significatisiá,q

Ii;i A

. . . .

Ncitioritit:Olíne. Sun., ' ReltrirfD"

1977, ros 26- - •

87

Inclusión excesiva

Especialmente en el caso de proyectos en los cuales los recursos son insufi-cientes para abarcar a todas las poblaciones objeto potenciales, se considera ala selección como más eficaz si el tratamiento se da principalmente a poblacio-nes objeto con las más altas probabilidades de resultados exitosos. Tal enf oquehace máxima la probabilidad de contar con rangos favorables de costos porbeneficio, y la probabilidad de que la trascendencia positiva se pueda demos-trar; por ejemplo, un programa diseñado con el fin de reforzar el contenidonutritivo de las dietas para niños, a quienes se dieran almuerzos escolares a unprecio bajo, podría ser ineficaz si alcanzase a una gran proporción de nirios queya tienen dietas adecuadas. Éste podría ser el caso si todos los niños con defi-ciencias nutricionales también fuesen beneficiados por el programa. Así, si en elprograma se incluye a todos los niños con deficiencias nutricionales, pero el 90%de beneficiados no sufren esa condición, una gran proporción de los recursos quellegan al programa se podrían "desperdiciar". Tal inclusión excesiva a menudoresulta en intervenciones poco económicas.

Sin embargo, cuanto más exacta y precisa sea la selección de las poblacionesobjeto más costosa será la selección de los procedimientos implicados. Un proce-dimiento de selección en un proyecto para combatir el analfabetismo funcionalde poblaciones objeto específicas por medio del sometimiento de múltiples per-sonas a pruebas elaboradas, sería muy costoso por cada caso de analfabetismono incluido, agotando de este modo los recursos que se podrían usar para pro-porcionar los servicios.

Inclusión exceSiva y evaluaciónde la utilidad de un programa

Las implicaciones de tal deficiencia suelen ser serias para el esfuerzo total delprograma; por ejemplo, en términos de costos, es cuestionable exponer a comu-nidades enteras a programas educativos, culturales, de vivienda y médicos, cuan-do sólo un pequeño porcentaje de esa población está "en riesgo". Es más, desdeel punto de vista de estimar la repercusión del programa, fallar en definir efecti-vamente a la población en riesgo disminuye las posibilidades de detectar efectospositivos. Éste es el problema de tener demasiados "positivos falsos" en el grupoobjeto en una evaluación de la repercusión (véase el capítulo 9). Considérese unprograma diseñado para incapaces de aprender, en el cual se incluía a todos losescolares de una comunidad en la que sólo el 5% de los niños presentaba estaanomalía. Si el programa es eficaz sólo con el 5%, las diferencias en el aprendiza-je de las prepruebas y de las pospruebas probablemente no son reveladoras (amenos que la población de escolares sea grande), pues la mayoría de los niñosa quienes se dio tratamiento no lo necesitaban y, por tanto, podría no esperar-se beneficio alguno.

Inclusión deficiente

La inclusión deficiente no sólo niega oportunidades al programa y a la parti-cipación de poblaciones objeto con necesidades altamente en riesgo, sino que


también existe una negociación entre los costos de selección y los recursos dispo-nibles para la entrega del tratamiento. En un programa'preventivo diseñado paracuidar la salud será posible identificar, mediante pruebas de laboratorio, a aque-llas personas en la comunidad que no hayan desarrollado una inmunidad a la po-lio, y dar la vacunación sólo a este grupo. Sin embargo, tal procedimiento podríaser ineficaz, pues los recursos necesarios para realizar este fin son mayores que elcosto de proporcionar vacunas contra la polio a todos los miembros de la comuni-dad. Asimismo, un proyecto en el cual se abastezca de agua desde la central pormedio de tubos para todos los hogares de la comunidad, incluidos aquellos que yadisfrutan el líquido potable, puede parecer muy complic,ado; no obstante, los cos-tos de enlazar el proyecto para eludir las viviendas, la ulterior contaminación quesufre el agua potable y la dificultad para que el público acepte un proyecto selecti-vo son argumentos válidos para restringir a las familias objeto a sólo aquellas quetienen pozos contaminados.

Algunas razones psicológicas y políticas permiten definir aisladamente a lapoblación objeto, en vez de la exclusiva de población con necesidades o en ries-go. Primero, la identificación eficaz de la población objeto con una condición quepueda estigmatizarlos aumenta -seriamente las condiciones éticas: un estudioefectivo para localizar a niños medianamente retardados para un proyecto espe-cial, puede resultar en un señalamiento hecho por compañeros y maestros, conla consecuencia de que cualquier beneficio del programa selectivo es opacadopor los efectos negativos del proceso de señalización. Así, podría ser mejor abrirel proyecto a todos los niños (o por lo menos a aquellos que parezcan experimen-tar menores efectos por el hecho de ser señalados).

Segundo, cuando en los programas se incluyen oportunidades, bienes yservicios valiosos para todos los miembros de la comunidad, y sólo aquelloscon características particulares o que vivan en determinadas circunstanciasson admitidos, tanto el personal como los políticos del programa puedentener que afrontar antagonismos considerables y pérdida del apoyo comunita-rio. Esto se puede explicar porque los proyectos son poco cuidadosos paraidentificar a las poblaciones objeto y para seleccionar a aquellas que tenganuna alta y definida probabilidad de tener necesidades o estar en riesgo.

PROCEDIMIENTOS PARA ESTIMAR LOS OBJETIVOS

Para estimar el alcance de los problemas que requieren nuevos esfuerzos deintervención y la población objeto de manera que permita el empleo más efectivode los recursos y el personal disponible, se pueden utilizar una gran variedad detécnicas, las cuales varían en su complejidad y costo. Las listadas a continuaciónse describen en orden ascendente de complejidad y costo.

Acceso al informante clave

El acceso al informante clave es un término que denota una técnica de investi-gación poco costosa e informal, la cual incluye a los líderes y expertos conocidosque pueden identificar, seleccionar y cuestionar de tal manera que se construyanestimaciones de los problemas y poblaciones objeto. Esta técnica facilita una ima-gen amplia de las necesidades y los servicios percibidos como importantes y las

PROCEDIMIENTOS PARA ESTIMAR LOS OBJETIVOS 89

características de la población que lo requiere; además, tiene la ventaja adicionalde que desarrolla el apoyo de las influencias de la comunidad, las cuales pueden sernecesarias para diseñar el proyecto y continuarlo.

La mayor limitación de este tipo de procedimiento es que tiene una desvia-ción interna de los individuos y de las organizaciones investigadas; descuida laposibilidad de que las características, el predominio y la incidencia de los proble-mas de las poblaciones objeto puedan ser percibidos incorrectamente por loslíderes y los expertos. Es más, las perspectivas de los líderes y los expertos se pue-den caracterizar tanto por su carencia de conocimiento profundo de los segmen-tos que constituyen una compleja y ampliamente distribuida sociedad, como porsus "intereses"; por ejemplo, el punto de vista de un terrateniente con respecto alproblema de la habitación puede ser diferente del de los inquilinos.

El acceso al informante clave funciona mejor cuando los líderes y los exper-tos son cuestionados acerca de la información concreta y específica. Así, searriesga la perspectiva de desviación al preguntar a los líderes acerca de cuálesson los problemas principales de su comunidad. En contraste, si se identificacuántas familias se localizan en el bloque de transportación de líneas públicas, lohace menos propenso de desviación, ya sea hacia arriba o hacia abajo, especial-mente si se consulta a quienes están familiarizados con los servicios locales detransporte público.

Cuando se usa este procedimiento, es buena estrategia diseñar una lista deentrevistas potenciales antes de iniciar la investigación. Si el evaluador conocemuy bien a los líderes y a los expertos de la pequeña comunidad, podrá elaboraruna lista de hasta 25 líderes clave. En caso contrario, un enfoque alterno serácomenzar con un pequerio número de informantes (por ejemplo, de cinco a 10) yluego usar una técnica conocida como bola de nieve, la cual consiste en solicitaral informante que mencione dos o tres nombres al final de su entrevista, que sepaque conocen el sector de este problema particular. Esta técnica no se debeemplear en más de 50 entrevistas.

Los dos principales criterios para seleccionar a un informante clave debenser: a) el conocimiento de la comunidad, su gente, sus necesidades y los patro-nes del servicio recibido, y b) su liderazgo potencial. El primer criterio permiteexarninar la entrevista con profesionales locales y expertos (maestros, docto-res, enfermeras, expertos locales técnicos, empleados civiles y similares) quie-nes, por virtud de sus ocupaciones, se relacionan con un rango de personas,propietarios y condiciones en el área. El segundo criterio está comprometidocon el punto de vista de los posibles beneficios políticos para el proyecto. El usode líderes puede permitir a los administradores del proyecto obtener su apoyo,en el mejor de los casos, o por lo menos la neutralidad. Esto facilitará la etapade ejecución del programa, si el proyecto reúne cierta oposición potencial entrelas poblaciones objeto. Otro criterio puede incluir accesibilidad con los adminis-tradores del proyecto, si un informante potencial representa a un subgrupo opoblación particular, y si la persona es un consumidor o un consumidor poten-cial del programa.

Con esta técnica es útil construir una guía de datos por adelantado; esdecir, una lista de reactivos que cada informante plantee para completarlos oque se conteste ulteriormente en una discusión informal con los informantesclave (para un ejemplo, véase el anexo 3.6) El uso de una guía de datos facilita

Fúéát1::Adá

D. C . 1976, p.. 107. -

áttójjályiitiiiité c>f Worki7?q Manud of Slug ; , le Pr,lururn-

/4'ilini101'.;1¿7(tri'/F-1,2,-,101Cen t ,.rs GJVC. Fs m rut Print inq DffIce. 1ru un ton,

90 CAP. 3. PROCEDIMIENTOS DE DIAGNOSTICO

una rápida recolección de las respuestas de los informantes clave y ayuda aestandarizar la información de todos los informantes. Una vez que todos losinformantes han sido contactados y entrevistados, la información se deberesumir y, si es posible, poner en forma tabular. Muchas veces, después detabular los datos es valioso proporcionar una retroalimentación a los infor-mantes clave, un paso que permite verificar la información y los resultadosrecolectados. También es un medio para que los informantes clave sigan parti-cipando en la planificación y el desarrollo del programa.

nexo 3.6. Guía de entrevistas sugeridas paraet'enfoque del inforrnante clave, a fin de valorarlas necesidades en salud mental comunitaria

Posibles temas por discutar con cada persona entrevistada:

1. Problemas c-ornunitanos (general)

En orden de prioridad de la importancra.Recursos extstentes ,.para ayudar a cada problerna,Necesidades y pró6lernas rio reunidos. por grupos.- ¿Quién abandona mas consistentemente los sei vicios?¿Qué problemas no son evidentes?

, -2. Problemas de salud mental

Una Ilsta prIontaria de serjeclad incluido ci predonanio).Fuentes easi,pentes de ayuda á cacla pioblerna.Actitudleeamitarias hácia el usb de los servie.íos de s ilud mentaipúblico-s.Grupos que toman mús SCrViCi05 de salud mental,Grupos que están más desfavoreCidos.

3. Actitud bacía los centros de salud mental comunitaria.

¿Quién solicita ayuda a • los centros?, ,.Qué otros tipbs de recursos dé ilud mental usa la gente en la cornuni-tlad?, ¿qUién los tra?

Qt0.(..,'n no uud. adira a Ios centros y por¿Q0é.gli:Ipds—oknetelidades de.servicios de'sálud mental son menos

?"-(1,-;17élt7-2 un mapCi cie la cornurudad).

91

Acceso al foro comunitario

Este tipo de enfoque asemeja una asarnblea abierta, esto es, una recolec-ción de miembros de una organización comunitaria designada o aun de gru-pos informales. En esta técnica se obtiene la participación del ciudadano, aun-que también es una manera de obtener estimaciones de una variedad deindividuos acerca de la incidencia y el predominio de los problemas particula-res y respecto de las características identificables de las poblaciones objeto. Elenfoque también se puede usar para recolectar datos acerca de qué tan bien sepercibe el trabajo de un sistema.

La utilidad del acceso al foro comunitario depende principalmente de si laatención a tales reuniones abiertas constituye una representación equilibrada delos miembros y las poblaciones objeto de la comunidad considerada, y de si losparticipantes se sienten libres para expresarse abiertamente. La técnica puedeser superior a la anterior —el acceso al informante clave — para obtener informa-ción clave válida acerca de si el evaluador tiene éxito al efectuar una junta entre-cruzada de los evaluados. A menudo, esto se puede hacer cuando se tiene en lajunta un representante de las personas influyentes o un patrocinador de las orga-nizaciones respetadas. Por tanto, esta técnica algunas veces se utiliza como deseguimiento para los accesos a los informantes clave.

Este tipo de acceso es económico, pues permite aprender las percepciones ylos diagnósticos de un gran grupo de personas a un costo relativamente bajo. Laslimitaciones son bastante obvias. Un foro puede restringir los géneros de informa-ción que las personas deseen revelar. También puede esconder los puntos de vistade aquellos quienes es más probable que participen, y probablemente se desvíen yno obtengan información ni perspectivas de los individuos que se perciben a sí mis-mos como menos influyentes en la comunidad. Un foro puede convertirse en elescenario en el que los resentimientos políticos locales se manifiesten, de modoque produzcan más rencor que datos.

Esta técnica del foro es más efectiva cuando los objetivos del programa y lasoperaciones del sistema de entrega se pueden establecer explícitamente en térmi-nos de accesibilidad al grupo que integra el mismo. De otra manera, la informa-ción recibida puede ser valiosa en términos de necesidades de valoración general,pero puede no estimar la extensión de un problema particular y las característicasde las poblaciones objeto.

Algunas veces, con el fin de obtener un entrecruzamiento más amplio que elque se pueda esperar al tener un foro general, se hace un esfuerzo para realizarvarias juntas del mismo género, pero con poblaciones variadas, cuidadosamentedefinidas y seleccionadas; por ejemplo, en las comunidades con varios gruposreligiosos se pueden manejar juntas separadas para cada iglesia, bajo el patroci-nio de los líderes religiosos locales.

Las restricciones en uso y aplicadas al acceso al informante clave también seaplican a este tipo de acceso. El potencial de estructuración de la desviación paralas necesidades, el tamaño y la extensión de la población objeto es considerable.Esta técnica se debe usar sólo como complemento de otros métodos, con el fin deestructurar el consenso patrocinador de un programa, o en ausencia de bastantesrecursos para emplear alguno de los otros métodos mejores, los cuales se descri-birán en las secciones siguientes.

92PROCEDIMIENTOS PARA ESTIMAR LOS OBJETIVOS 93

Acceso a los porcentajes bajo tratamiento

Este acceso, tan comúnmente usado, estima a las poblaciones objeto me-diante los servicios utilizados para el mismo problema objetivo en una comunidadsimilar. La suposición que subraya este acceso es que las características de lapoblación objeto deseada y su tamaño están relacionadas estrechamente con losatributos que presentan aquellos que ya han recibido tratamiento. Algunas veces,sobre todo en las comunidades donde no se han efectuado intervenciones pre-vias, las estimaciones se pueden derivar de una o más áreas geográficas que seasemejen al sitio propuesto para el proyecto. Si se pueden encontrar áreas en lasque las propiedades sociales y culturales de los individuos se reflejen iguales aaquellas en las áreas proyecto, se podrán derivar estimaciones de las poblacionesobjeto en términos de tamaño y características.

Casi seguramente, las estimaciones derivadas de los porcentajes bajo trata-miento tendrán una desviación hacia abajo. Los proyectos rara vez abarcan total-mente a una población objeto; por tanto, cualquier cliente dado al proyecto seráun subconjunto seleccionado de la población objeto. La selección puede ser for-zada por la escasez de recursos o por fallas de la población objeto para usar losservicios ofrecidos. Esto puede tener sentido en ciertas circunstancias para consi-derar tales estimaciones, como en los límites más bajos para estimar el tamaño deuna población objeto y para ajustarlos de manera coordinada; por ejemplo, losReportes uniformes de criminalística, publicados por el Department of Justice(Departamento de Justicia), se basan en los delitos informados por la policía. Lasgráficas y figuras se trasmiten luego al Federal Bureau of Investigation —OficinaFederal de Investigación— (FBI). Los porcentajes de delitos impresos en esosreportes son, en principio, índices de los "porcentajes bajo tratamiento" y expre-san los "casos" que han recibido algún tratamiento (o se,a investigación) por losdepartamentos de la policía local.

Cuando estos delitos se comparan con los delitos informados en las investi-gaciones (en las cuales las personas son interrogadas acerca de los delitos quehan sufrido), esto hace obvio que dicho reporte no estima significativamente(pór un factor de cerca de cuatro) el número total de delitos en los cuales una víc-tima está involucrada. Esta baja estimación ocurre, en parte, debido a que algu-nos delitos no son informados a la policía y, en parte, porque la policía no pasafielmente al FBI las gráficas correctas elaboradas por todos los delitos informa-dos a ella.

De muchas maneras, el usoecle las estadísticas del servicio y de las oportunida-des para sustraer información de los registros de las poblaciones tratadas pareceproporcionar un rnodo atractivo de estimar a la población objeto. Los porcentajesbajo tratamiento también se usan para estimar el rango que abarca cualquier pro-grama existente; por ejemplo, si la información acerca del desempleo proporcionauna estimación de 5 000 personas desempleadas entre los 18 y los 25 años en unacomunidad particular, pero las estadísticas revelan sólo 250 personas de esa edadque participan actualmente en los programas de entrenamiento para el trabajo dela comunidad, esto hace evidente que el programa se debe modificar.

No obstante, cabe señalar un buen número de precauciones importantes. Enmuchas intervenciones los registros del servicio y las estadísticas derivadas deellos son poco confiables. Es evidente que muchas agencias consideran que man-

tener registros es una actividad que tiene poca prioridad, sobre todo cuando seexige la prestación de servicios. Asimismo, como el proyecto recibe apoyo eco-nómico y político cuando demuestra que hay una población de clientes grande,muchos se esforzarán en exagerar las necesidades de su servicio yfa extensión de

los servicios ofrecidos. Algunas veces esto es a propósito y muchas otras estoaparece más o menos inconscientemente, debido al entusiasmo de los proveedo-res de servicios por su proyecto particular.

Acceso a los indicadores

Muchas oficinas federales, estatales y comunitarias mantienen buenas estadís-ticas que se pueden usar como base para estimar a las poblaciones objeto. Estasestadísticas incluyen datos tales como tendencia a la fertilidad, a la mortalidad y ala incidencia de ciertas enfermedades; los indicadores económicos tanto del des-empleo como de los ingresos personal y familiar, y la información acerca de deli-tos, pobreza y delincuencia juvenil. En Estados Unidos se encuentran disponiblesdatos valiosos acerca de la población y la composición de las casas en las jurisdic-ciones estatales, locales y políticas (ciudades, pueblos, condados), y las pistas delos censos en las áreas urbanizadas. Dichos datos se pueden obtener ya sea publica-dos como resúmenes o en cintas de computadora para uso público.

Para los problemas sociales definidos en térrninos para los cuales los datos delcenso son apropiados, el censo decenal puede aportar excelente información delas necesidades de la valoración y para ubicar las pollaciones objetivo; por ejem-plo, se puede usar el censo para ubicar a personas y familias de acuerdo con suraza, edad, estatus socioeconómico y condiciones de vivienda. Para las áreas esta-dísticas estándares metropolitanas (AEEM, definidas como las ciudades y áreasprincipales que tiene una población de 50 000 habitantes o más) están disponibleslos datos por área de censo, o sea, superficies con promedio de 13 km 2 y quecontienen un promedio de 4 000 personas. En el anexo 3.7 se muestra el uso delcenso de 1970 para producir estimaciones de la población objeto para los pro-gramas denominados límite superior e ínvestigación del talento.

Anexo 3.7. Estímación,de lawoblaciónde los prOgranias en busca del talento educ.atilkiy brnite superior, con datos de14censt„

„.• Los propdp sitos del estudio fueron esti mar el tarnaño

en laIBTE -educativo».de lá•pobl3ción=6bjetci:ydesd-ribirlsW:•:,

composición 'dón, r espetiolde las caracteilstiéas persenalés y demográficas En esteestucho, lalpobla.cióiY:elbjétodefinió paráinclu,todas las,personas.de,14 , a 24

1970, Oyo . lradOsnpertor cursado enla ec'uélá--ésttivieraeiitté-étS0xto,yelde.cirricendC?)IradiSS:derlducacrón; y:cuYbs-ingre_scs,familiáres en.1969;:fáéraninferiCreárniel da pobreza Las personas incluicLAs,enjá ppbl'adón

Llicaion:dá$Ciá'¿le Offtcof (Oficina de

EduCaajend.é.:ES'tad. regi.ohir 'y-.Jsratai 'Según

9.2X0; . arif&.-edéntes:ctriori-Seia l es y estatus escolar,

- 1._(5.-:'daidsr,registraclos en el Cé.nsó CIC'pOblaCión cle 1970 revelaron queJas

94 95

-poblaciones objetoppra ,L5 y BTE incluía. ná'3,8130:000 personas„ó„.seael 2c1;depáblacióri de Estack,s pnid-c.)s en 1970 La población objeto 'ábardába a 2.1millones de rnujeres y 1 8 millémede,hornbrés;y:sírcolnposiciórán-Oii-acIO-nalincluvi5 1:1'1:,7_1c` blaneos36T,;_.de nIdt4-:1.:(5,111.:.d¿keS'ee-ridléntes de...e'sbaotesmetiosf-cieLlyde personas con otros antecedentes etnorraciales:-EnU976;e-12. ilráélJ- POSIOcióii:6b5to estaba'inscrita e'tála escuela entre.elsexiOde" eirno‘, , - . „ .segundo grados. y no lo estaban. Ge o g ráíicarnente,..erniayor núme- •ro de:persolias:n lá-,población . objeto esta,ba en la reglón IV de la USOE la cualincluía a 1 0 .5 .1.S200. 1er sonas (o sea .el 27;(i,de la poblati6rilObTáitOtáWeguielade lá regióttYeon 6VI27 200 (o Sea, e11.6% de la po6lación objetO'idtal):. , -La polalacip'n"objeto se estirnó de'uno en 100 muestraS de IplregistróSibáslcosdel eenso -de lpb-bláCión de,1970, pero la estimación agredada rmáneceálid entérrytinos de,-,..1objettyos que el tamaito de.lapoblación óbjetiy naáónal deelin6 .-enÁláV:de'l70'a•

l'- Fttentel 'Artl.MA,-cen .pri-rn176';'& rr FI:-Stri71-riits CiiilzéS;t1rhateso thé.Tfor Upward Bnund und Taent Search 1?ro9rams, Re_seai-c1.-~é)01011. atO.DiaianV '

Si se pueden usar o no los datos del censo, ya ,sea en su forma publicada o nopublicada, dependerá de qué tan rápido éstos se vuelvan obsoletos conformepasa el tiempo o de qué tan adecuada es la serie de ellos. En áreas que han experi-mentado considerable crecimiento y cambio en la estructura de las poblacionespor medio del aumento de la inmigración, los datos del censo pueden ser extem-poráneos en pocos años y, por tanto, de poca utilidad para estimar a la poblaciónobjeto.

Sin embargo; los indicadores tienen otro valor: como series de tiempo. Losdatos de series de tiempo derivan de observaciones hechas a intervalos regula-res, de tal manera que la pista de la incidencia y del predominio de problemasparticulares se puede evaluar (Sistema Estadístico Federal, 1976). Los cambiosrepentinos y agudos en esos indicadores generalmente señalan la emergenciadel fenómeno que requiere los programas de acción; por ejemplo, dado quehay una correlación coriocida entre el desempleo y el rango de suicidio, y losdatos de las series de tiempo del punto del desempleo hasta un aumento máxi-mo en el número de trabajadores desempleados, también se puede anticiparque habrá un incremento marcado en el número de personas que requieran losservicios de la unidad de intervención de suicidios.

Se pueden obtener muchas series de datos de interés para personas rela-cionadas con problemas sociales, pero principalmente se definen para unida-des geográficas muy grandes, a veces la nación en su totalidad, los estados olas AEEM (definidas anteriormente). Los datos indicadores sociales paraáreas dentro de ciudades o'condados, se pueden elaborar mediante el acopiode datos provenientes de las agencias encargadas de recolectar esa informa-ción (en este caso, el Departamento de Salud Citadíno). A menudo, la compa-ración de esos rnateriales y el cálculo de los rangos de varios periodos son muycostosos y consumen mucho tiernpo. Por tanto, a menosque las séries dé tiempoestén publicadas, no será posible reconstruirlas en una locálidad particular y

-comunitaria.

Investigaciones y censos

El medio más directo y generalmente más seguro para tener datos exactosacerca de los problemas objetivo y de las poblaciones objeto puede ser realizarcensos especiales o investigaciones de la muestra, en las que se empleen las mejo-res técnicas de medición y que las estimaciones se deriven en las condiciones másrigurosas. Un censo se puede definir como una enumeración completa de las uni-dades poblacionales (individuos, familia, firmas, etc.) respecto de las cuales seobtienen las características adecuadas de la unidad. En contraste, una inuestiga-

ción de la muestra se puede definir como la medición ampliada a una muestra dela unidad en Una población, y la muestra se sortea de tal manera que minimice ladesviación al seleccionar la unidad. Evidentemente, existe una relación estrechaentre los censos y las investigaciones de la muestra, pues unos y otras compartenlos problemas y se esfuerzan en dar estimaciones acerca de las poblaciones.

Las investigaciones de la muestra son preferibles a los censos por dos razo-nes: 'Primero, son considerablemente inenos costosas y segundo, cuando se reali-zan apropiadamente proporcionan estimaciones de las características de lapoblación en cualquier grado de precisión deritro de los límites calculables deerror para la muestra. Además, las investigaciones de la muestra se pueden efec-tuar con mayor cuidado y minimizar los errores de medición. Cabe señalar quelas investigaciones no se deben limitar al estudio de individuos. Las investigacio-nes de la muestra se pueden realizar en familias, grandes grupos organizados(como en unidades) o entidades físicas (como en hogares, negocios, parcelasagrícolas y caminos).

La ciencia y el arte de examinar la investigación de la muestra los explicanbien Rossi y sus colaboradores (1982) y Sudman (1976). Existen las metodolo-gías para los muestreos cuidadosos y la entrevista apropiada de los instrumentospara la construcción. En la investigación se usa la medición estándar para medirel predominio y la incidencia de ciertos problemas. Por ejemplo, un esquema dela investigación podría incluir una lista de las habilidades funcionales medidas enlos miembros de la familia, en tanto que los artículos y las pruebas para hacerloincluirían una lista de las características de la vivienda, los niveles de incapacidaden la salud, etc. Estos géneros de medidas, junto con las características de dura-ción de la residencia y los ingresos familiares, permiten estimar a las poblacionesobjeto con gran exactitud. Los requisitos mínimos para realizar adecuadamenteuna investigación de la muestra incluyen un buen procedimiento de muestreo, unbien preparado y probado esquema de entrevistas o guía de observación y entre-vistadores o tabuladores capaces que conozcan las áreas que se investigan o quese consideran implicadas.

Debido a que las investigaciones pueden ser costosas y de mayor demandatécnica, deberán emplearse sólo cuando exista una justificación adecuada delos costos implicados y cuando esté disponible el personal entrenado adecuada-mente. Muchas investigaciones de la muestra, aun las de pequeñas poblacio-nes, requieren meses de preparación, y para proporcionar información útil ypredictiva, necesitan ser en gran escala. En general, pocas investigaciones demenos de mil entrevistas u observaciones serán de utilidad; las investigacionesen gran escala suelen ser necesarias para estimar la incidencia o el predominiode fenómenos relativamente raros.

96 cAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO

En el anexo 3.8 se ilustra el uso de investigaciones de la rnuestra realizadasentre familias con niños de menos de 13 años que aún viven en el seno familiar. Elpropósito del estudio era estimar las necesidades en cuanto a facilidades para elcuidado del niño, así como el uso de los diversos tipos de arreglos para el cuidadoinfantil en las familias de esta . clase en Estados Unidos en .1975. Mientras quepocos investigadores evaluativos necesitan estimar las poblacionés objeto paraEstados Unidos como una unidad, los .mismos principios se aplican a investiga-ciones .de la muestra en, pequeñas áreas o aun dentro de instituciones. En el anexo3.9 se ilustra ei uso de investigadonesde la muestra para áreas Pequeñas (en estecasóBrookline, Massachusetts).

Ariexo' 3.8.'Estudio riacional acercdel -cOnsumidor del cuidado al;niñ

Los datos Colectados en esta inVestigación representan el e -xain .en: Mas comple•:haaja_teehalle los patiOrieS aiTtuales del u5o clel cuidado al niño en EStados Unidos.

niuesira dC2 Probabilidad estratificadanaélon'al:de:=aprox" ínádarMente 4 60.0 .fanallias cOn niños de13 aflos o menores. Ni lo5 niños .

familias con bajoslii, g-resós.:,fueron sobtirpt!' eitreados para garannzar-,-,suLa 1n siestidá 'éb¿ri'if"derit1f1éj5 las n-iliCigdés'Slgulerítes réspect&del

Ouidado- iarni casá por un pariente b) en casa por 'un desconotido', c) co otra .caSa por un desConóelcio; enfermeras . cuidadapreascolar,f) centros dé :reiii. dado q) programas dé cbp'perativas;.h) progra:Mas de'cuidado

t)- rhaefici::Tam-_bien sé:hizo una distiriCión entre el ctif.dé'clOdét.-i-nercade,;' por medio det cual sepaga ep .efectivo'ci'él .'gobierno aportá un subsidio; y el euida0o slirmercado, el cual res proporcicirk-ido.-sin cuota o en intercamblo:. ,,Niteve de las ,10„ casas con niños cle, mynos de 14 , años iriformaron usar tina de

Mencionaclas. : No valía el múltiple arreglo 'qUe para elUna cle cacla tre_s caRas us,5 sólo Lin metódóldétuidado

írás . que' los dos tércioS restanteS usaroh por lo MenosEj estudio nacional,acerca cleb„consuiniciori-cletp.lidadója,LñiDO..e.Sjaarti4iIáv,;,.

rnente_aniplio z11-eriurneMr lS factiaíje.S-'cli:e'.,11-ffIlyenTliláqéleCCIÓdde:íçobre el modo del cuidado Ls rnportancia "de lol.diyersos tipoS de cuiclado pre;Por-

a I te tiV( 'DS:" (0 'e.rí marOo .c1 la dermariclá)las„_.caracterfStitás del bien inflnyen.en la se2.1_e"ción y se exarnlnan con alqún detallé._ _ ,El inforrné tainbién "s:e lirnita propiaMente a

,-recolCar qüe las a 'étitüdelas de los cOnsu-:

, micioreS suelen carecer de lo c ,ancreto, sobrébodó - eitando algunaS'ele'las cuestioneslas interpretan ecnnó hipo .tencas alguno de los respenclentes.,Dadelta advertencia

, cOn el„heelao -,clé que los datos nca se anal4an de tal manera qué,influ9an ealos.Otrow:V.:,í1factore[ConstIllteS, de nada ilc quer fiuchos corisumidores

cuida dd .d ia:IJs-preescolárés-pkii raignes propias . del niño, en vez de Porsu pr4"1- eonvé n ienCiaHlá ..VálldéZ . : .-del'esie cuc,,siionatnientd permánece'en dadá,peró si se cdnfirma P-Or mas vigerosds;arkíliSk de datos -junto con el resultadó delqtrenincl-raS' í familías risan n un 'estilo-de'C'Ubdado,-'sm--,rpercado—darauna eVidentiljt:Iécó rno se fo rrnanlas: Preférencia ::;"v loS • éjeteOs'en eirriei'cadei-dereüidadOdel.4

-

97

Anexo 3r9. Una nwestigación d unrnuestra para un área p-equena

Una rnuestra de familias con bajos ingresos que y Ivian en Brookline, Massaf,!

.chuSetts dnrante 1965 y,qUe ,,terilap.porilo.,rnÇ noun híjo en la escuela secundartav,,,local públIca o eaviarrOclúlát,Se'tó4Triledlanie' el er-npleo de lds regIstroS-'d0,k:- .saludmanterudos en las escuelas en cuestión. La seleccI de lal famillas'se hízo con bás-é en la inforrnación de los reg1stros de llSí'escuela, y uría deterrhina.j.4.j'_ , . ,ón prelImInar ..___ .

ción final se tomó de_spues de var .las entrevistas y algunalverifIcación_eídel crédIto-':-.;

.1 acerc_a de'su estatus cle .bajóSjingresCis'de l a famIlia y de la ocupacióddellefe de fárnk:"zi:

- lía. Se usó una muestra - de 806'.,fámílias,

: la inve, : El propósíto de stIglOnfue,obtener un grupo de famIllas que pudie,serm,.;

necesitar lós serilic ios de la clíni¿á elental"PúblIca. Se emprendleron entrevIstas.ebriV..cada farnilia para asegurar lospatz'Ories del culdado dental de los mlembros de lall,

-:;farnilía. Los exámenes desitálésse'reafizarem en escuelas de adOlescentes.para gurar la necesidad del cuidado dental de las farnilias con bajos Ingresos, suponlendellb

. ,-

, que los adoleseentes implicadoSrepresenta ban razónablemente el'estatus de Culdaí

1 do de la salucl de y.akfarnlltal:dejalque provenían.,

....,?,::44 ...¿.,.--„,--.1..„..,,-1.,---[ Fuente: Re,,,. uvnen; loh'i peryrtrip:,`iide.l.ar, nbert;::J.i.:yrylE;Iréérnan, The clin.íUniv,-rsity Pre-,s, Nekkr 05iii<e0111íi4:19.67. ' ' ' ' r;:1,,!..:

1L --- s

El establecimiento de las características del objetivo debe estar basado enuna combinación del conocimiento de las investigaciones prevlas y la práctica,la experiencia y la información, obtenidas cuando se determina el tamaño de lapoblación en necesídad, demanda o riesgo. A menudo, después de decidir loscriterios, se pueden adoptar procedimientos adicionales para verificar la utili-dad de tales decisiones en cuanto a la selección característica del objetivo; porejemplo, un proyecto educativo para entrenamiento intensivo puede tenercomo definición de objetivo apropiado a todos los miembros de la comunidadque tengan entre 16 y 60 años y que hayan cursado menos del cuarto gradoescolar. Una estimación del 10% de analfabetismo funcional en una comunidadde 2 000 adultos puede provenir de la investigación de un informante clave.Una investigación de la muestra puede proporcionar datos acerca de si se debeusar o no una definición del cuarto grado que produce una población potencialde cada 10 entrevistados.

IMPORTANCIA DE DIAGNOSTICARLAS EVALUACIONES

Evidentemente, la especificación y selección de la población objeto se debebasar en mediciones de las características, las cuales sean fácilmente detectablesy exactas. Desde el punto de vista de la administración de un programa, sin talespecificacíón es virtualmente imposible realizar una intervención exitosa. Des-pués, a menos que el diagnóstico esté bien establecido, ni la verificación ni la utili-dad de la evaluación tienen probabilidad de ser usadas. Como un buen pescador

ubit:Cotiege and


sabe, existe poca probabilidad de capturar un pez, incluso después de seleccionarbien la carnada y el aparejo, a menos que se conozca bien qué tipo de pez existe ycuál es la profundidad adecuada para hundir el anzuelo. Asimismo, la mejorintención para mejorar las condiciones humanas no será apropiada, a menos queel personal del proyecto y/o el evaluador puedan especificar precisamente losobjetivos y seleccionarlos adecuadamente. Monitoreo del

programa

contabilidad

El monitoreo del progranna tiene por objeto resolver dos interrogantes principales: a) siel programa alcanza o no a la población objeto apropiada, y b) si la entrega de servicios escongruente o no con las especificaciones del diseño del programa. Existen varias razones paraque se requiera el monitoreo de un programa. Primero, el monitoreo generalmente se requie-re para propósitos de contabilidad; el manejo del programa y los patrocinadores buscan con-tinuamente información para contestar la pregunta siguiente: "¿Quién está haciendo qué ycómo?". Segundo, el monitoreo de las evaluaciones generalmente es un auxiliar necesariopara valorar la repercusión, pues los errores en el programa a menudo se deben a ejecucionesincompletas o defectuosas de las intervenciones, más que a la inefectividad del tratamiento.Tercero, el monitoreo de la información puede ser la base de la valoración de utilidad o uncomplemento de ella; por tanto, es un medio que interviene en la decisión de continuar,ampliar o terminar los programas en curso.


Estrategia de acceso: Plan para alcanzar y proveer de servicios a una poblaciónobjeto.

Contabilidad: Responsabilidad del personal del programa para aportarevidencias a los patrocinadores y a las unidades de supe-rordinados, de conformidad con la cobertura del progra-ma, su tratamiento, su legalidad y sus requerimientos fis-cales.

Desuiación: Medida en que los subgrupos de una población objeto parti-cipan diferencialmente en un programa.

Cobertura: Grado en que un programa alcanza a su población objetointentada.

Estudios del proceso: Término generalmente referido a las actividades relaciona-das con la identificación del objetivo y con la valoraciónde la conformidad del proyecto.,

Elementos del programa: Actividades identificables y discretas de la intervención.Entrega de seruicios: Procedimientos y arreglos de organización empleados

actualmente para proporcionar los servicios a las pobla-ciones objeto apropiadas.

100 CAP. 4. MONITOREO DEL PROGRAMA

Después de firmar una nueva ley, se atribuyó al presidente Kennedy haberdicho a sus colaboradores "Ahora que -está hecha la ley de la tierra, espera-mos tener a nuestro gobierno abocado a llevarla a cabo". Si el presidente de Esta-dos Unidos se pudo expresar escépticamente en lo relativo a la ejecución de la leyfederal, ¿cuánto más vacilante e incierta es la complementación de los progra-mas específicos? Por cierto, realizar o no cualquier programa con total interés enla ayuda de sus patrocinadores y de los integrantes del programa, es siempre pro-

riplemático (si es que alcanza a la población designada para que resulte beneficia-da con el programa y la entrega de servicios ordenados).

En este capítulo se estudiará el problema que se refiere al monitoreo de lapuesta en marcha. Por monitoreo de la puesta en marcha se entienden ciertosintentos sistemáticos para medir la cobertura del programa, o sea el grado enque el programa alcanza a la población objeto designada, y por proceso del pro-gra ma se entiende el grado en que el servicio por prestar concuerda con lo que seintentaba proporcionar. Tanto la cobertura del prograrna como el proceso delprograma se conocen frecuentemente como producción del programa, esto es,los productos y servicios que se prestan a los beneficiarios apropiados. La pro-ducción no se debe confundir con los resultados, pues éstos se refieren a los efec-tos de la producción en las poblaciones objeto, es decir, la repercusión (para unestudio más extenso de los problemas y de la investigación acerca de la puesta enmarcha, consúltense Williams y Elmore, 1976; Williams, 1980, y Pressman yWildavsky, 1973).

USOS DEL MONITOREO

Realizar el monitoreo de la puesta en marcha del programa es una actividadque se realiza en diferentes momentos del programa en curso y en la administra-ción de programas establecidos. El monitoreo de la ejecución del programa es fun-damental para desarrollar el proceso cuando los programas se han probado ydepurado. Los diseñadores necesitan conocer cuáles problemas se encuentran enla ejecución, de manera que se efectúen cambios en el diseño del programa, con elfin de resolver tales obstáculos. Los resultados inesperados y los efectos colateralesindeseados aparecerán rápidamente en el curso de la prueba; por ejemplo, una clí-nica médica destinada a ayudar-a las madres trabajadoras y que está abierta sólodurante el día, descubrirá pronto que la mayor demanda será para la prestación deservicios clínicos y que tales horas no son adecuadas para madres que trabajandurante el día. En un programa establecido para resolver severos problemas psico-lógicos en el comportamiento de los niños en la escuela, se encontró súbitamenteque muchos de tales niños no tienen alteraciones profundas, sino sólo superficia-les; por ello, el programa se debe modificar.

Los resultados del monitoreo del programa también son esenciales para reca-bar datos con el fin de difundir el programa. De esta manera, se pueden reproducirlas características esenciales de una intervención en sitios diferentes de donde seoriginó. Se debe describir el programa en detalle operacional. Los puntos críticosen la ejecución necesitan ser identificados, las soluciones a los problemas adminis-trativos bosquejadas, las calificaciones del éxito del personal del programa docu-mentadas, etc. El buen desarrollo del programa incluye elaborar manuales que

CONTABILIDAD DEL PROGRAMA 101

detallen los procedimientos administrativos, la entrega de servicios, las calificacio-nes necesarias del personal, etc. El resultado de monitorear el programa en la eta-pa de desarrollo, se puede aprovechar en la preparación de tales manuales.

Para programas que están más allá de la etapa de desarrollo y en funciona-miento, su monitoreo sirve para satisfacer las necesidades de la administración alproporcionar información acerca del alcance y el proceso y, por tanto, retroali-mentar con respecto a si el programa cumple con las especificaciones. La depura-ción del programa se puede requerir cuando la información del monitoreo indicaque los objetivos no se han alcanzado o que los costos de la producción son mayo-res que los planeados inicialmente. Los administradores del programa que descui-den verificar un programa sistemáticamente corren el riesgo de administrar unprograma que sea muy diferente de sus mandatos.

Los programas en gran escala en los que se incluyen unos cuantos sitios y gas-tan grandes cantidades de recursos, pueden formalizar el monitoreo del programaal establecer un sistema de administración de la información (SAI). Esfuerzos siste-máticos y continuos suelen generar datos acerca de lo que sucede en el programaal contestar interrogantes tales como ¿cuántas personas abarca el programa y cuá-les son sus características?, ¿cuántas "unidades de servicio" son entregadas?,¿cuánto del fondo se gasta?, ¿qué tanto permanecen las personas en el programa?Los objetivos de un sistema de administración de la información bien diseñado sonproporcionar a los administradores del programa y al personal reportes detalladosy periódicos acerca de qué tan bien funciona el programa y alertarlos en la entregade problemas conforme se originan, de tal manera que se pueda emprender unaacción correctiva.

CONTABILIDAD DEL PROGRAMA

Por supuesto, la información del monitoreo del programa es también críticapara quienes apoyan y patrocinan los programas, los niveles diarios del programaanterior de manejo. En esas circunstancias, el problema es la contabilidad. ¿Seemplean adecuadamente los fondos del programa?, ¿se incluyen las poblacionesobjeto designadas?, ¿cuánto del servicio intentado se presta? Por cierto, para elCongreso, por lo menos tanto como a los programas educativos nacionales con-cierne, la información del monitoreo del programa parece tan importante como lainformación de su repercusión (Raizen y Rossi, 1981).

Desde una perspectiva del monitoreo, la contabilidad adopta varias de lasformas mencionadas en el capítulo 2.

Contabilidad de la cobertura: ¿son las personas beneficiadas aquellasque fueron diseñadas como objetivo?, ¿hay beneficiarios que no debe-rían ser?Contabilidad del servicio de entrega: ¿se entregan las cantidades propiasde la producción?, ¿son los tratamientos entregados aquellos que el pro-grama suponía entregar?Contabilidad fiscal: ¿se usan los fondos apropiadamente?, ¿se facturanadecuadamente los gastos?, ¿se usan los fondos dentro de los límites esta-blecidos por el presupuesto?


• Contabilidad legal: ¿observa el programa las leyes vigentes, incluidasaquellas que conciernen a la acción afirmativa, la seguridad ocupacional yla salud, así como la privacía de los registros individuales?

Los problemas de la contabilidad legal y fiscal deben resolverlos los profesio-nales especialistas en esas áreas. Seguir los procedimientos propios de la contabi-lidad y cumplir las condiciones de las leyes estatales y federales son cuestionesque implican conocer la contabilidad y el derecho, y arriesgarse al tratamientoinexperto de trabajadores sociales entrenados en la investigación social, pero quetrabajan aisladamente. Por tanto, los problemas de cobertura y el tratamiento dela contabilidad son comunes en el monitoreo de la puesta en marcha, desde elpunto de vista de la investigación social.

Aun cuando el monitoreo orientado a la administración (incluido el uso de lossistemas de información) y los estudios de contabilidad del programa se refieren amenudo a las mismas interrogantes, se diferencian por los propósitos a los cualesva dirigida su evaluación. Los sistemas de información administrativa se diserian,típicamente, para detectar las fallas que deben corregir los miembros del progra-ma. Los estudios de contabilidad primero proporcionan información que lospatrocinadores y el equipo que toma decisiones necesitan juzgar con respecto a lapertinencia de las actividades del programa y para decidir si debe o no continuar,ampliarse o limitarse. Los estudios de contabilidad generalmente se realizan conun espíritu más crítico, mientras que las actividades orientadas al monitoreo de lasactividades se relacionan menos con efectuar juicios decisivos y más con incorpo-rar medidas correctivas como parte regular del programa de operaciones.

Algunos comentaristas de las actividades evaluativas (Crobach et al., 1980)sostienen que los resultados de la repercusión son producto no de la administra-ción del programa, sino del diseño del mismo, lo cual generalmente no está alalcance de los administradores del programa. Por tanto, su punto de vista, es quelos administradores deberían ser los responsables primarios de la integridad fis-cal, la cobertura y el tratamiento.

Estamos de acuerdo en que los administradores del programa deben serexplícitos en la entrega de servicios a la población objeto; además, aceptamosprimero los procedimientos para monitorear la cobertura y luego a aquellos quese emplean en el proceso del monitoreo.

POBLACIONES OBJETO YCOBERTURA DEL PROGRAMA

Como se vio en el capítulo 3, es esencial definir cuidadosamente a la pobla-ción objeto; pero esto será úttl sólo si existe un procedimiento para determinar laextensión en que la actual participación de las poblaciones objeto tiene lugar.Esto es particularmente esencial para múltiples intervenciones en las que la acep-tación del programa y la participación son voluntarias; por ejemplo, los centroscomunitarios de salud mental diseñados para prestar un amplio rango de servi-cios suelen fallar en atraer a un número razonable de personas que puedan bene-ficiarse de esos servicios. Aun muchos pacientes recientemente dados de alta enhospitales para enfermos mentales y que han sido alentados para usar los servi-

POBLACIONES OBJETO 103

cios de los centros comunitarios de salud mental, después de su alta, a menudofallan en hacer contacto con sus centros (Rossi, 1978).

Selección de poblaciones objeto

En general, cualquier intervención o tratamiento que requiera participantespara aprender nuevos procedimientos, cambiar los hábitos existentes o tomarinstrucciones, puede encontrar dificultades para atraer a los grupos objetivo. Porconsiguiente, para saber si en un programa se incluye o no a las unidades objeti-vo, aquellas con las características apropiadas y específicas, se necesita monito-rear las evaluaciones.

El problema del grado en que la población objeto participa en un proyectoconcierne tanto a los administradores del proyecto como a los patrocinadores delprograma. La administración eficaz del proyecto requiere contar con la informa-ción . adecuada y oportuna de la participación de la población objeto, especial-mente en los casos en que la modificación de los procedimientos del proyecto sepuede requerir si la participación de la población objeto no se encuentra en elnivel esperado. Desde el punto de vista de los administradores del programa, laparticipación de la población objeto es una medida crítica de la vigencia del pro-yecto y de su efectividad última.

Los problemas de participación de la población objetivo, a menudo se des-cuidan en el desarrollo de los programas nuevos, cuando se asume que las pobla-ciones objeto están necesariamente motivadas para participar, sin embargo, éstepuede no ser el caso: en los experimentos de la demanda de la vivienda disponi-ble (Kennedy, 1980; Struyk y Bendick, 1981), menos de un tercio de las familiaselegidas participó en uno de los tratamientos, el cual exigía a las familias que ren-taban casas que cumplieran ciertos requisitos. Asimismo, un programa diseñadopara proporcionar información a los probables compradores de casas podríarevelar que pocas personas se interesan en los servicios ofrecidos. De aquí seinfiere que los diseñadores del programa deben preocuparse por dar los mejorcon el fin de motivar a las poblaciones objeto potenciales para que busquen elprograma y participen en él. En algunos casos, podría requerirse que los esfuer-zos alcanzados se integren al programa, mientras que en otros sería necesarioubicar especial y geográficamente al personal del programa, etcétera.

Cobertura y desviación

El problema de la particípación de la población objeto consiste en aspectosde cobertura y desviación. Por cobertura se entiende el grado en que medianteun programa se obtiene la participación de la población objeto, como se especifi-có en el diseño del programa. La desviación es el grado en que los subgrupos deuna población objeto designada participa de manera distinta. Una desviación enla cobertura de un programa significa simplemente que algunos subgrupos soncubiertos de modo más extenso que otros. La desviación puede quedar fuera dela autoselección, debido a que algunos grupos participan más frecuentementeque otros. También puede derivar de las acciones del programa; por ejemplo,algún miembro del personal puede mostrar favoritismo hacia algunos grupos y

POBLACIONES OBJETO 105104 CAP. 4. MONITOREO DEL PROGRAMA

rechazar a otros. Finalmente, esto puede resultar de influencias imprevistas,como la ubicación de la oficina del programa, lo cual puede estimular mayor par-ticipación de un subgrupo, o sea, para quienes el acceso a las actividades delprograma es más conveniente.

Al probar los programas, la desviación suele constituir un obstáculo seriopara la validez de la valoración de la repercusión. Especialmente crítica es la par-ticipación diferente de los grupos experimentales que reciben el nuevo tratamien-to y de los grupos control o testigos, quienes son observados con el fin de valorarla repercusión de la evaluación. En muchas valoraciones de la repercusión losmiernbros del grupo control renuncian más frecuentemente que aquellas quereciben el tratarniento en los grupos experimentales (véase el capítulo 6, dondese estudia con mayor detalle el problema de la cobertura durante la prueba deprogramas).

La cobertura y la desviación son relativas, de manera muy clara: un progra-ma que incluye a todos los participantes proyectados, obviamente, no se desvíaen su cobertura; pero como pocos programas sociales tienen una cobertura totaly exacta, la desviación se convierte en un problema típico.

Generalmente, se estima deseable que un programa sirva para una gran pobla-ción objeto. La excepción, por supuesto, se presenta cuando los recursos del proyec-to son limitados para dar el tratamiento apropiado a todas las unidades objetivopotenciales; sin embargo, en este caso, la definición del objetivo durante la planifica-ción y el desarrollo del programa probablemente no fue lo bastante precisa. Paracorregir este problema se puede dar una definición más ajustada a las característicasde la población objeto mediante el empleo de recursos más efectívos; por ejemplo,establecer un centro de salud que proporcione servicios médicos a personas sin fuen-tes regulares de cuidados médicos puede resultar en un desconcierto de la demandade servicios, que limite al recurso y que las facilidades sean imposibles para muchaspersonas que deseen recibir este beneficio. En tales circunstancias, si se agregara elcriterio de elegibilidad que considera la severidad del problerna de la salud, el tama-ño de la familia, la edad y los ingresos, se podría reducir el tamaño de la poblaciónobjeto a proporciones más manejables.

El problema más común con respecto a la cobertura en intervenciones socia-les es que no se ha logrado la total participación de una población objeto, ya seadebido a la desviación al seleccionar participantes de un grupo específico o por-que los clientes potenciales rechazan el tratamiento. Por ejemplo, los experimen-tos de la demanda de la vivienda, que se realizaban correctamente, han tenidorangos de participación bajos: sólo del 30% al 40% de los grupos elegidos hanparticipado, en oposición a la aparente obviedad de las ventajas que tendrían alseguir el experimento (Carlson y Heinberg, 1977; Struyk y Bendick, 1981).

Sin embargo, también existen ejemplos de sobrecobertura: el programaSesame Street (Plaza Sésamo) ha logrado reunir consistentemente audienciasque por mucho han excedido el número de poblaciones objeto designadas origi-nalmente, a saber: preescolares en desVentaja. Otras audiencias, incluidos niñosque no están en desventaja y aun adultos, han sido atraídas por el programa.Afortunadamente, como tales audiencias se han logrado reunir sin un costo adi-cional, esta cobertura inapropiada no es un desperdicio financiero. También seha descubierto que los niños aventajados que ven el programa se beneficianmayormente que los espectadores en desventaja (Cook et al., 1975). Como una

de las metas del programa era llenar el vacío existente entre los niños aventajadosy los niños en desventaja, el éxito del programa para abarcar a una audienciamayor que la planeada ha exagerado un problema que se buscaba remediar.

En otros ejemplos, la cobertura inapropiada puede ser costosa. Los progra-mas bilingües patrocinados y dotados de recursos económicos por el Departamen-to de Educación de Estados Unidos incluye a muchos estudiantes cuya lengua natales el inglés. Los sistemas escolares que gastan el presupuesto del programa y quedependen del número de niños inscritos en clases bilingües, han inflado las listas deasistencia al registrar a más niños que los necesarios, incluidos los estudiantes defi-cientes (Raizen y Rossi, 1981). En algunos casos se ha demostrado que las escue-las han empleado la asignación para instrucción bilingüe como medio para tratar aalgunas. clases de "niños problema" e impartir las clases bilingües con saturaciónde casos disciplinarios.

Medición de la cobertura

Los integrantes del programa y los patrocinadores deben relacionarse con losfenómenos de cobertura excesiva y cobertura baja. La cobertura baja se refiere a laproporción de grupos objetivo de un programa, con necesidades, en el que partici-pen. Por su parte, la cobertura excesiva se emplea algunas veces para referirse alnúmero de participantes de un programa que no tienen necesidades, comparadocon el número total que no tiene necesidades de una población dada; mientras queen otras ocasiones se refiere al número de participantes que no tienen necesida-des, comparados con el número total de un programa. Generalmente, esta últi-ma figura es la importante; el uso eficaz de los recursos de un programa requiereminimizar tanto al número no servido de quienes tienen necesidades como alnúmero de quienes son servidos aunque no tengan necesidades. La eficacia de lacobertura se puede medir mediante la fórmula siguiente:

ÍEI número con El número de los quenecesidades de no tienen necesidades

= 100 x servicio — de servicioEl número total con El número total servido

necesidades

La fórmula produce un valor positivo de 100 cuando el número actual servi-do equivale a la población objeto designada con necesidades y que no se sirven apoblaciones objeto inapropiadas. Un valor negalivo para 100 se da sólo sí sirvea poblaciones objeto inadecuadas. Los valores positivos y negativos entre + 100y — 100 indican el grado de eficacia de la cobertura; por ejemplo, si en un áreageográfica particular se ha éstimado que 100 inclividuos objetivo necesitan unprograma, pero del actual grupo de 100 servidos sólo 70 son individuos objetivoapropiados, el valor obtenido mediante la fórmula anterior podría ser de + 40. Si100 individuos objetivo necesitan un programa y sólo 10 de los 100 son indivi-duos objetivo apropiados, el valor obtenido podría ser de — 80.

La fórmula produce un medio de estimar los intercambios de un programa,incluidas las poblaciones objetivo inapropiádas y las apropiadas. Un programa

administrativo confrontado con un valor de — podría imponer un criterió de

Eficacia de la cobertura

107

1• ' --- .' Los niariufacturerbs gne reckeron estampillas alimentanas tuVlerán rriejor,es.,

t - dletas; fanHilias mas grandes y nlasicir, es ingresos qüe quienes participardn eriel pra- :-.--

`1 , drarna de diStdb .Lsciemi 'aliinentiCta -o'gueaquelloSelegibles, perclque no partiCiparon'

'en el prOgrama de --,a9stencia':,áln-rregtria. .. ::. _ .: ..: 'ffl,,,-..''.':,:-.

:Apróxlmádáme -dte, el 37(V.i'delas' finIlia'St>11n1.- E-fr4: 7p141416•Vd lOs progra,.z":'' Mas de alstencia-a1ii-nentafiá‘.de...lá'TISSE1.4::ért,111I,1,,I'23% eStaba ltistado eil

: -. P rograrna de clis,fribución al ii entaray.ç):14 'éc1b14gstamptIlas alimentarias, -( Uha de cada cuatiO far'inilias .éian elegiblel.';'Petó,rió'plr'ficIpabanenelprograrna;::r mieri"tras que 2 -3%'erári -in-eTégiblesdebid4 1,1t¿ilá esos o at '

tainaño.famt-.,....'4•T•nts ''• N'''', ,- '."' ,-

i. llar reducido, ••-,-,1'::-', ,.. .. 1,A.,

•• Las caractetísticas socióeconórMcas se comparaban pará : amilia pa'rtletpan.,-,.

, tés en los programas l:des‘ tarnpillas alimentarlás :y dé distribuchán dé álirnentos,::',,,parano parncipantes elegibleIy -Para no participantes lnelegibles durante 1969:, En .

' toclos los ,gmpos,lals-fa'n'illiobtenían pocOS Ingrescrs,- vlvfan'prinetpalment e eni,,are_as:_urbanas, tenian antecedentes einicó ,j :,y racIales minoritarlos y nlveles edu7:cativos relativameriq.bajOs.Pereade sditteídode las fam111Q¿g -Oza- ba. ride seguridad.

Social. El'grliPo cl14cii'iiii,?¡5"OiÉt6ilitó :faiit1llas nerásy deresidentes urbanc_fue el de ao particiPaiiteS : elegiblel. I,os nlveles educativos fueron bajás (rnenós cle .-octicianos de esColarlda cI) :en lo -g-tiapós de distribuffin dealirnento Yde nó Pártict:*,:i•

I

-pin-re.'S:elegibles;La participacióh cle.1 seguro socla1 entre las familias asistldas fue --sustanel:alrnente_ mayor que para,las-farrillia.s . nO participantes, ...','..'-.•,':;:5.`,,- ' -1 .' ::

EiProMedlb de i 'ngfesos pgi::. fa'Inilia'¿;:iá de 'cerca de 200 dólareg Por rnes Para .

los asiStenteS',ál progranla de i estarripillas y dei 65 dólareS para los programas de

farnillato:PartIgpaptes relegtbles y déclig,rilSución alímentaria: Annque-los,partIcl-„panteSen ' éj,áiiijitáté7éáiiíhiltáOüviero'ri -riiáyo-i:és-:áastos en alimento,-.16;S"óclasio-:

c •nados por Personas fueron equivalentesa aquellóS de las. familtas elegilp:Who`Partt:':, _ . .

' clpant;:s. 1.1.15s` no -participantes elegibles gastai-oItnáld4 e -Jrilresbs enaliffientos -un porcentajealto en coMparación con u:,:ilq.,:„-Elingresci de : lat . familias ineleglbles ex:cedi6--,ilú,300:416 pal ms 6t15

r., , 7".1,estabía afiliado'ala Seguridaá soCial, y et.j:iiiirriedlódelliná no farniliar fue de:„.-

,-, I, c:iiatirOffnien-lbros. Comparados cón otras farnilas, los Melegibles fueron m-ás urba-,: , ,

,nOteníamr.nertos negros y:se afiliaban menos'a la Seguridad soClat: 1 as.- ventajas : ' '

..:Icónárnital ':de, l'sas familias se áeflejaban en sus mayores ingresOs y gastos en alt,-....'.,. ..:25mentatión,Taíntmén gastaron una:rnenor proporcion del mgreso, famillar en comt-

a. 51-..teníart,knejorerSjOr'áenca s allnienticias.• - — - -. -, .

1 ,. -25:"riekol 4.2," '1..in''s-ís- tverna dzeaár;'-ilálir'áCión-='-'' -.--, ,1 ' dé lá, irlfórmaciónipará pi tiO-ogramas' reddos,,-,

. , -

1.,,...--,--, Uh prograrnade 'demóstraclOn , di-eñado Con el:fin-,&.;P.ro.4ár-la_viabiltdad de-_,,

i

., entrenamiento'de subprof c'S . lontStás parálegales paraldentlflOak.Tól'proble rnas lega- ;"

láde -pa-Cientes cie: s 'alUid Mental deiltro de los hosPilalls:delE.Siad41;quejlan_stdo1.: desiiistitución..dizados; y para á - ,udar a los pac'e tés cilSterser--áts'áéreh'ri-s'LtOtal.

1 n-lente, flie financiado por-el Natioaal I nstitute of Mentaltlealth:ffinsíitütbiKactOnal :: rcle Salud Mentálr a'fin'de operar en lá régiOn desattid trintat deitiéiáé:IklqS10¿Ñl-: :i

-'-'...--11.--.Á..._:.~-- • ------_-___,.--''--------------„,'''—'-,--"''--- 2____ 1----;«.---'41

, .iltel'Resuinea :de J.,G7Feuster v G ES PerkIns, in the Evanciéd Foad and Nutritiort<

Educuttbn .Prfiigrcirri: Compariti..bf Fr d Sta 11tp and Fcvo' d Dtstributfon Progran Participa nts arxi Non,

['.rtle-Ir.,-,7ts. S'ner',-3-í-1-rneñt'Cl'Agnculture, Washirnteri:,-D. C., 1973.• , _„


selección adicional al eliminar a 70 de los 90 individuos objetivo inapropiados y,por medio de una campaña de reclutamiento intensivo, asegurar 70 reemplazosapropiados. Entonces, el valor para la eficacia de la cobertura podría ser de + 60.

Si el programa fue poco costoso o poco inteligente desde el punto de vistapolítico o muy difícil de imponer un criterio de selección adicional para eliminarla cobertura baja, el administrador podría ampliar el programa para incluir atodos los individuos objetivo apropiados. Sl suponemos que la misma propor-ción de individuos objetivo inapropiados son servidos, también el número totalde participantes podría ser de 1 000.

El problema de medir la cobertura es casi siempre su incapacidad para especifi-car el número con necesidades o la magnitud de la población objeto. Las actividadesdescritas en el capítulo 2, si se realizan como parte integral de la planificación delprograma, generalmente minimizan este problema. Además, se pueden usar tresenfoques para valorar el grado en que la población objeto apropiada ha servido paraun programa particular.

Uso de registros

Casi todos los programás requieren mantener registros acerca de laspoblaciones objeto servidas. Esta información es útil, en términos generales,en la contabilidad del tiempo del equipo de trabajo y de los recursos gastados.Existe una gran variación entre la caliclad y extensividad de los registros y en lacomplejidad inmiscuida con su almacenamiento y mantenimiento. Aún más,la factibilidad de mantener sistemas de registro completos y al corriente paratodos los participantes del programa varía con la naturaleza del tratamiento ycon la disponibilidad de los recursos; por ejemplo, la administración complejapor computadora y el sistema de inforrnación al cliente se han diseñado parasistemas de salud mental y médica (Gall y Norwood, 1977). En el anexo 4.1 semuestra el uso de los registros para describir a los participantes en un programade vales alimenticios. Un sistema de administración de la información para unproyecto pequeño de demostración se describe en el anexo 4.2. Mientras que,inicialmente, este sistema se puede diseñar con el fin de describir las actividadesdel proyecto para propósitos de la evaluación, el administrador del proyectotambién empleó los resultados para reentrenar a los trabajadores del servicio, demodo que éstos pudieran entregar la producción más apropiada a los problemaspresentados por las poblaciones objeto.

r Aner 4.1..Degcr1pcOn de los participanteen un progirarna d'e tipo

- L1na muestra naCional (de-naás de. 10500) se torn6,dé : rnanufacture ,ros en-,S, :_Dpat'frnent o f'./1 2 r icultureOSDAY:.'--DepartarriéntO de'Agricultura:de.E.S.tados.,'

ExteMdon Sél'y'1Ce's Exp:34-rdátde . Extensióri de;Sers.itieiC,Icle EciireatiCamen Allinentati6n

Jel pregran-la'eraelrkre rioctmienfo dé la .nutriefe5i0 la'-dieta de fa 'rniliaS Pobres e ii-npnisar el prograina de familras,pará que se listén en

dC ilW5tencia 'ainnent4ria. -

108

.,setts Los trabajactores paraleesdes (sobre todo estudiantes) son entrenadosjpara,.-conoccr lisp,u . tes pet tinc ntes de las leyes federales - y estatales, así cOrno de lasregLilaciones, son euviactos'a contactar pacientes mentale rs,a sea a hóspltales o acentros cie tratarniento c(Traniitarnof Pára podet identificat'loSiptoblernasle-gálespresentados pordOS-Axacientes (y, Portanto, ajustar su entrenatnle,nto , de 'aeuerclócon'esto), scnis15 un sls. tJma de adrUíntstración de la- inforrnaCión que proporcio-

t nara f ‘tchas resurntdas'acerca de Ihs eUcuentros entre el perseiñal parálegalpacientes Despnes ducada encuentro con un pactente; los trabajadore.s paralegalesf:inicIban el ilénadó'doicasá'én el cual se registrat,a la inconformidad del paClente,las acciones tomadas • por el . personal.paralegal- las fechas los tiernpos y las referen,ciáscí- izadasa otras fichas de In stituciones y centros de.contacto': Asf, era posibleidéntifiear áteaS de problemas leeales, para las que se había putólnucho'enfasis'ety.::,el entrenarniento y para las que se d no,poco énfasis. Además, el sisterná.'donformlación pernutió calcular la.entrega de serviciOS:j.-

1149t<,lohn Hornik si :ár.f:3:éch'niccd

P.ItichtsA s Prc n ert, West;Gnipils'llchuétticon Jsiltortzación,


Al medir la participación de las poblaciones objeto, la principal preocupa-ción es que los datos sean seguros y confiables. Existen múltiples procedimientosque se pueden efectuar para asegurarse de su confiabilidad. Quizá el más impor-tante es diseñar un sistema de registro que sea lo bastante simple para no volver-se una carga al personal del programa y lo bastante comprensible para satisfacerlas necesidades de la evaluación. A menudo existe mucho riesgo al diseñar tantoun sistema de registro demasiado extensivo como uno que contenga poca infor-macióri. Al no pensar en todos los requisitos de la información, un sistema puedeser parcialmente ignorado debido a su connplejidad, por tedio o porque consumemucho tiempo al aplicarse.

Por otro lado, es importante no sólo que las formas apropiadas y otros ins-trumentos de registro se construyan, sino también que el personal reciba unentrenamiento adecuado acerca de las habilidades y técnicas relacionadas consu uso; por ejemplo, si la ocu pación, en el tiempo de la admisión del programa,es un criterio importante para definir a la población objeto, entonces las instruc-ciones para registrar la información detallada ocupacional son esenciales pararegistrar y guardar datos. Aún más, el continuo entrenamiento y reentrena-miento, así como la instrucción inicial, suelen ser necesarios para mantener alpersonal informado de los desarrollos que afecten a los registros y para mante-ner sus habilidades. Esto puede implicar verificar las muestras de registros consus fuentes autoritarias y denotar los errores de comisión omisión.

Otro procedimiento para asegurar la confiabilidacl implica las pruebas decontrol de calidad de una manera simple. Para hacer esto se puede pedir a variosmiembros del personal del proyecto que completen registros independientemen-te y que verifiquen la congruencia de la información codificada. Finalmente, lainformación obtenida de los registros del programa se puede comparar con otrosdatos disponibles; por ejernplo, un programa de planificación familiar puedecomparar sus registros con los de una clínica local o de un hospital.

Cabe señalar que todos los sistemas registros están sujetos a un mayor omenor grado de confiabilidad. Algunos registros contendrán información inco-rrecta o anticuada y otros estarán incompletos. La extensión en que los regis-tros poco confiables se pueden usar para tomar decisiones depende del géneroy el grado de su confiabilidad y de la naturaleza de las decisiones en cuestión.Obviamente, las decisiones críticas que implican resultados significativosrequieren mejores registros que las decisiones triviales. Una decisión para conti-nuar o suspender un proyecto no debetía basarse en datos derivados de registrosparcialmente inconfiables, mientras que una decisión para cambiar un procedi-miento administrativo se puede tomar con base en datos derivados de esos regis-tros. Si los registros administrativos desempeñan un papel importante en la tomade decisiones o problemas de gran alcance, será deseable hacer una auditoría atales registros.

Los datos del sistema de registro, sobre todo de los sistemas de informaciónadministrativa diseñados para programas en gran escala e instituciones de ser-vicios humanos, se pueden usar para estimar la cobertura del programa y ladesviación. La información acerca de los diversos criterios de una poblaciónobjeto se puede tabular para determinar si las unidades servidas son las especifi-cadas en el diseño del programa; por ejemplo, el registro de participantes de unprograma de planificación familiar, cuya población objeto está constituida pormujeres con una edad menor a los 50 años y quienes han sido residentes de unacomunidad particular por los menos seis meses y tengan niños con una edadmenor a los 10 años, pueden ser examinados para ver si las mujeres a las que sesirve actualmente están dentro de los límites de elegibilidad, y el grado en quelos participantes están representados en una edad particular o grupos de pari-dad. La desviación en la participación del programa en términos de las caracterís-ticas de la elegibilidad, observadas singularmente o juntas, podría ser evidente detal análisis. Asimismo, la cobertura y la desviación se pueden determinar por hos-pitales que normalmente mantengan registros completos de las personas admiti-das, del diagnóstico del paciente, de la cobertura del seguro y de las condicionesde su alta. Estos datos los tabula y luego los consolida la American Hospital Asso-ciation (Asociación Americana de Hospitales) de acuerdo con el estado o laregión. Muchos departamentos de seguridad estatal también tienen excelentessistemas de administración de la información.

La cobertura del programa se puede estimar del sistema de registro utilizadoen combinación con otra información disponible. En un programa preescolarideado para satisfacer las necesidades respecto al cuidado del niño se podría esti-mar la cobertura mediante la fórmula dada, si en una investigación previa sehubiera estimado el número de niños en edad preescolar en la región del progra-ma y con ambos padres trabajando lejos de casa. Tales cálculos eran importantescuando el valor del programa dependía parcialmente de si se prestaban serviciosen cierto nivel a personas con necesidades (generalmente designado por área,nivel socioeconómico, antecedentes étnicos y criterios similares).

Cuando los programas son de larga duración, como en muchos de los esfuer-zos para desarrollar la educación e intervención en la salud, puede ser necesarioactualizar los datos con cierta regularidad. Menciones como tamario familiar ycomposición, ocupación, ingresos y lugar de residencia cambian frecuentemen-te, y las estimaciones de la población objetivo, cobertura y desviación deben


seguir el paso de esos cambios. En resumen, un sistema de registro útil debe serconfiable y actualizado.

Inuestigación de los participantesen el programa

Una alternativa para usar los registros de servicios y de la administración esrealizar una investigación especial acerca de los participantes en el programa. Lainvestigación de muestras es deseable cuando no se pueden obtener los datosrequeridos rutinariamente como parte de las actividades del programa, o cuandoel tamaño de la población objeto es muy grande y resulta más económico y eficazemprender una investigación de muestras de la población para obtener los datosde todos los participantes.

Por ejemplo, un proyecto educativo espeCial realizado primariamentepor los padres de una comunidad se puede emprender sólo en unas cuantasescuelas. Los niños son examinados en todas las escuelas y enviados para edu-cación especial a sitios especiales, si obtienen notas bajas en las pruebas delectura o aritmética. El proyecto puede aceptar a todos los niños enviados,pero el personal del mismo puede no tener tiempo o entrenamiento paraadministrar las pruebas de habilidades educativas apropiadas. Más bien, ungrupo de evaluación, probablemente de una base simple, puede efectuar loanterior para estimar la adecuación de los procedimientos de selección y paravalorar si cubre o no a la población objeto servida por el proyecto.

Inuestigaciones de la comunidad

Cuando los proyectos no están dirigidos a grupos perfectamente selecciona-dos y definidos, sino a una comunidad entera, la más eficaz y algunas veces únicamanera de examinar si la población presumidamente en riesgo es cubierta, con-siste en realizar una investigación de una muestra de la comunidad.

La evaluación de Feeling Good (sentirse bien) es un buen ejemplo del usode las investigaciones para aportar datos de audiencias de tamaño y composi-ción nacional. Este programa de televisión fue una producción experimental delChildren's Television Workshop _(Taller de la televisión para niños), productoresde Plaza Sésamo. Dicho programa se diseñó con el fin de rnotivar a los adultospara emplear prácticas de salud preventiva; aunque el programa era accesible acasas de todos los niveles de ingresos, su principal propósito era motivar a lasfamilias de escasos recursos para rnejorar sus prácticas de salud. Gallup efectuócuatro investigaciones nacionales, cada una con aproximadamente 1 500 adul-tos, en momentos distintos durante las semanas en que el programa se televisó.Los datos proporcionaron estimaciones acerca de las audiencias que lo veían, asícomo las características demográficas, socioeconómicas y la actitud de los espec-tadores (Mielke y Swinehart, 1976). El resultado mayor fue encontrar que el pro-grama fallaba enormemente en abarcar al grupo de objetivo.

Además de la televisón educativa, muchos programas de diversos tipos(entre otros de salud, educativos, recreativos y de servicios humanos) suelen sercomunitarios, aunque las poblaciones objeto designadas pueden ser grupos


selectos, como los delincuentes juveniles, los ancianos o las mujeres en edadreproductiva. Las investigaciones son el mejor medio para valorar si los objetivosse han alcanzado.

Para medir la cobertura de los programas del Department of Labor (Departa-mento de trabajo), como aquellos de entrenamiento y empleo público, el Depar-tamento comenzó una investigación periódica y racional de las muestras (WestatInc., 1976-1980). Por medio de entrevistar con el personal, esta gran investiga-ción interna comprobada si cada adulto era o no miembro de las familias mues-treadas, o un participante común en cada programa del Department of Labor. Alcontrastar a los participantes con los no participantes en el programa, la investi-gación proporcionó información acerca de las desviaciones en la cobertura delprograma. Además, también se generó la información de la población no cubier-ta, pero que es elegible.

Utilizadores del programa,elegibles y desertores

Otra forma de valorar la población objeto consiste en detectar la desviaciónde la participación en el programa, y aun a aquellos que lo abandonan, a aquellosque son elegibles pero que no participan del todo. En parte, el promedio dedeserción o de abandono de un proyecto puede ser el indicador de la poca satis-facción por parte del cliente con las actividades de intervención. También puedeindicar condiciones en la comunidad que prevengan a las personas para realizaruna participación total; por ejemplo, en ciertas áreas carentes de transportaciónadecuada, esto puede prevenir la participación de aquellos que en otras circuns-tancias serían elegibles y estarían dispuestos.

Es importante identificar a los subgrupos particulares dentro de la poblaciónobjeto, quiénes no son los participantes iniciales o quiénes no siguen el trata-miento con una participación completa. Tal información es no sólo valiosa paraestimar el valor del esfuerzo, sino también necesaria para desarrollar la hipótesisde cómo se puede modificar el proyecto para atraer y retener a una gran propor-ción de la población objeto. Así, los aspectos cualitativos de la participación tam-bién pueden ser importantes para planificar los programas subsecuentes.

Como ya se señaló, la información acerca de los abandonos y la de la noparticipación en el programa es esencial como forma de documentar y modelarla naturaleza de la autoselección de la desviación. Aún más, y en especial proble-mático 15ara examinar longitudinalmente los nuevos programas, la pérdida en laparticipación debida al abandono o a datos omitidos, es de daño potencial parala validez de la valoración de los resultados de la repercusión (Watts et al., 1977).

Los datos concernientes a los abandonos puede provenir del servicio deregistro o de las investigaciones diseñadas para ubicar a quienes no participan.Las investigaciones comunitarias generalmente son los únicos medios factiblespara identificar a las personas que no han participado en un programa. Porsupuesto, la excepción tiene lugar cuando existe una información adecuada acer-ca de la población total elegible antes de ejecutar el proyecto (como en el caso delos datos provenientes de un censo o de las entrevistas). En las comparacionescon cada dato recolectado para planificar el proyecto o para efectuar las investi-gaciones comunitarias, realizadas durante la intervención o después de ésta, se


1.

emplea una amplia variedad de enfoques analíticos, desde los puramente des-criptivos hasta los modelos muy complejos.

En el capítulo 8 se describen los métodos de análisis de los costos y de losbeneficios de un programa, para Ilegar a medir la eficacia económica. Evidente-mente, las estimaciones del tamaño de la población con necesidades o en riesgo,de los grupos que comienzan un programa pero que lo abandonan, y de aquellosque participan hasta su terminación, son importantes para calcular los costos.Dichos datos son también la base para estimar los beneficios. Además, son muyútiles para estimar la importancia de un proyecto, su continuación o expansiónen cualquier caso, ya sea con la misma comunidad o en otras localidades. Ulte-riormente, dicha información es esencial para el personal, ya que por medio deella reconoce sus responsabilidades administrativas y de contabilidad. Mientrasque los datos de la participación del proyecto no son sustitutos del conocimientode la repercusión para estimar la eficacia o la efectividad de los proyectos, existepoca base para adelantar si se tiene un análisis de la repercusión sin una descrip-ción adecuada acerca del grado de participación de la población objeto.

MONITOREO DE LA ENTREGA DE SERVICIOS:ESTUDIOS DEL PROCESO

El monitoreo de la e\ntrega de servicios es importante desde el punto de vista delas decisiones relacionadas con la continuación y expansión del programa. El gra-do en que las especificaciones del programa se reúnen actualmente en la entrega dela intervención deben ser, desde luego, totalmente documentadas por los diseriado-res de la política. Además, la investigación en la entrega de servicios es valiosapara determinar los niveles de desemperio de los miembros del equipo (véase elanexo 4.3 en el cual se describe el reporte de la repercusión de un programa detelevisión en los maestros en El Salvador). Sin embargo, antes que nada, los eva-luadores de la entrega de servicios buscarán determinar si la producción actualde una intervención se aproxima suficientemente a la producción intentada.

n programa

ár-te na reform lic tis u 1 1 ior se emprenclid un esfuer-zo serio para r¿entreriar. a todos lósi rriaestros ele tercer grado, de tal ruaní2ra quepudicsen trabajar efectiízamente cbrütodas laS irínovaciones propuestas Por tanto.las aCtitudeS de los maestres 1-161cia la reforma se convirtierOn en un importante

cle ewíluación y de ives tigación. A continuación se expol.nen :bres'iénienfd;Iós:.i"esUltados.•

in ser Olháll¿lzgos en los estudiantes, hubo una declinaciónentuslusmo en 1969 con respecto a la TI (tele-

Iii0 16211riil'iriiltS)'lia01.áctitudempenorgs en . quantoolaOipositivisrno en.ma, estr.O .s.....téri:dierop más ' ágeilcríticos varios

arit:iii. aritelí;dela . ínclusión cle la TI U l progrtirna -de refcarna. Sin embar--

confianza en la retorma,-contribuyeron a las actitudes negativas demaestros. -

2. E.n parOcilla-031,01aestroljnp , estat»01011ígrrries con sus.condiclonesrias. kle al 1nr ñtóIen.listdoS y sus corieSpondlentesgas de trabajo, con clases matutinas y vespertínas des-de las 7:00 hasta11:0Ohngs.1NgXCeppi(5.11,det tzgao,extrá,- .1ps,salarlas y sus niVeles noban'zidéCuadaniente. :MejOradóI ,:srv :;kegUiatSlendó poco atractivos,Dadaself41' ;OriCliOdnes; :::tiffer4',sciffifOidente.1 14 ue ocurriesen dos huelgás

-

3, Existía una confusión general acerdddeVhIpélilue' -410en el nuevo sistema de culiflcactóny promoción y ,itlenttidinadecuadarnente preparado pára , iikar tat sistéma.;Eiti:IsterikksbnávOc;requería que los rnaestros esttiviesenpreparados pára sus clasesStpar4i0s;

nzarmveltigaciones, así corno pará - lnvertir su tlempo en diversal adv)1.í--dadegí.:11e'éliklilión fuera-del horario norrnal Al mismo tlempo, el núev15-:sisteina de^caliírcátión disminuia Ikpostbgidadde ue un estudiante, _

de sér considerádo al no aprobái fib "de

Fuente:Tomado de H "Reconsidettng the, Use of Televislon tor EducationalFtlform:1h47t.'- Case of El Salvadot", en R. F. Arnove (d1r),-EdúCatioñal Teleuislon: Policy Crnique and Gulde

Cuuntrles, Prmgex Publishers: 1975, H:g -130, Rorrpresocon perrnisdeHoit, Rinehet,;

WInston -

¿Por qué falla un programa?

El monitoreo de la entrega de servicios, para evaluar la ejecución de un pro-grama, se realiza debido a múltiples propósitos. Una gran proporción de progra-mas que fallan en demostrar su repercusión, son así porque fallan en entregar lasintervencíones de la manera especificada. Existen tres géneros de fallas en las eje-cuciones: primero, se entregan sin tratamiento o no se tratan de modo suficiente;segundo, se da el tratamiento de modo erróneo, y tercero, el tratamiento no estáestandarizado, no se controló o varía entre las poblaciones objeto. En cada ejem-plo, la necesidad de monitorear la actual entrega de servicios e identificar lasfallas y deficiencias es esencial.

Okitros .prOhletnas, mas gue la la televisión instructiva o la

Los "no programados" y el tratamientoíncompleto de los mismos

Considérese primero el problema de los "no programados" (Rossi, 1978).McLaughlin (1975) revísó la evidencia de la ejecución del Título I de la Elemen-tary and Secondary Education act (Acta de evaluación de la Educación Elementaly Secundaria), la cual programaba un billón de dólares anual para ayudar a lasescuelas locales con el fin de vencer las privaciones educativas de los estudian-tes asociados con niveles de pobreza; sin embargo, las autoridades escolareslocales fueron incapaces de describir con algún detalle sus actividades para suTítulo 1; por tanto, pocas actividades se podrían identificar como servicios edu-cativos entregados a los escolares, aunque los fondos sí se gastaron.

114 CAP 4. MONITOREO DEL PROGRAMA

En la bibliografía se han documentado otros numerosos programas comoejemplos de fallas en la entrega de servicios. Datta (1977) revisó la evaluación enlos programas de carrera educativos y encontró que los ojetivos diseñados raravez participaban en las actividades planeadas para el programa.

En un intento reciente de evaluar un programa diseñado para motivar a losestudiantes de niveles secundarios y desaventajados, con el fin de que lograranniveles más altos de realización académica, se descubrió que el programa consis-tió principalmente en distribuir botones y bibliografías exhortiva y poco más(Murray, 1980). Aunque el programa recibe gran apoyo de la publicidad, pocosde los estudiantes de nivel secundario de las escuelas participantes, o quienes sesuponía serían abarcados por los conocimientos del programa, sabían de su exis-tencia, y menos habían participado en cualquiera de las actividades que se supo-nía formaban parte del programa.

En vez de no entregar servicios de modo alguno, un sistema de entrega pue-de diluir el tratarniento de manera que sólo una cantidad eficaz alcance la pobla-ción objeto. Aquí el problema puede ser una falta de compromiso de la parteprincipal del sistema de entrega, que resultará en una entrega mínima o "cumpli-miento ritual" hasta el punto de no existencia (Rossi, 1978). Por ejemplo, lasleyes afirmatival de la acción han requerido al cornercio anunciar la apertura deltrabajo al público; sin embargo, las organizaciones suelen poner anuncios públí-cos cuando las posiciones han sido ocupadas formalmente.

Tratamiento incorrecto

La segunda categoría de fallas en los programas, Ilamada entrega del trata-miento incorrecto, puede ocurrir de dos maneras. Una es que en el modo deentrega se niegue al tratamiento; por ejemplo, un experimento al azar para pro-bar la efectividad de un grupo, que dictaminaba en prisión, tenía que recurrir aguardias de ésta sin entrenamiento y a veces hostiles como líderes del grupo(Kassebaum et al., 1971). En el experimento de representación contratado, en elque se contrataban firmas privadas para enseñar matemáticas y lectura, y que sepagaba en proporción a la realización obtenida por los alumnos, la compañíaenfrentó dificultades extensivas para operar el programa. De hecho, en algunossitios el sistema escolar saboteó los experimentos, y en otros las compañías seencontraron con fallas del equipo con la hostilidad de los maestros (Gramlich yKoshel, 1975).

El tratamiento incorrecto puede resultar también en un sistema de entregaexcesivamente complejo. Puede haber una diferencia considerable entre los pro-yectos piloto y las producciones dirigidas a tratamientos complejos. Así, la inter-vención que podría funcionar bien en las manos de entregadores de serviciosaltamente motivados y entrenados, puede finalizar en forma incorrecta cuando laadministra el personal, para el sistema de entrega en serie, cuyo entrenamiento ymotivación sean considerablemente menores. El campo de la educación es unejemplo: los métodos de enseñanza (por ejemplo, el aprendizaje asistido porcomputadora, la instrucción individualizada) que han funcionado bien en los cen-tros de desarrollo experimental no han funcionado tan bien en los sistemas esco-lares ordinarios.

MONITOREO DE LA ENTREGA DE SERVICIOS 115

La distinción hecha aquí entre un tratamiento y su modo de entrega no siem-pre está definida claramente; por ejemplo, la diferencia es bastante clara en losprogramas de mantenimiento de ingresos, en los cuales el "tratamiento" es el dine-ro que se otorga a los beneficiarios y los modos de entrega varían desde depósitosautomáticos en cuentas de ahorro o cheques, hasta la entrega personal del efectivoa los receptores; la entrega del mismo por transferencia electrónica o manual ejer-ce poco efecto en el tratamiento. En contraste, un programa orientador se puedemanejar mediante el reentrenamiento del personal existente, ya sea al contratar aconsejeros o emplear psicoterapeutas con título profesional. En este caso, la distin-ción entre el modo de entrega y el tratamiento es poco clara, pues generalmente sesabe que los tratamientos de orientación varían según el consejero.

Tratamiento no estandarizado

La categoría final de fallas en los programas se debe a la ejecución de un tra-tamiento no estandarizado o no controlado, en algunos casos que implican"variación planificada" por diserio. El problema es que la discreción en la ejecu-ción del programa suele ser relegada al sistema de entrega, con el resultado deque el tratamiento puede variar significativamente a través de cada sitio. Los pri-meros programas de la Office Economic Opportunity (Oficina de OportunidadEconómica) proporcionan ejernplos pertinentes. El Community Action Program(Programa de Acción Comunitario) dejó considerable discreción a las comunida-des locales para emplear una variedad de acciones que sólo requieren "la máxi-ma participación factible" por parte de los pobres. En consecuencia, es casiimposible documentar qué programas se completaron (Vanecko y Jacobs,1970). Asimismo, el Project Head Start (Proyecto Head Start) financió a lascornunidades locales con el fin de establecer proyectos de enserianza preescolarpara niños no privilegiados. Los centros diseminados por todos los Estados Uni-dos variaban debido a las agencias patrocinadoras, a la cobertura, al contenido, alas calificaciones del equipo, a los objetos y a un sinnúmero de otras característi-cas (Cicirelli et a/., 1969).

Conceptos del sistema de entrega

Algunos programas son tan simples y directos que la evaluación de su pues-ta en marcha requiere sólo un rnínimo de recursos; no obstante, otras son exce-sivamente complejas. Una combinación de los métodos evaluativos se debeemplear para valorar adecuadamente la puesta en marcha del proyecto. Antesde analizar las diversas metodologías puede ser útil revisar un conjunto de con-ceptos que se emplean en la valoración de la entrega del programa. Durante laplanificación del programa es necesario formular hipótesis acerca de esascaracterísticas del sistema de entrega. Como parte de la planificación, se acon-seja efectuar pruebas de las decisiones para la puesta en marcha.

El sistema de entrega de un programa consiste frecuentemente en un núme-ro de elementos separados. Como regla general; es prudente valorar todos loselementos; sin embargo, en algunos ejemplos, las experiencias previas con cier-

Anexo 4.4. Un rnodelo simple delsisterna de servicios hurnanos

unctón

tiupo de rniernbros comunitarios en un area'eográfica reducida, que re¿ibe serviclos del

y tlene. sus necelciades e interees...r:épresentacios por rnedio dék.gc„,biemo

n grupo '''de rniernbrial '; eohntinitarios que-"t.:epreseratara las necesidadeS'yclós itítéresaés ciej.„á poblactdn. .servicla 'na, definiCión 'dé laS necesldáles ctelaoblación servida, establecida en terminos• - . -

'.,:••••• :•Idn rnk_,dio de registrar la extensión en-que las

neces,icladeS''de la poblacián por servir han sidosansfecha. sisgemaAl g ún Ihdividuo o g rupo contable respecto de -los doctos 9,=c6s'tós'clelsiSternatin'conjuntodé`-:- ftíncióries del sisterna pór.rnedio cle las cuales el cliente pasa desde su.mgreso hasta su alta cuando ha sansfecho susrieeesiciades'fin punto sinLttilar de contablidad acerca delprbgreso clel cliente por rneclio delsisgemaUn rneccausmo para proporcionar datos al, •personal de entrega y a drn i nistración¡coni'et finde ayudar a los'clientes,fáCilltár.'laS'aeCionesEarrectiyas que e deben ernprender_si . el-cliánte-:-Mene, clificultádes

'

Elementos del

Publacián serVida,

-EspecifICICt

Meca ddhesijades

Adrninistrador del sIstcma

Evolución del chente

Agerité••de•

Sh, terna:de infounación


tos aspectos del sistema de entrega hacen poco necesaria la valoración de algu-nos elementos. Se puede pensar en sistemas de entrega como una combinaciónde patrones y acciones realizados de manera que se proporcione una interven-ción (consúltese la obra de Wholey, 1977). En el anexo 4.4 se muestran los ele-mentos de un programa público de servicios humanos.

Acceso

El acceso se refiere a los arreglos organizativos y estructurales que propor-cionan oportunidades y que facilitan la participación en el programa. Todos los


programas necesitan tener una estrategia para suministrar los servicios a lapoblación objeto adecuada. En algunos casos, el acceso más simple puede con-sistir en abrir una oficina y trabajar bajo la presunción de que los participantesdesignados llegarán "naturalmente" y usarán los servicios de intervención pro-porcionados en el sitio. Sin embargo, en otros casos, el acceso puede incluir cam-pañas activas de alcance para reclutar participantes, dar transportación de talmanera que se traslade a las personas al sitio de la intervención, y en esforzarsedurante la intervención por minimizar las deserciones.

Numerosas interrogantes de la evaluación se originan en relación con el acce-so, algunas de las cuales son relativas sólo a la entrega de servicios y algunas otrasestán relacionadas directamente con (o tienen implicaciones) los problemas exa-minados previamente acerca de la participación de la población objeto. Primero,las operaciones de acceso establecidas ¿son congruentes con el programa y sudiseño? Segundo, ¿permanecen los participantes en el programa y terminan comofue planeado? Cuando los rangos de abandono son excesivos, no sólo las poblacio-nes objeto son alcanzadas mínimamente por la intervención, sino que los costospor población objeto potencial pueden volverse excesivos.

Tercero, ¿existe acceso para las poblaciones objeto potenciales a los servi-cios apropiados? Por ejemplo, se ha observado que los miembros de la comuni-dad, que originalmente usaron los sistemas del cuidado médico de emergenciapara propósitos apropiados, pueden utilizarlos ulteriormente para el cuidadomédico general. Este mal uso de los servicios de emergencia puede ser muy cos-toso y estorbar su disponibilidad a otros Miembros de la comunidad (NationalCenter for Health Services Research —Centro Nacional para la Investigación delos ServiciOs de Salud—, 1977). Cuarto, la estrategia de acceso ¿adopta la utiliza-ción por las poblaciones objeto en forma diferente para los diversos grupos étni-cos, culturales y sociales o existe el acceso equilibrado para todas las poblacionesobjeto potenciales?

Finalmente, hay proyectos en los que es importante, como para el acceso, eva-luar la satisfacción de la participación en el programa; por ejemplo, si un proyectopreescolar es visto con poca satisfacción por las macires de los niños participantes,puede fallar en seleccionar a otros niños de esas familias en años sucesivos, o de lasfamilias vecinas influidas por el informe de la madre.

Especialización de los servicios

Es crítico especificar en términos operacionales los servicios actuales que seproporcionan. La primera tarea es definir cada género de servicios en términosde las actividades y acciones que tienen lugar y/o en términos de los tipos de par-ticipación de los diversos proveedores. En el anexo 4.5 se investigan los linea-mientos para examinar un programa educativo.

Las unidades de servicio, o elementos del programa, se pueden definir entérminos de tiempo, costos, procedimientos o productos; por ejemplo, los ele-mentos del programa se pueden referir a las horas de tiempo de orientaciónsuministradas en un proyecto de entrenamiento vocacional, en un esfuerzo pormejorar la vivienda; una unidad de servicio se puede definir en términos de lacantidad de materiales de construcción proporcionados; en un proyecto de la in-

Anexo 4.5. Especificación de fos eleneentos' de un prdgrama edticátivo

__El lcctor puede comenzar a clescial-nr el pro g ramaii'déltal manera que_ Çubrayelos eenle:no.e'ns tbs del conte arnrto del proqra -las caracten asangistic tblesesc ,es e9 s

....., •, '.E:ips salones de'c asps, esClié,/as;IO• distritos''dóéll 'é , elpr.ogranWse ha InstaladoÉl personal del.prograrna. ihCluiddslcas.adrillnisfia",deek:16s pi4eltios,,áwd, ., • .. ....,... , , .,.., ,.. : . ,., : ••

1 liares los padres volüntarios y las- secretarias. ."'",111,,,i,. " - ••• -, .

i-. Lo§ recursos utilizados incluidos los rnatriales deTili's lifos o comprados, el,equipo, particularmente aquel comprado para el,.prpgrapa.. Los estudiantes inclu idos las características parti:dila:1_451i.11.:¿)s hieieró.lete.. ,.gibles'al programa su número y u nivel decorn ' - '1ii- '''''' iniciadeill.'", s,•-:: - . .....

• ¿Se utilizaron los rnateriales?-é, se emplearcm¿Qué pi-ocec-limientos prescribieron.los maestros,,pAta,,..legülisie,.:.g0Sii;.ertseñanza y otras interacciones con los estuchantes.?,:,1.1.ggitiét_Omestós;151.4¿erlbmientos?¿En qué aCtivtda1e4 se supOrla . ue los estudiáil lIdefPl. rantá.

-¿Qué actividacles fueron ' indiCadásv-Por los otrill;Váifícipliité§,:r-auxillrésipadres y tutores?, -se ájustarcini' 7‹.. a e as ¿,Qué arreglos adrninistrativos incluyó el Progranía 9, ,qué líneas de autori-dad tuvieron que emplearse_para tornaf decisiones imPoirtantÇ,,s? ¿que cam--bios ocurrieron eiii- éItás ' á rregi_ors o libes.de'or

han? . lo hicieron7 4:rti011-

118

` Dlchas'características del contexto tonstituyen el cii ,erpo del programa ydeben IncluIrse en cualquier infornie resurnen:,,ListarlókgeneralMenteriorequie-1 re Mucha captura dé datos, pues no son el g énelb'íle',dátás 'cju'iá"tínii-eSp .era" qu--cambien o se ,veán cort escepticismo. A menos'_citieeljlector tengá ,duclas ,aCerc#14,de la entregadé,materlál el„6 . piense que el g riiTiOrde'trabajo o estnálántes''neo participará, no es rnuy neéesarlo contar con datos antecedentesisjuea0y0i.'1-..:.1

"su déscripción... ppn- Además de la descripcíán de las características cieltontexto, el ledt -nece.sitaráener algtin,tlempo'para'examinar y reportar las activicláCle en las que los partici-

irnpliantesiwel eqüipei de tratii)jo tornarán parte. Describir laS-acttvidades importántes¿.1.,:

, . ,,contar con citestionarios formulados y contestadOs éj51rj'Sécutú;,11progr 1-11

Decir detallado sIgiáifica que .1.)fid uir;una prescri 16tcuriettelc eiets odfiirdclón lásapec ica paranpertnitille4isé.gár)E1',

_FiiiisteAdÍptácki cie Gibbon HototQhf,lásuié nentüttóri ‘idProgrdrn Eualuation f?ublicatx,ss„Bévelly':11rtt Impler


dustria del queso, un elemento del programa se puede referir a una actividad,como entrenar a la gente para operar las máquinas cortadoras, y en un programaeducativo un elemento puede consistir en especificar los materiales curricularesutilizados en los salones de clase. En todos estos ejemplos lo importante es quehaya una definición explícita de lo que constituye un elemento o unidad.

Existe una negociación entre especificar un gran número de elementos delprograma simples y específicos y tener sólo algunos pero complejos; por ejem-plo, si un proyecto que proporciona educación técnica para desertores escolaresincluye entrenamiento literario, tareas de carpintería y un periodo de por lomenos un trabajo como aprendiz del oficio, será deseable que se separen éstos entres conjuntos de servicios, en vez de una combinación de actividades. Para esti-mar los costos de un programa mediante un análisis del costo por beneficio y unaauditoría fiscal, es importante anexar los valores monetarios de los diferentes ele-mentos del programa o de las unidades del servicio. Esto es más importantecuando se comparan los costos de varios programas y cuando los programasreciben una reinversión con base en la unidad de servicios proporcionados.

Simplemente, los elementos específicos son más fáciles de identificar y contar,así como entrenar personal para registrarlos; sin ernbárgo, los elementos complejossuelen corresponder más estrechamente a los objetivos del programa. Por tanto, lacuestión estratégica es cómo se procura un balance, mediante el uso de los elemen-tos del programa identificables y contados confiablemente, y al mismo tiempo ser

significativos, tanto como las metas de los programas pertinentes.Especificar los elementos del programa o las unidades de servicio también

ayuda en la administración del programa. Un monitoreo minucioso de la actualdistribución del programa en cuanto a las unidades del servicio entregadas a losparticipantes puede ayudar a los integrantes del programa y a la administración amantener los programas más apegados y alineados con los intentos originales.Por ejemplo, algunas unidades de servicios pueden parecer más atractivas al per-sonal del proyecto que otras, el simple provisionamiento de ingresos que apoyenlos pagos se puede intentar más fácilmente que entregar una variedad de servi-cios sociales complementarios, y el personal del proyecto puede tender conscien-te o inconscientemente a favorecer las unidades de servicios más simples.

Describir los elementos de servicio del proyecto en términos de las actividadesy acciones es preferible a describir en términos de las características de los provee-dores. En el anexo 4.6 se muestran los elementos del programa. Desde luego, elesquema mostrado en este anexo es congruente con cada incidente de la interac-ción entre maestros y estudiantes. Por lo general, los elementos del pogramapodrían no ser medidos con este grado de refinamiento. Se da el ejemplo en estemomento para mostrar el grado en que se pueden describir los elementos de unprograma en circunstancias apropiadas. Evidentemente, si se puede ofrecer unaextensión concisa y una descripción detallada de los elementos del programa, seráposible ampliar y duplicar los programas.

Aunque las descripciones de los elementos del programa en términos de activi-dades concretas son preferibles, en muchos proyectos la naturaleza de la interven-ción permite una amplia opción acerca de lo que tiene lugar. En tales situaciones,por lo menos en el comienzo, se pueden describir los elementos sólo en térrninos delas características generales de las actividades y de los entrenamientos y habilidades •de los prestadores de servicios. Por ejemplo, los artesanos maestros se pueden ubi-


las intervenciones para los individuos objetivo, pueden ser' difíciles de monito-rear, dado el problema para desembrollar las modalidades de la intervención par-ticular, que influyen favorablemente en términos de las metas del proyecto. Almismo tiempo, es evidente que muchos programas ofrecen elementos de servi-cio alternativos debido a los requerimientos de los individuos objetívo, a las con-diciones en las que el programa se ofrece o a la competencía y experiencia de losproveedores del programa. El monitoreo requiere que las alternativas se identifi-quen y especifiquen tanto como sea posible.

La fase de planificación incluye la depuración de los conceptos del siste-ma de entrega, el desarrollo de las especificaciones operativas y una anteprue-ba del sistema de entrega. Durante la ejecución del programa, es aconsejablepara el administrador de éste efectuar un estudio periódico y continuo del pro-ceso de ejecución (véase el anexo 4.7).

Anexo 4.7. Evalnaciones corninuas- versus evaluaciones rápiclas

Slos adrrunistradores consIderan a la evaluación como una de sus responsabR.--

- - , .lidades principales están aptos para creér que la evaluación debería ser unso constante y continuo. En laJpractica, esto ha permindo destacar-el ingreso yprocesó déeyaluación. En loS,P,regrarnas sociales, el desarrollo clk.?,s1 ;memas estacIíS,f'

a Menü06-,..,bastantecorriPlérk :y.:Cle¡prnéháS:eStariclariz_aclas OnlóS:se_jernplo-l'más sign'ifiCatiY6S.' Los siliernS - eStadístleOs'-riéflejah'irn'Cleseo y uría neéésidad

1 .parte del:adruinistrador para cohocer algo acerca de los:'clientes que son servIdo, :j-L por sus progre-iMas y, además, alcO acerca de lo que,sucede a eStos Clientes y

'Ibs iniernbros del ecjinpO.gastan , su tien-Mo. Cüando tales sIstemas están razonab)lemente bien dlSehadóSpropoicionanjbüenalnfOrmación detállada acercá decaracterísticas cle.má:qráficas de cliis, or 12- mcjnos alguna indicacIón de4

c

'.árit.

'cI 'IOS`Clientes se turnan para p'artiClpar:cín el programa (Por ej.ernplo,

de'rrfer6ncia), una asignaeión categóricIde j por qué erelle,nte parhcipo pgrarria (por ejcInplo, cliagnosns) ei?"rno gdStd l Cquipó de tratiajo su tlenipo entre

- las • diversás aótiYidacles,(analls1S ,:de tiernpoithabajb) ,, y f_;rectr ratiee rsn isnenttee icitjtjiadelbere.9fá' ser el p¿lso' (disposieión);.1..,:tenos frecuentcm.c.n .

tn b

i

.;prjpbrcidnan infOrmación al _rastrear alellentc un sistema o. programa 7--_ servl:' cios prOporcienaclos, en transferencias, , éte; ujTípieamente, n sistema estaclístIcc17i'pro¡-,orclona algunos cie esos ,Upos deinforrhaeitáh,.lo ctial depende de las referen.::cias de 105 idriiinistrador es y de la dispaibilidád cle rectirsos, y los sistemaS eStadís=, -hcos prc4,bleniente son tosincj ores • _1_1-1cl . S-15~ d0. 5 y OScorno forma de evaltnción cüritlilua en' los pro,

-

_alilaci55,n, -,rapfda i,esHIrnas lí_iónea c9tno , respuesta a una:crisllyerelhída,--,una-;declión,POlítiea partieülarrnente dIfícile o quizá la,perceP-eión

1 . - so. ' Por naturaleza, la. in\lestigación, evalqailv.a es de un Solp golpe, Porqu. e_ plicar un estu ,clio. Por cualquier razón, una evluación de un solo golpe' siri'e

responder una cuestión e c,pecífica ,acerca de LITI prograrna particular 0 et életnerd&r•de un prograrna et-On n-lorne:nt ,o dado. Las fuéntes de criSls son íniiumerrableS:pero,

lt' d .(1genen, men e resu an e necess _ snmechata-de contar con información acerca.L1J-' Un .un Existe "¿Ina fúerte- tenáencia,- á menudofuera CH_conceprqdecc ifiabilid ida emplear evaluadores externrOs en situaciones"de crisis, aultcuie - ró„"qué cc,r1Itittwe "fuoia - depencte--Cle-:i¿s

„Fuente: Tomado de W, W ' CocIesi3. LeIr n hardt, iThetriitiiic1tc-1131.11riTimsíans Stuifyl;e1Ecilica-

tIonai EualuatIon and Polici; Analysls 2, Ainerkan Eduqgt19.941{1.1110..Allpelation, 1.4110,1101,.. D C„enero de 1980.: F',eirnp -reso con autorIzaci6n. : I '_ .

. ,

120

que las pelfculasse codIficaron, fue necesário resumír las cIntas en.`'y por cada'eltúdiante y relaeidnar los resultados en

resurrien resültante conta, Ontldájd, de aprendlzaje que tuvo lugar .en lal,elasesun totary con cáda estudiante.' , _ .

FAexu11.6 Medlción delo que,sucecieen los salones de clase

j En' r un-eSfuerzo por relácIonar qué - sucede en los salones - de clase don élarnenchzáje,delcis. alurnnos de:esctlelas elementales„19s InvestIgacfpres fílmori

1,1

IndíVldalles ,de salón cbarairi:SelmpattíaSésioneiFcte,instruCC16.1é matemáticas y lectura. Las películas se cgiiiflcaron Para móstrarlae;triCide'ri'eiajj ':-Ide'ciertos tipos de interacclones-ma'estrolalurnno que se creíanInipottánies;Para,lograr un- aproVechamlento én dichas Materlas, A continua-

(5 ri'á'já_it4Ic'én algún6t7dé"161'cód1§11-dlléñado 's paí'a los evehtol'instruétivo§a'C'elones féli'adáS -porelmae s VestiOnh n"

omésde los-estudiantes: - - ' '

Mandatos Inclividuales . dé rnanejo (establecidos1los estuchantes para normar su comportamietilci R9r.éjlerhiip:tórne,aslérítol"-),,

,Manclátos cognoscittvos Indlvicluales (manclatrIal InstructIvo dirigido a un estudiante enMandatos cognoscItIvos a todo el salón (eldo a la clase por entero): "

El código esquernátIco total contenía literalrherité',

car en una comunidad con bajos ingresos, con el fin de que instruyan a los miembrosde la misma acerca de los diversos métodos para mejorar sus unidades habitaciona-les. Las actividades que pueden desarrollar los artesanos varían gradualmente deuna familia a otra. Así, aquéllos puederi asesorar a una familia acerca de cómo dise-ñar y colocar las ventanas, y a otra darle instrucciones sobre cómo levantar loscimientos de su casa. En tales casos, las actividades sólo se pueden describir en tér-minos generales y con ejemplos; sin embargo, es posible describir las característicasrequeridas por los proveedores. De este modo, se puede establecer que las personasseleccionadas para esta actividad tengan un mínimo de cinco años de experiencia enla construcción y reparación de casas y que posean conocimientos sobre carpintería,cableado eléctrico, cimientos y construcción exterior. Por supuesto, durante el pro-yecto es importánte ser capaz de documentar las actividades actuales y tareas queeste asesor realice.

Como un lineamiento general, el monitoreo es más exitoso cuando los pro-gramas se mantienen lo más simples posible. Los programas que ofrecenmuchos servicios diferentes y en los cuales existe una integración minuciosa de

co4Initerell.netekintei'venir 'en..e stdcasibá .V.las . CórnpañíaS .deitensul-to'reli'llniiii;StratíVOYSIsbafflrn.

....4.:S71e-vatnalCi.Orie'S'7.-P'ertókbea's .,,.100.:itn.ptirttwrkted(cirntiy.'..útif .en:tre las e y alua-.,

can-lbaanotrós

son-. 1entos en.cle§..4i;i:O11:0,,r.0:156.í:..16:iné.IOS.711.'efeCtO::eictirr./;IO'n.Ientitud.--1.:StO:' .eS'Particntarínenfe

adernás;-Muchos de los instru,sens.itivoS sólo a can-Jblos

que requieren mediciónni la-evalnactOn rapida . ni .1a

monitóreo Perii5.dito:-es;faCtibIé ydescanso al evaluador

no n ry coMpromete a el ni a laetVi.

FulitteAda 1,_ FnralinyJ F1 T5 In4r !n JutIr to Pr,,granihirition, John Nor'j iork, 1979. 1. , ;/( 1 s, 26 29.

122 RECOPILACIÓN DE DATOS 123

RECOPILACIÓN DE DATOS PARA EL MONITOREO

Una amplia variedad de técnicas se pueden utilizar singularmente y en com-binación para recolectar datos de la ejecución del programa. En los enfoques par-ticulares se deben tener en cuenta los recursos disponibles y la experiencia delevaluador, como en todos los aspectos de la evaluación; sin embargo, existen res-tricciones adicionales, una de las cuales concierne a los problemas de privacía yconfiabilidad. Los servicios del programa que dependen de los métodos de entregade persona a persona, sobre todo en áreas como las de salud mental, planificaciónfamiliar y educación vocacional, no son rápidamente susceptibles a la observa-ción directa de las actividades del programa sin violar la privacía. En otros con-textos, los cuestionarios autoadministrados pueden ser un medio económicopara estudiar la ejecución del programa, aunque el analfabetismo funcional ylas normas culturales limiten su uso.

Cuatro fuentes de datos se deberían considerar al evaluar el monitoreo: laobservación directa efectuada por el evaluador, los registros de servicios, losdatos del equipo del programa que presta el servicio y la información de los parti-cipantes del programa y de sus asociados. El enfoque utilizado en la colecciónactual de datos y los procedimientos de análisis se sobreponen de una fuente dedatos a la siguiente. Una evaluación del monitoreo integrado debe incluir datosde todas las fuentes.

Datos observacionales

En muchos programas, el enfoque preferido para recabar datos para propó-sitos de monitoreo es la observación directa. Los métodos observacionales sonfactibles siempre que la presencia del observador no resulta obstructiva.

En algunos casos puede ser útil al observador convertirse, por lo menosdurante cierto tiempo, en participante parcial o total del programa; por ejemplo,Reiss (1971) situó en los carros policiacos a observadores que Ilenaban reportessisternáticos de cada encuentro entre los policías y ciudadanos de una muestra derondas de guardia. Un enfoque similar se dio en el experimento de la policía pre-ventiva de Kansas City (Kelling et al., 1974). En el anexo 4.8 se describe el uso deobservadores en ese estudio y algunos de los problemas encontrados.

Anexo 4.8. El programa del observadorparticipante en el experirnento de la patrullapreventiva de Kansas City

. . -LOS observadorcs enirenados fueron asignados a vlajar en can-os patrulla con,

los oficiales clurante las tepéticlonesdel experimento. Se crefa que talc,s observado-rm , - . .

r,1112cirían ser valiosps al.obsei-vw:y regittlar las consecuencias ine_speraclas de, talc:(perirnento; propOrCiOnarret.roalimentaCiÓnvallbsa refactonada Opri la-extensiónenque había un eXPerirnento, régisaar dé -ifíangra segurayPropbrddriar datoS ton-,cernientes a las activiclecles rcalizadas por los oficiales mientras se encontrahan ensu Patrulleje preventiyo de rutina (Para la expediCión de análisis de tiempo no pac-tados) y servir'conio'itecanisrno priricipal de recolección de datós en el tiernpo dérestitieStayférvitis .gn¿úentros policía 7cludadartos del experlmento.

i.i.-i'f;i-ig'Zá difícultad Sederivó de las objeciones acerca de la habilidad pa ra Utl-lizer obsen r edores. Vatios miernbros expresaron miedo que los ofictales de policíapudieran,modificar dutpnválicarnente su comportamiento con la presencla deobsetVadores, de küje Plidieián : Igt,fiós.tiles allégr4no, de que hubiera constanternonitorep pqr Pártedg fos'iSartICibarrtesque nó son potiofas y deb105:a. que pudie-sin_lentlrSe re.sponsableS dé iiiá'obleiVadores; lOS Ofictales de Olicía pódrían ponerennligro SU propia seguidad erj situaclones de pe igro. La discusión eventualmen-te'TeaMbi6:4e la habilidad 40 iáholtilidad ala precaúdón abierta y a la aprobación yel intekés";aiinque'la babilidad:Se r'élervó el clereclio de suspender el uso de particl-pantes ohservadores ellos: 'deherían juzgar una descontinuaclón que este en el tnejorit-iterC, s del experirnento. -

Uno cle los conflictos mayores cra el mCJtodo de_ colecclón de datos. El prirnerpaÇo en el acopio. .de-datos por parte dekpbservadgr , inclula la captura de cuentasfenotn'endlógicas'IdefinidaicOino rma , de.S.Criti¿Idil Sitf1cíentemente -COrnpleta queuna defintda irnagen-de los eventos generados enla menti det leCtór qOlen eácapaz, rde inferir ét humor de-los particmantes acerca del cornpOrtaraiento registrado) Enel curso del w_cperimento, el metcdo se camibló por un medio más altamente estruc-turado de recolecciowde datos,

Una secJunclalál-ée cle conflicto incluyó la cooptatividad por el poltcía demuchos k_le 10,, J ,bservedoreSjpartjc Mantes. Debe notarse que este problen-ra nuncase l n rnitó á l'OSobserv¿I(lores, ni fue prerneditado por el departamento de 'policía. El

abajo delJposcs ,a tlene r -nuchoá :,áspectos excitantes, atractivos y que deducen acluienel no••éltán i.direc tamerite 'relaÇionadosiCón:lei.:organWatiOnZ Pomo resplado,: OS aboqados son fácllmnvnte convencidos'.1 .111.'el`likint6;i:fg..11ista del P91111.álátmosdé lo .s. ebsérliadlf1.1,fir4i. lighaládos Pa-ia. -„de' féñtili.,1:),,ii.:;15)ida SiC.CtrdiétiCidos de

' ei li c lainfoirnh0511rICOlé` .'Sénoclijal!i:Ila- ,1*:..4..-e-'',',rii. 01.e4.—::: elf,154,. :51-1, aV .P9r elqdepartarneñfó'<''ClklibliOál: ' ..fíltlidálitf,11.014;ae.1105,1'.14.1 t. 'bP15,4:elét écitlipo,Aláiiiiollililiáin.ladólég 'Illlezari,:11..á irliátiperi.,<ie...énólsi..1.0.10 g .01:plitkiátsilécidrt-e1 ,.ál,ado:...0e,,peiío.900,:ii-áriliocw:911teiálr.rielit • PittgetciteIdela-policia;., .

... „ .de..:Cillit'dlié ",iiifiD,rineiúri clébéi41;i1Z-61édarWii1.4,--..;;I:.1-.,14,41.1:;:ii.:,....„Li....,,,.. ... ...,....,:,;,..5,,--,.....s.....--,...k„.:_.-.,-,.......2...-

124RECOPILACIÓN DE DATOS 125

Pr7Ir i reSOIsiei : este ..PrObleiria:Sé . ü nedadde roecoismos. Prirnero, un••• ••• • • • .oficial cie policYá ge délabílidn Iccióriá-t:10'páVal-evisar regularmen-,te láltifórrhación recotee. tádá por lOs ObserVadóre.s y dicutir con ellos naturaleza„ , . . -y sülHihilided_de los,dátOs.'Segundo, se realizaron reuntones resi.ularrnente con losub-crv idores párá artalilaisis trábajo, sus hallazgos y problernas encontrados en elcarnpo. Tercerp, los observaclor,..s-del experirnento fueron puestos bajo la directasupervisión'de un . mie.mbro del eginPo de tiernpo cornpletp para reforzar las funcio-nes .5 !rntnistrativas yiprr p orcioncir apoyo acin-linitátiv0f-en curso.

Los obs,2rv¿)dores ro aL si on datos de grzin valor pai-a el ex-P:e'rirnento y hubomucha conficlencia en la calidad dÇoo .11,4c)s. En 4..spech9 de 14)roblernas expe-rim j ntuclos LlurzInte las ctapas iniCtale§:de .: 111 programa y cle I At: ficultacks de lainvestigaciónletriornetodológie0, ha habldó .Y . habra .tiri olio nivet se regresos en ter-minos; de- rééolécción de. -datds-y . lát forinw de usarl os .

Fltente: 5 t it con T :c. tnnso, cleG 1-1.'SIru et al The K,:lri&as Ctiv Patro F_9,v;inerit:Police Er ,uncidl:Gn. W..35/ung[on, D. C., 1974, 1010. 60 62-

Los investigadores que deseen emplear los métodos de observación de losparticipantes encontrarán que generalmente es posible explicar al personal delprograma y a los otros participantes los propósitos servidos por medio de laobservación; sin embargo, el grado en que la presencia del observador partici-pante puede alterar el comportamiento del personal del programa, de los otrosparticipantes o del sistema de entrega, como una unidad, no es del todo claro. Laevidencia impresionista de los estudios en la policía indica que los observadoresno afectaron al sistema de entrega, pues la policía en los carros patrulla se acos-tumbra fácilmente a ser observada. A pesar de todo, los métodos de observaciónpor un participante deben ser sensitivos a los problemas surgidos de los efectosde observar.

Una parte esencial de cualquier esfuerzo observativo es un plan para regis-trar sistemáticamente, la observa-Erdn, hecha (consúltense las obras de Schatz-man y Strauss, 1973, y de , Patt , 980, para una guía de los métodos de lainvestigación en este campo). Los observadores deben ser entrenados acerca decómo efectuar observaciones y cómo registrarlas uniformemente.

Las observaciones sistemáticas se pueden efectuar de tres maneras típicas.El primer enfoque implica la última imposición de un esquema de conjuntos paraclasificar los eventos: el observador es requerido para que anote los eventos contanto detalle como sea posible y en el orden en que ocurren. Esto también seconoce como método narratiuo. En su forma más extrema, no se dan guías alobservador acerca de cuáles eventos registrar y cuáles ignorar. Sin embargo, típi-camente, se ha encontrado útil proporcionar al observador una lista de activida-des importantes respecto de las cuales debe centrar su atención.

El segundo enfoque es proporcionar al observador una guía de datos, unconjunto de preguntas para las cuales se requiere una respuesta del observadoracerca de sus observaciones. Una guía de datos puede semejar un instrumento deinvestigación en el que existen espacios en blanco entre las interrogantes, los cua-les deberá llenar el observador; por ejemplo, la guía de datos para observadoresque atienden clases de entrenamiento técnico puede incluir preguntas diversas,

como: "¿cómo usó el instructor las ayudas disponibles para el entrenamiento?,¿cuándo y dónde se usaron?". El empleo de un instrumento de registro como estaguía simplifica considerablemente el análisis. Existe también mayor probabilidadde congruencia en la información entre los observadores, que con el reportenarrativo; sin embargo, supone más específicamente acerca del diseño del pro-grama y es difícil de manejar si hay múltiples intervenciones alternativas paraaplicarlas a los participantes individualmente considerados.

El tercer enfoque consiste en usar alguna forma del esquerna de proporciónestructurada. Algunos de los porcentajes pueden ser puramente descriptivos,como una lista que especifique el lapso dedicado a diferentes géneros de activida-des. Otros esquemas de porcentaje son normativos o actitudinales, como unesquema del porcentaje para medir la claridad de la presentación de un instruc-tor o la escala para valorar la naturaleza del encuentro entre los participantes y elsistema de entrega.

Aunque los métodos de observación directa parecen simplemente atracti-vos, no debe suponerse que son fáciles para los observadores no entrenados; ade-más, consumen mucho tiempo y producen datos difíciles de resumir y analizar.Estos problemas son particularmente complejos cuanto menos estructurado es elmétodo de observación empleado y más complicado el programa de servicios.Más aún, como ya se serialó, la observación puede cambiar el comportamientodel personal del programa y de los participantes.

En algunas circunstancias es posible reducir los problemas de la observación ydesarrollar enfoques de muestreo apropiado, de tal manera que algunos observa-dores puedan registrar las actividades del proyecto en forma más económica. Parahacer este muestreo, algunas veces se selecciona al azar un número adecuado yestadístico de periodos para observación. Otro enfoque para proyectos en los quese incluye a individuos es muestrear a los participantes y luego observarlos confor-me desempeñan las actividades del proyecto.

Algunas veces es práctico y aconsejable combinar la observación directa conotros enfoques del monitoreo, pues la experiencia sugiere que la observacióndirecta es difícil de completar con un alto grado de confiabilidad y está sujeta a laslimitaciones descritas en párrafos anteriores.

Datos del registro de servicios

Los datos del registro se examinaron en la sección en que se medía la cobertu-ra. De la misma manera que las características de las poblaciones objeto se puedenvalorar de los registros, la entrega de servicios proyectados puede ser monitoreadapor ellos (en el anexo 4.9 se describe cómo en una revista gráfica de medicina seevaluó la entrega de servicios pediátricos).

El registro de servicios varía; puede ser equivalente a un informe narrativo ouna forma de datos - altarnente estructurada sobre la cual el personal del proyectorevise silos servicios se prestan o no, cómo se recibieron y los resultados observa-bles (Cernea y Tepping, 1977). Su nivel de detalle está relacionado con la com-plejidad del proyecto y con el número de alternativas que se puedan identificar yespecificar por adelantado (véase el anexo 4.10 para un ejemplo de procedi-miento simple en una evaluación de la nutrición). El registro de servicios también

127

Anexo 4.10. Ejecucilm de un programaen un experunento nutricional


varía en cuanto a la complejidad en el almacenamiento y acceso; por ejemplo,dentro del contexto clínico, los sistemas de información computarizada se handiseñado con base en los principios del manejo científico.

Él cuicládo "pedlatricd,rde altá calidad e_staba pre,registraba en el hytorial_del ;pácieri té;:porií:i !nen -9s uri*,servicio OtíPiltjii..11;

;rican Acadeoy. . ,Of:Pediátries (Aeadernia estadounicienál.,:cle pecliatras), la atenCIOnpres:'enta'd, la todós lolnforni de labo 'rátorio a'norrnale,lás visltas subsecuentesapropladas'lPaia todás lasltondíciónes clínicas signIficativas. deíectaáas. "

Un'Ciiárto áe los niños e'sal7<farnIlialreg¡stradás riunc' a había sidó-Presehtádo.para su ¿Uldadó„ - n.el centrO.Ot'ró'6% había -silio llevado solarnente

habSa'recibido'¿uidadb médito, perO no dental..Érres.iante- 22%"fiabilaMlitScIó • abriiédicó y al,.dentista.

Delds_339:niños ,qt..tc., 1-labíap redbiclo por lo me 110 S alq(in culdadólnedidofervel.9,:.c.entrO. él:1131: -11-iábía,Preseritado -ex¿lusivaniÇnte -al clarto de'érnergencia. Otro..53% habfáyisi¡JzjO alguna oti:a • íiár-te,del c'entro' de salud:a ineritid&adernás_de una

a SOlo.con üna base digresiva. Sóló el 24% seeshmó qüe habllarecikido Uneí r ell+alúzición rriedica cOrnpleta, la cüal cOpsistían lahistoria clínica, •ékarneiT físiCri. -y„,, pru(4-; 'a_sde laboratodo (cornojó:ieciiinierídá I.á, . -Ainerican Acaderny of Pecliatrics), —

-'-De esa manera : sólo el:17% del grupo Ibtáf de mnosli3tnLl.spélétós ..,'elecció-fijakiii.rderéUídadoUn ll e;)adiCional ful'ciéficiente sólo eri las innumiii-Ción'es, Corno se registró" en la -carta. El rhayor grupb;?. 8`,.vo:recibi-a cuidado digrepéro todas las anornialida-des clínicas y de láhofatorló'habían sIdó notadas y Seguldas. En el restar-de 23%babia oc<i:11-9 .<1 _ -'dci ¡ior Idnierialtm ejeri-TIO'de segUtmierito madecuado Ind clien.tementé'as1":',

eic mplo de un_proyecto en el que cxi te una rnedicIón precisa de lade un prograrnzl la'evaluación del fecto de la altas caloríasy:delt:5-1Cornplemen-.tos ,t1e ,álta. s prctcírias del Institute for Nutrition.,,oWentrát,Arraldail'and-.Panarna

para la biutries u de ArnIrieá,eéntralypa'n-arn0?e-nrnientdfíSleó , y,eld&.arrello de I ,s funcic,nes ciphgnóseitivasitle'ia'ihos-e'lledádiyk -

colár. ,En cunpleinentos de calOríaS se pr'oporciónarón'clós yecis aldía lldurante los misrnos periodos a toclos los ocupantes que lorécibteion.-E1Ingai.,para la alitnehació ' cncontr,lba eer: ca ele la ebcuela de la vi115.'F'it ` iaS otras

de control" se proporcionó un complernento menos integradd, perobe‘ neflco.' 1.110 _ -

5.1"1.

.

Todas las personas--escogidas bahían siclo venficada.s érrilbsta dél eensó de los .'miembros de la villa. Cada persona recibía su complemento , en una táza estandarcdanclodo-ilabían behIclo tanto cornd habían desé.9do, la taza.era devuelta' amiembrós quiLmes poLlían rnedir la .eánticlad ingerida, al sustraettotal de la cantidad que sobraba én la taza. Corñó se lt..;piérrnitta beber tántas tazaS'''colno desc, asen, no había razón para que hicieraritranipa'al pasarla taZa a otrassonas, aunque fueron observados ctudadosamente. „•

, Esos registros diarios cl n-_, spués se enviaron al INCARy, por medió de trin sist&rna computarizado, se integraronparticipaba en el estudio.

Ftiertte: R n H E lát1456itbil 1f I Ru 'r.-11 GIIMCI11.113 " . C/1 Artit,IC ,7r7 jeumul PubliSérgt/i7ilak.

Muchas veces, el sistema de registro de servicios es tan complejo que no sepuede usar para los propósitos del monitoreo (un problema, como ya se señaló,que satura los registros de las poblaciones objeto). Esto ocurre debido a que lossistemas primero se diseñan para satisfacer las necesidades admínistrativas y demanejo del personal del programa. En tales casos, las formas del registro no sellenan correcta o completamente o las partes que se cree no son adecuadas paralos miembros del proyecto se completan al azar. Por un lado, existe el riesgo deque al reunir los componentes del monitoreo se tornen demasiado molestos parael personal del programa, se limite la cooperación del equipo de trabajo y, portanto, se rinda un informe de datos resultantes incompleto y poco confiable paralos propósitos del monitoreo. Por otra parte, el registro de la información espoco costoso y muy eficaz. Evidentemente, su uso depende del adecuadoentrenamiento del personal del programa para optimizar su confiabilidad alproporcionar motivación a dicho personal, y controles de calidad para asegu-rar su terminación oportuna y apropiada.

Como con el registro de poblaciones objeto, unas cuantas series de datos reca-badas de manera congruente y confiable suelen ser mejores para propósitos demonitoreo que una serie más comprensiva de información, pero de dudosa confia-bilidad y de recolección incongruente.

Una segunda regla es que, siempre que sea posible, será útil estructurar las for-mas de registro como listas, de tal manera que el programa y su equipo de trabajo

An—exo 4.9. Uso cfr7efrosTaraevaluar un sistema de entrega

El n,Vatts Health'C'éñter,(Centro de Salud !!,, Iatts),es ur-lt,e1itro de salud vecd,nal(_1e orsentaelón faMillár.e'ra•t.4 comuniclad prederninantemente défeolor

1.1 9 r s o '¿?Peráció.ri.09s09»,§7, -.0i0acgsivos y arnbulat6rios y 'aProxirnadárin'éntéS100,0:1érsláriaá qúe viven en ét á'reativo de 5 lilOtnetros Criadraclos y éuYos ingresoSsop Inferiores alos `de lálínea féde-

En el'registró de paclentes Se mantenía una fila . perrhanente iniciada por el'Oliente y por todós los miembros farniliares, Este Proeso de reglstro, aun cuandofacilithha el cuidado continuonOcomprornetía al reiStiante a utillZar el centro.

7. n • - -

- En clklembre cle 1970, inia rmtéstra de 2":5%',(2214'familias) dei-.total registtada:de 11 721 famihasdue selecclonada;rrid)anteeu.so de,una.tabía

'- • ---"yd -edacl cuando fue registrado la estudial,131. latrNylajuna:forma resuMida.. ' • ' '


puedan verificar varias series de datos en vez de proporcionarles una informaciónnarratíva. Tal procedimiento no sólo reduce el tiempo de trabajo requerido por elpersonal, sino también es más conveniente para el análisis ulterior.

La tercera regla consiste en revisar tan minuciosamente como sea posible losregistros completos para verificar su congruencia y exactítud, lo cual se debe rea-lizar lo más pronto posible. La oportunidad para editar y los procedimientos delcontrol de calidad pueden señalar las omisiones y 'las congruencias.

Es importante destacar que existen riesgos al usar el registro de servicioscomo única fuente de datos. El personal del programa, con o sin intención, pue-de exagerar el grado en que los diferentes elementos del programa son entrega-dos a las poblaciones objeto. Algunas veces, éste es el resultado de interesesmuy celosos para mantener las apariencias de eficiencia y responsabilidad;otras, esto se puede deber al desencanto por parte del personal con respecto alos procedimientos para proporcionar ciertos servicios proyectados, aunquehaya un requerimiento formal para que se apeguen a ello. Finalmente, en otrasocasiones la interpretación"del personal del proyecto respecto de un servicio deintervención particular diferente de aquella presentada por el diseñador delprograma o por el evaluador.

Datos del proveedor de servicios

En vez de confiar en la información anotada en los registros administrativos yde servicíos, los administradores del programa pueden requerir del personalinformación especial para propósitos del monitoreo (en el anexo 4.11 se muestracómo el personal obtiene datos para el monitoreo de un programa de educaciónfamiliar en la tribu Choctaw). Algunas veces, los reportes narrativos son requeri-dos al personal del proyecto en forma de diarios, mientras que otras, el personalpuede requerir al evaluador que llene o codifique formas porcentuales de la infor-mación diaria. Los diarios se usan generalmente sólo para información de apoyo.

A—'nexo .s.-71';ítadó-res Caserosfuente de iriforrnaCión para el monítoreoproyecto de iriforrnación familiar

El'F'royecto ‘ de educación tamul mu centrado'iyunt .iilciráo Linuliárje"li±p,Ct01;..dernós,trO; .la existencta cie un rnocielo ..de educación tei`npraiidfuncionaipo niral de una reervación..Elpecíficarrienté, pbjetívOftte ernplear:átin visitante:',1cascro Choctaurpara que traba)ara con la madre o con sus sustttutos a fin de esta-blecer 'un medto que esnroulara el desarrollo cognocitivc3/441:14tniñosChoetav, , des-de su nacirn- i -ento ha-sta la edad de cuati- '6 años.

.La iita al hOgar in strucci o nal fue élcornponente princlpaluttlizadoparaman-tener contaao con los chentes faMiliarel EheEte enfoque, la intéración entre larfiadre y el niño fne el enfoque centiál, El visitador casero clemostraba las tecnicas_ .instruccIonale_s; su comportarniento-,sirYró .i,cornp_ modelo de aquellas actitucle_s-ypráctIcas' que se'Comunicaban a las rnádres.-gl y lsitadOr casero y las madres fueronetirnuladOs para'adaPtar la in-_--tru'cctón a los tiLiteriales cas.eros u al estilo_de la madte La .estimulación co g noscuiva propuesra ocumo como parte oei pro-

grama diseilady paraIpdos los , n1Dos: lenguaje, motor, sgn.sybIlidad, peLr'social e r Mt7leCtual: LOs visltadores -caS-er6-s'-dleion entrena-mlato'enlastaPas.

, secuencias de todas esas áreas de desarrollo, además de la dlnámlc a dela conítin.Y_dad, instrucción e.n la infancia temprana, , admIntstracIón del coírlpprtémientoaprendizaje:-Los visltadoreS caseros,planeáron, ejecntaron y evaluarorflantervri,ción para cada`familia. Las visitas alas 'casas se planearon cop tina base Sernana! ervun tiernpo corwenlente para las ' rnadres. '

Además de las funciones y los papeles del -litsltadoí, 'se'pldt6 lós '‘krisitzidórChoctaw de_senlpeñar funcloneS de,evalua , ción del programa..Tarnbién se les p9111.que graduaran b situación del hogár para su estimulactón potenclakpará probár:Ios niñbs y para recahar cúálqiner infdirriaciffivadiclonatillerldkPor Tos éva,lu

,dore.s para documenta, r o valorar . el proyecto,,-;[.?./...,,:,,...,,,,¿.,,,,,,--',T.,;:i.,.-1 ,--1-7

F .iente: Atado, con permiso. de P. Quigley', L. Mor Itns vG,arnrilJtt cin i:Thii ..é-h'e,c.10-1.Htirrulr.".,1:94;4egn.tesred. Fo.7 ily Educatio,n

z,

atiorr ehavtor ARoctete3,,Tuczon:Alrzona,,i976,

Un compromiso entre una entrevista altamente estructurada o cuestionarioy una narración completa es algtina forrna dé entreVista 'semiairecta o cuestio-nario semiestructurado. Este enfoque es análogo al de la gula de datos estudia-da con el rubro de métodos observacionales; permite profundizar más en lainformación, pero al mismo tiernpo acorta el tiernpo y el esfuerzo del personaldel prograrna.

El enfoque niás eficaz es el uso de un instrumento de investigación altarnen-te estructurado que se pueda completar con una entrevista o por el personalúnicamente. Los instrumentos estructurados prestan ayuda por sí mismos parala tabulación. Como en el caso de los esfuerzos observacionales, a menudo es-Prudente muestrear ya sea los periodos o los encuentros con las poblaciones ob-jeto, de tal rnanera que se reduzca el trabajo del personal. Al hacer ésto es impor-tante emplear imé rnuestra representativa y dejar que el personal escoja entre losperiodos o las poblaciones objeto particulares para sujetos de investigación, ya quede otra forma se corre el riesgo de estimular al personal para desviar intencional-Mente la explicación'de la ejecución del .proyecto.

Datos de los partícipantes en el programa

El último enfoque para colectar inforrnación con fines de monitoreo es obte-ner datos acerca de la entrega del programa de los participantes. Tal informaciónes valiosa no sólo debido a sus diferentes perspectivas desde las que se ofrece,sino tarnbién, entre otras razones, porque puede ser el único medio para conocerlo que actualmente se entrega. Los datos de los participantes pueden servir a losproveedores para conocer lo que es importante para los clientes, incluidos susatisfacción y aceptación de la intervención.

Puede haber disparidades en muchos programas entre los servicios y lasintervenciones proporcionadas y aquellas actualrnente recibidas o utilizadas,como se ha demostrado en la bibliografía acerca de planificación familiar; porejemplo, como parte de un programa cle eclucación técnica, los participantes

1

1a.,diaicn

711ii

et]

rii,

s<1

tcrái

tct

t

ti

„Con calidad del culdado rnéclicó recibid0"

-0óri -TS,.. E:C-rótiaPláeériCia'',,deLdaetdr -paraPaCien'teáCerea'idé-sii,-Sálud

•

FuentTomackrde s,.titá¿t147-,w'ñd: Soc ia I Behai;Jor:ndlikl,16-;:e-4.1thmparative

- , . 'Teas.2f..mprgso cerks,autorizacsén.

•


pueden recibir guías de estudio, ejercicios, manuales y equipo para utilizarlosfuera de clases. Mientras que el personal del proyecto puede creer que éstos seemplean como se planeó, reahnente éste puede no ser el caso. Para tales proyec-to "s, puede ser crítico inquirir a los participantes para conocer si ciertos serviciosse usaron o incluso si se recibieron. Tales datos de los participantes pueden tam-, -bién ser generados por medidas que indirectamente prueben si los servicios serecibieron, tales como asignaciones extraescolares consistentes en calcular lasdistancias y convertirlas a los valores estándares. En ese caso, no sólo se podríaentrevistar a los párticipantes de modo que se considerara si usaron o no losservicios de la manera asignada, sino también se podría probar si pueden o nocumplir razonablemente con las tareas quienes al aprender tenían 1111 mejordesempeño en los servicios en cuestión.

El análisis previo acerca del acceso destacó que a veces la satisfacción delparticipante hacia un programa 'es un indicador clave para la ejecuCión del pro-grama de monitoreo. Evidentemente, los participantes son la fuente de informa-ción única y apropiada. En el anexo 4.12 se proporciona un ejerriplo de estudiode la satisfacción del cliente con respecto a los servicios médicos, y en el anexo4.13 se muestra cómo se empleó una investigación cornunitaria en el experimen-to de Karisas City, cán el fin de examinar su efecto en una comunidad grande.

i1nexo 4 12. sátisfacción del' cónsumiciorcon respecto a un grupo practicarite pagado

satIsfáCCión del paeienté con la""entrega, prAttco gruPal.pagado, y los datos„.cortsparatiyOs,de_tírifiálanaltenOW.dese,guro

13 I u'e:Cross:(Clu:2_,?Az3.11) ; , se obtuVieerOn,:iaediante,,lnV0.1gl'ciót111-4:resaltadb.s- (seuiclos del -problerna ctiet'ionado) •se r'esumen

..t'411.1:,-,11111:415:11111,11filffiblás11:1-t111411!:1:'j11:210-1'ir,Y't

',11-f¿di-cji5h cusail acetVS--r

131

Anexo 4.13. InvestigaCión comunitariaen Kansas City para determlnar los efectos

-derunalinte 'ención '

aleatoria de las familias se diseñó para exarninar selstos;génerale'clé.-19s posiblelt..etectdtall experimento sotgre té corpunIdad:„;

Percepción del cludadartO-a¿eica de la px-obab11144 ,de'ser:Mcttn-la de-'trapto, asaltb, robo de autO '',5ae'CrUnen V'solen't6Y.MP"-eé'tó'déyeaeral del yecsndarlo.Grado'éri:qUé:los citidadanos'se Protegena_sl .9:_pledadesjunto con. las rnedlclas protectoiallomadá . • .

3. Los ciudadanos percibieron las neceslclades de-oficlales .de policra,.dg„ . - - -rondas efectaadas por patrullas de policiay dé patrullas de policía agre,

- tatle4; Las percepciones de los ciudadanos acerca de las reputacio ,neS de-ios

les de policta, de la efects yldad etó de 15s ciudadanos p"Cd-,los pohcías ' 5. Las pertepckinei'de los ciudáctIOS :ac-er4*. e a conducta'de

de la beindad"si tíatarniento hactalo ciudadanos-Lás percepciones y satisfacciosils'.'

ólIcla

e

Proporclbrrde,encUesta oS1-1191141,1111ilisb,11.111tio:1-14..áfíiti,ipasaciotPorcentaje maYrIattlféttidléfitre.jol'enuelta1 ro—rt :sery- ic- los; el año pasádii'lrf',:-<1,1-,"."Conaha cantSd,-.1d,cle pri yáCía é.thlay.;Oficjpg;... el:'.¿Ilopy:::.-CO:iltierta cantidacl. de , tiempo.: 5.301.:,;'.4.),fillgOI:diillt

pacientepon preocupacIót?4déktfoc>' tor por la salud del pacite,

iCon.atención fina'y:persónal . interé en él paciente , : ,Con,,cderta cantidad -de información dada al paciente acerca,.'",''

. 1.,-cle su salud-:

- ' .... -, león entrenaíniento .del doctor y.competencia técnica --,Con la arnistad dél.-doctor

:-'•

Con atenclón arnistosa de recepclonistas, eaferméras,

7067..'

64

.81

Finalmente, Nicholson y Wright (1977) han demostrado que en intervencio-nes que implican tratamientos complejos es importante asegurar que los partici-pantes comprenden tal tratamiento, las reglas operativas del programa, etc. Enresumen, es necesario establecer no sólo que los servicios diseñados han sidoentregados, sino también que fueron recibidos, utilizados y comprendidos comose intentó. La información proveniente de los participantes se debe obtenermediante cuestionarios autoadministrativos o por medio de entrevistas. Los par-ticipantes deben ser muestreados de alguna manera sistemática o definitivamen-

te realizar un censo completo.

132

ANÁLISIS DE LOS QATOS DEL MONITOREO

En general, el análisis de los datos del monitoreo muestra los problemassiguientes: la descripción del proyecto, la comparación entre los sitios y la con-formidad del programa.

Descripción del proyecto

Una cuestión importante es en qué grado el programa puesto en marcha seasemeja en los detalles cruciales al programa diseñado. Una descripción del actualproyecto derivada de los datos del monitoreo podría abarcar los temas siguientes:las estimaciones de la cobertura y desviación en la participación; los tipos de servi-cios entregados y la intensidad de los servicios prestados a los participantes degéneros significantes, y las reacciones de participantes a los servicios entrega-dos. Las manifestaciones descriptivas podrían tornar la forma de explicacionesnarrativas, especialmente cuando los datos del monitoreo se derivan de fuen-tes más cualitativas; sin embargo, los análisis cualitativos son más útiles. Ademáslos métodos y las medidas de análisis complejos se han diseñado más seguido(consúltense Miley et al., 1978; Heumann, 1979).

Comparación entre los sitios

Cuando un programa incluye más de un sitio surge una segunda cuestiónconcerniente con las díferencias de la ejecución del programa entre los sitios.La comparación permite comprender la diversidad de las fuentes del proyecto,como personal, administración y diferencias entre las poblaciones objeto oentre el ambiente contextual del programa, y también puede facilitar los esfuer-zos para lograr la estandarización. Además, las diferencias entre los sitios puedenproporcionar pistas acerca de por qué los proyectos en algunos sitios pueden sermás efectivos que los de otros.

Conformidad del programa

Desde luego, el tercer problema es el grado de conformidad y convergenciaentre. el diseño del programa y su puesta en marcha. Las discrepancias entreambos pueden conducir a especificar de nuevo al diseño del proyecto o a esfor-zarse en centrar el inicio del proyecto más en su diseño. Tal análisis permite juz-gar la adecuación de una evaluación de la repercusión y, si es necesario, optarpor una evaluación formativa, de manera que se desarrolle la convergencianecesaria.

RETROALIMENTACIÓN DESDE EL MONITOREO

Como ya se mencionó, los datos del monitoreo tienen múltiples usos, lo cualdepende de quién ha financiado el monitoreo y del estado del desarrollo del prá-grama. Cuando se realiza como parte de una evaluación más comprensible, los

RETROALIMENTACIÓN DESDE EL MONITOREO 133

datos del monitoreo proporcionan lineamientos acerca de la congruencia entre eldiseño del programa y su ejecución. A menudo se recomienda que sean recolec-tados antes de la firma de un compromiso, para realizar un análisis de la repercu-sión, aun cuando puede ser necesario que se realicen de forma paralela con elanálisis de la repercusión, pues un estudio del monitoreo llevado en avance nopuede proporcionar evidencias válidas de la conformidad del diseño una vez queel proyecto se efectúa.

Las evaluaciones del monitoreo realizadas para proyectos administrativos yde contabilidad suelen ser retroalimentadoras para los administradores del pro-yecto y para el personal en una base continua. Para un proyecto establecido queconlleva un conjunto continuo de evaluaciones emprendidas, la fluctuación y loscambios en el tiempo pueden permitir rediseriar o depurar los programas y reva-lorar la extensión en que el conjunto de objetivos y la ejecución del proyectonecesitan una modificación. Sin embargo, el evaluador no puede asumir que elmero hecho de proporcionar información asegura su uso. Así, como se verá enel capítulo 9, se requiere estar relacionado con la máxima diseminación y elempleo del monitoreo, cuestiones que por sí solas implican una evaluación.

Estrategiaspara evaluarlarepercusión

La evaluación de la repercusión tiene por objeto establecer, con tanta certeza comosea posible, si una intervención produce p no los efectos intentados. Dada la naturaleza delas actividades científicas, dicha estimaPión no se puede hacer con mucha certeza, sinosólo dentro de los límites de error y con diferentes grados de factibilidad. Para reducirdichos errores y aumentar la factibilidad de las estimaciones de efectividad, la evaluaciónde la repercusión se debe emprender tan sistemática y rigurosamente como sea posible.Sólo de esta manera el evaluador podrá identificar los efectos de una intervención.

Las consecuencias de los programas sociales son valoradas mediante la compara-ción de la información disponible acerca de los participantes y de los que no participan,antes y después de la intervención, o mediante otros diseños de investigación menoseficaces. Sin embargo, las consideraciones esenciales implican el rechazo sistemáticode las alternativas, explicaciones competitivas para otros resultados observados queno forman parte de la intervención.


Factores de confusión: Variables extrañas que resultan en efectos significativosque disimulan o exageran los "verdaderos" efectos de unaintervención.

Efectos resultantes brutos: Medidas totales de la repercusión encontrada en una eva-luación, sólo parte de la cual se podría deber a la interven-ción.

Efectos resultantes netos: Repercusión de una intervención, después que los efectos ofactores de confusión se han retirado.

Medida aproximada: Variable empleada para "sustituir" a otra difícil de medirdirectamente.

Confia Grado en que las marcas son reproducibles en administra-ciones repetidas, con el supuesto de que todos los .facto-res adecuados son iguales.

Efectos estocásticos: Medidas de las fluctuaciones atribuibles al azar.Medidas válidas: Medidas para las cuales existe la evidencia o presunción

que refleja el concepto que se intenta medir.

135

136 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN RELACIÓN DE LAS INTERVENCIONES 137

Los obstáculos para valorar la repercusión se originan en fuentes diversas, a sa-ber: primero, el mundo social es complejo, y muchos fenómenos sociales tienenmúltiples orígenes y causas. Con tantas "partes cambiantes", la severidad de unproblema social puede estar influida por numerosas circunstancías, además deaquellas que contiene el programa. Segundo, las teorías y las generalizacionesempíricas de las ciencias sociales son débiles e incompletas. Es difícil diseñar mode-los de los fenómenos sociales que sirvan adecuadamente corno marco dentro delcual las valoraciones de la repercusión se puedan emprender. Tercero, no cabeesperar que los programas sociales tengan más que una repercusión poco signífi-cativa en el mundo social. Un programa de bienestar no se puede ver como lasolución para erradicar la pobreza, ni un programa de rehabilitación criminalpuede ser totalmente exitoso para cada caso. Más a menudo, cabe esperar que losefectos sean pequeños y difíciles de medir o detectar. Por último, algunos programassociales son especialmente difíciles de -valorar, debido a que han funcionadodurante un periodo largo. Los programas actuales que abarcan a vastas poblacio-nes objeto sólo se pueden valorar si se efectúan presunciones heroicas que fre-cuentemente afectan la credibilidad de los contribuyentes.

Existen dos puntos en el proceso de evaluación total en los que es especial-mente importante valorar la repercusión. El primero (y tal vez el más significativo)está en la prueba de nuevos prograrnas propuestos o en los cambios propuestos alos ya existentes. La cobertura en esos programas suele ser parcial, y a menudo esimposible realizar experimentos que proporcionen estimaciones parciales definiti-vas de los efectos del programa.

El segundo punto es la revisión de los progr.amas actuales. Aun cuandoparezca que un programa establecido funciona bien o por lo menos sin fallasevidentes, los evaluados o el personal del programa generalmente desean esti-maciones plausibles acerca de qué tan bien el programa cumple con los pro-pósitos. Por otra parte, las cosas no son siempre conno aparentan ser: lasobservaciones sistemáticas y objetivas frecuentemente contradicen la impre-sión general. Los políticos quizá necesiten resultados de las evaluaciones de larepercusión para justificar la expansión de lo que puede ser un recurso enexpansión, obligado por la competencia persistente en cuanto a fondos o porlas presiones políticas de los diversos grupos interesados. Los administrado-res del programa necesitan contar con los resultados de la repercusión paraaprender a mejorar sus programas e incrementar su efícacia.

Como se destacó en el dapítulo 2, los requisitos previos para valorar la reper-cusión de una intervención son los siguientes: primero, tanto el proyecto deberíatener sus objetivos lo suficientemente bien articulados para permítir identificar laobtención de las metas, o el evaluador debería establecer sus objetivos; segundo,la intervención debería haber sido lo suficientemente bien ejecutada para que noquepa duda de que sus elementos críticos han sido entregados a las poblacíonesobjeto apropiadas. Obviamente, esto podría ser una pérdida de tiempo, esfuerzoy recursos para estimar un programa que carece de metas medibles y que no seha ejecutado propiarnente.

La tarea de elegir los objetivos o de alcanzar un consenso con ellos se puedemanejar con una o varias de las técnicas descritas en el capítulo 2. Díscemir acer-ca de un conjunto de objetivos para un programa dado no es una tarea imposible,aun cuando los evaluados no convengan en las metas o incluso níeguen que haya

cualquier meta. Todos los programas efectúan algo más que sólo dejar ingresos asus diseriadores y administradores. A menudo, como Chen y Rossi (1980) sugie-ren, el científico social perceptivo, en su conocimiento general del trabajo de lasociedad actual y de sus organizaciones, puede hacer deducciones razonablesacerca de cuáles efectos se pueden esperar y formular las presunciones de trabajodel programa y el adecuado conocimiento de la ciencia social; sin embargo, elprincipal serialamiento que cabe hacer aquí es que tales metas se deben especifi-car antes de valorar la repercusión.

No se puede soslayar la dificultad de emprender evaluaciones de la repercu-sión. Mientras las reglas fundamentales para realizarlas estén bien establecidas, elevaluador deberá fomentar constantemente la cooperación del equipo de trabajoy de los particípantes objetivo, además de presionar para obtener resultadosoportunos y no ambiguos.

RELACIÓN DE LAS INTERVENCIONESCON LOS RESULTADOS

El problema de discernir la efectividad de un programa es semejante al deestablecer que el programa es la "causa" de algún efecto específico. Por tanto, aldeterminar las cantidades esenciales de repercusión se establece la causalidad.Muchos problemas espinosos y graves se relacionan con el concepto de causali-dad. Aquí se aceptará que el rnundo es una entidad ordenada y llena de leyes, yque "A es causa de B" como una regla válida.

En las ciencias sociales, las relaciones causales se establecen generalmentede una manera probabilística; así, la regla de que "A es causa de B" suele signifi-car que si se incluye A, B será más probablemente el resultado que sí no se hicie-se de ese modo. La regla por sí misma no implica que B siempre resulte si seincluye A, ni significa que B sólo ocurre después de incluir a A. La frase "es másprobable que ocurra" significa que la probabilidad de B, dada A, es más alta quela probabilidad de B, con A ausente.

Considérese el ejemplo siguiente: la inclusión de proyectos de entrenamien-to voluntario para el empleo, para adultos, puede reducir la cantidad de desem-pleados entre la gente con pocas habilidades, por lo menos en un corto plazo; esdecir, es más probable que el desempleo decline con la presencia de tal programaque con su ausencia. Sin embargo, ningún programa de entrenamiento, por másbien diseñado que esté, erradicará por completo el desempleo. Algunos adultossimplemente rechazarán aprovechar la oportunidad ofrecida; otros serán incapa-ces de beneficiarse (debido a enfermedad, incapacidad, inhabilidad u otras obli-gaciones) , aun pensando que están deseosos. Aún más, los niveles de desempleoson influidos fuertemente por las vacantes. Desde luego, si no hay trabajos, losdesempleados no podrán ser abarcados por la fuerza laboral, no importa qué tanbien entrenados estén.

Un programa de entrenamiento no es también la única manera de reducirel desempleo de trabajadores poco habilidosos. Las oportunidades de entre-namiento en el trabajo deben estar disponibles, los trabajos especiales de"refugio" pueden ser creados para que los trabajadores capaces adquieranexperiencia mientras trabajan y aprenden, etc. Por ello, la valoración de si unproyecto de entrenamiento para el empleo específico puede incrementar o no

138 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSION

los empleos se complica porque las direcciones del empleo responden amuchos factores, entre los cuales el programa de entrenamiento específico essólo uno.

De lo anterior se infiere que el problema crítico al evaluar la repercusión es siel programa produce o no más de un efecto o resultado que podría haber ocurri-do sin la intervención o con una intervención alterna.

RESULTADOS BRUTOS EN OPOSICIÓNA RESULTADOS NETOS

El punto de partida para valorar la repercusión es la identificación de una omás de las medidas de los resultados que representen a los objetivos del pro-grama. Así, al estudiar un programa diseñado para incrementar la cultura en eladulto, los objetivos del programa se pueden representar como aquellos queaumentan las notas de lectura con base en una prueba estándar de habilidadeseducativas. El programa se puede considerar exitoso si, después de aplicarlo,las notas de los participantes son más altas de lo que cabría esperar en los queno participaron en él (la manera de medir los resultados se estudiará más ade-lante, en este capítulo).

Se debe efectuar una distinción entre resultados brutos y resultados netos.Los resultados brutos son aquellos cambios en la medida de los resultados que seobservan después de que un programa ha estado funcionando. Así, los resulta-dos brutos medidos en el programa de cultura para adultos son el incremento enlas notas de los participantes en su nivel de lectura, lo cual resulta del programa yde cualquier número de otras influencias (por ejemplo, la introducción simultá-nea de la televisión educativa en las comunidades en cuestión). Por otra parte,los resultados netos son los que se atribuyen a la intervención, libres y clarosde los efectos de otras causas en el contexto del programa.

En términos simbólicos, la relación que existe entre los resultados brutos ylos resultados netos se puede expresar como sigue:

Efectos de la intervención Efectos de los factores deResultados brutos = (resultados netos) confusión

Así, un beneficio detectado en las medidas de la cultura en las observacionesanteriores y ulteriores de un grupo de personas que hayan participado en un pro-grama de cultura para adultos (resultados brutos), está constituido por dos par-tes: por los efectos del programa (resultados netos) y por los efectos de los otroseventos, experiencias, etc., que influyen en el aprovechamiento durante el perio-do en cuestión (factores de confusión).

OBLIGACIONES AL VALORARRESULTADOS NETOS

Como los resultados brutos reflejan no sólo los efectos de una intervención,sino también los de otros procesos que ocurren al misrno tiempo, al valorar larepercusión se deben estimar los efectos netos de la intervención. Para realizar

OBLIGACIONES AL VALO1RAR RESULTADOS 139

esto, el evaluador deberá aclarar los efectos de los resultados brutos mediante ladepuración de los elementos contaminantes, conocidos como factores de confu-sión o factores combinados. Éstas son las "causas" extrañas que se completancon los esfuerzos de una intervención para explicar los cambios en la poblaciónobjeto o en el problema objeto después que el programa se ha puesto en marcha.

Factores combinados extrailos

Los factores de confusión varían de acuerdo con el fenómeno social encuestión. Así, cabría esperar que una intervención diseñada para mejorar loshábitos nutricionales de las familias podría competir con procesos distintos deaquellos que afectan al programa para mejorar las habilidades ocupacionalesde la gente joven. En despecho de las características idiosincrásicas de cadaprograma y de las características especiales de la población objeto por abarcar,ciertos procesos son lo bastante generales para ser identificados como competi-dores potenciales en cualquier intervención (Campbell y Stanley, 1966; Cook yCampbell, 1979). A continuación se describen varios de estos procesos.

Cambios endógenos

Los programas sociales funcionan en escenarios en los que las secuenciasordinarias o "naturales" de eventos influyen en los resultados; por ejemplo,muchas personas que se recobran de condiciones agudas lo hacen así "natural-mente" , un cambio endógeno al que los médicos y los investigadores llamanremisión espontánea. De este modo, los experimentos médicos que prueban lavalidez de un tratamiento para algunas condiciones patológicas (por ejemplo,la gripe) deben distínguir su efectividad del hecho de que numerosos pacientesse recobran espontáneamente sin tratamiento.

Asimismo, al probar los efectos de una intervención social se debe tener encuenta que la condición para la cual la intervención se ve como un remedio pue-de cambiar su propia espontaneidad. En consecuencia, un programa para entre-nar a los jóvenes en habilidades ocupacionales específicas debe competir con elhecho de que alguna gente obtendrá las mismas habilidades de maneras no con-templadas por el programa. Igualmente, un programa para reducir la pobrezatiene que considerar que algunas familias e individuos podrán mejorar su posi-ción económica sin ayuda del proyecto.

Vertíente secular

Relativamente, las tendencias a largo plazo en la comunidad o el país encuestión pueden producir cambios que mejoren o enmascaren los efectos deun programa. Por tanto, en un periodo en que el rango de nacimientos de unacomunidad declina, puede parecer que un programa diseñado con el fin dereducir la fertilidad en esa comunidad es efectivo, pues la tendencia natural de lafertilidad es hacia abajO. Otro programa diseñado para mejorar el grado de cali-dad de la vivienda puede parecer adecuado, debido a que la tendencia nacional

140 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN OBLIGACIONES AL VALORAR RESULTADOS 141

respecto al ingreso real capacita a cualquiera para obtener más recursos en suvivienda. Tal vertiente secular puede también enmascarar los efectos del progra-ma; por ejemplo, un proyecto para incrementar la producción de la cosecha puedeparecer que falla, debido a que las condiciones del tiempo permiten desarrollarcondiciones de crecimiento pobres durante un periodo del programa. Asimismo,un programa diseñado para proporcionar oportunídades de empleo a ex convictospuede parecer que no es útil, debido a la coincídencia de un periodo de depresiónen el mercado laboral.

Euentos de interferencia

Al igual que las vertientes seculares a largo plazo, los eventos a corto plazopueden producir mejoramiento o enmascaramiento de los cambios. Un temblorde tierra que interrumpe las comunicaciones y dificulta la entrega de productosali menticios puede interferir con un programa nutricional. El pacto de guerra conotra nación puede hacer aparecer a un programa como mejorador de la comuni-cación local y de la cooperación (o sea, efectivo) cuando la potencial crisis forta-lece la unidad de los miembros de la comunidad.

Tendencias de moduración

Los programas diseñados para personas en vías de cambios durante su infan-cia, niñez o adolescencia (de hecho, cualquier población objeto de cierta edad)tienen que enfrentar el hecho de que, con el tiempo habrá cambios significativosen las vidas de los individuos. En consecuencia, la evaluación de un programaeducativo diseñado para incrementar la capacidad de manejo del lenguaje deniños pequerios tiene que estar compensada por el hecho de que tales capacida-des se incrementan con la edad. Asimismo, la efectividad de una campaña paraincrementar el interés en los deportes entre jóvenes adultos se puede enmascararpor una declinación en el interés que ocurre cuando los jóvenes adultos ingresanen el mundo laboral. La tendencia a la maduración puede afectar también a losadultos: un programa diseñado para mejorar las prácticas de salud preventivapuede parecer ineficaz, debido a la declinación de la salud con la edad.

Autoselección

Tal vez la obstrucción más seria para valorar la repercusión de la interven-ción es el hecho de que las porciones más fáciles de alcanzar de una poblaciónsuelen ser también las que cambian en la dirección deseada, debido al potencialdiferente del objetivo por cambiar. Desde luego, los proyectos basados en lacooperación voluntaria de los individuos, familias u otras unidades probable-mente son más afectados por los procesos de autoselección. Así, un proyectodiseñado para mejorar las habil idades vocacionales parece más atractivo a perso-nas interesadas en mejorar sus habilidades ocupacionales. Tales personas son,probablemente, las que administran el mejoramiento de sus habilidades, sinimportar si se inscriben o no en el proyecto.

En algunos programas voluntarios, la autoselección puede ocurrir involunta-riamente, desde el punto de vista de los participantes, como resultado de lasacciones políticas o administrativas. Considérese el caso de una comunidad quepor medio de su gobierno municipal busca "voluntarios" para un programa demejoramiento de la tubería de desecho, mediante la instalación de una infraes-tructura apropiada y técnica. Aunque los miembros de la comunidad no partici-pen voluntaria e involuntariamente, todas las personas que viven en el área seránsujetos a "tratamiento" y por tanto, podrán beneficiarse con el programa. Asimis-mo, en la adopción de una nueva (y presumiblemente no probada) versión dellibro de texto para los niveles elementales escolares, los alumnos individualmen-te considerados no son voluntarios para usar el libro. En este caso, el "voluntaria-do" lo efectúa la escuela o el sistema escolar.

Procesos similares en el trabajo, pero en dirección opuesta, llevan al abando-no diferenciado. Así, rara vez se da el caso de que la participación en un tratamien-to la realicen hasta el final todos los participantes. Los abandonos en su proporciónvarían de proyecto a proyecto, pero casi siempre son inquietamente significativos.Los sujetos que abandonan un programa pueden ser diferentes de aquellos quepermanecen hasta el fin. F'or una cosa, aquellos que se benefician en forma clarade la intervención probablemente permanecen o son estimulados para quedarse,mientras que quienes hallan poca recompensa o dificultades con el proyecto pro-bablemente lo abandonen o se desanimen de seguir participando en el programa.

Aunque varios autores han identificado adicionales factores combinados(consúltense especialmente Campbell y Stanley, 1966, y Cook y Campbell, 1979),éstos se aplican primero a condiciones de laboratorio o se encuentran rara vez.Los factores de confusión extraños que se acaban de mencionar son sólo aquellosa los cuales un evaluador debe estar alerta, particularmente al diseñar la investi-gación de la valoración de la repercusión.

Erv-or en la medida

Los factores combinados que se han examinada no están equivalente ni uni-formemente distribuidos en todas las evaluaciones de la repercusión; están pre-sentes o ausentes según el área implicada. Así, quizá no se tenga mucho que vercon los efectos de maduración en un estudio de incipientes trabajos potencialespor beneficios del desempleo, pues generalmente se dan a adultos que empiezansu vida laboral durante periodos relativarnente cortos. Sin duda, los efectos dernaduración son más importantes para éstudiar la repercusión del desarrollo inte-lectual de programas dirigidos a niños preescolares.• POr otro lado, los errores en la medición están siempre presentes. Afortu-

nadamente, el conocimiento de esos "efectos del método" es más completo queel conocimiento de los factores combinados. Por tanto, es posible estimar yalgunas veces compensar tales errores, mientras que la extensión de los efectoscornbinados extraños siempre es problemática. En el apartado siguiente, elénfasis se centrará en dos de los errores rnás prevalecientes en la medición: losefectos estocásticos y la no confiabilidad.

142

OBLIGACIONES AL VALORAR RESULTADOS 143

Efectos estocásticos

En cualquier esfuerzo para medir, la fortuna o las fluctuaciones al azar deno-minadas procesos estocásticos, pueden hacerlo difícil de estimar si un resultadoes lo bastante significativo para garantizar la atención. Estas variaciones resultandel hecho de que cada serie de observaciones son una muestra de una poblaciónobjeto o de todos los posibles ensayos de ese proyecto. La teoría del muestreoaplicada apropiadamente describe cuánta variación cabe esperar y cuán a menu-do se debe esperar de una magnitud específica, dados numerosos muestreosextraídos con métodos probabilísticos (Kish, 1965; Sudman, 1976). Al aplicarlos resultados de pruebas estadísticas apropiadas, se puede estimar cuán a menu-do puede ocurrir un resultado dado sólo por azar, aun bajo el supuesto de que elresultado verdadero es cero. De este modo, un efecto dado (por ejemplo, una di-ferencia del 5% en la producción de una cosecha para granjeros que han adoptadouna nueva fórmula de fertilizante) se puede ver como un resultado improbable delprograma en el cual el "verdadero" efecto es cero. La significación estadística deun resultado particular se estima al compararlo con lo que cabría esperar por azar,cuando se muestrea de un conjunto hipotético de ensayos en los cuales el "verda-dero" efecto es cero.

No confiabilidad

Los procedimientos de acopio de datos siempre están sujetos a cierto gradode no confiabilidad. La confiabilidad de una medición está definida como el gra-do en que marcadores idénticos o los valores se pueden obtener como mediciónen colecciones repetidas de datos con los mismos sujetos. Una gran fuente de noconfiabilidad son los instrumentos de medición; por ejemplo, muchas medicio-nes actitudinales revelan baja confiabilidad cuando se aplican al mismo sujeto o asujetos similares. La prueba o situación de medida, la confiabilidad en el entrevis-tador u observador o aun el humor variable del sujeto también contribuyen a lano confianza. No existen reglas precisas o rápidas de aplicar acerca de los nívelesaceptables de confiabilidad; sin embargo, las mediciones generalmente pierdensu utilidad cuando su reproducibilidad decae debajo de 75 u 85% (consúlteseBlalock y Blalock, 1968, con el fin de conocer los medios para estimar la no con-fiabilidad). Nótese que la variación estocástica y la no confiabilidad están separa-das y tienen distintos efectos en el diseño.

El empleo de mediciones no confiables de resultados disimulará cualquierefecto real que un proyecto pueda tener. Cuanto más poco confiable sea unamedición, mayores serán las diferencias actuales para indicar un resultado signifi-cativo. Como la confiabilidad es un problema constante al medir resultados, seexaminará con mayor detalle al final de este capítulo.

Fórmula para valorar la repercusión

Un resultado bruto es el derivado de todos los elementos estudiados conanterioridad más los efectos netos o "puros" del proyecto; el resultado bruto estásiempre en función de los efectos netos del programa y de los elementos combi-

nados. Al obtener nula desviación y precisa estimación de los efectos netos delproyecto, es necesario tener en cuenta a los elementos de confusión.

Otro rnedio para resumir los problemas examinados en esta sección esmediante la fórmula siguiente:

La valoración de la repercusión se delinea por esta fórmula; es necesariomejorar las medidas de producción bruta, para lo cual se deben estimar la mag-nitud y dirección de los procesos de confusión posibles. De hecho, cada efectode confusión puede ser positivo o negativo numéricamente. Por fortuna, nosiempre es necesario estimar la magnitud de cada uno de los siete factores deconfusión por separado. Más bien, mediante el uso de diseños de investigaciónapropiados es posible desarrollar buenas y adecuadas estimaciones de ra reper-cusión combinada de los efectos que la enmascaran.

Investigaciones relacionadas con factores enmascaradores

En este resumen del estudio de las necesidades para valorar la repercusión,se considerwl algunos de los efectos enmascaradores que se podrían originarfuera del esfuerzo evaluativo y en la medición de la repercusión misma. Espe-cialmente en evaluaciones que requieren esa medición especial y que se llevemás allá de lo que se genera comúnmente, existe el riesgo de que esos factoresenmascaradores adicionales sean una inquietud; no obstante, cabe señalar quetales efectos son significativos.

Efecto Hawthorne

En un experimento famoso, un intento para determinar los efectos de la va-riación en la intensidad de la luz sobre la productividad de mujeres que se dedican aensamblar pequeñas partes electrónicas (Roethlisberger y Dickson, 1939), se des-cubrió que cualquier cambio en la intensidad de la luz, ya fuese positivo o ne-gativo, incrementaba la productividad de las trabajadoras. El efecto Hawthorne(nombrado así por el sitio donde se realizó el experimento) fue interpretado porlos experimentadores como resultado del experimento, lo cual incluía observa-ciones continuas de los miembros trabajadores. Roethlisberger y Dixon razonaronque los trabajadores tomaron el hecho de que habían sido señalados como ungrupo experimental y consíderaban a toda la atención mostrada por los experi-mentadores como una serial de que la empresa estaba interesada en su bienestarpersonal. Su respuesta fue desarrollar un alto nivel de trabajo grupal e incremen-tar su productividad. El resultado medido por el experimento fue una combina-ción de la intervención (iluminación incrementada), la entrega de la intervención

Efectos netos = [Resultados brutos] —

-Cambios endógenosVertiente secularEventos de interferenciaTendencias de maduraciónAutoselecciónEfectos de noconfiabilidad

+ [Efectos— estocásticol

144 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN

OPCIONES EN EL DISEÑO 145

(concerniente, por una parte, a la administración y a la presencia de los experi-mentadores en el sitío de trabajo) y la observación constante.

El efecto Hawthorne no es específico para experimentos sociales; tambiénpuede estar presente en cualquier circunstancia en la que los sujetos a ella seanhumanos; por ejemplo, en los experimentos médicos, especialmente aquellosque implican tratamientos farmacológicos, el efecto Hawthorne se conoce comoefecto del placebo. Los sujetos pueden ser afectados tanto por el hecho de saberque reciben tratamiento como por el tratamiento mismo. Así, la evaluación de laefectivídad de un nuevo analgésico (destructor del dolor) generalmente implicatanto un control con placebos, consístente en un grupo de pacientes a quienes seda esencíalmente medicación neutral (píldoras de azúcar), como cierto control depíldoras "estándar" comúnmente prescritas. La efectividad del analgésico es medi-da por cuanto más consumo se reporta para la nueva droga, en comparación conel informado para aquellos que consumen el placebo o las píldoras estándar.

Una análisis reciente del experimento Hawthorne (Franke y Kaul, 1978)despertó serias dudas acerca de si el trabajo efectivamente demostraba cualquierefecto Hawthorne, un hallazgo que destacó el hecho de que el efecto es raro.

Contaminantes del sistema de entrega

Otro factor enmascarador es que el tratamiento rara vez se da en forma"pura". De este modo, la terapia guía para jóvenes que han sido delincuentesimplica generalmente la participación no sólo del terapeuta, sino también lapresencia de otros factores (por ejemplo, el encargado de verificar las entra-das), un escenario en el cual se realice la terapia, las reacciones de otros jóvenesque conocen la terapia, etc. Por tanto, el sistema de entrega de la intervención,incluidas la plantilla física, el personal, las reglas, los ordenamientos y la deno-minación de las poblaciones objeto, afecta de tal manera los resultados de unaintervención planeada que el monitoreo de la entrega de las intervenciones casisiempre se debe hacer junto con la valoración de la repercusión.

Cabe destacar que los efectos enmascaradores de la intervención y de lamedición están más relacionados cuando el programa es incompleto. Una inter-vención eficaz que produce resultados significativos tiende a superar a aquellosque provienen de los efectos de la entrega y medición. Así, cuando una interven-ción es deficiente, uno debe preocuparse particularmente acerca de si los efectoso su carencia son resultado de la suposición, de la confiabilidad y de otros erroresen la medición.

OPCIONES EN EL DISEÑO PARAVALORAR LA REPERCUSIÓN

Otra vez, el problema estratégico al valorar la repercusión es cómo obtenerestimaciones acerca de cuál podría ser la diferencia entre dos condiciones: una enla cual la intervención esté presente y otra en la cual esté ausente. En teoría, lacondición ausente debería ser idéntica en todos los aspectos a la condición pre-sente, libre de intervenciones. Existen varios enfoques alternos que varían en

efectividad, aun cuando todos implican establecer "controles". A continuación semencionan estos enfoques y se analizarán detalladamente en los dos capítulossiguientes:

Controles aleatoríos. Las poblaciones objeto se dividen al azar en un gru-po experímental, y se les administra la intervención y los "controles aleato-rios", los cuales no están sujetos a la intervención.Controles construídos. A las poblaciones objeto que se da intervenciónson confrontadas con un grupo "equivalente", llamado de controles cons-truidos, apartados de la intervención.Controles estadísticos. Las poblaciones objeto partícipantes y no partici-pantes son comparadas, y se asientan las constantes diferencias estadístí-cas entre ambos grupos.Controles reflexívos. Las poblaciones objeto que reciben la intervención secomparan entre sí, medidas antes de la intervención.Controles genérícos. Los efectós de la intervención entre las poblacionesobjeto se comparan con normas establecidas respecto de los carnbios típi-cos que ocurren en la población objeto.Controles espectro. Las poblaciones objeto que reciben la intervención secomparan con los juicios de expertos, los administradores del programay/o los participantes en quienes los cambios de la población objeto son"ordinariamente esperados".

Nótese que las alternativas señaladas no son excluyentes mutuamente. Loscontroles aleatorios se pueden comparar con grupos experimentales, mlentras quelos controles estadístícos también se pueden emplear; a su vez, los controles cons-truídos y los estadísticos, al margen, son difíciles de distinguir unos de otros enla práctica.

Las altematívas no se mencionan en orden estricto de preferencia. Mientras seusan los controles aleatorios como el rnejor método alternativo por seguir, los con-troles reflexívos algunas veces son mejores que los construidos, y el uso de loscontroles estadísticos puede ser inferior al de los controles genéricos. Las sutile-zas de tales juicíos se describen con mayor detalle en los capítulos 6 y 7.

Cobertura parcial en oposición a cobertura total

La más severa restricción al escoger la estrategia es si la intervención encuestión se da o no a todos (o virtualmente a todos) los miembros de una pobla-ción objeto. Para programas con cobertura total (como los programas total-mente patrocínados, comunes y de largo alcance), generalmente no es posibleencontrar un grupo que no reciba la intervención, en el sentido esencial, com-parable con los sujetos beneficiarios. En resumen, no es posible definir a un gru-po control; en tales circunstancias, la principal estrategia disponilDle es usarcontroles reflexívos y comparaciones antes y después. En contraste, las inter-venciones que se deben probar con base en una demostración, generalmente nose entregarán a todos en la población objeto. Por tanto, en la fase inicial, losprogramas nuevos son, casi por definición, con cobertura parcial.

146 CAP. 5. ESTRATEGIAS PARA EVALOAR LA REPERCUSIÓN 147

os..

szs.

s-.

<ts

ocs

C1)"10

o

C cr)Q)

."-ES "C3 t) m-7„-wE ,o) o

> 8 N

ó> e-o

9.Ci)

"e'

-c

0

0 ,":j.):-CS

C000)

0O.—

scoz

CS)o

U

0 9.

oo

o1.)

o11>

-13co)o

0.1

o

orCi usus ps

-C) 0 0

Eo o.

1).(/) —

cn0o

o

cls

cn0

oy«j

cres o

1 21o

C--,

1.oo iii o

0oo

1.)cv

Con toda probabilidad, ningún programa ha alcanzado nunca la coberturatotal de su población objeto intentada. Aun en el mejor de los programas, algunaspersonas rehúyen participar, otras no son advertidas de que pueden participar yaun otras son declaradas inelegibles técnicamente; sin embargo, muchos progra-mas logran una cobertura casi total. La Social Security Administration (Adminis-tración para la Seguridad Social), en sus pagos a los retirados, logró más del 85%de las porciones elegibles de la población.

Como regla general, cuando los programas alcanzan cuatro o cinco unida-des elegibles (80% de cobertura) se dice que tienen "cobertura total" para propó-sitos del presente estudio. Cuanto rnenor sea la proporción de quienes no sonalcanzados, mayores serán las diferencias de estar entre aquellos que abarca elprograma y aquellos que no la abarca. Para todos los intentos prácticos, casitodos los nirios entre los seis y 14 años asisten a la escuela; aquellos que no lohacen así sufren incapacidades permanentes o temporales, reciben enseñanza encasa de los padres o de un tutor privado o acomparian a sus familias migratoriascle sitio en sitio. De esta nnanera, los niños que en cualquier momento no estáninscritos en la escuela probablernente serán distintos de aquellos que sí lo hacen,de manera que ninguna comparación del empleo de controles estadísticos produ-cirá la misma sernejanza necesaria para el diseño mediante el uso de controlesestadísticos, aleatorios o construidos.

Afortunadamenté, bastantes programas con cobertura total no son uniformescon el tiempo o en las localidades. Las políticas cambian y los programas con ellas.Un administrador de la intervención también puede establecer modificaciones conel fin de reunir nuevas condiciones o para hacer más fácil la adminístración. Así, devez en vez, los beneficios de la seguridad social se han incrementado para tener encuenta las nuevas condiciones o para agregar servicios nuevos (por ejemplo, cui-dados médicos). Asirnismo, se puecle dar suficiente autonomía local a los estados ya los gobiernos locales para que un programa (por ejemplo, el de ayuda a las fami-lias con hijos depenclientes) varíe de lugar en lugar. Con las precauciones apropia-das, tal "variación natural" puede proporcionar un punto de apoyo para estimarlos efectos del programa.

Para programas con cobertura parcial, está disponible una serie de estrate-gias. Si el programa se encuentra bajo el control del evaluador (como en progra-mas nuevos o prospectivos), la solución ideal es usar controles aleatorios: unconjunto de sujetos objetivo y potenciales se seleccionan de alguna manera y sesortean al azar en grupos experimentales y de control. Este proceso aleatorio ase-gura la equivalencia probabilfstica de los beneficiarios que reciben la interven-ción, en oposición a los que no la reciben. Cuando un evaluador no puedeemplear el azar para formar los grupos experimental y de control o sus condicio-nes, los grupos de control construídos adecuadarnente pueden ser formados porlos sujetos objetivo no cubiertos, si se tornan las precauciones adecuadas.

Tipología de los diseñospara valorar la repercusión

El entrecruzarniento de las estrategias de recolección de datos y las caracte-rísticas de la intervención producen una clasificación esquemática, rnostrada enel cuadro 5.1, cuyos conceptos se estudiarán a continuación.

o

o

o

co

1.0o

0

2.E w

0.)*0 tkl

fTf

-(3o(1)

.0

"cs

<o)o

o1.oo

n7 0 0

"co',o c

cw o>Cn sc"v

0<

-ocCI

‹),

o

o.(0

O

.0

o..c)

0 0 o 0o

o

O

c00

ooo

CIS

0) 1-u.

.0 cr,o —cn

0

C

.15. 0)

‘13C?.;

En"< -cy

u

o-11

•s7) w<

/io

co Ew73

cr,

>

c.CO> .1•••

1/10.)C 0U

148 149

Experimentos aleatorios "yerdaderos"

Este tipo sólo se aplica a programas con cobertura parcial. La característi-ca principal de los experimentos verdaderos es la asignación al azar de los tra-tamientos a las poblaciones objeto y el manejo aleatorio de los que quedaránfuera de ellos, constituyéndose en el grupo experimental y el grupo de con-trol, respectivamente.

Los experimentos aleatorios verdaderos pueden variar en complejidadcomo lo ilustran los ejemplos siguientes (consúltese también Boruch et al., 1978,para una lista relativamente completa de experimentos sociales aleatorios).

1 Para medir la efectividad de las técnicas educativas de las películas deentrenamiento usadas en la Segunda Guerra Mundial, se mostraron ver-siones alternas de películas de entrenamiento para tomar al azar a las tro-pas cuya comprensión de las /ecciones fue medida antes y después de laexposición. Después se compararon las versiones (Hovland et al., 1949).Para probar si la provisión de ayuda financiera limitada podría ayudar aprisioneros liberados de las cárceles estatales a adaptarse a una vida civil,400 prisioneros liberados de la prisión de Maryland fueron divididos alazar en tres grupos experimentales: uno tuvo elegibilidad para tener 13semanas de beneficio como desempleado; otro recibió 13 semanas debeneficio y auxilio de trabajo, y otro más recibió ayuda de trabajo única-mente. Un cuarto grupo no recibió nada. Los 400 ex convictos fueronentrevistados periódicamente en los años siguientes a su liberación (Rossiet al., 1980).Para valorar si reducir la ansiedad de las madres en cuanto a la cirugía prac-ticada a sus hijos resultaba, en una secuela posoperatoria, mejor paraéstos, aquéllas fueron separadas primero al azar en grupos de control yexperimental. El grupo de control recibió el cuidado "común", mientrasque el grupo experimental recibió asesoramiento y reaseguramiento cuan-do se admitió a los niños (Skipper y Leonard, 1968).Para probar cómo manejar mejor los casos de abuso de la esposa, la poli-cía de Minneapolis convino en participar en un experimento al azar en elque los casos de abuso a la esposa reportados fueron manejados al azaren tres formas: el esposo abusivo fue arrestado y mantenido en la cárceltoda la noche; se le solicitó abandonar el dornicilio y no regresar en 16horas, o se intentó conciliar a los esposos (Sherman, 1980).En el experirnento de la demanda de la vivienda disponible, una muestraal azar de familias pobres en Pittsburgh y Phoenix se puso aleatoriamenteen uno de los 23 grupos experimentales o en el grupo control. A los gru-pos experimentales se les ofreció una variedad de planes mediante loscuales se subsidiaban los costos de la vivienda. Los planes variaban engenerosidad y en las condiciones bajo las cuales debían hacerse los pagos.Cada familia participante fue estudiada durante cuatro años, con entre-vistas periódicas e inspecciones de la vivienda (Kennedy, 1980).

De acuerdo con la complejidad, los costos de los experimentos descritosvarían ampliamente; el más costoso fue el último y el de menor costo fue el expe-rimento realizado con los soldados de la Segunda Guerra Mundial.

Pormenores en el acopio de datos

Los diseños de la evaluación que se pueden aplicar a la valoración de larepercusión también varían en los planes del acopio de datos que se emplean.Esto se divide en dos categorías: los diseños longitudinales y los diseños deobseryación posterior. Los primeros son aquellos en los que por lo menos sehacen dos observaciones: una antes y otra después de poner la intervención en sulugar. Idealmente, los datos de las observaciones adicionales en cuestión tambiénse usan. Los diseños de observación posterior son aquellos en los que se hacesólo una observación después de tener lugar la intervención.

Los experimentos verdaderos más elaborados, así como los de otros dise-ños (que se estudiarán en la sección siguiente), consisten en observaciones delos grupos experimentales y control tomadas en distintos momentos. Muchosde los experimentos de campo en gran escala emprendidos durante las dos déca-das pasadas con el fin de probar los programas propuestos han sido experimen-tos longitudinales aleatorios; por ejemplo, en los experimentos acerca de losingresos y su gravamen se han empleado los mismos diseños longitudinales bási-cos, pero varían uno del otro en los géneros de tratamientos probadoss, en la lon-gitud de tiernpo en que se dan los tratamientos de la intervención. El experimentodel mantenimiento del ingreso en Nueva Jersey (Kershaw y Fair, 1976; Rossíy Lyall, 1976) se diseñó con ocho grupos experimentales, cada uno de los cua-les fue ofrecido a planes de mantenimiento del ingreso ligeramente distintos,y un grupo control. Las familias elegibles se designaron al azar a cada uno delos nueve grupos. Cada familia participante fue estudiada durante un periodode tres años, tiempo durante el cual se ofrecieron beneficios a los grupos fami-liares experimentales.

Experimentos de mayor aleatoriedad se diseñan con las medidas de resulta-dos anteriores y ulteriores. La principal razón es mantener constantes los detallesiniciales al principio en las poblaciones objeto en el análisis ulterior de los efectosexperimentales (la razón estadística de esto se explica con más detalle en el capí-tulo 6). Sin embargo, en algunas circunstancias, las mediciones de las interven-ciones previas suelen ser indefinibles; por ejemplo, los experimentos para larehabilitación de prisioneros, diseñados con el fin de evitar la reincidencia, sepueden basar sólo en las mediciones de la intervención posterior, pues este fenó-meno no se puede medir ni definir antes de abandonar la prisión. Asimismo, losesfuerzos de la intervención hechos para reducir la incidencia de enfermedades oaccidentes tienen medidas de los resultados de la intervención previa indefinidos.Varios ejemplos de experimentos de diseño exclusivamente posterior se dan enel capítulo 6.

Experimentos no aleatorios con controlesconstruidos y/o controles estadísticos

Una gran clase de diseños para valorar la repercusión consiste en enfoquesno aleatorios, todos los cuales tienen como denominador común las compara-ciones entre los grupos experimentales, creados de las poblaciones objetoseleccionadas (de alguna manera) para participar en el programa (o selecciona-das administrativamente como participantes) y de "controles construidos",


151

grupos de no participantes, que de alguna manera crítica son comparables conlos participantes. Tales comparaciones se pueden hacer mediante la construc-ción de grupos de individuos objetivo no participantes (de aquí el término con-troles construidos).

Relacionados estrechamente con los controles construidos están los contro-les definidos mediante el análisis estadístico. Ambos son esfuerzos para aproxi-mar a lo ideal a los controles aleatorios. Las personas que no han participado enun programa son comparadas con las que lo han vivido, para lo cual se utilizantécnicas estadísticas que manejan las diferencias constantes conocidas entre losparticipantes y los no participantes. Por supuesto, los controles estadísticos sepueden usar con medidas posteriores únicamente, en cuyo caso el diseño es enrealidad el de una investigación seccional cruzada, sin embargo, los controlesestadísticos se pueden utilizar con medidas anteriores y posteriores de los resulta-dos en relación con los grupos control construidos. En resumen, la relación entrelos experimentos no aleatorios con controles construidos e investigaciones deuna tirada aún no está bien definida; sin embargo, el punto importante, es que elrazonamiento implicado en ambas es el mismo: ambas intentan estimar los efectosnetos mediante la creación de grupos control que presumiblemente representen alos individuos objetivo potenciales que no están expuestos a la intervención. A con-tinuación se exponen varios ejemplos de grupos control construidos.

Para estimar el efecto de la disponibilidad de viviendas en la oferta deéstas hecha por los constructores y los terratenientes, se pusieron en mar-cha programas diseñados con el fin de demostrar su disponibilidad enGreen Bay (Wisconsin) y South Bend (Indiana). Después de varios añosde demostración, los precios de las casas en ambas ciudades se compara-ron con los de ciudades del Medio Oeste estadounidense (Struyk y Ben-dick, 1981).Los estudiantes que asistían a escuelas secundarias públicas, en unamuestra al azar de tales escuelas, fueron comparados con estudiantes que acu-dían a escuelas privadas religiosas o seculares, para lo cual se manejaronfactores socioeconómicos constantes. La comparación se hizo para ver siel tipo de escuelas al que se acudía tenía algún efecto en el nivel promediode calificaciones en áreas específicas y críticas (Coleman et al., 1981).

3. Las familias seleccionadas para admitirlas en la vivienda pública en Bal-timore se compararon con familias que lo habían solicitado, pero que nofueron admitidas en la unidad. Tanto las familias de la vivienda públicacomo las de control construido fueron entrevistadas en un lapso de cin-co años (Wilner et al., 1962).

Algunos de estos diseños implican muchas medidas de los resultados obteni-dos antes y después de las intervenciones; por ejemplo, un estudio recientemediante el cual se compararon los porcentajes mensuales de delitos en Boston,antes y después de promulgada la ley sobre control de armas, con direcciones enjurisdicciones comparables en los estados vecinos de Nueva Inglaterra, así comoen toda la región (Pierce y Bowers, 1979).

Investigaciones seccionales cruzadas

En la columna derecha del cuadro 5.1 se define a las investigaciones secciona-les cruzadas, que son investigaciones de una muestra de las poblaciones objeto,algunas de las cuales no han recibido tratamiento (o han recibido una variación deéste). Las poblaciones objeto que han recibido el tratamiento se comparan conaquellas que no lo han recibido en las medidas de los resultados de la intervenciónposterior, para lo cual se utilizaron técnicas estadísticas con el fin de manejar lasconstantes diferencias entre ambos grupos. Aunque los diserios seccionales cruza-dos son de los menos costosos para estimar la repercusión, también son de los másadecuados para completarlos rigurosamente. Por tanto, se deben emplear contodas las precauciones que se examinarán en el capítulo siguiente.

Cuando las investigaciones seccionales cruzadas se emplean en programasde cobertura parcial, se debe considerar una variante de los grupos control cons-truidos; no obstante, su uso para medir la efectividad de programas de coberturaamplia, que varían de lugar a lugar, constituye Sll única aplicación. Así, en variosestudios se intenta medir la efectividad de la legislación sobre el control de armas,mediante la comparación de los niveles de restricción para obtener licencias y eluso de las armas en estados diferentes (Krug, 1967; Geisel et ai., 1969; Seitz,1972). En este caso, el estado constituye la unidad, con las observaciones Ileva-das a un porcentaje en varios tipos de delitos en un año específico. Nótese quevalorar la repercusión permite estimar cuántos de los efectos netos de una varia-ción en el tratamiento se han comparado con otros. Por tanto, se puede valorar silos planes de asistencia médica en diversos niveles de generosidad afectan o no eluso del cuidado médico, pero no se puede decir si esta asistencia médica por símisma ejerce algún efecto en el consumo de cuidado médico.

Los grupos control constituidos con medidas posteriores son también muyfrecuentes. Una evaluación controversial del proyecto Head Start (Cicerelli etai., 1969) se basaba en la comparación de los niños en el primer grado quehabían participado en el programa a la edad preescolar con nirios de primer gra-do con antecedentes comparables en la misma o en una escuela cercana, peroque no habían participado. Al evaluar los efectos de las clínicas de planificaciónfamiliar con apoyo del gobierno (Cutright y Jaffe, 1977) se siguió el mismo plan,y contrastaron los porcentajes de nacimientos en los cOndados que tenían clíni-cas muy activas con aquellos que presentaban clínicas menos activas.

Los problemas implicados en el diseño propio y en el análisis de investigacio-nes de una sola vez acerca de programas existentes de cobertura total con trata-mientos variables para cada sitio son complicados, por lo cual el tema se estudiarácon más detalle en el capítulo 6.

Análisis de series de tiempo

Los programas de cobertura total presentan problemas especialmente difíci-les para valorar la repercusión, debido a que carecen de una población objeto nocubierta que pudiese servir como control o producir observaciones control; no obs-tante, si existen observaciones extensivas, extraordinarias o de contrato previo altrabajo, acerca de las medidas de los resultados, se podrán emplear enteramentelas técnicas eficaces del análisis de series de tiempo. Con esto será posible estUdiar

¡

152 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSICIN 153

el efecto de decretar la ley sobre control de armas en una jurisdicción particular,pero sólo si el evaluador tiene tiempo suficiente para estudiar estadísticas de deli-tos que permiten examinar aspectos relacionados con lesiones con armas. Desdeluego, para muchas intervenciones comunes tales medidas de términos largos noexisten; por ejemplo, no existen largos términos en series de tiempo detalladas conrespecto a la incidencia de ciertas enfermedades agudas, lo cual dificulta valorar elefecto que ejerce el cuidado médico o la ayuda médica en ellas.

Aunque los procedimientos técnicos del análisis de series de tiempo esbastante complicado, las ideas que lo sustentan son enteramente simples. Latendencia es que el tratamiento se analice antes, de manera que se obtengauna proyección de lo que podría haber sucedido sin la intervención. La ten-dencia después de la intervención se cornpara luego con las proyeccionesresultantes y las pruebas estadísticas se emplean para determinar si las ten-dencias observadas en la dirección a la intervención postertor son diferentes ono de la proyección para inferir que el tratamiento tuvo efectos positivos; porejemplo, los efectos de cambiar la política de precios en el consumo de aguase pueden estudtar rnediante el análisis de series de tiempo, al investigar ladirección del consumo antes que la política del precio cambiara; al proyectarla dirección del consumo del agua sobre esta base, y al comparar el consumoactual con las proyecciones gráficas (Berk et al., 1981).

Algunas de las limitaciones del análisis de series de tíempo se detallarán en elcapítulo 7. La más seria limitación es que se necesitarán muchas observacionesen intervenciones previas, de manera que se modele la dirección en el tiempo dedichas intervenciones de un modo seguro (se recomiendan más de 30 puntos enel tiempo). Por ello, el análisis de las series de tiempo generalmente se limita a loconcerniente con los resultados, para lo cual el gobierno u otros grupos recabaninforrnación rutinariamente y publican estadísticas.

Estudios previos y posterioresde la cobertura tota/

Para muchos programas de cobertura total, las series de tiempo previos yposteriores al programa o a su decreto pueden no estar disporales; en su lugar,puede existir sólo una serie anterior al decreto. Con la adición de una medidatomada después de que la intervención ha ocurrido (con las precauciones ade-cuadas), aún se puede valorar la repercusión; por ejemplo, sí los oficiales delgobierno estatal anticipan una limitación legislativa sobre el estado real de losimpuestos, pueden realizar una investigación acerca de la valoración por partede los residentes estatales de los servicios locales, quienes están afectados porbajas tarifas estatales, las más de rentas públicas. Después de que la reforma haafectado o influido en los desembolsos para servicios locales y estatales, sepodría ernprender una seguncla investigación para medir los cambios en los nive-les de satisfacción de los residentes.

Existen muchas dificultades con los diseños anterior y posterior, como severá con mayores detalles en los capítulos subsecuentes. El princípal problema esobvio y parte de la posibilidad de confundir los factores que enmascaran la reper-cusión del programa en cuestión.

Controles genéricos y controles espectro

Finalmente, en el cuadro 5.1 se muestran diseños en los que se pueden usarcontroles genéricos y espectro, con el fin de desarrollar estimaciones de lo quepodría suceder sin la intervención. Debido a que no existen medidas de interven-ción previa, no se pueden utilizar los controles reflexivos; y como todos estáncubiertos por el programa y éste es uniforme en cuanto a lugar y tiempo, no sepueden usar los controles construidos ni los aleatorios.

Los controles genéricos consisten en estimaciones basadas en estudios de loque generalmente sucede en el tiempo; por elemplo, se sabe que el promedio deedad para contraer matrimonio en Estados Unidos es de aproximadamente 22 añospara el hombre. Para evaluar un programa diseñado con el fin de cambiar los in-centivos antinupciales de leyes sobre impuestos a los ingresos, se debe observarcuántos cambios ocurren en el promedio de edad para contraer matrimonio porparte del hombre después que las leyes han cambiado. Muchos constructores depruebas psicológicas publican "normas" que indican cuántos carnbios cabe "normal-mente" esperar en, por ejemplo, el mejoramiento de la lectura cada año conformeel niño aprueba los ciclos escolares elementales. Asimismo, en la Current Popula-tion Survey (Investigación de población actual) de la U.S. I3ureau of the Census(Oficina de censos de Estados Unidos) se podrían buscar datos acerca del prome-dio de ingresos de las personas que desernpeñan trabajos partículares, de maneraque se estimaran los ingresos de aquellos que atienden a un programa de entre-namiento, si no hubiesen participado en dicho programa.

El uso de grupos control genéricos está Ileno de peligros. Algunas de las nor-mas publicadas por los diseñadores de pruebas no están basadas en investigacio-nes realizadas cuidadosamente. Los reportes del censo publicados pueden noofrecer información suficiente para destacar a los individuos que serían compara-bles con las poblaciones objeto que experimentan una intervención.

También se pueden usar los grupos control espectro, que consisten, a jui-cio de los expertos, en los administradores del programa o en los participantesy pueden producir estimaciones aún más frágiles acerca de si los resultados seinterpretarán como efectos netos. Mientras el juicio de los expertos puede sersuficiente en algunos campos, el conocimiento preciso de un conjunto de nece-sidades no está disponible para muchos programas sociales, aun para el másexperimentado de los expertos. De este modo, mientras por un lado puedetener algún sentido confiar en la valoración de un ingeniero acerca de la seguri-dad de diseño de un puente, puede tener poco sentido confiar en el juicio de unpenalista acerca de la efectividad de un programa de rehabilitación para un pri-sionero en particular.

Los grupos control genérico y de espectro son los únicos disponibles paraprogramas uniformes de cobertura amplia, para los cuales no existen medidas dela intervención previa. Esta clase de programas incluye programas establecidospor muchos arios (por ejemplo, los pensionados bajo administración del SeguroSocial o la educación elemental coactiva). Por tanto, las estimaciones acerca delo que podrían ser los efectos de abolir tales programas se deben tratar con caute-la, pues son grandemente especulativas.

Más aún, debido a que los grupos control genérico y de espectro hacen estima-,ciones relativan-iente poco costosas y requieren poco tiempo, es muy tentador '

NOTAS TÉCNICAS 155154 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN

usarlos. Esto se puede hacer con relativamente poco riesgo en algunas valoracio-nes de la repercusión: los grupos control genérico se pueden emplear para estimarsi un programa educativo es exitoso o no, para lo cual se comparan las calificacio-nes de los aspirantes después del programa de lectura con las normas nacionalespara niños del mismo grado y que son publicadas por el diseñador de la prueba.Asimismo, con el fin de valorar la eficacia de un programa de entrenamiento voca-cional para adultos, se podría consultar a los expertos; sin embargo, los gruposcontrol genérico y de espectro se recomiendan sólo como último recurso. Lasrazones para esta recomendación se dan en el capítulo 7.

TIPOS DE DATOS ÚTILES PARAVALORAR LA REPERCUSIÓN

El análisis en la sección previa acerca de los diseños 'de la investigación hasido casi exclusivamente en términos de estudios cuantitativos. Si los datos reco-lectados deben ser caulitativos o cuantitativos es un problema por separado. Losdatos cuantitativos se pueden definir como observaciones que rápidamente Ile-van a sus representaciones numéricas por sí mismas: respuestas a cuestionariosestructurados, registros de paga compilados por personal de oficina, cuentas delas interacciones habladas entre los cotrabajadores, etc. En contraste, los datoscualitativos, como los protocolos de las intervenciones no estructuradas y lasnotas de las observaciones, generalmente se resumen con menor facilidad a laforma numérica. Obviamente, estas distinciones no son rígidas ni firmes; la líneadivisoria entre ambos tipos de datos es imperceptible. Aún más, los datos cualita-tivos se pueden transformar en datos citantitativos mediante un análisis del con-tenido, mientras que los datos cuantitativos se pueden tratar como cualitativosmediante la disgregación de los valores numéricos (por ejemplo, aquellos quedan como respuestas a entrevistas estructuradas, y cada entrevista programadase trata como una unidad).

Las ventajas y desventajas relativas de ambos tipos de datos se han debatidoextensamente en la bibliografía de la ciencia social (Cook y Reichardt, 1979). Lascríticas hechas a los datos cuantitativos desacreditan las tendencias deshumaniza-doras de la representación numérica y afirman que se puede comprender mejor elproceso causal mediante la familiarización estrecha con la gente y con sus proble-mas y mediante las observaciones cualitativas resultantes. En respuesta, quienesdefienden los datos cuaniftativos replican que los datos cualitativos son costosospara recabarlos, si se supone que deben tener una base extensiva; son objeto degran confusión, y por lo general contienen información que no está uniformemen-te colectada a través de todos los casos y en todas las situaciones.

No se pueden solucionar aquí todos los debates acerca de la preferencia dedatos. Como se indicó en capítulos anteriores, las observaciones cualitativasdesempeñan papeles muy importantes en ciertos tipos de actividades evaluati-vas, particularmente en el monitoreo de programas actuales. Sin embargo, esverdad que los procedimientos cualitativos son difíciles y costosos de usar enmuchos de los diseños descritos en el cuadro 5.1. Sería imposible reunir unexperimento con alto rango aleatorio con observaciones cualitativas a un costorazonable; asimismo, las investigaciones a gran escala o las series de tiempogeneralmente no se basan en tales observaciones cualitativas.

En resumen, mientras que la valoración de la repercusión de una variedadestructurada como se muestra en el cuadro 5.1 se podría realizar cualitativa-mente en principio, las consideraciones de los costos y el capital humano por logeneral desechan tales enfoques. Valorar la repercusión de tal manera que seacientíficamente plausible y que produzca estimaciones relativamente precisasde los efectos netos, requiere datos que sean cuantificables y sistemática y uni-formemente recolectados.

NOTAS TÉCNICAS ACERCA DE LASMEDIDAS DE LOS RESULTADOS

Tradicionalmente, la seguridad en la medición se considera como dos pro-blemas separados: la confiabilidad y la validez (Bohmstedt, 1970). Para que ten-ga alguna valía, la valoración de la repercusión debe reunir ambos requisitos.

Cómo seleccionar medidasválidas de los resultados

Es difícil solucionar el problema de la validez. Una medida es válida en laextensión en que mide lo que se intenta medir. Mientras que el concepto de vali-dez es fácil de comprender, se dificulta probar si un instrumento particular esválido, pues muchas variables sociales y de comportamiento no concuerdancon las pruebas estándares existentes; por ejemplo, la validez dé una medidaque permita estimar el riesgo en los negocios, si se formula como escala de acti-tud, podría requerir como prueba de validez alguna meclida del comportamien-to en el grado en que un individuo eStá dispuesto a tomar acciones que podríanser lucrativas, pero que tarnt;ién implicarían gran riesgo.

En la práctica, hay muchas formas de medir tales actitudes; esto es, existenmuchas cuestiones diferentes que se podrían argumentar como relacionadas,por lo menos conceptualmente, con la idea de correr un riesgo. Si hubiera una oalgunas maneras de aceptar los "mejores" métodos para medir los riesgos, lasmedidas potenciales se podrían comparar con las "mejores" medidas; sin embargo,en ausencia de esa medida ideal, la interrogante de si una medida particular o un con-junto de medidas son válidas suele ser, materia de argumento caso tras caso.

Evidentemente, una medida válida también debe ser confiable, concepto quese estudiará al final de esta sección; no obstante, la confiabilidad, si bien se requie-re, es un criterio insuficiente de la validez. Una medida válida debe demostrar loque a menudo se nombra en la bibliografía acerca de la evaluación como cons-trucción de la validez (Campbell y Stanley, 1966; Cook y Campbell, 1979). Enrelación con la confiabilidad, ésta incluye los criterios siguientes:

1. Congruencia con el uso. Una medida válida de un concepto debe ser con-gruente con el trabajo que ha emPleado este concepto. En consecuencia,una medida de la "adopción de la innovación" no debe contradecir lasmaneras usuales en que el término "adopción" se ha utilizado en los estu-dios previos de innovación.

156 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN NOTAS TÉCNICAS 157

Congruencia con las medidas aitemas. Una medida válida debe ser con-gruente con las medidas alternas empleadas efectivamente por otrosautores; debe producir aproximadamente los mismos resultados queotras medidas propuestas o, si éstas son diferentes, deben tener buenasrazones conceptuales para ser de este modo.Congruencia interna. Una medida válida debe ser congruente interna-mente; es decir, si se utilizan varias cuestiones para medir un concepto,las respuestas a ellas deben estar relacionadas unas con otras como si fue-sen medidas alternas del mismo tema.

Decisión de medir

Es muy crítico y a menudo no fácil decidir qué tipo de medición usar demodo que sea válida (Blalock y Blalock, 1968; Bohrnstedt, 1970); por ejemplo,en un programa de planificación familiar se podrían considerar las alternativassiguientes para medir los resultados, cada una de las cuales cumple con los crite-rios señalados en líneas anteriores:

La proporción que adoptan las prácticas contraceptivas efectivas.La proporción de niños deseada.La proporción de niños nacidos para completar una familia.Las actitudes hacia familias numerosas.

Estas cuatro posibilidades no agotan todas las medidas que se pueden revisarrazonablemente como adecuadas respecto de las metas para disminuir la fertili-dad. Aún más, varían en términos de la facilidad para medir y en los costos parasu recolección de datos. Así, aunque la reducción en el promedio del número deniños que nacen para "completar" una familia (esto es, los sobrepartos pasados)pueda ser la mejor expresión de la meta eventual cle un prograrna de fertilidad, eluso de esa medida para definir los resultados implica una evaluación a largo pla-zo, lo cual representa mucho costo y complejidad. En contraste, parece más fácilmedir la actitud hacia las familias numerosas, para lo cual se supone que un pro-grama efectivo diseñado con el fin de disminuir la fertilidad se refleja en una bajaaprobación hacia este tipo de familias.

Las medidas alternas de los resultados se pueden considerar como expresio-nes más o menos directa-s de las metas del programa. Dado lo que se conoce acer-ca de las pequeñas y erráticas magnitudes de las relaciones entre la actitud y elcomportamiento, una desviación hacia abajo en el promedio del deseo de teneruna familia numerosa probablemente es una medida remota de las metas del pro-grama para disminuir la fertilidad. Los cambios en este tipo de actitudes suelenocurrir sin una variación correspondiente en cuanto a las prácticas de la fertilidad.

En otras palabras, una buena medida de los resultados es aquella que es facti-ble de emplear, dadas las limitaciones de tiempo y dinero, y más o menos relacio-nada directamente con las metas del programa y, por tanto, válida. De las cuatroalternativas mencionadas para medir la disrninución, los cambios en las prácticascontraceptivas pueden ser, en balance, la rnejor opción para una medida; se pue-den estudiar durante periodos relativamente cortos; existen amplios anteceden-tes para adecuar las medidas en la bibliografía acerca de la investigación previa,

y, en términos de lo que se sabe respecto del comportamiento de la fertilidad, loscambios en las prácticas contraceptivas están relacionados directamente con lafertilidad (consúltese el anexo 5.1 para estudiar cómo una variedad de medidasde los resultados se han establecido para un programa diseñado con el objeto demejorar el uso de las clínicas de salud pública en cuanto a las prácticas de saludpreventiva en niños).

Medidas aproximadas

La medida de un resultado empleada como sustituto de una meta no medi-da directamente se Ilama medida aproximada. La selección de una medidaaproximada es una decisión crítica. Idealmente, una medicia aproximada debe-

Anexo 5.1. Medición de los resultadosdel programa

En an prognima para incaemlentar el uso de las clínicas de salud pública 'por,.personas jóvenes para el ctuclado preventivo de la salud en vez del cuidado episódt-co en cpndiclones cle emef gencia, los resultados se inidieron de manerasdiversas, aSater:

1. Medidas clel xito clel programa cie inmunizzlción de la clínica:

Promcclio de edad en que el paciente recibió cada una cle las siete Mmu-nizaciones distintas. Porcentaje (le pacientes que recibieron su primera inmunización contrala pollo antes de los tres meses de edad.Porcentale de pacienteS qup recibieren sus inmunizaciones totallnenteantes de las - 30rnéses 'de iedád.

2. Mecficlas clel éxito clínico para reducir l incidencia de acc dentes y enferme-dades:

Porcentaje cle incremento o disrninución en episodios aguclos.de acci-dentes y enferineclades, descle el priniero hasta el segundo años de ins-cripción en la clínica.

3 1\le,lidas en la continuidad ciel cui(L)do jaidico de la salud:

al Rango de citas cancelaclas por ef paciente con la clínica.Rango de launtualidact. Y-

c) Eango de retorno del paciente para seguir con sus visitas después deltratarniento inicial.

Hu c iirteliCt n periiI,11e Sf. E. StnY, ns y O. Hicks "An E yii,itorl,f theEft..1, of el fdren 1 \'outh;EIrcij:e0"' en Ekifith Serf q ,ns.f,:,,fort, ru 5 1 rut r fn 1973

NOTAS TÉCN1CAS 159158 CAP. 5. ESTRATEG1AS PARA EVALUAR LA REPERCUSICIN

ría estar relacionada estrechamente con una medida "directa" de la meta de unproyecto, pero también debe ser más fácil de obtener. En la práctica, es frecuen-te aceptar que las medidas aproximadas son menos que ideales. Mientras nohaya reglas firmes para seleccionar las medidas aproximadas pertinentes sóloexistirán lineamientos.

Primero, para las metas y los objetivos medibles en principio pero muycostosos de medir, la investigación previa puede incluir estudios que pruebenla valía de las alternativas; por ejemplo, se puede estar preocupado con res-pecto a si los trabajos obtenidos por personas que completaron programas deentrenamiento son mejores que aquellos que los entrenados pudiesen hallarpor otros medios. En principio se puede medir la calidad de los trabajos,mediante alguna combinación de ingresos, proporciones de salarios, estabili-dad en el empleo, condiciones de trabajo u otros atributos medibles del traba-jo. Varias medidas aproximadas razonables se pueden emplear en vez de esteprocedimiento largo y costoso: los ingresos y el porcentaje de salarios sonbuenas medidas aproximadas, pues investigaciones previas han demostradoque tales atributos del trabajo están correlacionados altamente (esto es, lostrabajos mejor remunerados tienden a tener mejores condiciones de trabajo,más seguridad en el empleo, etc.).

Segundo, las metas y los objetivos que se espera alcanzar en un futuro lejanose pueden representar por medidas aproximadas que constituyan pasos interme-dios hacia esas metas; por ejemplo, mientras que el objetivo de un proyecto acer-ca de la fertilidad familiar es disminuir la proporción del tamaño familiar, la metase puede medir definitivamente sólo ddspués que las mujeres de esas familias hanpasado sus años con posibilidades de tener hijos. Las medidas aproximadas quese centren en la adopción de prácticas que reduzcan la fertilidad completa sonrazonables sustitutos (por ejemplo, la adopción de prácticas contraceptivas y loscambios en el deseo expresádo hacia un tamario fanniliar).

La selección de variables aproximadas en primera instancia debería ser guia-da por el criterio de validez señalado en líneas anteriores; además, las variablesaproximadas y otras medidas deberían ser confiables; este tema se estudiará acontinuación.

Confiabilidad de las medidasde los resultados

Una medida es confiable en el grado en que la aplicación de esa medida a unasituación determinada produce los misMos resultados repetidamente, si la situa-ción en cuestión no cambia entre las medidas. Así, la medida de la altura y el pesoentre los adultos mediante el uso de aparatos estándares se considera más confia-ble que la medida de la inteligencia. Esto es, el uso de aparatos de medición parala altura y el peso, en manos de personas competentes, producirá menor variabi-lidad en las medidas de una administración a otra, cornparada con la que resulta-ría de la repetida aplicación de varias pruebas de inteligencia.

El efecto de la no confiabilidad en la medida oscurece las diferencias realescuando existen. Una intervención verdaderarnente efectiva cuyos resultados semiden de manera poco confiable, parecerá ser menos efectiva de 16 que es.

Detectar tal efectividad requiere una gran muestra, lo cual no sería el caso cuan-do se usan medidas más confiables.

El efecto de la no confiabilidad se indica en la tabla 5.1, en la que dos medi-das de diferente confiabilidad se comparan en una muestra hipotética de unaintervención educativa diseñada para aumentar los niveles en los logros cognos-citivos en nirios con un pasado desaventajoso. El resultado "verdadero" del pro-grama hipotético-se muestra en la parte I. En el grupo participante, 40 de los 50sujetos (80%) alcanzaron un aprovechamiento de nivel alto para el fin del pro-grama, pero sólo 25 de los 50 (50%) de los que no participaron alcanzaron esosniveles. Estos resultados "verdaderos" se podrían observar si se hubiese tenidouna medida perfectamente confiable del aprovechamiento cognoscitivo.

Tabla 5.1. Ejemplo hipotético de efectos de atenuación en las medidas desconfia-bles de los resultados de una intervención

I. Resultados verdaderos sin la medición del error:

Asimilador bajo 10 (20%)Asimilador alto 40 (80%)

Efecto verdadero del programa = 30%

Participantes No participantes

25 (50%)25 (50%)

Comparación de porcentajes correctamente clasificados sobre la medición de la asimi-lación que varía en confiabilidad:

Medición observadapara la médida B

Alta Baja90% 10%10% 90%

III. Medición de

Asimilador altoAsimilador bajo

Efectos de la

resultados mediante las medicionesMedición A

No partici-Participantes pantes

28 (56%) 25 (50%)

22 (44%) 25 (50%)medición = 6%

A y B:Medición B

No partici-Participantes pantes

37 (74%) 25 (50%)

13 (26%) 25 (50%)24%

La confiabilidad de dos medidas, A y B, se compara en la parte II: la medidaA es menos confiable que la medida B. Nótese que cuando un niño verdadera-mente asirnila en un nivel alto, la medida A muestra al individuo correctamenteclasificado el 60% de las veces; cuando un niño asimila en un nivel bajo, la medi-da A lo rnuestra como tal sólo el 60% de las veces. En contraste, la figura corres-pondiente a la medida B, la medida más confiable, es de 90%. En resumen, lamedida A produce error en la clasificación en el 40% del tiempo, mientras quela medida B lo hace sólo el 10% de las veces.

Los diferentes efectos de la aplicación de dos medidas no confiables de los resul-tados de la intervención hipotética se muestran en la parte inferior de la tabla 5.1(parte Ill). En la medida A, se encuentran 28 asimiladores con un nivel alto, 56% del

Asimilador altoAsimilador bajo

Medición observadapara la medida A

Alta Baja60% 40%40% 60%


grupo de participantes: (60% de 40 = 24) + (40% de 10 = 4) o 28. Con la medida Bse pueden obtener 37 asimiladores con nivel alto, o sea, 74% del grupo experimen-tal: (90% de 40 = 36) + (10% de 10 = 1) o 37. Mediante el empleo de la medida Ase tiene un contraste entre los participantes y el grupo control de sólo 6% más deasimiladores con nivel alto en el grupo participante, mientras que con la medida B elcontraste es de 24%. Evidentemente, la medida B es más confiable, pues se apegamás a demostrar la extensión en que el programa es n-iás efectivo.

Nótese que ni la medida A ni la B dan una estimación segura de los efectos delprograma hipotético; más bien, ambas subestiman los verdaderos efectos conside-rablemente. Este problema se conoce como atenuación debida a la no confiabili-dad y está bien documentado (Bohrnstedt, 1982; Nunnally y Durham, 1975). Enmuchos casos, no es posible erradicar completamente el error en la medida, aun-que se pueden efectuar ajustes en los resultados que tengan en cuenta tales errores,si el grado de no confiabilidad se conoce. Con el ejemplo mostrado en la tabla 5.1interesa destacar la importancia del cuidado tanto para la construcción como parala aplicación de los instrumentos de medición.

ESTRATEGIA "CORRECTA" PARAVALORAR LA REPERCUSIÓN

Aunque en este capítulo se ha destacado que los experimentos azarosos pro-porcionan las mejores estimaciones de los efectos netos del programa, es necesarioinsistir en que el enfoque preferido en una circunstancia particular depende demúltiples factores contextuales. Para algunos programas, los experimentos alea-torios son sencillamente inaplicables. En otras circunstancias, el tiempo, los fon-dos y las habilidades harán imposible un enfoque experimental. Con el cuidadoapropiado, los otros diseños descritos en este capítulo se pueden usar con consi-derable confianza. En los capítulos 6 y 7 se dan ejemplos de todos esos enfoquesy se detallan sus ventajas y sus limitaciones.

6Diseños comparativos

para valorarlarepercusión

Aunque los experimentos aleatorios y controlados se presentan en este capítulocomo los mejores diseños de investigación para valorar las repercusiones netas de lasintervenciones, también se reconoce que los controles estadísticos y construidos son fre-cuentemente los diseños prácticos alternos que pueden producir estimaciones útiles si elevaluador es cuidadoso en reconocer sus limitaciones. En este capítulo se dan muchosejemplos de los usos de los tres enfoques comparativos, las circunstancias específicas enlas cuales cada uno es más aplicable y se identifican algunos de los riesgos asociados concada uno; se pone especial atención al empleo de los controles estadísticos, un métodoapropiado para valorar programas en curso recomendado en combinación con las evalua-ciones en las que se emplean controles aleatorios o construidos.


Coberturas parcial y total:

Grupo de individuos objetivo potenciales no tratadosque se comparan con los grupos experimentales encuanto a las medidas de los resultados al valorar larepercusión.

Grupos de individuos objetivo no tratados que seseleccionan por métodos no aleatorios comparablesen aspectos cruciales a los individuos objetivo en losgrupos de intervención.

Estudios en los que los datos se recaban en un puntodel hempo.

Grupo de individuos objetivo potenciales a quienes seda una intervención y cuya medida de los resultadosse compara con la de los grupos control.

Construcción de grupos control mediante el métodode hallar individuos que sean idénticos en ciertosaspectos a los de las personas en los grupos experi-mentales.

Grado en que un programa abarca a alguno o a todoslos individuos objetivo intentados.

Grupos control:

Grupos control construidos:

Estudios seccionales cruzados:

Grupo experimental:

Igualación:

161

162 VALORACIÓN DE LA REPERCUSIÓN 163

Sorteo: Selección al azar en la asignación de individuos objeti-

vo potenciales para los grupos experimental y decontrol.

Controles estadísticos: Uso de técnicas estadísticas para mantener constantes

las diferencias entre los grupos de tratamiento y decontrol.

Los objetivos de este capítulo y el siguiente son describír de manera másdetallada los diseños para valorar la repercusión mencionados en el capítulo 5y demostrar córno se usan en la valoración actual de la misma. Como el eva-luador siempre trabaja con limitaciones de tiempo, presupuesto, contextodentro del cual el programa realiza y limitaciones técnicas, las solucionesactuales alcanzadas en situaciones específicas siempre son cercanas a loscompromisos entre lo ideal y lo factible.

No se pueden escribir reglas rígidas y firmes acerca de cuándo y cómo com-prometerse, aunque se pueden establecer algunos lineamientos generales: pri-mero, cuanto más importante se considere un programa, mejor deberá ser eldiseño de la investigación. Por cierto, puede no tener ningún sentido evaluarcon cierto cuidado programas ideados con el fin de no tener la menor repercu-sión o costos bajos relacionados con él (Cronbach et al., 1980; Rossi, 1979).En contraste, los programas que se espera sean muy costosos y potencialmentepeligrosos a los grupos objetivo u otros se deberían evaluar con tanta precisióncomo sea posible.

En el pasado, algunos comentaristas, incluido uno de los autores (Rossi,1979), han establecido que la valoración de la repercusión no se debería hacer sila información resultante probablen-iente no sea usada en la toma de decisionesulterior o en la administración del programa. Entonces, si cierto programa hasido ampliamente apoyado por quienes toman decisiones, lo cual hace muyimprobable que los hallazgos al valorar la repercusión puedan cambiar la magni-tud o la dirección del apoyo, no se justifica la valoración de la repercusión, sólopor el interés de conservar el recurso. Mientras que generalmente no se acepta porcompleto esta posición, la posibilidad de conservar los recursos es bastante persua-siva. Corno quiera que sea, el evaluador debe reconocer que el uso que se debe dara la valoración de la repercusión condiciona el cuidado y los recursos que deberíandedicarse a la misma.

Cabe señalar un aspecto importante acerca de las unidades de análisis. El len-guaje empleado en este capítulo permitirá al lector creer que las valoraciones de larepercusión se realizan sólo con personas, como individuos objetivo de la interven-ción intentada. No se desea dar tal impresión, como el lector pudo darse cuenta enlos capítulos anteriores. Es fácil escribir como si sólo los individuos fueran laspoblaciones objeto, pero, como se señaló en el capítulo 3, las intervenciones tam-bién se pueden dirigir a las viviendas, familias, vecíndarios y comunidades,empresas y otras organizaciones, condados, estados y aun naciones. La lógica dela valoración de la repercusión en general, no cambia conforme uno actúa de ungénero de unidades a otro, aunque las dificultades para realizar investígacionesde campo pueden incrementarse con el tamario y complejidad de la unidad; porejemplo, los factores de confusión que afectan a los estudiantes individuales tam-bién influyen en las clases, por tanto, el mismo diseño formal puede ser necesario

para eliminar las influencias de confusión en los resultados brutos. No obstante,mientras el tamaño de la muestra en dos casos está constituida por estudiantes yclases, respectivamente, la recolección de datos en una muestra de 200 estudian-tes suele ser más fácil y considerablemente menos costosa que acumular datossimilares en 200 clases.

La selección de unidades de análisis no es arbitraria, sino determinada por lanaturaleza de la intervención implicada. Así, un programa diseñado para efectuara las comunidades (por ejemplo, mediante libretas de concesiones a las municipali-dades locales) requiere que las unidades estudiadas sean las municipalidades. Lavaloración de la repercusión de las libretas de concesiones realizada mediante lacornparación de dos municipalidades tiene una muestra doble, completamenteinadecuada por muchos motivos, aun si se supone que las observaciones se pue-den hacer en muestras muy grandes dentro de cada comunidad.

Al evaluador que intenta diseñar la valoración de una repercusión se leadvierte que comience por identificar las unidades designadas como objetivos dela intervención al respecto, y que, por tanto, se especificarán como unidadesde análisis. En algunos casos, definir las unidades de análisis no presentaambigüedad; en otros, la decisión puede requerir evaluar cuidadosamente lasintenciones del programa y las de los diseñadores. En otros casos, las inter-venciones pueden dirigirse a varios tipos de objetivos: un programa de subsi-dio de la vivienda puede ser diseriado para aumentar el grado de la habitaciónde familias pobres y el mercado de vivienda de las comunidades locales. Aquí,el evaluador quizá desee diseñar la valoración de la repercusión de tal maneraque consista en muestras de casas individuales dentro de muestras de lascomunidades locales.

VALORACIÓN DE LA REPERCUSIÓN DEPROGRAMAS CON COBERTURA PARCIAL

Por programas de cobertura parcial se entienden aquellos que deben pro-barse con base en el juicio o que no abarcan (por cualquier motivo) a todos ovirtualmente a todos los miembros de la población que se intenta beneficiar.Principalmente en estas circunstancias, es posible hacer comparaciones entrelos grupos de personas que reciben los servicios de la intervención y aquellasque no lo reciben.

Grupos control y grupos experimentales

Se pueden conceptualizar los resultados netos como las diferencias entre laspersonas que han participado en un proyecto y los individuos objetivo compara-bles exactamente que no han participado. Como la misma confusión se podríapresentar en ambos grupos, los dos podrían estar sujetos a cambios endógenos, ala deriva secular y a los otros factores de confusión mencionados en el capítulo 5.La única diferencia entre los dos grupos se podría deber a la intervención y a losefectos de suposición. Comúnmente, el grupo contrastante se Ilarna grupo con-trol, mientras que aquellos que participan en la intervención se denominan gru-pos experimentales.

164 CAP. 6. DISEÑOS COMPARATIVOS VALORACIÓN DE LA REPERCUSIÓN 165

Con base en la fórrdula descrita en el capítulo 5, la estimación de los efectosnetos de un proyecto en términos de los grupos control y experimentales se pue-de demostrar como sigue:

Efectos netos = [Resultados brutos de un grupo experimental]— [Resultados brutos de un grupo control]+ [Efectos estocásticos]

Desde que los efectos del proceso estocástico se pueden estimar mediante elempleo de pruebas estadísticas" apropiadas, utilizar los grupos control junto conla estimación de los efectos estocásticos proporciona aproximaciones cercanas alos efectos netos del proyecto.-

Un elemento crítico para estimar los resultados netos es la identificación yselección de grupos control y experimentales comparables. La comparabilidadentre los grupos control y experimentales significa, en términos ideales, que ambosdeben ser idénticos, excepto en lo que se refiere a su participación o no en el progra-ma por evaluar. En términos más específicos, la comparabilidad requiere:

Composición idéntica: los grupos control y experimentales deben conte-ner combinaciones similares de personas u otras unidades.Experiencias idénticas: los grupos control y experimentales debenexperimentar sobre el periodo de observación el misrno próceso rela-cionado con el tiempo: la maduración, los cambios o "derivaciones" enel tiernpo, etcétera.Predisposiciones idénticas: los grupos control y experimentales debenestar equitativamente dispuestos hacia el proyecto; esto es, las tendenciasde autoselección deben ser idénticas en ambos grupos.

Ejecución de las evaluacionesa los grupos control

Idealmente, la comparabilidad de la clase más precisa se podría lograr si secomparara cada individuo objetivo en el grupo experimental con un individuoobjetivo idéntico en un grupo control, lo cual, desde luego, es imposible. No haydos individuos, familias u otras unidades que sean exactamente comparables entodos los aspectos.

Afortunadamente, la comparación uno a uno no es necesaria. Sólo se requie-re que los grupos experimental y de control sean idénticos en términos de agrega-ción y en los aspectos pertinentes para los efectos intentados del programa quese prueba. De esta manera, al valorar la repercusión no importa que los miem-bros de los grupos control y experimental difieran en cuanto al lugar de nacimiento ovaríen ligeramente en edad, pues dichas diferencias no son estadística ni sustantiva-mente significativas. Una de las implicaciones más importantes de exposición es quela valoración de la repercusión requiere más que sólo unos cuantos casos. Cuan-to mayor sea el número de unidades estudiadas (dado el método de selección seestudiará en los párrafos siguientes), más probable será que los grupos control yexperimental sean estadísticamente equivalentes. En resumen, ios estudios en

los que sólo una o pocas unidades están en los grupos control experimentalesrara vez, si no es que nunca, son suficientes para va/orar la repercusión.

Mientras que en el caso anterior los grupos control o de comparación estánconstituidos por individuos objetivo que "no reciben tratamiento", no es éstegeneralmente el caso. A menudo, los individuos objetivo en los grupos controlreciben programas de tratamiento existentes o tratamientos alternativos; porejemplo, una evaluación que prueba la efectividad de un programa de nutriciónpuede tener un grupo control o de comparación constituido por personas quesigan una amplia variedad de prácticas nutricionales, algunas de su propio pro-yecto y otras dirigidas por su doctor. Todo esto significa que la efectividad delprograma bajo evaluación se estima en relación con si el tratamiento o la combi-nación de tratamientos son experimentados por los individuos,objetivo control ode comparación. Otra variación en el diseño consiste en comparar de maneramás sistemática dos o más programas. Puede haber varios grupos experimenta-les, cada uno de los cuales siga un régimen nutricional particular, con los efectosnetbs de cada estimación relacionada con los otros que son probados.

Al respecto, cabe señalar lo siguiente: mientras una distinción útil entre losgrupos control y de comparación se hizo en párrafos anteriores, en muchos deIps"siguientes estudios la distinción no es pertinente. Por tanto, se empleará eltérmino grupo control para hacer referencia a los grupos control y de compara-ción, excepto en los casos en que la distinción sea importante.

Existen varios enfoques para construir o identificar a los grupos control com-parables y a los grupos experimentales, que varían en factibilidad, costo, claridady validez de los hallazgos. Desafortunadamente, los mejores enfoques, desde elPunto de vista del criterio científico pueden ser los más difíciles de ejecutar. Entérminos generales, tales enfoques siguen una de las cuatro estrategias o diseñosde investigación:

1 Hay varios diseños experimentales en los que las poblaciones objeto seasignan por sorteo, ya sea los grupos experimentales que reciben laintervención o a los grupos control a quienes se niega la intervención—método de experimentación al azar (Mendenhall, 1968; Namboodiriet al., 1975; Riecken y Boruch, 1974; Winer, 1971).Los participantes en el programa pueden ser contrastados con los que noparticipan que son seleccionados por comparación en aspectos impor-tantes —método de comparación de grupos no aleatorios.Los participantes pueden ser comparados con los que no lo son medianteel control estadístico de las diferencias conocidas entre los participantes ylos que no lo son —método de cqntrol estadístico.Se puede seguir una estrategia mixta en la que los grupos control aleato-rios y los que no lo son y los grupos control estadístico se empleen juntos.

- En las secciones siguientes se estudiarán los diseños de la evaluación enlos que existe sólo una intervención que se pruebe en su repercusión. Como sekridicó-en párrafos anteriores, esta restricción no es inherente al diseño, sinoslrnplemente se hace por conveniencia para la exposición. El diseño se puedeampliar fácilmente para incluir simultáneamente la prueba de las diversasintervenciones alternativas (o la combinación de intervenciones). En realidad,-

166 CAP. 6. DISEÑOS COMPARATIVOS EL AZAR EN EL ESTABLECIMIENTO 167

hay mucho que ganar en cuanto a la manera de contar con información útilpara los políticos y administradores del proyecto si se emprenden evaluacio-nes de las intervenciones comparativamente, de tal modo que una interven-ción dada se compare no sólo con la condición en la que no se realiza unaintervención, sino también con intervenciones alternativas. La valoración dela repercusión de intervenciones -múltiples proporciona más información enproblemas como de qué manera mejorar los tratamientos, solos o en combina-ción, para maximizar los efectos en cierto nivel de fondos, lo cual se estudiarácon mayor detalle en la sección siguiente.

EL AZAR EN EL ESTABLECIMIENTODE LA COMPARABILIDAD

La comparabilidad entre los grupos experimentales y control se establecemejor si se coloca por sorteo a los rniembros de la población objefivo a los grupos.Si una persona (u otra unidad) se ofrece al tratamiento o se deja sin éste es unacuestión que se decide al azar. Cabe señalar que "sorte,ar" no significa capricho; másbien, el sorteo de colocación de las personas a los grupos experimental o controlrequiere extremo cuidado para asegurar que cada unidad en una población obje-tivo tenga la misma oportunidad que cualquiera otra de ser seleccionada, ya seapara los grupos experimental o control (Fisher, 1935; Rieken y Boruch, 1974).

Como los grupos experimental y control resultantes sólo difieren de cual-quier otro por fortuna, cualquier proceso puede competir con un tratamientopara producir resultados que estén presentes en los grupos experimental y con-trol en la misma extensión, excepto por las fluctuaciones de la fortuna. Porejemplo, las personas que más probablemente buscasen el tratamiento si se lesofreciera con base en una elección libre quizá estarían equitativamente en los gru-pos experimental y control. Por ende, el factor de confusión en la autoseleccióntiende a estar presente tanto en un grupo como en otro, y no puede afectar si seobservan resultados diferentes entre ambos grupos.

De lo anterior se infiere que el sorteo es la manera más segura de obtenercomparablidad entre los grupos experimental y control. Por supuesto, aun si sepiensa que las personas sean colocadas al azar, los grupos experirnental y controlnunca serán exactamente comparables en cualquier hecho particular; por ejem-plo, las fluctuaciones en la fortuna pueden ubicar a más mujeres en los gruposcontrol que en los experimentales; pero si la ubicación por sorteo se hicieravarias veces, estas fluctuaciones podrían tener un promedio de cero. Además, laproporción esperada de veces que una diferencia de cualquier tamaño se puedeencontrar en una gran serie de sorteos es factible de calcular de modelos estadísti-cos apropiados. Cualquier diferencia en los resultados entre los grupos sorteadosexperimental y control se puede comparar con lo que se espera con base en la for-tuna (esto es, generada sólo rnediante el proceso de sortear). Así, se puede formarun juicio acerca de si una diferencia específica se debe simplemente a la fortuna osi podría representar los efectos del tratamiento. Como en el tratamiento deexperimentos bien conducidos la fortuna es. la única diferencia entre los gru-pos experimental y control, tales juicios pueden Ilegar a ser la base para dis-cernir la existencia de un efecto neto. Los procedimientos estadísticos para

efectuar tal cálculo son muy accesibles y se pueden encontrar en cualquier tex-to relacionado con la inferencia estadística (por ejemplo, Namboodiri et al.,1975; Hanushek y Jackson, 1977). También se estudiarán en relación con loscontroles espectro, reflexivos y genéricos en el capítulo siguiente.

Significado del sorteo

Es importante no confundir el sorteo, en el sentido que se le dio en el apar-tado anterior, con el muestreo al azar. Sortear significa tomar un conjunto deunidades y ubicarlas en un grupo experimental o control, mediante el empleode algún procedimiento fortuito. El muestreo al azar consiste en seleccionarunidades de tal manera que no haya sesgos para formar la muestra de unapoblación (Sudman, 1976; Kish, 1965). Se puede usar el muestreo al azar paraseleccionar a un grupo de estudio de la población objetivo y luego, por sorteo,ubicar cada miembro de la muestra resultante ante las condiciones experimenta-les o de control, con base fortuita. Aunque el uso de muestras al azar para formarun conjunto de individuos objetivo que luego se sortean para formar gruposexperimentales y control es un procedimiento altamente recomendado, enmuchos experimentos aleatorios se emplean grupos de individuos objetivo queno son el resultado del muestreo azaroso (esto es, no representa necesariamenteuna población determinada).

Procedimientos para sortear

El sorteo es técnicamente fácil de realizar. En muchos libros de texto elemen-tales acerca de estadística o muestreo se incluyen tablas de números al azar.Muchos paquetes de computadoras estadísticos pueden generar rápidamentenúnneros fortuitos. Incluso, algunas de las mejores marcas de computadoras pre-sentan generadores de núrneros fortuitos incluidos en sus sistemas. Los clásicosvolados o los dados también pueden utilizar como medios fortuitos, siempre ycuando no tengan sesgos (consúltese Riecken y Boruch, 1974, para un estudiode cómo ejecutar el sorteo; para procedimientos alternativos, consúltense Con-.ner, 1977; Goldman, 1977; Roos et al., 1977).

Un diseño típico de un experimento al azar se puede representar mediante lasiguiente modificación de la fórmula de valoración básica de la repercusión:

Efectos netos = Puntuaciones de los resultados y sus medidas después de efectuada laintervención para grupos experirnentales sorteados

— Puntuaciones en las medidas de los résultados después de la Mterven-cion en grupos control sorteados (no tratados)

+ Efectos estocásticos

Nótese que la fórrnula incluye sólo las medidas ulteriores o los resultados. Enotra sección de este capítulo se considerará lo que áe puede ganar o perder alemplear sólo medidas ulteriores o por tener medidas múltiples antes y clespuésde la intervención.

Donde:

E C2,2

E, C

168 CAP. 6. DISEÑOS COMPARATIVOS EL AZAR EN EL ESTABLECIMIENTO 169

En el cuadro 6.1 se muestra el diagrama de un experimento sencillo concontrol al azar anterior y posterior, indicando la lógica que apoya la estima-ción de efectos netos que se pueden calcular. Por supuesto, las diferenciasentre los grupos experimental y control, E — C (E menos C), contiene necesa-riamente los efectos estocásticos descritos en el capítulo 5. Por ello, sepodrían aplicar pruebas de inferencia estadística con la finalidad de estimar si,en un caso particular, E — C puede ser tan grande que probablemente no seaun error estocástico, o sea, si E — C es mayor que uno, cabe esperar fluctua-ciones en la fortuna cuando el verdadero valor de E — C es cero. Las pruebasestadísticas convencionales para antes y después de los experimentos inclu-yen el análisis de la varianza y las pruebas de t (por ejemplo, consúltense Nam-boodiri et al., 1975; Hanushek y Jackson, 1977, y Winer, 1971, para detallesacerca de la computación e interpretación de pruebas estadísticas estándar).

Cuadro 6.1. Representación esquemática de un expenmento aleatorio

Grupo experimentalGrupo control

MedicIón de los resultodosAntes del Después defprograma prograrna

E2C I C2

DiferenctaE E2C = C2 — C,

Efectos netos del programa = E — C

= medidas de la meta de la intervención antes de instituir elprograma, de grupos experimental y control, respectivamente

= medidas de la meta de la intervención después de completar elprograma, de grupos experimental y control respectivamente

= rnedidas del producto bruto para los grupos experimental ycontrol, respectivamente

Nota: El componente estocástico que representa al azar está siempre presente y puede incluir diferencias entre losgrupos experimental y control; es declr, E,— C pueden no ser cero, con base en el azar. La significación estadísticaen forma de prueba valora si E — C es tan grande para ser generado por el azar cuando el valor verdadero de E — Ces cero.

Nótese que la presentación esquemática en el cuadro 6.1 define los efectoscorno las diferencias entre las medidas anteriores y posteriores de los resultados.Mientras más experirnentos se diserien de esta manera en las ciencias sociales, noserá esencial obtener medidas anteriores y posteriores. Para algunos tipos deresultados no es posible definir una "intervención previa", como se vio en otrospárrafos. Existen algunas ventajas estadísticas de obtener medidas anteriores yposteriores; se puede tener mayor precisión al estimar el efecto cuando las medi-das previas se usen para mantener constante a cada individuo objetivo y a su pun-to de inicio antes de la intervención. Por supuesto, las medidas críticas son lasn-iedidas de los resultados de la intervención posterior para los grupos, los expe-rimentos y control.

Las diferencias estocásticas generadas entre los grupos experimental y con-trol dependen casi enteramente del número de observaciones (esto es, de laspoblaciones objeto) en los dos ,grupos y de la variabilidad en los resultados entrelas unidades participantes. Esto significa que cuanto mayor sea el núrnero de uni-dades en el experiniento, menor será el efecto estocástico y más probablementese detectará cualquier efecto verdadero de la intervención, así corno que cuantomás uniformes sean los efectos entre todas las poblaciones objeto, más probableserá detectar tales efectos. Por tanto, para intervenciones que tienen pequeñosefectos probables, los grupos experimental y control deben ser lo suficientemen-te gandes: por ejemplo, en los experimentos TARP, mediante los cuales se proba-ba la repercusión de la elegibilidad para el seguro del desempleo sobre el hecho dereincidir entre ex convictos, había cerca de 1 500 personas en los grupos experi-mentales, mientras que en el grupo control casi 2 500 eran todos ex convictos(Rossi et al., 1980) (véanse los textos estadísticos estándares para abundar endetalles acerca de cómo planear el tamaño apropiado de los grupos experirnental ycontrol; por ejemplo, Namboodiri et al., 1975; Hanushek y Jackson, 1977).

En el anexo 6.1 se clescribe detalladarnente un experirnento al azar efec-tuado con el fin de probar la efectiviclad de un programa educativo televisadopor niños mexicanos de edad preescolar. La atención del lector se dirige haciavarias de las características del experirnento. Prirnero, nó' tese que se empleóel número cle la producción total medida, de manera que se abarcaron los mul-tiples objetivos del proyecto educativo. Segunclo, obsérvese el cuidado toma-do para asegurar que el grupo control de niños no fuese expuesto al programa detelevisión. Tercero, las pruebas estadísticas se utilizaron para auxiliar el juicio de silos resultados netos (en este caso, la superioridad observada para el aprendizajedel grupo experimental) no eran sencillamente una diferencia de la fortuna. Nótesetarnbién que la medida de los resultados se tornó antes, en el transcurso y despuésdel experimento.

Anexo 6.1. Experirnento de grupos controlaleatorios acerca del efecto de un programade televisión preescolar en México

En 1971. se ,_disetiú en México un prograrna , completarriente nuevb de SasameStrcct, Ilarnado Piaza Sésarno, C ti ljéCialileñtedOtljád0 para la cultura latInoame,ricana.. F?artFiciparon edu .cadores, 2sicÓlOgIllsiqUiátráS y 'etros especiallstas en la:

asis=tir a loS Producteres de l'1112:u el) el desarrollo del programa.y - realización de los . ?studlos de naturaleza formativa para

DichOl'experirnentós se realizarPn en niñós . preescolares en, centról; de cuida-do diunió déialtiiidactde Mexico Un iotal dé 221 niños (de 3, 4 y 5 atiol : cie edad) ycle ti:.4.C.éntros de cuidado diurno clisnittoss dividleron equitativamente por edadysex(3.é,;'-s'e 3 ..signat'on 1 a ¿ar a gruPos expenmenfalA y control. Los ninos en los gru-pos Xpet imentales sieron Pictza,SéSarnd ciurante periodos de 50 n-linutos, cincodíás de lá sernana,'hasta • cjtie la serll deun total de seis meses de verlo ContiOuamentelrim mismo tlempo los niños en el gru-po connal eicron C ricatui as y etrc,s prolafiiáIti4"1001S.Owtio.;édu'éatii,os

c.nales de,, trasmisióruy en_quartos •, ePjradoS. .C E n 11- 111 n lelativarnente nuevo, ninguno,de

rtto brecha ontre los grupos e4entaldiarante los seis meses.

_control.chntinuáverecie:ndo

6 Derin o del grupo, eii.periMentalVonlbsna ej-grado de•atei4Iéi,

S("jsurno se correlájCión¿iba idositivamente „ (0:59) -en seis 'de las nueve rnedi--:- das posprueba, lb ciíaliinniicñha citic> 16S níriOís..7411é regularMente atendíanal

prograrna cle Plaza'Sé:samo adelantaron n-15-1:qüe aqn-ellos cuya atenciónera vaga

7.- Los niños experimentales con muchas ausera'cial'S respondieron rnenos biéndo

. ,pi nebas postratamiento que los niños que as- istían regularmente.

Fuente: Al pl el,. con pot mi,o L R Diar-Guorrero, Isabel Reyes - Lguncts, Donalcl B. WItzke y•:Vliásrn01 .:'H roltzrrian, SeS,I10 Jr1 N1. , siLO An JOL1/71Cli "nrnuntcutIon, ve,I 26, '

-

Anexo 6.2. Experimento de grupos contro1, aleattal ios rnediante la yaloracion de la repercusio

que tiene la palabra de honor cle un grupo de,intenent ión para conciliar en una prisión de C,alifornia

14Dura-ntela décadriMe'lbs'7r.‘7rint ibie lá (>1iforrlia--;iAdulti,Atitoiijky.,Ji-,Autoridia4.04

Ad I i l California (la a;eneia de la prisfóñ)nes estzitales un programia de un unipo cle alies'orarrfien-brivoitrUfrálo,Comel"ti.iál . Se"-'7"'intent,A-Ga ayildar alos prisioneros a cornpreVidei.--,SUIS'iñO1itratiOner.S:pár'ala;áctiii'irdad crirnMal,-mediante su participación en•-gtitOpS'-diáic.tallsejo sernanales. resu-miblerne' nte, cornprencler las rnotivaciOnes . P-..,odría 'redUtir,lá ádherenÇia aszupos,de. norMasi scmejantes dentro de 1 Prisión . y por tantiá'í•ittéjC^St.át'illihábtlidlidlpár..aackiptarse ciiicitoisarnente a la vicla de cíVil y asiténer é>tItoensitipliabra de

Los autores rec i1-1Cron permiso y apoyd.dela iagen .cia delÑprls16n de'eálifor,•nia para en-iprerider un e y perimiiiito i ecirirgittlibcbittrol aleatorios en lá nueya pri-siOin Li carcel o Cl1 n2Stiói119,e --coritpi:ida --ép , 01:;fCtilos,rhás o : nienos aislados, lo

cuales e lialdana..stinado7Para-recibii'yárias<jforrn.0 aseSQrarniento, en gru-., .. • - _

170 171

_ • • --

loS niñbs Oontrol de que vieran SL's'arno.,ep.otrO canal ctiando era trasrmhdoTiiñÓS contrOVIO había visto ante.s. Se efoctuaron effuérzos Intenscis para prevenir a

cada tade de las 18 . 00 a las 1900. horas. In4Siigaciones- posteriores efectuadasfin del experimentoirevelaron que sbi lo un pequeno nciméro de niños don-

trol vieron F7lazá,'. Sésamó_ctiaildó ,,sé-.enolitrabáfi ausente:s . detiiiii5 a étaferineducl.Enirningún caso pareCió qUe„:"el:Cli652p:éinnental estuiviese cornpriát-nétidói decualquier maera. I_a ii,i percuSIÓVi ` dé P1dib'S,_",c;rno en los ninos que lo 'edercindueevahtádá mediante unS serieclepruebas ,aclini inistraclas fndlv-Itlualineñtezsí,a

i . los grupos experimcntly;contrpl en:tres etaPás:tar antesi de,la-,Pruebalrirnediáta-mente:antes de la expb"sfCión aPlari Sésár'nuo a láS-pélicul-astiantról-; b) dárante eltratarniento, .slete semanas despues de lnlciado el experimento, y c) después de laprUeba, al finaddel experimento:

Las desercibnes fueron relatia . amente pocas. De los 221 niños que participa-,ron en la muestra inicial, 173'cómpletaron el experimento. No se puecle deduclruna desviaciOn debicla a las deSerciones. e •,

.Con el firude medlt la canildad del aprenclizaje para-wda n 'tño despties del. .periodo cle sels rneses, se emplera'ron nueve pruebas individuales. Tre's -de esas,bas;,C6nocIrnientos generales, Núme,ros y:Letras y pálabiras...constitáyén rriediclasde criterlo de las habllidacics específicarnerite .aprenclidasdurapte. .19. S. Obár- arna's dePluza Sésamb:_CincO de las otiaS p ruebas,-.,Rél •aclories, ParieS de untodti; Flábilidadpara Separar, Clasificación de babilidades y Figuras sobrepüestas éátárt inclirecta-menteirelacionadas .cOffPlázá 'gésamo, pero noson criterlds'de'rneditla'eSPecífIca.La nátieria Pruebá,. Ccim prensión . oral, no_. .tiene . réla-ción ton lás-rnetás eStablecidaspar-a F;lazá Séamo, aunque su medida tOristift.iYeurlatrnpbrtariti? habilidad cog-noscitiva vinculada con la lectura escolar entre igs ñiños preescolares.

para cornprobar•st les niríos espectadorcls deflain-SéS'brno sabían rnas o noque los niños que vieron-sólo caritatáras, se cmprendleron pruebas'estadísticas.-Enge,rteral, los iliños en el-grupo e*perlmental rnostraron mayores-adelantos ensoltición cle la prueba despues clel periodo de seis meses que los del grupo control.Lbs principales resultados se pueden resumir corno sigue:

IndependlenteMente de laedaddel'grupo; los niños que vieron Plqzcr.Sésa-mo durante‘seis meses lo hitierbn niejor.Significativarnente en pOr ld trie'noscuatro d'e las innev re pruebas de cr iiteri g-70e,. ,Orno. lo hlcieron lps niños.trol . que sOlo s, , ieron caricaturas-dúrante:éSte.perlodo.,Los mayores lnciernento'S de espectacloreSde •Plazo Sésamo..ocurt-terdn en

. las tres pruebaS relacionbdas estrecharinchté con las metas eS"ta6letidaS'Ia' raPlaia,'Sjsarno: . Conoci ñtientos :generales, NúmeroS.y' LetraSY JialabraS.-

3-. La prueba de comprenSión oral, que rio estaba relaciónucla corii .Plazá-Sása-, ttio, tarinhien reveló signifitativos adeiantos para pro•i

grarna que pará los niños del grupo cond .rol en los fres grupps4. LoS- niños de euatro cinco años n-lestraron las Mayóres adclantoái'Ver

1Pálíció2:'na sighificativamente„'de;losniños contreil'en'cinco . de losnueveS mientras que los cle,tres de.1,.g'rt1P9 exPerirnetifál„'.f0aca-

interrOgatoriois.-Las correlacionesde:pn_lebaltrepruchasidurartostra-rOn estabiliclad sátisfactoria para,cnatro4:s v cd i s-eelaSp- pisrgr Plup,1

111,..,e..rils.

-ConoCimientoS generales, Nñrrietbs,J.F.:iiguras.:sob.iitc..pucs' bilidadi.érilá:Cinco)proebas iistant es

eSa.s einco pructiaS' .; lOSpositivos favorecen. a Plaza S,i'sürno SUS 'ápectaclores. ,

;I:iNuriqueilipsiatlefai-dos maktppidos para losi:niños, é)CpjetitaientaleS set , re losrápót-tOritrcil oeurrierorvenlas prinierassiete:séroiiás :Cté ver Plü ym SiJsa-

En el anexo 6.2 se describe otro experimento de control aleatorio median-te el cual se probaba la efectividad de un grupo consejero como una rnedida derehabilitación en las prisiones de California. El grupo expetimentador aptove-chó una prisión, que se establecería en breve tiempo, para asignar a todos los pri-sioneros a uno de los dos programas o al grupo control. Las características ar-quitectónicras" de . 1a prisión facilitarori el eMierimento; hubo-cuatto . unidadesautocontinuadas, cuyas comuñicaciones 'eStaban-debidametité controladás.Por tanto, los prisioneros en cada cubículó cletedificio no podían comunicarsecon .los de los otros cubículos-respectO del Irátarnientó que habían recibido.Nótese que los sujetos del experiinento te'Séletciónaton dentro de la prisión,por lo cual se débía ejercer un gran contról sobre ellos'. Los experimentos decampo con poblaciones no institucionaliiadáscennó-objetivo son más difícilesde realizar, pues requiereri la cooperación -Voilúritaria-y el tnantenimiento de laintegridad experimental , durante tódo el tiempo; además, hay más exposicióna la interferencia por eventos externos.

p.p•IpétlüseriOkygiargles;a1n:..tiC'ecjilciálii:Se..,a11.§nif,kgrjítíliSr".COhlr,11:,a.q1.11neS,ricy,'..s á "dáría...asesoramiento y el 4(árt«Clibfc:U1O';fiieves pióbleinas nde

la'Prisión

razones d co;-1 ,

CuandOlos prisioneiol:ilelOS,InÁlds:.'éXperirnental::9,:controF-füétónliberadcist)Ijo palabras,2. exarninarojiliikOlistiol c.19: ¡ialabra'S anierloO:S.diíráríté...uri:periddodo dc,s ark, 5 paratriton cliferencias entre los. gruPó. á'e>Irt n y elrupocí u se-jero dr intervenci,5n se

En el anexo 6.3 se describe un experimento para 1..terminar el trabajo delefecto desestimulante de proporcionar pagos de apoyo a los ingresos a lospobres, representados por familias íntegras (esto es, sólo los dos esposos). Elestudio fue el primero de una serie de cinco, cada uno de los cuales variaba lige-ramente con respecto al otro, efectuado por la Office of Economic Opportunity(Oficina de oportunidad económica) y el Department of Health, Education andWelfare (Departamento de Salud. Educación y Bienestar. Social) para probarvarías formas de ingresos garantizados y sus efectos en el esfuerzo del trabajode los pobres y las personas que están por serlo. Todos los experimentos se rea-lizaron durante periodos largos, el mayor de los cuales tarcló cerca de cincoaños; todos tuvieron dificultades para mantener la cooperación de los gruposiniciadores o las familias involucradas; y todos encontraron que los pagos e ingre-sos creaban una ligera pérdida de la motivación hacia el trabajo, sobre todo enadolescentes y rnadres con niños, quienes representaron la fuerza laboral secun-daria (Rossi y Lyall, 1976).

Fuente;F'Grole NuM..-Vork, 1971..

-

Ptstjri Trecit.n, nt arict

172

173

Anexo 6.3. Experimetito del rnanterMitientodel ingreso de Pennsylvania-Nueva Jersey

-los últimps arici 'delaidé,eada ,dé toh-lesenta, cuanclo los oficiales federales

preocupado,s por . la pobreza empezaron a considerar cambiarla polítiáá del bienes-t¿Ir con el fin de prátítit:cii5ne .a,idún itillésti.ahUargatantizado para todas lasamilias;la Office of ...E .O‘p'íj. in.il''OP15.151-1.iiii(ty,'S,.7.0.fi0i,-il::d ,p. pórtu.nidad econOtnica-

14,;5(9E0)':10o.0mas triáIgrayes

de ityá. reiet-.7CC;n:tplété1-114::1141iiílfia p§li.re:s;j51.01.0:10.1'ü.rila154jeliVer est ara

reabiódo p IF,Matherna tica Inc e rh¡if dáa:.;:ide.;;Piiht0c"investigaeión,,yspdrelInStlite.fori.Res.elith:Ori.P0V,ei'ty,(Institilió:c:le:ih<ie:stigació11

la 1:),,obreza) -de Unlyerst.dacti,41;,..,W.JscRnsrn.'1,,EI:exp,enrnento.,:se.dirigT..a.,.44ljoblacion objáiyo'de farbilias

Arlázás., _

. -cuyos rlau/tOs',vai'one'S`Aiiiérzlii .entre,11b8 años •. Los ocho tratarnientos

e-ercarlos.a lo•que entonce • era elcle robreza cobitín y los runqos en los que los pagos eran ajiistados a fas per-

cepciones Tecibidá por lasfamilias por ejemplo para una familia en uno Cietratarnientos cón un ingreso caránti7iado'clé1251,Edétiiive1 de Pobreza común,algún rniernbro obterlía cutilitner gananela, la familIa pocla reciblr la canticlad,garantÍa. NO obstante,.i.4,11, an tenia un rango.,i11impuesto del 50`,X, y algúrrrniernbro de la farnilia re'cibfa el ..ingreso ganado---, érti—á§li.".débiP:teducirse a u na Prc>

centavol'dé:: .d610.',...10r:.Cád4ll•!ciálar ganado;:ihasta que ios pagós9. Otro tratamiento consistia et3.:1.14gps déli .n. ip .uestos qüe varibban

de la línea dep ron nrn,

:

a uffidacle4.,. 1,111;3¢isey y en unacárritirit. dad :dé,PenksyliVatifa`.S .e' eóf41 _tifieadás . a-laS éjé'jible.S.., Las familias iderififitacia„S fueron - 10"itadaS -1..participar des-pués , de lograr un conu sOlo las faritília::.11.dilii"-i.Stil_i.it.'4IrZá...c.:44'npói-expertsinéritals:y"repOrtaban sus ganancr4.9, • eStablecidas..,

• indlcaban leghilidad para transfercnCla cle pagos, se en yiába un cheque por correoa la

Las familias fueron entrevistacias con gran detalle antes de su allstamiento-.en el ptOg,rarnrflrfirlai decada trilülStie . :440'101, áflos dele':-.:perirnento. -Estas entrcuistall4Iniaron- emPleó, las ganan

el . C.onsurno, la'salud y:Yarias mudidas ps1cológlc socialos Despti -és se10syciatcy.s jütito.cCin jos reportes.:.delnItes41:iiioiris." uatés, corr el fin de

detertninaliMiquiene- S • reciljían pagos.cle. •C.'úáltlül0a0TICIVZ(..411iiii .huían . sus esfuer.zosen trabajar .(rnechdo.e,rihoras por trabajo) . en relaciórrcon las faniilias compa-ralles de los gruPos control. . ,

Atmque se ,seleccionaron inícialnlente cerca de 1 300 ,familias, para el finatciel expetünento.el 22 había dejado de cooperar Otros habían perdido una o _mas entreviStas - 0,deser ta dó, delde 700 purrnanecieron iSard rtic".ipantes continuos.

1,7J. f,n, The NeLL , Inceme Mairitcrwncev6I. 1, Aelde'ruie. u u Volk. 1976. • '

En detrimento de su eficacia para permitir conclusiones válidas acerca de losresultados netos de las intervenciones, los experimentos aleatorios aún cuentancon una pequeña y relativa proporción para valorar la repercusión. Las conside-raciones políticas y éticas pueden retardar la aleatonzación, sobre todo cuando laintervención no puede ser manejada (aunque la idea de experimentar no excluyela entrega de algún tratamiento alterno al grupo control). Independientementede los diversos obstáculos para evaluar el diserio del sorteo, existe un consensohácia su realización (Cook y Carnpbell, , 1979), una bibliografía creciente acercade córno mejorar las oportunidades de éxito (Bennett y Lumsdaine, 1975; Riec-ken y Boruch, 1974) y una documentación en aurnento en cuanto a su factibili-dad (Boruch, 1975; Campbell y Boruch, 1975; Boruch et a ., 1978). Algunas delas condiciones que facilitan o impiden emplear expenmentos aleatorios paravalorar la repercusión se estudiarán en la última sección de este capítulo.

174 EL AZAR EN EL ESTABLECIMIENTO 175

Sustitutos para la selección • aleatoria

.Aunque el azar Médio más segurdpara Seleccionar grupoS ,,control yexperimentalesequivalentes; . algunos métod.os.Iarnbiéniiiiieden satisfacer el cri-terid de equiValériCia.-La: . SelééCióná iri sé sgd(rió . cónfundir con el SeSquqUe setratd len el capítuló 4) .réquiere lá PrObabilidád'de que Ciiálquter indiVidUaSelec-ciónadó nara'él qrtiPd cóntrao bara él : eXPérirnentat térigai .ina" rneiribrekla : idén-

. .tica . paralódos los objetiVoS ..én..el. estudio. ...CórrespOndientemeritei la s eleccioncon séágo.óciirre CUaliddalgilnoS individuos tienenúria.altl .d..un.a.m.enór próba-

.

bilidad de ser selecCipnadós . . pará lóS'd4rerités grápoS; • • . • •- • •La asignación ., siStemátiCa,.:de una lista seriada suele cumplir los rniSmos

fines . que la .aSignáción'aleatória; cbn el . 'supúeáto. de .cffie la liSta.nó . esté ordena-da dela misina Maneraqúe los restiltádds'del seSqp;' .por.- éjemplo,:al i ubitár':a losestudiantes . dé . sectindaria en .grüpós eXpérirnentalés iy cóntrol;rse podría:objetar. . . .poner a todóSiós queteriganlétraS -,121:nones ,en .los.,.gruPós:exPerinientaleá y atodos IOS que .tengan'IétraS.DI:par . enló S'qrup:OS contról. Desde luegó; tórno losnúineról- .nd:.sé .aSigriardri . óriginalinénte 'para . diférenCi.ár • .a...los. • estudiantes"nón eS" de . IdS.. .eSindiantel'"¡Saiét" .;'él iéSnliadd. puédé ser el triís'i-nd.(átádística-mente) qu. e para la-asignaCiónhécha.al a.zar; sln . embárgo, si pcir algún MotiVO laesciielá 'en CUeStión• did " 616. 1aS létraá'bI l.:Vío.' n—és . 'á.eátUdiantes • del . seXO fenienino,

. .. . . . ,resérvando las parespara1Os. v.aróries,.éStadeSviación sisterriáti .a. pédría relUltaren . grUPós. eZ.Peritrientalé.S ..y...Córittót de.diferente.CóMpósiCión.s-ekuals,Por:tárito,antes de usattaleS ProCediinientos . deseleCciónlisternátiCa . es neeesatio entender

córrio. ta. .agenCia:qtieelaboró la lista llevo a cabo la seriación; • • •.-kinenudó,11. staSeriórdén .derioblaCionés- objeid pUedengenerar .desviacio-

neS sutiles difíCileSI .de detectar;.p. or .ejempló, una .111ta-alfabetica . ptiede-tentar aselécCiónar a tódás— las-.-beiS.dnat ::óuyol ,apellidos'Pa tertiOS'cOmieriCen cón DparalóS . qrtipos. exPerimentalés y...a aqüellas. :CuyoS apellidós Seartéori H cómocOntrólf Eri'xina• ciUdáddel áté,.'esió . riódría ler'iiria'Serec—Ción'›desv'iada.

• rnenté:'mtióhOs . nómbres. franceSes . córnienian'cón : la létra . D (Pór ejernploDeneur) -; mientras ,.qttecasi no existen.nombres hispanos...que Comience.n con laletrá H. Las lisiaS:nuinerada.S:revelan .frecüentemente desviationes réspecto dela, edad: comalo.SgObiernós:federales aSignan •Secuencialipente los. números delséguro social,'aquellos .,cón les niírnerOS rnektóre'sOn - génte de Más edad que

. quienes tienen los númerps inás altos (consúltese Sudman, 1976, para conocermayores precauctones.,por ,p?niAr ..en las .estrategias de ,selección, sistemática).

En algunas;,.ocasiones,'• la. lcasualidad'.ocurre: "naturalrnente"„jparaalqunasintervenciones sin,planificacióniales situaciones se pueden considerar equiva-lentes a un ,experimentp .aleatorici...Un.éjemplp .de .unéStUdio. proPUesto de :losefectos.de ,laSinundációnéSinuestra úri "„verdadero" eXPerirnentóaleatório cau-sal: Ips ingenieroS,en hidrOlogía,hábían . rnarcado • los„planos delntindaciórt de la. ....... . ,mayoría delos:ríos, en.reglones caracterizadas porel tierripo esperadoderetornode una inundación, be.esta,.iorma, los planos de.inundaCión para.,cada 10 arios„ . . _ . .señalaban . aquellas?regióneseriel.cauCe..cle un :.rip,enlas-que Se.esperaba,que,éstasocurriesen. ,cada-10 . añosen prornedio„ ,Aunque,cáda,año lasáreas dentro del pla-nd.de inundaciónde:Cada-:10. años ...Ienían,urtay.oportunidad entre, 10 ..de eXperi-mentar Una inundacion si oCurríaló nó unainupdación .:e.n. .: .un,punto.dado..en unañó espe.Cíficos. e . podría cónSiderar:u.neventO;de la.casualidad,,Los.vecindarios

cercanos a los planos de inundación se pueden dividir en "experimentales'',aquellos en los que las inundaciones ocurren, por ejemplo, cada dos arios, y en‘`controles", aquellos en los que no ocurrían inundaciones. Lasdirecciones decrecimiento en los dos grupos comparan luego para descubrir la influenciade las inundaciones en el crecimiento de los índices de población y vivienda.

Por supuesto, las inundaciones son eventos quesepueden definir como origi-nados por el proceso natural específico. Como-este proceso no "selecciona" unplano de inundación más que otro, las inundaciones se consideran, para el propó-sito de este libro, como eventos azarosos. La validezde este enfoque dependeprin-cipalmente de si los ingenieros, marcaron de modo . correcto o no los planos paracada 10 años. Tales mapas se basan; principalmente, en las direcciones históricasy, ,parcialmente, en el conocimiento de cómo los ríos fluyen en ciertos terrenos.Con todo y esto, los planos de inundación están sujetos a algún error.

Si los eventos naturales o no planificados proporcionan o no los sustitutosadecuados para los controles aleatorios, se debe estimar con un escrutinio mi-nucioso acerca de las circunstancias de esos eventos. Si existe cualquier motivopara sospechar que esos eventos probablemente afecten a algunas unidades (comopersonas, comunidades, etc.) más que a otras, entonces las condiciones para un"experimento natural" no existen. Por ejemplo, las comunidades que tienencomplementos de agua fluorados no se pueden considerar como un grupo expe-rimental para ser constrastadas con . los que no la tienen, pues las adopciones deun sistema no se pueden estimar como eventos aleatorios en el sentido empleadoaquí. Asimismo, las familias que han.comprado vivienda en el pueblo no puedenconsiderarse como controles apropiados.para quienes han comprado casas inde-pendientes, pues el mero acto de efectuar tales compras es un indicador de lasdiferencias potenciales entre ambos grupos.

Estrategias en la recolección de datospara efectuar experimentos aleatorios

Aunque en ciertas condiciones se requieren las medidas posteriores de losresultados (véase el anexo 6.2), las medidas de los resultados anteriores y pos-teriores generalmente se consideran mejores. Dichas medidas incrementan laconfiabilidad de la medida y proporcionan más información acerca de la cual sep3.1eden hacer estimaciones de los resultados netos. Las medidas tomadas antesde que comience una intervención proporcionan estimaciones de los estadospreexperimentales de los sujetos al experimento, las cuales son útiles para ajustara los grupos experimental y control y para medir cuánta ganancia fue productode la intervención. Por ejemplo, las medidas de la intervención previa respec-to;dé las ganancias de grupos experimental y control en un proyecto de reentre-namiento vocacional, proporcionan mejores estimaciones acerca de cuántaganancia se obtendrá como resultado de entrenamiento y, al mismo tiempo, ofre-cen una variable constante en el análisis de los resultados.

Las medidas periódicas tomadas durante el curso de una intervención tambiénson útiles; tales series permiten a los evaluadores ver cuánto de la intervención fun-ciona. Por ejemplo, si un programa de reentrenamiento vocacional producemuchos de sus efectos durante las primeras cuatro semanas de las seis de duración,el acortamiento del periodo podría abatir loS costos sin alterar seriamente la efecti-

176 CAP. 6. DISENOS COMPARATIVOS

EL AZAR EN EL ESTABLECIMIENTO 177

Ç.

vidad del proyecto. Asimismo, las medidas múltiples y periódicas quizá permitancomprender por completo cómo los grupos objetivo reaccionan a los tratamien-tos. Algunas reacciones pueden ser lentas al princípio y aceleradas después,mientras que otras pueden ser fuertes inicialmente y de pronto caer a niveles deintervención previa; por ejemplo, la respuesta a los límites de velocidad de 90 kmpor hora tuvo un inicio de disminuir la velocidad y su promedio en la rapidez,seguida por un retorno gradual a los promedios de altas velocidades. Ser capazde trazar las reacciones a la intervención permite al evaluador mejorar los trata-mientos para una efectividad más cornpleta.

Para algunos tipos de intervenciones, sólo están disponibles las medidas deintervención posterior (como en el experimento de los consejales de la prisiónde California, descrito en el anexo 6.2). Asimismo, un programa diseriado paraayudar a estudiantes pobres de secundaria a asistir al colegio sólo se puede estimardefinitivamente por el hecho de si el grupo experimental asiste a la escuela conmás frecuencia que el grupo control, una medida que sólo se puede tomar despuésde la intervención. Sin en-lbargo, si se hacen a un lado estos casos, la regla generalestablece que cuantas más medidas se puedan efectuar antes y después de la inter-vención, la estimación de los efectos netos se medirá mucho mejor.

De lo anterior se infiere que existen dos razones para tomar muchas medidasantes, durante y después de una intervención: a) cuantas más medidas se tomen,menor será la no confiabiidad de las medidas compuestas y b) cabe esperar quelas intervenciones tengan su efecto después de terminadas: por tanto, las seriesde tiempo (véanse los capítulos 5 y 7) puden permitir a los evaluadores recons-truir las formas de actuar de la intervención.

Experimentos aleatorios complejos

Varios de los ejemplos dados en párrafos anteriores (véanse los anexos 6.2 y6.3) son pruebas de diversos tratamientos considerados simultáneamente, unaestrategia que mejora de modo significativo el valor de los hallazgos. En el expe-rimento de mantenimiento de los ingresos de Pennsylvania, Nueva Jersey se pro-baron ocho tratamientos, cada uno diferente en la garantía del ingreso y en loscastigos en forma de impuestos sobre la ganancia de los miembros de la familia.La variación entre cada tratamiento se incluyó en el experimento de manera quese pudiera probar la sensibilidad del esfuerzo del trabajo en varios grados deincentivos negativos resultantes de cada pago. Una interrogante de la evaluaciónrelativa fue si el trabajo respondía o no al pago y si podría variar con la cantidadde pago ofrecida y en el grado en que los ingresos se redujesen con el pago ofreci-do. Asimismo en el experimento de la demanda de la habitación disponible (Ken-nedy, 1980) se emplearon 23 grupos experimentales. A cada grupo se le ofrecióun subsidio diferente. Algunos de ellos requerían a las familias que obtuviesencasas que cumpliesen ciertos requisitos, mientras otras que simplemente fueronrebajadas a las rentas condicionadas al pago de renta en los mercados de valoresactuales o más altas.

Los experimentos complejos junto con los anteriores son especialmenteapropiados para probar nuevas políticas, pues puede no ser evidente qué forrnaexacta de política nueva tomaría. Aquí, las pruebas a las variaciones pueden ofre-cer información que perrnita guiar el programa hacia la efectividad económica,

por ejemplo, en el experimento para la demanda de la vivienda disponible -sedemostró que cuando se relacionaba la disponibilidad con la ocupación de casasen renta que cumplían ciertos requisitos se reducía considerablemente la partici-pación; en consecuencia, sólo cerca de un tercio de familias elegibles recibleronsu pago. También, las simples disminuciones a las rentas (los pagos equivalen aalgún porcentaje de renta pagada) perjudicaban a aquellas familias que eran cui-dadosas o afortunadas compradoras de casas y ocupaban domicilios "oferta".

En algunas circunstancias, cabría mostrar preocupación porque los métodosconsiderados para administrar un programa nuevo pueden comprometer seria-mente el tratamiento que se prueba; por ejemplo, en el experimento del grupo deterapia de la prisión de California (anexo 6.2) un evaluador sería capaz de antici-par que el uso de guardias de la prisión como líderes de los grupos de terapiapodría haber mínado el valor de la intervención. Esta posibilidad se podría pro-bar mediante un tratamiento experimental en el que se empleara a terapeutasentrenados ajenos al sistema de la prisión. De hecho, si en el diseño se hubiesecontemplado este componente, las críticas posteriores acerca de que el diseño noubicaba el problema de la efectividad de la terapia se pudieron evitar.

De la misma manera, los experimentos de impuestos a los ingresos tan nega-tivos fueron criticados (Rossi y Lyall, 1976) por requerir informes de ingresosmensuales para cada familia participante. Como el sistema de bienestar social norequiere informes frecuentes de las familias que reciben los pagos, la estipulacióndel experimento parecía contener criticas porque requería más que las regulacio-nes del bienestar social cornunes, y se le catalogó como una "prueba" estricta ypotencialmente sin valor. De nuevo, si los evaluadores hubiesen proporcionadoun grupo experimental que actuara de acuerdo con las reglas del informe ordina-rio de los ingresos, las críticas se pudieron haber evitado.

Por supuesto, no se pueden realizar indefinidamente tratamientos experimen-tales para probar situacíones relacionadas con los programas propuestos, sin tenerun grado de restricciones. Algunos evaluadores han propuesto el concepto deespacio político (Kershaw y Fair, 1976) como una regla para determinar las varia-ciones del programa que podrían estar sujetas a investigación. El espacio políti-co, como se señaló en otros párrafos, incluye las alternativas del programa que esprobable se acepten políticamente, si los propósitos son efectivos y luego los con-sideran los políticos y administradores para ampliar la ejecución.

Los experímentos debe centrarse principalmente en las variaciones del pro-grama que son claras para el espacio político definido por los políticos y adminis-tradores, tal vez con más amplitud, pero no demasiada. En el experimento demantenimiento del ingreso, los requerimientos de elegibilidad no incluyeron afarnilias de estudiantes de tiempo completo en los campus que el Congreso pro-bablemente hubiese hecho inelegibles, aun si se estima que sus niveles de ingre-

, sos podrían ser inferiores a los del nivel de pobreza. Tampoco pareció probableque los experimentadores en la demanda de vivienda hiciesen elegibles, median-te la disposición de viviendas, a los propietarios de casas.

Limitaciones en el uso de los controles aleatorios

Independientemente de lo atractivo de las características técnicas de losexperimentos aleatorios, existen limitaciones para emplearlos en la evaluación

178 CAP. 6. DISEÑOS COMPARATIVOS ESTUDIOS NO ALEATORIOS 179

de programas sociales. Los diserios aleatorios se formularon inicialmente parautilizarlos en el laboratorio o en el campo de la investigación agrícola, y se pue-den adaptar a los programas sociales con sólo algunas dificultades.

Primero, los experimentos aleatorios no son muy fructíferos en las etapas ini-ciales del desarrollo del programa. En tales circunstancias, frecuentemente esnecesario cambiar las características de un programa con el fin de perfeccionar eltratamiento o su entrega. Aunque un experimento aleatorio se puede adaptar atales cambios, se pierde algún grado de precisión y se dificulta el análisis finalpara saber cuál de todos los tratamientos o de sus combinaciones produjo losefectos observados; por ejemplo, en un programa que comienza con un grupoterapia y finaliza con consejeros individuales, es difícil decir si un tipo u otro detratamiento produjo los efectos observados. Por tanto, los experimentos de cam-po, longitudinales y costosos se reservan para probar tratamientos diseñados fir-memente. Una serie de experimentos aleatorios en pequeña escala se podríarecomendar para desarrollar las etapas de los programas sociales, como en losesfuerzos ejemplares de Fairweath-jr y Tornatzky (1977) con respecto al diseñode casas de media distancia para gente interna en hospitales para enfermos men-tales dada de alta.

Segundo, algunas personas tienen escrúpulos éticos acerca de la aleatorie-dad, y la ven como una manera privativa arbitraria y caprichosa para privar alos grupos control de los beneficios. A menudo, el razonamiento de tales críti-cas es como sigue: si resulta valioso experimentar con un programa (o sea, si esprobable que el proyecto ayude a las poblaciones objeto), constituye un perjuiciopositivo limitar los servicios a algunas unidades. Hacer esto no sería ético. El con-traargumento también es obvio: por lo común no se sabe si un tratamiento esefectivo; de hecho, por esta razón se desea experimentar.

Algunas veces, una intervención puede mostrar alguna posibilidad de per-juicio positivo, y quienes toman decisiones deben ser parcos para autorizar elsorteo sólo en esos grupos; por ejemplo, en algunos de los experimentos reali-zados para valorar las utilidades hubo la oportunidad de que se incrementaranlos bonos utilitarios de los poseedores de casas en algunos de los grupos expe-rimentales. Al calcular este argumento, los diseriadores del experimento pro-metieron a los poseedores que sólo se reembolsaría el incremento después determinarse el experimento (desde luego, este reembolso cambió el carácterdel tratamiento y posiblemente alentó el uso irresponsable de las utilidades).

Tercero, en muchos-de los experimentos a gran escala se usan pagos dedinero (por ejemplo, los experimentos de impuestos a los ingresos negativos ylos experimentos de la disponibilidad de vivienda). Con tales tratamientosestandarizados y de fácil entrega, se puede estar relativamente seguro de quela intervención experimental será similar a la de un programa totalmentepuesto en marcha, pues existe sólo un número limitado de modos de verificarque se entregue; sin embargo, para intervenciones de labor más intensiva yaltas habilidades (servicios de acomodo de trabajo, consejeros, enseñanza y simi-lares), los tratamientos dados en los experimentos de campo probablemente seproporcionen con mayor fidelidad a las intenciones del diseñador que cuandose ralizaron como programa. De hecho, el real peligro del deterioro en la pues-ta en marcha es una de las razones para verificar los programas, como se vio enel capítulo 4. Además, tal posibilidad es argüida por lo rnenos dos veces en los

experimentos: en la primera, los tratamientos se prueban en su forma más pura,y en la segunda, los métodos efectivos de la entrega de servicios se prueban ycomparan por medio de las agencias públicas.

Cuarto, los experimentos aleatorios son costosos y consumen mucho tiempo.En general, no se deberían emprender para probar programas que nunca se analiza-rán y que salen de cualquier espacio político concebible, ni deben realizarse cuandose necesita información rápida. Para subrayar este último punto, cabría señalarque el experimento de mantenimiento del ingreso de Nueva Jersey, Pensylvania,costó 34 millones y tardó más de siete años para diseñar los hallazgos publicados(Kershaw y Fair, 1976).

En resumen, los experimentos aleatorios de campo se reservan mejor paraprobar servicios que se pueden estandarizar y transferir fácilmente a las agen-cias operantes.

ESTUDIOS NO ALEATORIOS:CONTROLES CONSTRUIDOS

Cuando los diseños experimentales verdaderos o aleatorios no se puedenejecutar, el evaluador debe escoger una o algunas de las combinaciones de losprocedimientos para aproximar la equivalencia de los grupos experimental ycontrol lograda al sortearlos. Estas alternativas se refieren, genéricamente, comocuasiexperimentos (Campbell y Stanley, 1966; Cook y Campbell, 1979). Estetérmino no implica que los procedimientos descritos sean considerablemente in-feriores a los experimentos aleatorios controlados y, de hecho, se,an inapropiadospara valorar la repercusión. Ciertamente, sin el hecho de sortear, la equivalencia,como se describió en párrafos anteriores, no se puede establecer con tanta certeza.Siempre permanece la posibilidad de que el resultado de un programa realmentese deba a una variable o a un proceso que no se ha considerado explícitamente enel diseño o análisis; sin embargo, los cuasiexperimentos efectuados de maneraapropiada pueden brindar información acerca de la repercusión que esté libre dela mayoría (si no de todo) del proceso de confusión mencionado en el capítulo 5.De hecho, los hallazgos de un cuasiexperimento bien ejecutado y de su diseñopueden ser más válidos que los de un experimento aleatorio ejecutado deficiente-mente. Más aún, los cuasiexperimentos pueden ser el único enfoque factible enmuchas circunstancias.

Grupos control construidos

En los enfoques de selección de los controles construidos, el evaluadorIntenta identificar y seleccionar un grupo de individuos objetivo potenciales,comparables en los aspectos esenciales con aquéllos expuestos a tratamiento.Varios ejemplos ilustran el uso de los grupos control construidos o grupos decomparación:

En un intento por valorar los efectos que ejercen los complementos nutritivos enel intelecto funcional de los niños, aquéllos se dieron a todos los niñós en algunasvillas, mientras que en otras villas donde no se administraron tales complementostambién se hicieron observaciones (Freeman et a/., 1977).

180 CAP. 6. DISEÑOS COMPARATIVOS

ESTUDIOS NO ALEATORIOS 181

Para valorar la repercusión del entrenamiento de la mano de obra de desem-pleados, las historias subsecuentes de trabajo de los participantes en el programafueron comparadas con las de los parientes y vecinos de los participantes que tam-bién eran desempleados. La racionalización para utilizar a amigos desempleados delos participantes fue que tales amigos probablemente eran de la misma edad, de lamisma localidad, tenían actitudes similares, tal vez motivaciones parecidas de susamigos participantes y, de hecho, eran similares a los participantes en muchosaspectos pertinentes al programa de mano de obra (Main, 1968).

En un estudio de los efectos de asistir a escuelas relacionadas y subsidiadas por laiglesia, los católicos que asistieron a tales escuelas fueron comparados con un grupocontrol de católicos que habían asistido a escuelas subsidiadas por el gobierno (Gree-ley y Rossi, 1966).

La fórmula básica para valorar la repercusión, mostrada en seguida, superfi-cialmente se parece a la mostrada para experimentos aleatorios, sólo que estasimilitud superficial enmascara importantes diferencias:

Resultado neto = [Resultado del grupo en el programa]— [Resultado del grupo de control construido]+ [Error estocástico]

Si funciona o no esta fórmula depende sobre todo de cuán estrechamente elgrupo control construido se asemeje al grupo de la intervención en todos losaspectos esenciales.

Un grupo control construido de distritos agrícolas, diseñado con el fin deconcordar un conjunto de participantes del distrito en un programa para incre-mentar el uso de fertilizantes, puede diferir del distrito en el programa de unavariedad de formas difíciles de detectar. Aunque los grupos control construidosde los distritos pueden concordar con respecto al promedio de lluvia, al tamañopromedio de la familia en la granja, a la cosecha plantada y al promedio de capi-tal invertido en equipo por familia, pueden existir otras diferencias (casi desco-nocidas) relacionadas estrechamente con la producción de la cosecha. Algunosdistritos que participan en el proyecto pueden ser más "progresivos" en lo refe-rente a las innovaciones (o que simplemente tienen mayor propensión a correrriesgos). En el grado en que los voluntarios de los grupos proyecto (o que sonescogidos como voluntarios por los oficiales) estén en el grupo de intervencióndel proyecto, el proceso de autoselección puede funcionar de manera que tiendaa encubrir o mejorar los efectos del proyecto, como resultaría al calcular median-te la fórmula anterior. Como argumenta Cain (1975), es esencial que el procesode autoselección sea investigado e incorporado dentro del modelo de análisispara asegurar los efectos del programa (consúltese también Heckman, 1980).

La autoselección no es el único elemento posible dédiferencia entre el grupode intervención y el grupo control construido. Los administradores encargados delproyecto pueden hacer la selección y maximizar la oportunidad de mostrar losefectos positivos del proyecto mediante la selección de distritos que, por su propiaexperiencia, saben que más probablemente adoptarán con estusiasmo las nuevasprácticas agrícolas. En tales casos, los efectos, como se calcularían mediante lafórmula mostrada anteriormente, podrían sobreestimar los beneficios potencia-les de la producción de la cosecha, del programa diseñado para incrementar eluso del fertilizante.

Proyectar un control construido apropiado no es una tarea mecánica(Cook y Reichardt, 1976). La base para tal construcción es anterior a la com-prensión teórica y al conocimiento del proceso social en cuestión. Tal conoci-miento instruye el evaluado acerca de cuál es la manera específica en que ungrupo control construido debe tener semejanza con el grupo experimental; porejemplo, con base en el conocimiento anterior acerca de los factores que afec-tan la producción de la cosecha, se podrían seleccionar los distritos agrícolas deun grupo control construido al estucliar un proyecto diseñado para efectuartales producciones. Asimismo, si hay interés en estudiar los efectos de un pro-grama para incrementar la competencia de estudiantes de secundaria, el cono-cimiento anterior se relaciona con las características de los individuos y losescenarios que afectan al aprendizaje y si se podrían ernplear para construirgrupos control apropiados (por ejemplo, la medida de la inteligencia, anteceso-res, el sexo, la edad y la organización escolar).

El conocimiento necesario para construir los grupos control se puedeobtener si se lee la bibliografía publicada para áreas adecuadas y sustantivas.Un evaluador en educación debería consultar la bibliografía acerca de lo queafecta el aprendizaje en esas áreas sustantivas; la bibliografía acerca de la ferti-lización se debería consultar para cliseñar un estudio de una campaña de plani-

Igualacion

El procedimiento empleado para seleccionar los grupos control construidosse ha referido con-io el método de igualación o equiparación. La igualación sepuede complementar mediante la selección de grupos que se asemejen en suscaracterísticas apropiadas mayores con las del grupo expuesto al programa; porejemplo, si los niños de una escuela particular son la población objeto que partici-pa, el grupo control construido deberá ser una o más de las escuelas cuyos perfi-les demográficos de los estudiantes reflejen los de la escuela participante (véaseel anexo 6.4).

Una alternativa es seleccionar de una o más escuelas aquellos niños que sean, imilares con los participantes objetivo. Las opciones son los individuos o laigualación agregada. En la igualación individual, la idea es encontrar un "com-pañero" para cada estudiante objetivo, del conjunto de estudiantes no expuestos;por ejemplo, si la edad, el sexo, el número de parientes y la ocupación del padrese estilnaran corno las variables adecuadas, la lista de niños no expuestospodría ser motivo de escrutinio con el fin de localizar el más cercano equivalen-

ficación farniliar, etc.Debe tenerse cierto cuidado al constituir grupos control mecliante el empleo

de cualquiera de los factores mencionados en la bibliografía científica apropiada.Usar sólo algunas variables para seleccionar los grupos control construidos nosuele ser eficaz, ni necesario. En general, los candidatos para integrar gruposcontrol construidos y sus características tienden a estar interrelacionados estre-chamente. Si se seleccionan grupos control para una intervención educativa conbase en las medidas de la inteligencia, también se deberá incluir un grupo controlsobre los antecesores, pues la inteligencia y el parentesco tienden a esár relacio-nados estrecharnente.


183

te para efectuar el pareo. El criterio de cercanía se puede ajustar para hacer laigualación posible; por ejemplovla igualación entre los niños expuestos y noexpuestos está dentro de los seis meses de edad, aun si se supone que unapequeña diferencia en la selección de pares puede ser más deseable (para unejemplo de la igualación individual, consúltese el anexo 6.5).

AnexO 6.4..Uso'de controles conStruidos enlademostráCión.„del- doáitneáto fiadár. de eduCae.164.

"La'.-demostracion del documento ladeilde'ldriCactórise

ceptos de ia libre ernpresa .en, el picideS6,-edu¿aliVoBajó eICOnceptó déliió6urrient6 •',

fiadorf,LOs padres eligen lit4érriente una escuela pai-asus hijos'y reciben tin creditá odOcurtíá'to fianza euivaIente al costo de la -educación del niño qUe'es-Pagada-direc,

--tarnente:áltaeScüela,bajo,liStadS:e suPtrso que esta fOrma de financiar la edúcáCióripOdría alentati1IC-ornPetencia entre las , e§cuelálitriefórát- la Calidaddela'iedúearet6i0,.,

bacer_a I aS'eSctielals más respOnsables,r,esPICió de láS,necOdadll'detés. Sin -embargo, en una evaluajón eftenia hulciala la conclus1ón del •

-'escolar se ,encOntrOmna jaérdtdarelativa'cle(CapaCidad pará la lecturá ,en estudiánteseis esCúelás . públiCasiclíe•Participaron cr( .143cmostracIón:del:'clocumento fiaddr.

El pref;ósitó de'eSte -eSitUdio fué -reexarninar escis hallazgosl4de el primer anb de ladembS'iracióndei'd&u«inento flador. ' , '

Se diseñó un grupo-controLeonstruiclo eorño stgire. : Las escuelas fu'erontrés Jru Lp-os: a) eScUelas fiadói-,cOn :="unár -orientIción.,4cadernica traclicio -

nal, „

brecuela's flador con una orientaCiÓn.ifirioVattsia,1:.1):0,teitélasnO',fladóraS,de; comparación,'La escuelas de cOMparación se selecciónaron dkí:'10.rnisrhos

,toS y fueronicórnia'a'rábleS en terminoS de composición étnica si,sóCioeconórritcá,' estatus 'del blénestar social; etc,Los . rnarcadOres d análiSTs de la-gánarielaanúlisis de l la vártánza se érnplearonpará.estudiar‘ loS datós.

-can que .eLdetérioro en lós efeetbs,de lecturá de la-demostraciOn.detdocurhentofiadOr'elinnitabari ásólo unas pocas escuelas'Con Prograrnas de .caracteríStIcaS

_tradiCidnale4; -con.curtícu19npvad-

Fuente: Ada pta J.r., clv P titóit'llart.7 , R éle haidt 'y R- G . St , P terre'll'he'fIrst Yeia' r of the EdilciblIr

,-,

Dc.n Vouciter D'en-lostratiori • A 5162inciarij'AitoiStütleiitWthléVélníiripT zesj,:én Ethaluati

t Quurf erty, ralm..2'. una'yo . d.ez 19711't '''',?''''r, - • - ,. -.; - - c,.,:t1.1.,...:11:1-. , ...-_ ......

AneXti-6:5:-Tvaltiation de los efectos de la Vivienda_Pub, lica medtan'te'„eV,etnple0 ,,dé,,grupól:, control consfrilidp

te',Icu'41expertmenteG-se dlset para, vato-rar,„ :repWcirlmtidarle . á":VIVIelidas'01511C:as de buena calidadde:barrióS1Tajos, en:la familia,, .salud„ellogro estudiantil,' las obten .ciones ocupaclonales,yja satisfaCción , de la-

Los,autores aproveeharon la aperturade un nueVo:proyecto cle vivienda enBaltimbre.y , escogieron farniliáS-Y;qtré'i-fiUdiesen ser:-Confrontadas res- p)ecto de 26, -¿aractelísticas y qué, fueron zldrhitidag ,-efi-elmuevo próyeCto de vivienda, con fami--.

lias.,c-le la lista dgespera queno serían ad ltidás, En el progtama del proyecto devivienda sé adrniberon'396 famillas y 633 flieronhiPOá r dontro} construldos: en" et -,: 1

excedente se anticipabá un rango de desgaste alto entre laslamillas control, : - I-:,'1,1 . To:clas.las farnillas - fueron entrevistadas 11 veCes entre 1955 y 1958',"Erila,11:17,,,‘F, entrevistas se incluyeron inventarios de enfermedades expe.rimentadas por las famP..11,,

lias,' SU ajuste sociopslcolágtcofy el desempetio en-la escuela de los nIllos eri eda . 'escolar. Además, con laslárnillaS participantes y con las contiorsereallzó uná entre ;-,

„„Ita iniciaLantes de la adinisión_al proyecto de . viviencla pública,::,,,-,.',„;„. _

,S ,Sólo Se'.encontraron diferenclas men'ores entre los partIcIpantes t,ilos gru, ,..,c9ntrol:lOs dela vivienda pública estában Mas satIsfechos con su casa y querían

-,kz-s.,..,,:.::::::,,ype.. ro habíatif.efectos dIscernibles., ,, a, un:7 .e.,,p7os, re,spe:c .t0 de,lv.1,3,'enfermedad . o la aetuaclón d los niños eri la escuela.'-', -':,, ' ''' -. ' - —

,

El segundo enfoque es la igualación agregada. En este caso, los individitos noson confrontados, sino que la distribución total :de-cada variable confrontada sehace corresponder entre los grupos . experiMental y 'control. La misrña lpropor-,ción de niños por edad y sexo se podría encontrar en los grupos experimental yde comparación„pero para , obtener el resultado sé incluyeron a una niña de 12años y a un niño de ocho con el fin de balancear la distribución agregadadel gru-po experimental, en la cual se incluyó a uriniño de 11 años y a una niña de nueve(véanse,los anexos 6.6 y 6.7 para ejemplos de igualación agregada).

••••••:•.• •

'Anexo.6.6. Evaltiaci6n:dé,laen El' Salvador mechante el empleo , de grupos , controtconstruidosIde:, ,confrontación agregada

rdlo -P-Como parte de un ProyeCto de la reforma educativa el sistema escolar ›eri

Salvador decidió incluir la televisión Instructiva effiros ,grados séptlmo a noverip_ - ,, Para evaluar él efecto del'proy'ecto sobre el aprendlzaje, un tornité mixtcidinvestiládofils:idk .E. I SalVadói.:.y,d,O,UniVerSIcla.etde Stanford admInistró prxtbas acciVé.álálhálilldades ge6erálds Yi¿grós -enlaletura, asf.cornoCuestionarIO.4-resurnidos (en los que se medían diversas variables, como las aspiraciones.ocu::4paciOnales) a tres muestras de estudiantes, eorno se describe en.los párraf97,siguientes. Los estudiantes fueron p‘robados e investigados iniervalosres:.tiara raStrear los cambios en el tiempo. Los grupos -probados e Investlgado0ucton.ciaiño:sigue: - -

TOnjun to A: 902.esiddl`MrqiiVrinresaron:enetsep.tirno,giacloerk1969;,_estudiantes (en 28 ClaSes) experimentartüri,:prbáráma cuffilt!WcfeiYetóiinclúlda la instrucciéri télevislva; 114 (en cilátr n;.tlales) fúeronmadel Programa currit-ular, pero sin las instrútclones té/évisadas:-Si 207 (érrnticlases),recibieron el programa curricular tradltiori'át-(prerreforrna) , LOS doS,rolgruji ,ofuereerscogidos por e1 Ministerio delEdúcación, rnientraS que el tercerQ,

üri -'-"'

Fuete men, con autorización, de D "i Vuilrr R. P.Hoilsiiih:pisiii-onment and Forffily Life, Je t ,n9ielikttl::,l105,t,érnty Pres, Baltimore, 19677;-,

184

(en.19.clases) que . in en j 1 a-. cf:.éii..-.1970í6i111.¡-1.1 .6áttlwlá-•éxp`éiWenfül..11- 1-0:45giáml. curiktilán. • Ireforrna;,......, . ..........,..11.82Mil .:5;;Chsti,.>C1491):i .eleilkáéritarbn las .iii'sttúeciórieliáliiViladaÑi,shillntí.ás.'0.telOs no lo hIcieron.

estigliántel,ery33:cles.',exporpoptarop.p1;pogrTona.:otirrio.e'r)

•

él eltldp s. ,ca.resultadósindicañ

a •,-.éti meiar eLos n . refor,,'

iol ...stüdlliit.el. áciitiii;11.5511.-.iii1.1,1.i .ábilidád :gene.ra qne -áque ps :que experi-rír) entlróri. n07.

qntenes no las recibieron. Se hicleronen el conjunto C y luego

tresdlICileti--.1 .0,thiiilii;i:+1,4:50,1i,s11.1 :-e.inlIid np, los resultados para niechr las prue-,-,,fUeron rnetlOS fayorable.9-:-

fueron más positivas' ptes.r.31 ..inostrarei trones

611E.:

ente e COIS k y E G.McAnanY;EduccyttóryffiRcIonn,

El sahhudii'Ex"p.'ériehoe; ptInford_Pliversit3i. PTC59. Si,31-1190,,C,attfonila, 1976,

-

inetá.s :C1 Programación del•pac tleron;.pr mercii,,me orát...liefec I v ., gleUrt;próg.tamaplí qUiátriCO':Ii104éntel Internos por medio de una reti:O. Olítéritá0lbii régUlárCuente para ,100shijpósd 'éLti:040eiii1):,V1édOdei:‘ ririlpOitiOriát Irán Seáürldad a, , ,

':ca a personlpara.q110 . .en91,40.:P.O. grAT.. á áli11.81"Itramente estáblé0d1.5'.

Con el fin de evaluar el IPP,elenfóquese c'entró:ely.n.ná—ünid.•;de..,.pacientesYktár: ñizi -s de un hospital psiquiátrico y én uná linidád.Slinlleeketniísr0.hospital - Seusó en un grúpo,contról Construldo. útildáCtélrfireipiiSirni‘laies:ert.tkrninos„ , . : , : ,de capacidacl, lugar-de orígén, tlpos de'Pa:c.terlies,e0,101:1'AinbOS.Si.(01;:perrodomedlo de estancla .ritImerodesoclodemográfic4V-allaliVierites, Se analizaron tres varlables clependientes delproceso (el repol,t1d-IVISIKábl. tos delRe.rs9, nal,10,,atruQsfer pabellón y la satis-.facción del cllente) y dos variábles déplrídtérit_e;S:c1,11 :Vet.,: ü1.f.sde,descarga

I poster.191:y ajustweotnunitart&;11.rántdp:':4-r.khaipítálízá-ciLos resültád§111d14n:1>titO,Iiá'iCiál',0.11p`rosrárii

plb11.101103satli:;pocyeriwi,iiiáítúliriris

Fuente; állunietaéks PoéiitEvalun I on and F2eégSICIfjcii.1-1.11,im.Nittglitisr.;:ri

557

ESTUDIOS NO ALEATOR1OS

185

La igualación individual generalmente se refiere a la agregada; sin embargo,la igualación individual tiene varios inconvenientes: es más costosa, consumemás tiempo y es difícil de ejecutar para un gran número de variables. Otra posibi-lidad es concordar las características individuales y agregadas, como ejemplificael anexo 6.8. Los métodos empleados para concordar varían en complejidad. Alrespecto Sherwood y colaboradores (1975) documentaron una técnica de varia-ción múltiple y la equivalencia resultante de los grupos experimental y de controlconfrontados. Las abreviaciones de los diseños de confrontación para evaluacio-nes se han explicado cuidadosarnente (Campbell y Boruch, 1975; Campbell yErlebacher, 1970). En esencia, lás aplicaciones inapropiadas ocurren cuando laconfrontación se realiza con base en mediciones previas de las variables de losresultados empleadas para valorar la repercusión. Cuando tales medidas no sonconfiables y tienen fallas, los hallazgos de la evaluación se pueden desviar o care-cer de validez, debido al traslado de las medidas no confiables obtenidas en dospuntos (conocidas como regresión hacia la media). No obstante, el acto de con-cordar con base en otras varíables es factible y deseable (Sherwood et al., 1975).

Anexo 6.8. Experimento no aleatorío con ungrupo control construido y medidas anterioresy postertores a la investigación

El expetimento de planificación farnsliar de DacCa fuetind evaluaciónranva de los prograrnas de planIficación familiar,dtrigidos a hombres y mujere_s, Elpropósito principal fue analizar los cambios diferenclales en las prácticas de control.Üde ssi. la nataltdpd resultantes de los tres entóqu'es- educativos para lafámiliar Idáadón dijaá- á ips rnaridoS eSicliisivamente, educación 41recta aesposas_exchisisiamente y educacián direOta a ambos, Para medir la efectivIdadcada uno_de estos enfoques educativos, se tomparó cada uno de los cuatrolos c uaíe,s recibieron servicios de contrel natal pero no el prograrna e*.perimentar-;,':educativó (el control).

I-á población estuchada se representó por indivIcluos que aún no usaban.rn,-Itodos cie contVol n,nal en extensión fija. Las poblactones estudiadas se seleccib=r1!::,narori-de'éüatr,o_colonias de kOsíiendas rnantenlds por el Gob 'lerno CentralPakiliá'n'para sus e npleados en .bacca;EftiPO 'cle sAvIenda proporclonado se baGb-is.en el Salario delos empleados, elasificaclos .en cInco categorías, Los grupósdiados se defini6on como aqUellos ¿itte teníari niveles bajos en el goblerno (catef,:-gorías 111 y lv, de trab;ajadores que iban desde mozos hasta oficinistas cOn'nive).

)ó)y:que vivían en vivienda.s:separadas, pero s)rnilares a las colonias, Lasgrupos de estudio sefiltraron Para elimmar a los Inelegibles según tos

cr te iio 1 Ui iii e un esPoso qüe , no o_sidiera en el nrea en el tiernpo anterlorla inve..,t 1 ;ación; parejas_-que 11 ,0:ppdran cnt,nder bengalí (el idiorna que se'usa4:,,durante las ritrevist,ls); los QS , SOscon mjis de una esposa antes de lación;-parejas . q4e. ,habían'estadli -aásadas durante menos de dos años; sitenía Mas de 50 años de edad, y si ‹ciiaidiriera dé los cányuges. se había esterilizadó»..

Los datos se recabaron por medio ,de Ids-estudios anterior y posteriordiante registros tanto-clínicos corno de las visitas -al hogar. Ambos esposos en, . - _ _tres'grupós experimentales füeron entrevistados antes y despus deción.-..Elfgrupo contról sólo fue entrevistado de. spués cle ta'nes. y desp ilil ".''¿Ontenían- Pregunfas acerc3'-'ellt,)s tern s-stitt entesin:_‘c'e-saraticgtaecr:

ca..1.'dertímteritada.;:lscrdel.contr

mw-rsIty o omia,de L W Gr..on Docca F(111111y, Ing Experlmoot,

of 1972.

186 187

fertilid10::fultiraátátY 'a>cfliír-dialiSeakide'atirerider'.élbáli'.1.Itürin 'Clétc 0

lian más efec-,tivos que otros que reunir metas multiples entre muchos tipos dé •-poblaclones

por muehd, una

idclos los cr,,te'i'le,tá¿0)ptei'-clOpipláln;;iiielítiel0111 7.,14:joraniiento de Lis aCtitudes cjue consideran laaceptacióh de'Ciliáktíérs¿tiál . Paia Irriplear la planificaCión farroliat- Este entoqué

y cOnopmientoi.el.Wayores och crájl"superior y en honitwes" jóvénét

090 é,11PrIlárall4;01.1.11d¿vo :i.iri : 10,10 sexp tírl Mayb.r • efecto (en este ejerriplo , los ítii'&tuivjeron utl m yor efecto). Parece que los es•

ue4151 -édire4tiypS:diiigid0; ..1'iirilás Sexos Pueden seinás efectívospara lograr elmásampll. gode ¿Ugritiktitivos, actitudiñalel y de Comportamiento en

Estado socioeconómico (ganancias o ingresos familiares, riqueza, ocupación seguida,etc.)Arreglos familiaresEtnicidad

Características de las unidades organizadas (escuelas, clases, uniones, etc.Diferencia de tamañoNiveles de autoridadNiveles de subunidadesNúmero de papeles distintivos y diferentes (ocupaciones)Clase de industriaRango de crecimientoPresupuesto

Características de las comunidades (unidades territoriales organizadas):Mezcla industrialOrganización gubernamentalTamaño de la poblaciónTamaño del territorioRango de crecimientoDensidad de la poblaciónLocalización respecto de otras unidades territoriales (parte de un área metropolitana,ciudad independiente, pueblo, etc.)

Selección de los grupos control construidos

Siempre que exista aunque sea el menor conocimiento a priori del áreasustantiva de una intervención, se deben seguir algunas guías basadas en loque los científicos sociales han encontrado en las pasadas decadas para gene-ralizar las características de los individuos, las familias, las comunidades uotras unidades que afectan muchas áreas del comportarniento hurnano. En elcuadro 6.2 se muestra un breve linearniento de tales variables del control.

II. Características de las familias (o casas):Etapa del ciclo de vidaNúmero de miembrosNúmero de niños

Nótese que las características mostradas en la tabla son "conjuntadas"; esdecir, las características de los individuos se pueden usar también para caracterizarunidades mayores al formarlas en promedio, medidas de dispersión u otras medi-das de descripción agregada. Un individuo puede ser caracterizado por su edadcronológica; una familia, por el promedio cle edad de sus miembros; una fábrica,por el prornedio de edad de sus empleados (o la proporción entre ciertas edades),y una ciudad, por el promedio de edad de sus habitantes (o por la proporción depersonas que constituyen el grupo de edad económicarnente productiva).

Tal vez la mejor manera de usar las características mostradas en el cuadro6.2 es considerarla una lista diseñada y revisada para recordar al evaluador lascaracterísticas de los que son probables candidatos para formar los grupos con-trol. Para valorar la repercusión de una carnpaña educativa contra el tabaquismodirigida a jóvenes escolares, se podría confrontar a un grupo experimental deescuelas con un grupo de escuelas de control construido, unas comparables encuanto al estado socioeconómico de los padres, el desempeño intelectual de losestudiantes, el tamaño de la cludad y el lugar de residencia.

Sin embargo, las características mostradas en el cuadro 6.2 no son un susti-tuto adecuado para tener un conocimiento previo apropiado al fenómeno que seestudia. Generalmente se ha encontrado que las características mostradas en esatabla han sido útiles, pero no necesariamente apropiadas para todos los proble-mas sociales; por ejemplo, un programa diseñado para disminuir el promedio defertilidad entre los adolescentes solteros se puede evaluar mejor si se empleangrupos control construidos cuya elección se basa en alguna comprensión teóricade las motivaciones de algunas adolescentes para aceptar quedar embarazadas,implicadas en un comportamiento sexual, etc.

Cuadro 6.2. Características útiles para dividir grupos control construidos

1 Características de los individuos:EdadSexoNivel educativoEstado socioeconómico (ingresos, riqueza y propiedades)Tenencia (tierra y/o casa en propiedad)Estado rnaritalOcupación (prestigio ocupacional)Etnicidad (raza, grupo cultural, lenguaje del grupo ,y origen nacional)Funcionamiento intelectual (CI, habilidad congnoscitiva y conocimiento)Fuerza laboral de pariicipación

188

GRUPOS CONTROL ESTADISTICOS 189

Estrategias en la recolección de datospara diseñar grupos control construidos

Las consideraciones estratégicas que entran en el acopio de datos y los dise-ños con grupos control construidos no son esencialmente distintas a aquellasestudiadas en relación con los experimentoS aleatorios. La recomendación gene-ral es que cuantas más medidas -anteriores y posteriores a la intervención setomen, mejor será. Las razones de esta recomendación, en el caso de los gruposcontrol al azar, son: a) cuantas más medidas se tomen, más confiables serán laslecturas que se hagan en los resultados previos y posteriores, y b) el procesomediante el cual la intervención puede funcionar probablemente se rastree conmás cuidado sobre el tiempo.

ESTUDIOS NO ALEATORIOS: GRUPOSCONTROL ESTADISTICOS

Al valorar la repercusión mediante el empleo de grupos control aleatorios ogrupos control construidos, se sigue una estrategia en la que los participantes enun programa son confrontados de uná manera designada con los no participan-tes. Esto puecle irnplicar muchas medidas de los resultados, incluidas las anterio-res y posteriores a la intervención, o ambas.

En esta sección se examinará la estrategia en la cual sólo se usan las medidasposintervención, y se utiliza un enfoque diferente para comparar a los participan-tes con los no participantes; se realizan investigaciones seccionales cruzadas, lascuales perrniten - hacer comparaciones entre los participantes y los que no partici-pan, y la comparabilidad entre ambos grupos se establece mediante el manejo delos factores adecuados constantes estadísticamente.

Por ejemplo, para estimar los efectos de la asistencia de adultos a escuelascatólicas, el evaluador compara a aquellos que han asistido a escuelas parro-quiales con los católicos que no lo han hecho así (Greeley y Rossi, 1966; Gree-ley et a/., 1976). En este caso fue posible emplear grupos control construidosdebido a que existen muchas parroquias sin escuelas parroquiales y, por tanto,algunos católicos no tienen oportunidad de asistir a tales escuelas. Dado que losautores tenían interés en medir la accesibilidad ocupacional en - los adultos (en-tre otros resultados), sólo las medidas de la intervención posterior (accesibili-dad ocupacional medida en una muestra de la investigación de adultos católicos)eran disponibles.

Por supuesto, habían muchas maneras adicionales en las que los asistentes aescuelas parroquiales pcdían ser diferentes de sus contrapartes que asistierona escuelas seculares. La asistencia a escuelas parroquiales podría haber repre-sentado una obligación más fuer-te hacia el catolicismo entre los parientes detales adultos, una obligación expresada : mediante el acto de inscribirlos enparroquias que tuviesen escuelas parroqúiales. Los parientes de lbs asistentesa escuelas parroquiales tarnbién deben haber sido afluentes, pues por lo gene-ral sólo las parroquias con suficientes inscripciones pueden esforzarse porestablecer escuelas, y sólo los parientes relativamente ricos pueden esforzarseen proporcionar los cargos de enseñanza que son exigibles. Después de efec-tuar numerosos estudios, se sabe que el estatus económico está relacionado con

el aprovechamiento escolar. Estas posibles diferencias en la riqueza familiar sedeben tener en cuenta para aplicar los controles estadísticos apropiados. Enesencia, la valoración de la repercusión seccional cruzada depende principal-mente del uso de métodos estadísticos para puntualizar las diferencias entre laspersonas que han experimentado una intervención y aquellas que no.

Un estudio seccional cruzado es aquel en el que las observaciones se hacendesde un punto singular en el tiempo, de manera que se compara a los participan-tes en el programa con los que no participaron (o aquellos que han participado envarios grados). Generalmente, la población objeto es muestreada y se realiza unainvestigación para recabar información acerca de un gran ,número de posiblesvariables-de confusión. Las diferencias entre los niveles de exposición a una inter-vención se observan de tal modo que se manejan costantes por medio del análisisestadístico, y se observan también las otras diferencias apropiadas entre los partici-pantes y los no participantes.

Debe notarse que la valoración de la repercusión con grupos control cons-truidos y que usa grupos control estadísticos son idénticas conceptualmente. Ladiferencia principal radica en la filtración de las poblaciones objeto no participan-tes por medio de una selección deliberada (grupos control construidos) comoopuesta a la filtración de la población mediante técnicas estadísticas (grupos con-trol estadísticos). Parece que mediante ambos métodos se obtiene comparabili-dad entre los participantes y quienes no participan y que ambos dependen delconocirniento anterior acerca de cuáles características podrían distinguir a losdos grupos.

Si se hace una valoración de la repercusión con grupos control construidos ocon grupos control estadísticos, podrá centrarse en la distribución de los partici-pantes objetivo y en los no participantes de la población por estudiar. Para citarun ejemplo obvio, tiene poco sentido intentar usar una investigación de la pobla-ción general para hallar participantes y no participantes que se encuentren enprogramas de rehabilitación dentro de una prisión, porque aquellos que podríanser individuos objetivo serían relativamente raros en cualquier investigación de lapoblación. Por ello, las investigaciones no deberían ser un medio eficaz de esti-mar la repercusión de cualquier programa .que sea apuntado a un conjunto estre-cho y definido de -población.

Una consideración adicional es si resulta factible o no obtener medicionesanteriores y posteriores. Si, por una razón u otra, no es posible obtener o reca-bar mediclas anteriores sobre grupos control y experimental construidos, lasinvestigaciones serán un excelente medio de proceder; por ejemplo, para medirlos efectos de los programas GI del financiamiento y de la enseñanza sobre losveteranos de la Guerra de Corea, es probable hacer sólo una investigación delos veteranos sobrevivientes, con la esperanza de que será posible mantenerconstantes las diferencias potenciales entre aquellos que usaron sus beneficiosy quienes no lo hicieron.

Ajustes estadísticos sucesivos

La lógica para mantener constantes a las variables se muestra en la tabla 6.1,una valoración de la repercusión hipotética de un programa de entrenamientovocacional para desempleados entre las edades de 35 y 40 años. El programa se


diseñó para aumentar las habilidades del trabajo de los participantes, al permitir-les obtener mejores (mayor salario) trabajos. Para evaluar el programa se tomóuna muestra de 1 000 participantes y se les estrevistó un año después de quecompletaron su entrenamiento vocacional. Además, otros 1 000 hombres de lamisma edad fueron muestreados de la población general de la gran área metro-politana en la que el programa funcionaba. Como el programa era pequeño, casitodos los hombres enfocados a la entrevista en la muestra general no habían par-ticipado en él. A ambas muestras se les pidió información acerca de sus ingresos,y para ambos grupos se calculó una proporción de salario por hora.

En la parte I de la tabla 6.1 se muestra la comparación de estos promediosde salario por hora. Aquellos que participaron en el programa ganaban, enpromedio, 3.75 dólares por hora, mientras que para quienes no participaron,el promedio correspondiente fue de 4.20 dólares. Era evidente que quienes par-

Tabla 6.1. Ilustración de los ajustes estadísticos en una evaluación hipotética de unproyecto de entrenamiento para el empleo

Medida del resultado = promedio de salarios por hora en un año después de completar elprograma de entrenamiento

I. Comparación bruta entre hombres de 35 a 40 años que completaron el programa deentrenamiento con una muestra de hombres de 35 a 40 años que no tuvieron programade entrenamiento:


$3.75 $4.20(1000) (1000)

Comparación después del ajuste para el nivel educativo:


Con menos Con menosde la Con de la

Conpreparatoria preparatoria preparatoria preparatoria

Rango promediodel salario

N = $3.60 $4.10 $3.75 $4.50

(700) (300) (400) (600)

III. Comparación ajustada para el nivel educativo y empleo al inicio del programa deentrenamiento (o datos equivalentes para no participantes):

Participantes No participantesCon menos Con menos

de la Con de la Conpreparatoria preparatoria preparatoria preparatoria

Todos desempleados Desem- Emplea- Desem- Emplea-pleados dos pleados dos

Rango promedio$3.60 $4.10 43.50 $3.83 $4.00 $4.60del salario(700) (300) (100) (300) (100) (500)N =

GRUPOS CONTROL ESTADISTICOS 191

ticiparon en el programa ganaban considerablemente menos que aquellos queno lo hicieron (sólo 89% de la proporción de salarios de los no participantes);sin embargo, estas comparaciones desajustadas son muy engañosas, pues losparticipantes y los no participantes podrían ser diferentes en el número devariables relacionadas con el salario, y otras que no son las de su participaciónen el experimento.

En la parte II de la tabla 6.1 se muestra una de tales diferencias y se presen-tan los promedios de salario separadamente para dos niveles educativos: quie-nes no habían completado la secundaria y quienes sí lo hicieron. Adviértase queel 70% de aquellos que participaban no habían completado la educación secun-daria, en oposición al 40% de los que no participaron. Cuando se comparó elrango de salario de las personas con logros educativos comparables, los salariospor hora de participantes y no participantes se aproximó uno a otro, respectiva-mente: 3.60 y 3.75 dólares para quienes no habían cornpletado la educaciónsecundaria, y 4.10 a 4.50 dólares para quienes sí lo hicieron. Obviamente, mane-jar la constante de los logros educativos disminuye las diferencias entre los ran-gos de salarios de participantes y no participantes.

En la parte III se muestra otra diferencia. Como todos los participantes erandesempleados en el momento de participar en el programa de entrenarniento, esapropiado comparar a los participantes con aquellos no participantes que tannbiénestaban desempleados. L.os no participantes se dividen en aquellos que esábandesempleados y aquellos ciue no lo estaban. Esta vez, quienes participaron en elproyecto ganaron más en cada nivel educativo que quienes no participaron y queestaban desempleados durante el MiSMO tiempo, respectivamente: 3.60 y 3.50dólares para aquellos que no completaron la educación secundaria, y 4.10 y4.00 dólares para quienes sí lo hicieron.

Nótese que la inclusión de ajustes estadísticos sucesivos (controles) no fuemediante un proceso casual. Hubo justificación para incluir cada control, conbase en el conocimiento anterior acerca de las determinantes de lo ganado. Porsupuesto, en cualquier ejemplo real se podrían haber considerado grupos controladicionales, tal vez la ocupación previa, el estado civil, el número de dependien-tes y la raza, factores conocidos porque se relacionaban con los rangos de sala-rios. Otra vez, la valía de ejecutar la valoración de la repercusión por medio delcontrol estadístico depende fuertemente de ese conocimiento a priori.

También debería señalarse que en tal diseño de la evaluación generalmenteno se pueden contar por completo los efectos de la autoselección y removerlosde las estimaciones de la repercusión neta del programa. En el ejernplo presen-,tado en la tabla 6.1, las personas desernpleadas que participaron eran, por estehecho, diferenciadas de quienes no lo hacían, tal vez por niveles de nnotivaciónmás altos, una diferencia que no es posible medir retrospectivamente en un altogrado de confiabilidad.

El ajuste hecho en la tabla 6.1 se realizó de un modo muy simple con el fin deilustrar la lógica de los controles estadísticos sucesivos. Métodos más complejosv sensitivos estadísticamente están disponibles para realizar simultáneamentediversos ajustes. Las técnicas de regresión múltiple y el análisis de la covarianza,

como múltiples funciones discriminantes de análisis y modelos de logaritmosI meales son especialmente apropiados (deben consultarse textos avanzados; por

Hanushek y Jackson, 1977).

Rango promediodel salario

N =

192 193

t"15=0 6.9. Reoresión del número de sernanas desdela posliberación hasta el primer empleo, con seleccióncie las características de preliberación y el estatus dela palabra de honor para prisioneros liberadosde una prisión de Texas

La uariable dependiente es elrulmero de serapncis:ontes delprimer trabajo en el GñO de

posliberackin

SE-3.45** 1.25

0.01 0.0814.45- 2.724.45" 1.534.33" 2.07

-0.16 0.34-0,01 1.89

0.011 0.090.00 0.007.36" 2.25

- 4.67" 1.44-0 20" 0.06

2.81*** 0.76-0.03 0.0216.68* 6.500.25*"

(397)

' EstadistIcaínente sigracatIvo en 0.05'• Estadisticarnente signIficativo en 0.01

EstadísPcarnente sIgnificativo Cil Ü.001

Nntá: Ios re,sultartós'el 'iégiest¿rirriostrados en lfneas aMterlores se calculan del grupo control en uno de it3S

peririrentoá TARK,hiálese que .comtala tabla mostrada se refiere sOlo a los rniembros del grupn contrclInvestigacIón seecional cruzada y es eqüivalente átener una rriuestra al azar de todat, las

1, ,r gfilklá.510;er4dá:s de las prIálones estatales de Georgia en un pericadde sels meses en 1975. (Los detallasde I natamierlto c,i crIn n cnt31 (1.1,1c, en ci,,crIben en ci unucrj b 14 )

Fuente;I:lbulmione, mi"pi.4.1D11c,rfis del grupo control en los experimentos TAiilPenfcc (p,lra una1cs-nix1 n7n consübetc P. H. Ross1, R.- A. BerPey fu. J L rutan, 1980),

,

Métodos complejos multivariados

Para ejemplificar el empleo de métodos multivariados complicados, en elanexo 6.9 se muestra el resultado de un análisis designado para estimar la reper-cusión neta de la libertad bajo palabra en el empleo de liberados de una prisión deTexas durante los primeros seis meses de 1976. La ecuación mostrada en tal anexoindica el número de semanas desde la fecha de liberación hasta la fecha del pri-mer empleo durante el primer año de liberación del convicto, como una funciónde la libertad provisional y un número de variables que se pueden estimar afecta-doras del trabajo o de la palabra recibida.

El coeficiente mostrado en la columna b es el coeficiente de regresión noestandarizado, que expresa el número neto de semanas para el primer empleopara cada unidad de cada variable independiente. El coeficiente por habersido liberado bajo palabra es de - 3.45 semanas, lo cual significa que las per-sonas liberadas bajo palabra encontraron su primer trabajo 3.45 semanas máspronto que otras, y rnantuvieron constantes todas las otras variables en laecuáción. En efecto, el coeficiente de regresión de la libertad provisional es unefecto neto estimado para el estatus provisional, lo cual indica que las perso-nas liberadas bajo palabra trabajaron más rápido que aquellas que fueron libe-radas incondicionalmente.

Las variables restantes en la ecuación fueron incluidas porque hubo buenasrazones para creer que las condiciones que representaban afectaban el empleo oel estatus de la libertad provisional. Así, la edad, el sexo, la raza, la educación, elestado civil, ser un impedido físicarnente, haber arreglado un ernpleo antes de laliberación y haber regresado a Houston (un mercado de trabajo prirnario en esetiempo) fueron factores que se incluyeron en la ecuación. Todas fueron variablesdisponibles en un conjunto de datos y se esperaba que afectaran rápidamente laobtención de empleo por parte de los ex convictos. De hecho, se observó quealgunas de ellas fueron útiles: los varones trabajaron más rápidamente que lasmujeres (cerca de 14.5 semanas más rápido); a los irnpedidos físicamente lestomó más tiernpo; quienes regresaron a Houston trabajaron más rápido en esebuen rnercado laboral, y quienes fueron contratados antes de su liberación traba-jaron todavía más rápido.

Se incluyó otro tipo de variables, para mantener constante la tendencia de lalibertad bajo palabra dada y, de hecho, representar el proceso de selección utili-zado por el tribunal de la palabra de Texas: el número de reclusiones previas y elcódigo de comportarniento en prisión (actualmente, una' especie de sistema depuntuación en el cual cada incidente o mal comportamiento en prisión lleva a unincremento en el marcador).

La valía en el análisis presentado en el anexo 6.9 depende fundamental-mente de cómo la variable utilizada (o modelo) captura completamente losfactores de la no palabra implicada en ir a trabajar con rapidez y los génerosde factores tomádos en cuenta al dar la libertad provisional.

Ejemplos del uso del control estadístico

En los anexos 6.10,6.11 y 6.12 se muestran los diversos niveles de comple-jidad estadística en el análisis de datos seccionales cruzados para valorar la

Liberación bajo lialabraEdad (aflos) •MasculinoNegrosChicanos.,Educación (años)CasadosNúrnero de recluslones p

:Dinero de entrada• Desventajas de la clasificI...lberado a. . Hcustori

raciónla

C.0.111

' Var10:e. !riclependlente

R2 -N

isión

--

• AneXo 6 ibÉfectosunidad,e.s'de la adát.défÉ.,stádóá' PlActs

Los autóretliieron coniisiona os or a e tadOs os e,n losnpn-_ .

éca'Cla de los cinCuenta pará vaiorar la repercu.siónridela integraCiónlos ,negrós :enlaunidades preViamente formadas Sólo por blancos que ser-vían enCorea dtirarite'et.": conflicto" coreano. El estudi6 estaba basado'en entrevistas cuall- -nItIvas conjOs_oficiales.ylós hombres listados, asicorno en cuestionarios autoadmi-ntstrados a una gran mu -eStra-de soldadoS ,,La repercusión • Seévaluó ppr?rnedip,clg.,'respuéstas compáradas, dadas.Por cadauncide lOs, grt.ipol„siguientes ...bláncoSde las.,unidadeS formadasSólo Por blariCO, negrdS enlaStinidadeStnIxtasrecién integradaS.:Él análtsis se=preenta en la-tabia'Slguiente, en la 'atailóssei/lados en los cuerpos:de del "caártelleneral son comparaclos en súSrespuestás á laS cues-tt o d e ' qu éett.el' •dérfüttiti5;'dé . ,/al, rel ac I orieyraciales'OnlitiEstadnkUrildOs.7 : - -"

,

Ispliesias1tarárn'rnejortarán . lgual hastaahor

1n1C¿s4arántanln repuesta

-

1.

Anexo 6.11. Discriminación racial en losmostradores de los bancos de Chicago

L

194 CAP. 6. DISEÑOS COMPARAT1VOS

repercusión. El anexo 6.10 es principalmente de interés histórico, pues se ela-boró al principio del desarrollo de la investigación social, antes que las compu-tadoras hicieran posible efectuar los cálculos fácilmente ybaratos; es un estudiode la repercusión de la disgregación en la Armada de Estados Unidos .durante eiconflicto de Corea en la década de los cincuenta. Valorar la repercusión consis-tió en comparar a los soldados en las unidades íntegradas con aquellos que ser-vían en las unidades segregadas. Los controles elaborados estadísticamente nofueron practicados, porque las técnicas estadísticas apropiadas difícilmente sepodían aplicar en ese periodo, y porque la autoselección se convirtió en un fac-tor (la Armada puso soldados en sus unidades y el intercambio de unos a otrosera muy difícil).

,Cómo contestaron los soldados del cuartel general la pregunta: "Conforme eltlempó tr.anscurre, ¿piensa que los blancos y la gente de 'color en EstadoS Unl-dos tendrán mejores relaciones jttntos que las actuales, que no son tan buenas,_o serán bomo.,haáWáhoya

195

En el anexo 6.11 se describe un intento por discernir si los cambios de monedaen Chicago perseguían diferentes políticas de precios en los barrios negros, enoposición a los barrios blancos. Se usó el servicio de cambio de moneda como unavariable del resultado y datos del censo que caracterizaran las composiciones racia-les y socioeconómicas de las pistas en las que el cambio se localizaba como controlestadístico, para detectar, mediante el análisis, las diferencias de precios indicati-vas de una política discriminatoria de precios entre los cambios de moneda.

El principal objetivo de los camblosAimoneda en .16s, bancos, de -Chicago:es servir a los residentes en área—sde la cludád tan pobres que .no pueden interesar aios servictos de upSanco. En ü ingyoría, al efectuar camblos de rnoneda sedeli;a12%;s'Obre_iacantidacl de cheques en efectivo.y. órdenes escritas de d1nero,9de 0".20 3á 0:30 ientávos de dólar,:tior repptir,pásos cle.utilídades. El Prapósito

extenstóií'y..„,:f_p-is m-a :de: .11-sprecIóS' rdife/-' eric" iales ende mo'neda de Chicago, de actierdo con la co -rnposición ractary étnica de ias areasla q q ue sirven " . '- Se seleccionOlue n,krrniestra de-43 cambios 7ioneda:c1111 póginaS de lasección arharilljáérdirectorió telefónic011e escógió la déclya ,Parte)'. La corn-:»:posición racial del'c'enso enque lbs cárñblósestabart übl¿adól.se - obtuvó porsdicotomización del eenso en dos grupos: "3% o menós" "7% o tnás7.E1 anái113',.;de regresión t-nültiple seernpleó para analizar los datos. El cargó on el servicio,variable dependiente-, se regresó en la . cantidad de servicto,,el-porcentajenegros en el censo yetporcentaie de personas de hablá hispana en el censo,'07'.1,

..4. 0.rscey n cantajj:último tarnbién se analiz6COMOun término.c.t.tadrado-cle negros v cantidad de servicio, e interaCárlifillenin

ie

tidad,(.1e sersicio a'encontró que cada porcentaje cantbia su _

cos a negros, tual originaba un incremento en el cargo por servicio de7a 'centavoS . de dOlár eseAunque ta cantidad es triviat esetra ''0

nsforma .brecargo páracksítoda el áre-á negra. Los autóre'Oncluyeronexplotan la se.g"regáCIón resídencial racial'ep ChiCagO al»,.rglr,r90.94',¡?rICISS_los negros; aunq-tie aclaran-gue sus liálláz oS-sOn., ,eithIorttlpfioS.9 se-.débett\totnair;,-"con precauci¿n,

Ftle.nte: ' R.-sUmen de W R e iyc J O p eSom Racial Discriminatio. nenrEValuarten -Quarterly, núrn. 1, febrero cie 1977, pflgs. 159 171. -

--En:generabr,-los'negrOs' 9' los blancOs cie'lla'S.Unidades mn<ta. .s erart'rnas „av.,ora.bles,con los'rniembros dé la,ráza cOntraria;=19:.cuál ht.zolLegatiái:ex- Periencias aciu 'aiessiiÇ' una'aPtittld.„,

-, más faVorable.,

, Funtc TcrradodeL Bo.cfart, Socialnes.ea175 con autoriza-clán

En el anexo 6.12 se muestra un intento para discernir si los programas deplanificación familiar federales tenían alguna influencia de la fertilidad. Losautores aprovecharon la existencia de la investigación de todas las clínicas deplanificación familiar en Estados Unidos que incluían medidas del servicioentregado en cada unidad, con el fin de relacionar esa información con las esta-dísticas vitales para la misma área. Los autores modelaron los rangos de fertili-dad y agregaron la participación en las unidades de planificación familiar comoun elemento del modelo para encontrar una influencia significativa de las uni-dades de planificación familiar en la fertilidad por condados. El efecto queencontraron es proporcional al nivel de actividad de las unidades de planifica-ción familiar en cuestión.

Nótese que este estudio de fertilidad fue una evaluación de un programa decobertura total. De acuerdo con la legislación federal vigente, todas las áreas delpaís eran elegibles para sufragar fondos que podrían apoyar a las clínicas de pla-nificación familiar. Por diversas razones, algunas áreas elegidas no participaron,y hubo alguna variación en el esfuerzo entre el gobierno local participante y stisunidades. Esta variación permitió discernir los efectos de los esfuerzos de talesclínicas. Por supuesto, se debe suponer que los factores que se mantienen cons-

Anexo 6.12. Influencia de los programas de planificaciónfamiliar en la fertilidad en Estados Unidos

El objetivdprincipal de I()s progr .anlas clrlicos cle plantficación familiar en Estadosl_Unidds en 19684969 fué.:`,`capacitar.;a lókestadounidenses para: qúe décidiéi-an libre-

- Wentéel:rálin'de-Sús hi)OS:, élóiiPii)Orida-cipara servir a Persona'seóribajOS'Ingresos",..Médiarité ,Otééstudfci;se .elialüó'llcilchoS:Programas tuvieron_tiria inflitenela7-va eli `lafe'ffiliclaacIfe'. 7qüiénesPI;t1o'ire,iien ellcis. Las fuentesClé datOs se .fonWrOn del

ésiadístieas del National Center for Flealth'-.Statisties.4,Centró.la y del Alan Guttrnacber Institute -Institato P`dan Gutt'rnaher-

_ (eStadíStiCaS dc.„, serylcio al,progmrna). Las urMdes, de apálisis se Ila níaron unid F?e/es deueullsls estuditié.07(VA:), las cuales fueron urrCpileía,dó o un númerb de cOrnúnidadespequeñas..bltilio',7710AE,de:Ybjancos" (cada -únidaá . 114E luvo por Io,menos 20 000uiujres,blnas) y 237. UAE ele ."nc_, grc>s" rnUje-

' res negras). - -La PrineiPáNa'riable delprogi' .4)-rlia. fdllserlpéln .én las clínicas de planifica-

ción- farniliár (de'lOS :-.serVielOS-. reglstraclOS):y la: .‘'ffariableresultante fue el rango de fer-.nI n da (ciél censo, medido de mmieras,diferentes): Los grupos cpntrol estadrsticosse inclbyerówpor déiísidad de 1.-)Oblaei5n,',.éducaef6tVírilgr8ción eStado rnárital,estado escolar, raza, fuerza de trabajo, edad y paridad en modelos de regresiónImerdes, addivos v multmles. . -

Los autores encontraron que progdama tuvo marcados efectos negativos. _ .- en los rangos dé fetilidad en ambos trpos de múteres casadas negras y blancas

de todos los subCtr-tt-Pos defintdos por edad irstzlclo socioeconómico, despues de.'controlar los' otros factorels ,análisis del'eosto POr beneflcro del proglarnaprodujo tangos favorables y se resume en cl anexo 8,

.

Fi ele O u ri cc,r) rt-nP_o, de P. Cutl Ight y 1,-I11e,11x?p-act, of Famlly Pinnifing F5-ogrurn e, on

tantes en el análisis estadístico también mantienen constantes las variacioneslocales acerca de la buena voluntad para comenzar con las clínicas de fertilidad(esto es, el proceso de autoselección).

Todos los estudios mencionados requirieron a los investigadores buscarel conocimiento a priori de la intervención en cuestión y el fenómeno concer-niente. Para Bogart y sus colegas fue esencial conocer qué soldados teníanpoca posibilidad de seleccionar la unidad para la cual servían. Para Bridges yOppenheim fue importante concebir el cambio de moneda como una respues-ta mayor a los niveles socioeconómicos de sus clientes; esto les permitió ajus-tar tarifas de servicios de manera que discernieran si la composición racial desu clientela era también un factor en las políticas de precios. Finalmente,Cutright y Jaffe delinearon en su investigación cómo las variables demográfi-cas y socioeconómicas influían en la fertilidad.

En resumen, el control estadístico es un procedimiento excelente por aplicarcuando no se pueden incluir como controles las variables y condiciones que tie-nen en cuenta las explicaciones competentes acerca de los resultados del progra-ma. El procedimiento es especialmente importante para problemas en los que noes posible emprender experimentos aleatorios, o aun para afrontarlos.

Nótese que Cutright y Jaffe (anexo 6.12) no usaron una investigación de lamuestra en el sentido tradicional, más bien, es seccional cruzada, ya que estáconstituida por las medidas de la fertilidad y del programa de servicios; usa losresultados de la investigación de las agencias de servicios, pero relaciona esainvestigación con los datos de los censos y con las estadísticas vitales.

Limitaciones en el uso de estudiosseccionales cruzados

Los enfoques seccionales cruzados para valorar la repercusión tienen algu-nas ventajas y ciertas limitaciones. Por el lado positivo, estos estudios se puedencompletar rápidamente y, por tanto constituyen un método de costo efectivopara estirnar los efectos netos del proyecto. El enfoque también es útil si se puedetomar el tiempo necesario para efectuar medidas anteriores y posteriores. Enalgunas circunstancias, especialmente cuando los experimentos aleatorios o loscuasiexperimentos son completados fuera de la cuestión, los estudios secciona-les cruzados pueden ser el único enfoque por emplear al valorar la repercusión;no obstante, se debería tener cuidado de que en los estudios seccionales cruzadosse confíe plenamente en el conocimiento a priori del proceso involucrado.

Por el lado negativo, los estudios seccionales cruzados son susceptibles alos errores de especificación (para usar el término econométrico), que sonaquellos cometidos al especificar la estructura teórica apropiada que puededesechar las explicaciones pertinentes; por ejemplo, en el análisis de los efectosque ejerce la libertad bajo palabra en la reincidencia subsecuente (mostrada enel anexo 6.19), si el analista ha fallado en considerar un factor importante acer-ca de cómo el tribunal de la palabra juzga si un prisionero es o no elegible para lalibertad provisional, el análisis presentado en la tabla puede estar mal. Para sermás específico, si el tribunal de la libertad provisional libera sólo a prisione-ros que llevaron entrenamiento profesional vocacional en prisión, el efecto por elque clama la libertad provisional en el anexo 6.9 puede simplemente reflejar que

1.1.er4/1/ty.

GRUPOS CONTROL ESTADISTICOS 197196 CAP. 6. DISEÑOS COMPARATIVOS

198 CAP. 6. D1SEÑOS COMPARAT1VOSGRUPOS CONTROL ESTADST1COS 199

los empeñadores de su palabra estaban mejor preparados para obtener empleos;por tanto, los efectos de la libertad provisional simplemente enmascaran los efec-tos del entrenamiento vocacional que nada tiene que ver con la palabra per se.

Tal vez el error de especificación más común en el análisis de secciones cru-zadas es tener un modelo inadecuado del proceso de autoselección. El riesgo esparticularmente grande en cualquier estudio seccional cruzado cuyos beneficia-rios hayan decidido participar o no en el programa.

Varios econometrónomos (Barnouw et al., 1980; Heckman, 1980) haninvocado recientemente el uso de datos seccionales cruzados al prevenir que elproceso de autoselección se puede modelar apropiadamente. Dichos investiga-dores sugieren que la investigación en el proceso de autoselección permite dise-ñar modelos bien ejecutados de autoselección, y han trabajado en condiciones enlas que tales ajustes de autoselección se pueden hacer apropiadamente.

En algunas circunstancias poco comunes es posible modelar el proceso deselección por medio del cual las personas (u otras poblaciones objeto) sonexpuestas al tratamiento; por ejemplo, en la desmovilización que siguió a laSegunda Guerra Mundial se pudo diseñar un estudio de los efectos del anticipadofenómeno de liberación de la Armada, en oposición al tardío. Los soldados fue-ron liberados de acuerdo con un sistema de puntos, en el cual se tenían en cuentala duración del servicio, el tiempo de estancia en el otro lado del mar, las conde-coraciones y el número de dependientes. Como la orden de desmovilización fuedeterminada principalmente por los puntos ganados por un soldado, se podríausar la variable en un estudio de control estadístico para most far si ser o no libe-rado antes o después de septiembre de 1945 ejercía cualquier efecto sobre quétan rápido y en qué nivel los soldados obtenian empleo. Realizado en forma ade-cuada, este estudio hipotético podría ser tan eficaz como un experimento aleato-rio en el hecho de proporcionar la base para hacer estimaciones sin sesgo de losefectos de una demovilización anticipada o posterior (este enfoque también se cono-ce como diseño de regresión discontinua; consúltese Cook y Campbell, 1979).

Aunque se pueden poner medidas que parezcan considerar tal autoselec-ción, las medidas empleadas suelen ser inadecuadas o deficientes, de rnaneraque resulten en un ajuste bajo de la autoselección y, por ello, en una sobreesti-mación de los efectos netos del programa. De hecho, la controversia acerca delresultado de la evaluación del programa Heacl Start y sus centros (Campbell yErlebacher, 1970) radicó en el hecho de si los analistas de la Westinghousehabían ajustado adecuadamente o no las diferencias entre los participantes eneste programa y los no participantes.

Los diseños seccionales cruzados se pueden emplear en los programas par-ciales y en los programas totales en su cobertura, pero sólo en algunos de sustipos, particularmente donde el tratamiento ha variado de algún modo conocido.La valoración del centro de planificación familiar realizada por Cutright y Jaffe(anexo 6.12) es un buen ejemplo de un programa de cobertura total que variabade actividad en cada área, incluidas algunas regiones donde las actividades de lasclínicas de planificación familiar eran esencialmente nulas. Se estimaron los efec-tos de cada nivel de la actividad clínica, de manera que el estudio pudo registrarcuánto de esa actividad estaba relacionada con los nacimientos impedidos.

De la misma manera, se ha intentado estimar los efectos que ejerce lalegislación estatal sobre control de armas en los rangos de delitos relaciona-

dos con armas de fuego (por ejemplo, los asaltos con armas de fuego y loshomicidios con este mismo tipo de arma). Debido a que en los 50 estados de laUnión Americana varía la legislación sobre armas, por medio de permisos yregistros, los investigadores intentaron relacionar el nivel de regulación conlos promedios de delitos graves (véase anexo 6.13).

Anexo 6.13; Úsd de estinfios seccionales cruzadóslas variaciones• intereStatales de la legislación acercacontrol de armas, para discernir los efectoS de;lit restricciónen la posesión dé arrnaS sobre los tkilátIS -

Debido a unavarleclad de razones histOrka,s; ítadot de Eltadosdos.vartan-arnpllamente en la extensión en que etdsten letieljacerca del registr'rini-)de pó SeSiÓn de armas y erilál reltricelóries iffiluestas al prOpletarto y para usat,ál. árma. Con-lo eStablecer st tales legIslaclones_afectan o nOttprOmedio detos'es máteria de grancontroversla, se han efeetuado varlol anállsIs para estiraaeu j,los efectos netoS en la incidencia de chelltos déia.s'varlaciones-eri talesnes,-tomo álguer, , , ,

CelSel y'sárs colaboradores 1969) intentarott refacionar un conjunto deltócidios, accidentes.y suicicitos, así como sus pórcentajes':que implicaran el ,üsoarMa$ de fuego con un índlceOrnbInado cp.teer .;presarar la eldeisióri-enStre:„cada-,.„legislaCión estatal vIgente erí l,19101-eStringiilaria posesIón 17 .:"/é.:ritáifelárrnal:,Sé ;

r, señó iirtrnodelo de regresIón para tener en cuenta el promediri".estatai'ddirtgresos. =

Pér caP1ta, el nível educativo obteniclo por los residente_s adultds,ielreirigO'de.sexos,totpolicías por cadá 1 000 residentes, la propOklón de negros eiléedaTestado,'derálldad de población, la edád mdd, tá y,los cizadores ¿ón Iltenediíeicapita en

-estado. La variable dependiente consistléren los rangos de hoíráldlacenpistolá,l,X'LrViincidenclade asaltos con dIchó-t1pó:'sle arrna, los t-angos-de accidentdconlpIstoky'y los rangos de suicidío crin -arinse de'firego. El reguLa.ciones acerca ddarmas inienta dernostrar que cuanto más estrictaSlac ioneS, tuerdítmenores ios prontedios delos-incidentestieladonaddlebri'elarrnas de :fuegó:PCiltérierrinente: •los autdie's,';é:Silínarori Tg:-

r tal-se llevara a su mayor rigot. como laiey„ e Iueva1 ita1yiflyarlOs.cientos de muertes por año,_ •.- ,

en.un estuaso que cuestiong los .1-/sIlita,414:-..,Murray (1975) eXain1nról'el misnio proilerna, con los, mIsmos datos; sin embargo;tisr5 una . especificaeión'alternativa del rnodelo cldregresión: la legIslacIón,estatalSe--,mide mediante la presInpa o ausenciá de provls1dneS regulatortasveZ de ITIC-diante la reStrietividad total.,Se usaróri,161'datostlehcertso de 19701, YlOrt,5,ringas del mismo año . ¡-)árá;hornIcl ,clios, accid0t0'wsitIcichos, y se érriplearon. _ _ . ,c¿Iracterísticas estatahes,ádicionales, incluidO eVpóreentaje de desempleo, el porjcentr-rje de l;POblación ticir:debaj6, lde la línrra , de Pbbreza y el indlce de la población,&linnálgrante„ El afi6lisWdélkilrelidili" -ilehlurra9 -HO:PrOdítja coeficlentes slgrtítivos 't5arala . le g islaciat'aCere,a:del:Cónirote..statardéárirálde Jo cual Murray at t .Mentó-rqueidícha legIslaCiórirnOlafe5i.a : á los homicisiin.51',: iitá iossuicidlo-relailvosr

, Fuenté:_,1. D. 1,1411.4, 19,'Ff4.10:sj;T..

ric ü Se;c).:11 amd D JlcJr 1k Rl in Ii In,t,tut .e Arnn

Alexo 6.14. Combinación de un experimerito aleator10.,yun enfoque de grupos control est¿idístícos para anallízt-

tuna intervención de justicia criminal

GRUPOS CONTROL ESTADISTICOS 201200 CAP. 6. DISEÑOS COMPARATIVOS

Si se concluye que los resultados son susceptibles de errores de especifica-ción, en algunos estudios se encontró algún efecto y en otros ninguno. La dife-rencia principal entre los estudios fue la característica de que los estados eranmanejados de modo constante en el análisis, lo cual muestra dramáticamente elerror de especificación inherente a los diseños seccionales cruzados.

Entre los estudios seccionales cruzados de programas de cobertura totalmejor conocidos está el Reporte Coleman (Coleman et al., 1966), en el cual lasvariaciones entre un conjunto de escuelas en cuanto a los niveles del profesora-do, finanzas, composición estudiantil y plantas físicas se valoran según surepercusión en el aprendizaje estudiantil. La valoración original de Colemanfue que las diferencias en esas variables entre las escuelas de Estados Unidos alprincipio de la década de los sesenta no estaba relacionada estrechamente conlos logros del estudiante. Coleman manejó aspectos como las variables de losantecedentes estudiantiles constantes, para encontrar que los estudiantes noaprendían más en escuelas que gastaban gran cantidad per cápita en educaciónpública que aquellas cuyos gastos eran considerablemente menores. Huboresultados similares al manejar los rangos de estudiantes a maestro, la adecua-ci6n de las plantas físicas y el entrenamiento de los maestros.

A pesar de lo anterior, el reporte Coleman no fue reconocido universalmentecomo una valoración definitiva. Muchos educadores e investigadores educativosrefutaron los hallazgos de Coleman; además se celebró un seminario de dos añosde duración, en el que se hizo un análisis y se probaron las especificaciones alter-nas en los mismos datos. La vulnerabilidad de las investigaciones de una sola cap-tura en la crítica de los errores de especificación se muestra de nuevo.

Por tanto, los estudios seccionales cruzados de la repercusión se relacionancon los cuasiexperimentos para tener una invulnerabilidad contra las críticas.Como puede haber sólo un caso persuasivo, no uno definitivo, para especificarde modo correcto el análisis para contar con explicaciones adecuadas de los efec-tos del programa, los estudios seccionales cruzados .están siempre abiertos ala crítica, en el sentido de qué análisis alternativos podrían conducir a resulta-dos diferentes.

Uso complementario de controles estadísticos

Aunque un experimento aleatorio o un cuasiexperimento en el que se em-pleen grupos control se pueden analizar propiamente sólo por comparacionesdirectas entre los grupos experimental y control, a menudo los evaluadores tam-bién emplean los grupos control estadísticos en su análisis.

Algunos programas pueden ser más efectivos con algunos tipos de benefi-ciarios y menos con otros. Por ello, al analizar separadamente a hombres ymujeres se puede encontrar que el programa ha sido diferencialmente efectivocon ambos sexos; por ejemplo, en el experimento TARP (Rossi et al., 1980), elanálisis separado se hizo para ex convictas de tal manera que se esperaba quecada situación de ambos sexos (los hombres y las mujeres son recluidos típica-mente por géneros de ofensas bastante separados y regresan a distintas circuns-tancias en el hogar) permitiría apreciar repercusiones diferenciales desde laintervención experimental de la elegibilidad para el seguro del desempleo sobrelos liberados de prisión. En este experimento se encontró que la elegibilidad del

beneficiario tenía un gran efecto de desincentivizar el trabajo de las mujeres deconvictos, porque éstas eran más responsables del cuidado de los niños depen-dientes y, aparentemente, preferían cuidar a sus hijos pequeños que trabajarfuera de casa.

El uso de grupos control estadísticos en experimentos aleatorios tambiénayuda a incrementar el poder estadístico de tales experimentos. Al mantenerconstantes los factores de la intervención previa relacionados con los resultadosde interés, los efectos de la intervención se estiman con menor error en la medi-ción. En términos estadísticos, la suma de error de los cuadrados disminuye, detal manera que resultan errores estándar más pequeños al estimar la interven-ción; por ejemplo, mientras que la comparación de un grupo control directo conun grupo experimental en el experimento LIFE (Rossi et a/., 1980) mostró que elgrupo experimental tuvo 8% menos arrestos que los que tuvo el grupo control, ladiferencia se cubrió en un 0.05 del nivel de significancia. Un análisis de regresiónen el cual un número de características preexperimentadas de los prisionerosliberados que se emplearon hicieron disminuir tanto el error estándar de la inter-vención como el nivel asociado de significancia a 0.02.

La ventaja final de usar grupos control estadísticos en experimentos aleato-rios es el potencial para detectar los efectos de las interacciones; por ejemplo, alanalizar la intervención de la justicia se encontró que el programa producesimultáneamente dos efectos que tienden a impedirse uno con otro, un hallazgocompletamente oscurecido en la comparación directa de una manera, entre losgrupos experimental y control (véase el anexo 6.14).

Dos experimentos aloatorios itiénticos se diseñaron para probar el efecto en lareintidencia'de,elegirloS :pag. ds:deFg'éguro del deseinpleo a prisioneros iiberadOs.En-16- eXpéritriéntos .,- realizadoS- en;Georgia y Texas, parbeiparon c4verz 2 009,,,,prlsiorici liberados. Cos prisignerokliberados de las PrIsiones— estiqes

alguppl.51kperimén(4011.(qüe'ófreeían

,, -pleO) o a- grupos..conti.q1;_(los.eúales fueron.s.-equidos chlrante. un aiío despiles de suníbIr¿Ción1 -.:- 14,rriedida'-réultáriteeóriktittóa'rrestos solurecarQos.relac1d.liádo..£911„,la prOpiedad uri imo elespués-icle

Las-eOriiparaciones directglient.,11.2" grUpgs contrOl,TY'l.experimehtall,Pei.m..:10

di '1 P,< ,;,';:ulp,2óss-.eccorit".1-2- n „ e l,ta-elís=t,aclaró un „complejo,proce...594 tr

ron -COnClu'irqUe'el trala!-nientdrtió éjéttídefeefoS-discérnibles:enlósbaairorefde-caraos relaciolhlt-los con la propi,dad, no obstante, la inclusión

t

rtuyierán n 2fectó ppltd)‘.. ,? '"d-YreCta, ai.tre—dUclad-Saiiá.tóS,'-0,triíefectO

el en:IpleerOgór tantO; • al Incrementar los árt.,,00.s..És titig,TddIléfectose aancelaban',u-no—aótroVderiábali'a)OI'gr--upo;s.„te-xperimntáles'con el IniSrrlo ntiinero de arrestos que 1c)s grupos•contrOlp'...

.Latnalusión;Cle:un control, estaciísticco.:.ety este exp,erirnentb-laleatbríok?roé)

ultadds nnTitnPórtál:Ité délt161rni -e 'ntO_ . _- eaS'Clue Proporcionan áPOyo fiijaricierb modest i es prisioneros podrían reducir la-.reincidenaia Si étOs nb:desarfbIlába'n'áítnissino nerrip un.tiabajo desincentivizado:

202

,Como c beneficios por seguro de desempleo generalmente son sólo para quienesestán desernple4dós , tótho condición de elegibilidad, este prOcedimiento, si semodifica, podrá prngrama cotiberieficios positivos e,n la'reducción de deli-tos sobre el patrimonio.

Fuente: Re, ulnei) de P. H, Russh, R. Belk K Lenihan. Mr;nee. Work and Cre-ne, Acdderrec, N1_112,:c1

Y,,rk. 1g:30

EI uso de técnicas de control estadístico en estudios seccionales cruzados, encuasiexperimentos o en experimentos aleatorios requiere una comprensión pro-funda del proceso sustantivo que subraya la intervención y su resultado presumi-do, además de un método estadístico multivariado completamente maestro.Mientras que una comprensión general de la lógica en que se basan los controlesestadísticos puede obtenerla casi cualquiera, el empleo apropiado de técnicasimplica un considerable entrenamiento técnico, un conocimiento sustantivo y elacceso a computadoras de alta capacidad.

DISEÑO DE INTERCAMBIOS

En este capítulo se han descrito tres enfoques de investigación para esti-mar la repercusión neta de un programa. El más riguroso enfoque es el de losexperimentos con controles aleatorios, el cual se recomienda en circunstan-cias apropiadas; sin embargo, para muchos programas los diseños experi-mentales aleatorios son impracticables o inapropiados. De hecho, en muchascircunstancias los enfoques de control construidos o los controles estadísticosutilizados en relación con las investigaciones seccionales cruzadas son preferi-bles y más prácticos.

No se puede destacar la importancia del conocimiento a priori en cualquiervaloración de la repercusión. Sin el conocimiento válido del proceso social engeneral y del proceso implicado en el programa particular, es fácil cometer erro-res graves en los diseños del estudio de la repercusión especialmente aquellosque involucran controles construidos o estadísticos.

7Diseño de grupos

unitariospara valorarla repercusión

En este capítulo se estudian los métodos para valorar la repercusión con diseños degrupos unitarios; esto es especialmente adecuado para programas de cobertura total contratamientos constantes. En tales circunstancias no es posible usar controles aleatoriosconstruidos o estadísticos. El primer enfoque que se examinará es el uso de participan-tes como sus propios controles, lo cual constituirá una opción si se ha observado a losparticipantes durante algún tiempo antes de la intervención. Un uso eficaz de controlesreflexivos es por medio del análisis de series de tiempo, de manera que antes de la inter-vención se den instrucciones para el proyecto que podrían haber sucedido sin la interven-ción. Los dos enfoques restantes se basan primordialmente en el juicio: la comparación deresultados con estándares existentes o normas (controles genéricos), o mediante el juiciode expertos, administradores o participantes (controles espectro).


Controles genéricos:

Medidas establecidas del proceso social, como normas depruebas publicadas utilizadas como comparaciones conlos resultados de la intervención.

Controles reflexivos: Medidas de los resultados tomadas antes de las interven-ciones a las poblaciones objeto participantes comoobservaciones control.

Controles espectro:

Juicios de los expertos y de los participantes formuladospara establecer la repercusión neta.

Análisis de series de tiemPo:

Series relativamente largas de mediciones sobre los resul-tados utilizadas para predecir conjuntos de resultadosfuturos.

Al evaluar programas establecidos existen muchos ejemplos de total o casitotal cobertura que impiden identificar y seleccionar grupos de comparaciónpara propósitos de control. Aun cuando es posible identificar tales grupos, aveces el presupuesto del proyecto evita hacerlo. Aunque en las evaluaciones enque se usan grupos únicos en sus diseños se dificulte estimar los efectos netos,

203

204 CAP. 7. DISEÑO DE GRUPOS UNITARIOS

con salvaguardas apropiadas, esto puede proporcionar un conocimiento útil dela repercusión del programa. En algunos casos, tanto los datos suficientes y ade-cuados como el análisis justo resultan en evaluaciones relativamente rigurosas.

CONTROLES REFLEXIVOS

Como se señaló en el capítulo 5, usar las medidas de los resultados anterio-res y posteriores de las poblaciones objeto participantes, en sustitución de losgrupos de comparación, es un proceso conocido como acción de usar los con-troles reflexiuos. Este término es simplemente una manera de describir el uso delas poblaciones objeto como sus propios controles.

Estudios anteriores y posteriores

Para programas de cobertura total en los que es imposible describir o defi-nir a los grupos control aleatorios o construidos, o localizar a la gente que noparticipe en una investigación, usar controles reflexivos puede ser el únicoenfoque disponible. Evaluar con controles reflexivos puede tarnbién ser unpaso económico, especialmente si no hay razón para creer que los datos obteni-dos de las poblaciones objeto al medir los resultados podrían haber cambiadosin la intervención; por ejemplo, cuando las poblaciones objeto correspondenal salario mínimo o a un nivel superior, antes de la intervención para incrementarlos ingresos, la repercusión de un programa para aumentar los salarios se puedeestimar mediante un estudio de controles reflexivos, aunque quizá no se conocie-ra con certeza si los cambios reflejan la repercusión neta: La razón primordial deusar un diseño de grupos control reflexivos es que las poblaciones objeto permane-cen idénticas en sus aspectos apropiados antes y después de la participación; enotras palabras, los registros de resultados de las intervenciones previa y posteriorpodrían ser los mismos sin la intervención (esto es, la repercusión neta podría equi-valer al impacto bruto).

También debe ser obvio que los diseños de grupos control reflexivos son alta-mente vulnerables a la subestimación de los efectos netos. El mayor problemacon las poblaciones objeto como grupos control propios es que, por definición,los grupos reflexivos se obsetvan en momentos diferentes. Las observaciones dela intervención previa se hacen sobre unidades más jóvenes de lo que serán cuan-do la intervención se haya realizado. En la medida en que las variables de losresultados sean influibles por la edad o por las experiencias de la intervenciónextra que estas unidades acumulan después de su exposición al programa, no seaconseja emplear grupos control reflexivos. Cuando se valoran los efectos de unproyecto de reducción de la fertilidad diseñado para mujeres en edad de tenerhijos, el simple conocimiento de la conducta de la fertilidad en periodos anterio-res es simplemente inadecuado. El comportamiento de la fertilidad en cualquiermomento no es independiente del comportamiento anterior a la fertilidad. Másaún, muchas mujeres en las observaciones del grupo reflexivo podrían estar porterminar su periodo de fertilidad y, por tanto, no esperar tener hijos en periodossubsecuentes.

CONTROLES REFLEXIVOS 205

Sin embargo, pára muchos procesos, los efectos de la maduración no sonimportantes, sobre todo en periodos cortos; por ejemplo, en una campaña edu-cativa para cambiar las creencias de los adultos en cuanto a los componentesnutritivos de ciertos alimentos, es probable que no se compita con el proceso demaduración de la gente.

Un seguticlo problema con los grupos control reflexivos radica en las diferenciaspotenciales de la dirección de la tendencia secular durante los dos periodos implica-dos. Si se observa al grupo de control reflexivo durante un periodo de depresión enla producción de la cosecha, una comparación con la producción de las cosechasdurante un periodo de producción más normal originará un engaño. Asimismo, unprograma diseñado para reducir el índice de delitos parecerá más efectivo si coinci-de con otros esfuerzos para incrementar la protección, o un programa de entrena-miento para el empleo será ineficaz si se acompaña por un periodo prolongado deincremento del desempleo y de condiciones de depresión económica.

Un tercer problema resulta de las diferencias de los eventos de interferenciaentre ambos periodos. Un euento de interferencia, como se definió previamen-te, representada una ocurrencia poco común que afecta la medición de losresultados. Entre los ejemplos cabe citar los desastres naturales, la crisis políti-ca y las epidemias endémicas. Cualquier evento que pueda afectar la mediciónde los resultados interferirá con el uso apropiado de las observaciones de losgrupos control reflexivos.

Un ejemplo poco común del uso de los grupos control reflexivos se mues-tra en el anexo 7.1. Shlay y Rossi (1981) obtuvieron datos acerca de unamuestra del tratado del censo en el área metropolitana de Chicago, con el finde valorar los efectos de las regulaciones zonales en la población y el creci-miento de la vivienda en la región. Se aplicaron leyes y disposiciones por zonavigentes en 1960 a cada región para formar una medida de cómo se limitó res-trictivamente cada región. Mediante el empleo de las medidas adecuadas delcenso de población y vivienda de 1960 para predecir por análisis de regresióncuál podría ser la existencia de población y vivienda de 1970, y al registrar lasmedidas restrictivas de las zonas, los autores estimaron los efectos de las res-tricciones en la división por zonas sobre el crecimiento de la población yvivienda en las regiones del censo.

Nótese que el análisis mostrado en el anexo 7.1 depende principalmente delas variaciones de las regiones del censo a las regiones del censo de 1960, con susregulaciones de la zona. Por ello, cada región sirve como su propio control parapredecir el crecimiento en los periodos intercensales, y las regiones se contrastande acuerdo con la cantidad de restricciones fijadas para el uso de la tierra en cadauna. Las direcciones maduracionales en el crecimiento de la región, como loscambios relacionados con la edad de los individuos, se tienen en cuenta con el finde estimar tales direcciones para el conjunto total de regiones si se considera divi-dir por zonas las causas de las desviaciones de tales direcciones maduracionales,como lo representan los valores predichos para los haberes de población yvivienda en 1970.

Los estudios previos y posteriores de las intervenciones de cobertura totalson relativamente raros, sobre todo porque las medidas anteriores a la interven-ción en los programas de cobertura total, por desgracia, no están disponibles,y porque su análisis apropiado depende fundamentalmente de la variación en

206

CONTROLES REFLEXIVOS 207

Anexo 7.1 EstimaC.ión de loS efectos.delas-regulacíones_ - . . , _ , .de zonificación-en , e1 crecimientó de la vivienda y,rde los,.

' niVeles de población en tin SM 'SA de:Chicagn 1-9.60,1979." ' '.. .

, Shlay y Rossi usaron , muestrás del -censo de la ciudad o te I I c a g o y del restode la,MSA de Chicago para conocer, según los registrós niti-nicipales locales, lasreguláaóries de zonificación Vigentes pará cada censo en 1960. S e cons ruy unconjiantb • clé Indicesipara,cáda se_ccl6n del censo i ,elscuakreflejába,e1.grado en quelas'regálácibnel-ácereádé Iliioniflcaci¿n restrlágiál¿liilo réSIdéricial lie la nerraque variab-an desde el tmtrón de uSo exclus19O, en el que SEllo se perrnitieron casas .. J.

. , yidíliales so: indi para familias, hasta-el urnenOs exclusivo; en el que se perrnitía'-, !

, cualquier unlización del suelo, Jncilidas,... las comerciales e industriales. , ,.-: d,,... , , ..

LOS valores de los censos de 19 : 1970'para-viviendal ycy,ácterístl.pas ,e

Pt;láctón se ernplearon con ei fin ,de e_taYbOrárUna ecuáci6n de'redieli¿n cj.1.1éT1ecl

cícá las Caractertsticas del censg, de,:1970, con bas'-e,'en los s:faloresd99,60sli_zelínCli1 dezonificación. Los invesugadt»,:encontraróri -e¡ue las regulacion

s

i6

es e„..nífi,,,-Ç '-ii Válori los rangot'dO. recTmlento de lo que cabría esperar con .a.s.e,eri'in.,,

' creeinclarlenio- normal, y afectar' On la natura, lezaHlelás- dis bIllá:tr lb..déSda,, y SOc.ioeconómicas de lá,ligilación del cen14.;=='-'-'..,,

" ''...4,- - v,•.:-.-,.-...:1-._:

Fuente: Tornado de A.. Shlay y 1; FURcissl, "Keep.Inghip ,the N ih6od Est1mati NetEfferts

'26nin g " , en America7-1 S.ociologicat Rei,teul, Dicie'n,hre^de:19_8-1;L res9. 0.,,oloolapt4,1.;;Ii,.., - -

, . ,

el tratamiento (como se muestra en el anexo 7.1). Existe tendencia a valorarlos programas de cobertura total con tratamientos constantes mediante el em-pleo de grupos control genéricos o espectro, como se verá en otras seccionesde este capítulo.

Análisis de series de tiempo deprogramas de cobertura total

Para numerosos hechos de preocupación pública (por ejemplo, la fertilidad,la mortalidad y el delito) o de preocupación administrativa (por ejemplo, la pro-porción de estudiantes que desertan al final del primer grado) existen a menudoseries de tiempo, medidas de resultados tomadas semanal, mensual o trimestral-mente, o en intervalos más largos. Tales series de tiempo proporcionan basesrelativamente firmes sobre las cuales hacer estimaciones de lo que podría suce-der en ausencia de una intervención.

Cuando se utilizan series de tiempo relativamente largas de las observacio-nes de la intervención previa es posible modelar las direcciones a largo plazo delgrupo de objetivos, proyectando tales direcciones mediante la intervención yobservando si el periodo de la intervención posterior muestra o no desviacionessignificativas para ellos. El uso de tales procedimientos de modelado de las direc-ciones en el tiempo, como ARIMA (McCleary y Hay, 1980; Pyndyck y Rubinfeld,1976; Cook y Campbell, 1979; Hibbs, 1977), permitió identificar las direccionesque más se ajustaban, para lo cual se tuvieron en cuenta los patrones lineales y las

variaciones estacionales. También se puede aceptar lo anterior según el grado enque cualquier valor o anotación de una medida se relaciona necesariamente conlas medidas previas (técnicamente referido como autocorrelación); sin embargo,también cabe señalar que lo implicado en el procedimiento es muy técnico yrequiere gran complejidad estadística.

Los anexos 7.2 y 7.3 muestran el uso de series de tiempo existentes en eva-luaciones para valorar la repercusión de una ley sobre control de armas y de unproyecto para la conservación del agua, respectivamente. En ambos casos, laevaluación es posible debido a la existencia de series de medidas relativamentelargas (con aproximadamente 120 puntos en el tiempo) sobre las variables de losresultados. Así, en el anexo 7.2 se muestra información recolectada durantevarios años en cuanto a delitos cometidos con violencia reportados a la .policía(como homicidio, asalto y robo a mano armada), con el fin de establecer unadirección esperada para tales delitos ante la ausencia de una ley sobre control dearmas vigente en 1975. La comparación de los rangos experimentados despuésdel decreto con los rangos esperados ha proporcionado una medida del resul-tado neto. En el anexo 7.3 se muestran los mismos procedimientos, en los que seemplean los rangos del uso del agua antes y después del decreto sobre regulacio-nes para disminuir el consumo del agua. También cabe señalar que en ambosestudios se usa un conocimiento anterior respecto de los factores que afectan las

Í , Anexo 7.2."Análísis de series de tiempo del efecto .- -.:_: :-."-_, -,'' --- .de" la ley acerea del control de armas' ..de Mass'achusetts'

. En abili:de 1975; el estado cle Massachusetts puso forrnáltriente en:vigor„bley r adercá"dél cofitrol de armas que:rdisponía un año de,sentencia 'epitit±-mlillpara quienes resultaron responsables-de portat'arrnaSsinlleericia espiátNie-dr: te este estudio se evaluó el efecO,di,süá,-Skú,zilde láley.11..ápfensasrelacionaclaS eodet,'"i''.1

- honlicidio corrietidóéOriárma alíúég. &:e1WWto--édt4'árrnasy el robo'a rrian6arrri•:,,-,---,'cia", én lá ciud¿I "¿t del.Bostón, fucron'exarninadóde acuerdo con lOs can-ibios en stillMnlifigi es rcluranté :'el -.-"Peri-OdO antertor, ac tuáVy Posrerior-Akti.ggretode'-dicla''..10É,

Los rribdelos esto-aSsticos enipíriC6á iriiiltipliOtiVOá'Oálin,láráffietro_,-. e.cálnW..:. blo'SI:ernplea:rsiti :Pára'áhalizárI lás:Sgi-Igs dé t i eni'llii'Iri;4iiiit111.1utos ine — es dtlincidencia'de hbriiIddió, a'salto,9 r.bbo'á, rnano arinlélit'intáliTeÉliclad de B&.oh de-,•-•":1',''-de enero de 1966 . hasta octutifejde 1975. ' - '..---- '•' - . 1 :•' - ''-- , , . . : - ., .-

Los autores,cncontraron nFitigIla;.jey acerca del ebntrof de . armas ha afectado:-."::'haSta un nivel'eStadrstiCO:en clectéMento tanto los robos a mano armadil'coM6 et.:_. .

-asaltó con pistola eri.::el tiernpo de, su elgencia; Si n erniiárgo, en el rango derhomic.t-,,,l,.

1 dios se observaron'caint ntós poco signifiCativós, descW0p!„,ít*i-de.y.l. , díst.0_.,:."---

Los autpres atribuYeron la carencia de efectos sOlire_el:',hOrniOdlóléri, ',P.Op_.411.'[-':, ;,...1Siárvfutur' a:elerciántrol de ar rnaj s,p.tiré::01-lornicidió.4ri'..11,hergl puédé M..)delcubi'l

",a-,5jc i ón-e los,hornictclios cornetid ?S' g r-i'taSas-habitád&ri:ai hh-,O, dg cjue la repel.

lalliilários añoPii suclil' " "'''' -1''''' '''''''''''' ''''�"...kl. '37,-,l: J3'

ntt91

05, _

Fuente: Resumenrde'I.91D

,

Noches de fin de semana

208 209

Anexo 7.3. Análisis de series - de tiempo acercade la repercusión de una canMaiia para ahorrar agua

En 1972, la Goleta Water Board de :Jgria de Goli_ta) declaró unamoratoria para las nueVas tomas de efo, ua, en 1111 r.bfueczo por mantener ,21 nivel dedemanda dcmtro de los Iírnites de surninistro hasta que se pildieran valorar fuentesde agua alternativas. Además, se tomaron otras . medidas de cOnservación parareducir ci consurno cle agua, incluido el decreto /de leyes locales qtae prolilbíán eldesper clicio y las campañas de educación. El Propósito de este estuclió fue valm ar laefectividad del prograrna distrito de agua del condado de Goleta en cuanto a suesfuerzo por reducir el consurno de agua.

La efectividad del plograrna sé rnidió rnécliante dos variables pendientes: lasventas domésticas y comerciales y la producción. A fin de rnejorar la valoración dela repercusión del programa, .7idernás de la ternporada de lluvias retrasada y la gen-t e, éstas se tornaron comp vanables exógenas-en modeIci . de regresión:Los datosmensuales de estas variables ettivieron2diSPonibles desde 1966 hastá 1976.

Los autores mantuvieron coristantes otras variables adecuadas para dernostrarque la vigencia de la moratória tuvo una influencia estadísticamente significativa en -el uso del agua. Los resultados mdican una reducción det 15% en el consumoagua durante los tres años siquientes a la ecución de lá rnoratoria.

Fuente: Resumen cle J. E MI, D M H,f(TIlan sR. A. Berk, "A TlIne Setl, A uf theIrripact ut a Water Conserv.mon Quartt rle, num 2, t, brero 1 , 72 pflg,107.1.18.

Anexo 7.4 nalisis del efecto en accidentesde tráfico en las pruebas del analizador dealiento para manejadores implicados en accidentes

,En 1967, el gobierno ingles decretó una nueva•polítI4ulperypittlzillpglIct

obtencr pruebas del un iii 1 lel aliento en editigarldél:4041-11044.:;14161..:/soidnb-dir la presencia del alcohol en la sangre del,SospecnOicI:Se'establééliórt-Pseveras pára responsables de manejarde la nueva ley, la crial entró en vigo t .t.;; lerí'ejót4ij0.4096 —

En la siglitente ,tigura se rnuestran164 ::fp. Icil.41 -40 .4iltos9ehleu ,ares ditvarios periodos de la serriana anterlor y pOtterlót en:qüeen vigor. En puede observar,;ilii:OsjiiIntiCilllii i'eti los accIdentesdos después d lá leqlslación, lá Cual al5aí.¿6'1'nnti-ddfa:"I'de la serharra, peroespecialmente efectos dramáticos en el fin de semana.

o

Horas y ctlas tonf.

1

mediciones de los resultados, con el fin de reglamentar las posibles explicacio-nes competentes.

Como en otros grupos control estadísticos, los análisis de series de tiemposon susceptibles de errores de especificación; por ejemplo, el análisis presenta-do en el anexo 7.2 ha sido cuestionado por Hay y McCleary (1979), quienesargumentaron que el modelo ARIMA empleado por Deutsch y Alt era incorrec-to. Hay y McCleary usaron un modelo ARIMA alternativo para encontrar quealgunos de los efectos de la Ley sobre control de armas de Massachusetts, valo-rada por Deutsch y Alt, desaparecían cuando se aplicaba un modelo "máscorrecto" (consúltese también Deutsch, 1979, para conocer la continuación deeste debate). El punto que se debe tener en mente es un viejo refrán: los contro-les estadísticos, ya sean los análisis seccionales cruzados o aquellos utilizadospara modelar las direcciones de las series de tiempo, no son mejores que el pen-samiento a priori implicado en su construcción.

Métodos más simples para examinar los datos de series de tiempo, antes ydespués de la intervención, pueden proporcionar pistas superficiales pero úti-les de la repercusión. Si se conocen las influencias que confunden una interven-ción y hay certeza de que sus efectos son mínimos, las series de tiempo sirvenpara establecer los efectos netos del programa. La carta mostrada en el anexo7.4 presenta los rangos de accidentes automovilísticos en Gran Bretaña antes ydespués de la promulgación y el reforzamiento de las leyes, cambiadas drástica-mente de acuerdo con el tratamiento de personas involucradas en accidentes y

1111111111111.111-1111- ÍL1 111-1111711111FirIAHJJASONDE_FMA"MJJASON.DEGHAMJJA5G,C9

1 ck-rtyI h5 7 1539

Fllent,nT,m3do H.E 11 D. T C ,,rnr 5,11 y G y Glass,"DetermlnIng the Sotial Effectsof a Legaltorrn. The B n insh cf cn Americon BhaubDral ScientIst, nürn. 13, marzc.abrIl de1‘ , 70. atj 000

210 CAP. 7. DISEISIO DE GRUPOS UNITARIOSCONTROLES GENÉR1COS 211

sancionadas por manejar en estado de ebriedad. La carta indica que la legisla-ción tuvo un efecto discernible: los accidentes disminuyeron una vez que estuvoen vigor y, sobre todo, la disminución fue más dramática para accidentes ocu-rridos en fines de semana (el análisis estadístico verificó que los efectos eviden-tes también fueron significativos).

Cuando hay series de tiempo para las intervencione,s, en tiempos y lugares di-ferentes, se debe hacer un análisis más complejo. En el estudio de los distritos paraconservar el agua descritos en el anexo 7.3, Berk y sus colaboradores (1981)emplearon múltiples series de tiempo sobre el consumo de agua, con el fin decomparar la eficacia relativa de valorar las políticas contra las campañas educati-vas para reducir el consumo de agua doméstico e industrial.

El análisis de series de tiempo es eficaz para diseñar las estimaciones de losefectos de un tratamiento constantes, en programas de cobertura total. Se reco-mienda dicho análisis para circunstancias en las que existen series estadísti-cas apropiadas.

CONTROLES GENÉRICOS

Todos los enfoques hechos en el capítulo 6 y en la primera parte de este capí-tulo, están basados en observaciones especialmente realizadas para estimar lo quepodría suceder sin la intervención que se prueba. Estos procedimientos se recal-can porque en muchas situaciones se tiene un firme conocimiento acerca de lo quesucede generalmente en el curso de una acción social. En contraste, en diversoscampos de las ciencias físicas (por ejemplo, la química) se publican grandesmanuales que proporcionan valores estandarizados para una amplia variedad deprocesos físicos; por ejemplo, no es necesario para el químico industrial especifi-car el valor UTB novo típico para varios combustibles, pues existen múltiplesmanuales en los que se listan tales valores, basados en la serie de experiencias quepueden registrar los investigadores. No obstante, para el investígador social exis-ten pocas complicaciones comparables; por ejemplo, no se conocen las experien-cias típicas de personas en los mercados laborales urbanos; aún más, no se sabeque tales experiencias "típicas" cambian de estación en estación y cada año, demanera que fluctúan con el ciclo de negocios y con la participación de los trabaja-dores en el mercado.

En despecho de la ausencia general de tales valores estandarizados, exis-ten algunas áreas del comportamiento humano en que tales controles genéri-cos están disponibles. Como se vio en el capítulo 5, los controles genéricos sonmedidas del proceso humano y social reconocido generalmente como bien esta-blecido. Los controles genéricos existentes incluyen medidas del proceso vital(por ejemplo, rangos de muertes, nacimientos, sexos y proporción de perso-nas en las varias categorías de las fuerzas laborales) y los derivados de esasmedidas; además existen estándares publicados o normas de las pruebas psico-lógicas variadas (incluidas las de inteligencia, la asimilación de diversas habili-dades, la personalidad, etc.). La información proporcionada mediante loscontroles genéricos, con las excepciones propias, se puede usar para estimarlo que habría sucedido sin la intervención.

Por ejemplo, para descubrir los efectos del agua fluorhidrada sobre la cariesdental, se notó que la incidencia de malestares dentales variaba entre la pobla-

ción de cada localidad y que tal variación se correlacionaba con la cantidad deflúor encontrado en el agua potable. Esta correlación se descubrió porque los epi-demiologistas dentales tenían una firme noción de los rangos normales de la for-mación de la caries. Asimismo, la detección de los restos epidemiológicos radicaprincipalmente en el conocimiento que tiene el epidemiologista sobre los rangosde incidencia ordinaria para cada enfermedad; además, la eficacia de las medidasde salud ocupacional se estima en comparación con los rangos de muertes espe-radas en los diversos casos para la población general.

Al considerar las intervenciones educativas, suelen seducirnos las normaspublicadas de pruebas de aprovechamiento escolar como controles genéricos;sin embargo, hacer esto puede originar errores serios; existe tanta variabilidadentre la asimilación relacionada con un nivel socioeconómico, antecedentes étni-cos y factores similares, que las normas publicadas suelen ser tan generales quecarecen de utilidad. Así, al evaluar si un nuevo programa de enseñanza educativaes o no eficaz, lo más recomendable no es comparar lo benéfico de las pruebas deaprovechamiento escolar de una muestra de niños citadinos con las normaspublicadas por el diseñador de la prueba. Los rangos comunes de aprendizajepara tales niños probablemente difieren mucho de tales normas generales. Asi-mismo, probablemente es un error comparar los ingresos de los hombres de 34años de edad, como los reportó el Census Bureau's Current Population Survey(Censo de la Oficina de Investigación de la Población Actual), con los de aquellosde 34 años que sólo han completado el curso de entrenamiento vocacional. Enresumen, los controles genéricos están disponibles o no, por lo general, con elsuficiente detalle para que los evaluadores puedan confiar en que las normas encuestión son apropiadas para un uso particular.

Las normas son una forrna especial de control genérico, cuando son abso-lutas, algunas veces aplicadas en circunstancias en que las metas son explícitas;por ejemplo, una meta por alcanzar en un programa de mantenimiento delingreso se puede ver también para que cada persona con más de 18 años deedad reciba un ingreso mínimo mensual de 500 dólares. Se puede pensar queesta meta tan específica represente también un "control genérico", y un progra-ma se puede valorar según se logre o no la meta. Del mismo modo, el objetivode un programa de rehabilitación de prisioneros puede ser reducir la reinciden-cia a cero, lo cual también constituye un logro medible; sin embargo, pocos pro-gramas son tan eficaces para alcanzar metas absolutas y tampoco es probableque cualquier meta se especifique tan absolutamente que se pueda conseguirmediante una intervención.

Cabe recalcar que los controles genéricos se deberían emplear sólo en cir-cunstancias en que otros controles no estuvieran disponibles. Se puede conside-rar su uso en otros contextos evaluativos. Ciertamente, los controles genéricosno son costosos y no requiere mucho tiernpo recolectarlos, sobre todo en compa-ración con los gastos hechos al usar controles aleatorios o construidos; sinembargo, aun cuando los controles aleatorios construidos o estadísticos no sepuedan recolectar, se deberían usar los controles genéricos con la mayor precau-ción, con un intenso escrutinio acerca de si los controles genéricos en cuestiónson comparables o no con los participantes de cada manera crítica.

212 213

CONTROLES ESPECTRO

Para muchos programas sociales es difícil encontrar observaciones acer-ca de los controles genéricos. Simplemente no hay normas para el entrenamien-to vocacional, para el mantenimiento de los ingresos o para los programas deconsejeros, por ejemplo; no obstante, existen personas con experiencia en variasáreas de serviCios humanos, sobre cuyos juicios se pueden confiar cuando seconstruyan estimaciones acerca de si un resultado bruto es o no prueba suficientede una repercusión significativa. Además, también es posible considerar a losparticipantes para obtener valoraciones de si un programa ejerce o no efectossignificativos sobre ellos. Los juicios de los expertos, de los administradores delos programas y de los participantes se llarnan controles espectro, nombre esco-gido para reflejar su común carencia de evidencias sustanciales.

En despecho de que los controles espectro, por lo general, se pueden usarsólo con precaución extrema, a veces su uso se justifica. Una de estas circuns-tancias es el caso de un programa extremadamente exitoso, como se verá enseguida. Un programa de entrenamiento vocacional de dos meses de duracióndiseñado para contratar a choferes de camiones de uso pesado, fue selecciona-do por el 90% de los candidatos (de entre las personas sin tales habilidades)para obtener la licencia de manejo. Tales hallazgos sugieren que el programafue exitoso, pues se alcanzaron sus metas al impartir mayores habilidades voca-cionales. Se puede emitir tal juicio porque parece improbable que tan alta pro-porción de cualquier grupo de personas sin habilidades que desean convertirseen choferes de camiones sea capaz de obtener tales licencias en menos de dosmeses. La valla de este juicio depende principalmente de conocer algo acercadel manejo de camiones y de las habilidades especiales inherentes, así como detener algún conocimiento acerca del examen para obtener la licencia de mane-jo. Un conocimiento a priori de su alta validez es importante en tales juicios.

Los resultados principales pueden permitir tarnbién reafirmar los juicios. Sitodos los participantes en el prograrna de manejo de camiones fallaran en el exa-men para obtener la licencia, este hecho podría ser evidencia de la falla del pro-grarna; aun así, tales juicios no se pueden hacer sin tener algún conocimientoacerca del manejo de camiones y el examen de manejo. También puede ser quetodos los aspirantes se equivoquen en la primera prueba y que la prueba crucialdependa de si obtienen o no éxito en el segundo intento.

Por supuesto, los restiltados pueden ser ambiguos: puede haber sólo un 30%que aprueben el examen para obtener la licencia. La típica forrna de resultadoorigina la cuestión de si un grupo comparable que no recibiese tratamiento habríapasado la prueba también. Generalmente, la simple medición anterior y posteriorde los participantes objetivo sólo documenta el hecho de que un proyecto influyeen los participantes, de manera congruente con las metas del proyecto; sinembargo, esto difícilmente puede ser una prueba definitiva de la repercusiónneta. Por ello, para resultados típicos de un programa es riesgoso usar los contro-les espectro.

Juicio de los expertos

Si los juicios de los expertos se van a usar como controles espectro, su valíadependerá de las habilidades y del conocimiento de los expertos en cuestión.Quienes conocen el campo de la educación vocacional para adultos y los resulta-dos típicos del proyecto de intervención en ese campo, pueden ser interrogadosen cuanto a su experiencia en lo siguiente: si el 30% descrito es mayor o menor delo que sería el resultado exitoso para un entrenamiento vocacional de adultos.Desde luego, la utilidad y validez de tales juicios y, por tanto, la validez de las eva-luaciones en que se formulan deperiden totalmente del juicio de los expertos y deldesarrollo de un conocimiento firme en el carnpo.

Si el juicio de los expertos (o cualquier control espectro) se va a emitir esesencial que sea de modo explícito: es decir, las bases sobre las cuales los juiciosse formulan deben describirse tanto como sea posible. Si un experto emite unjuicio basado en su propia experiencia, la extensión de tales experiencias y lavariación de instancia en instancia se deben revelar. Cuando sea posible lasreferencias explícitas para otros estudios evaluativos se deben dar para que secompruebe si las circunstancias de otras investigaciones son comparables o no conaquellas en las cuales se emite el juicio.. Frecuentemente, el control espectro es una conclusión o construcciónbasada en el conocimiento de los expertos acerca del proceso implicado Asípara un experimento en criminología puede ser "obvio a la razón" que unaintervención sea efectiva, pues se apega estrechamente a los paradigmas princi-pales en el campo concernientes con la rahabilitación de ex prisioneros. Mien-tras que el juicio de un ingeniero industrial concerniente cón la efectividad de unproceso de producción puede basarse en el medio de acción, el de un criminólo-go acerca de la rehabilitación no se apega al rnismo lineamiento. Desafortuna-damente, la verdadera razón de emplear diseños rigurosos de valoración de larepercusión en el área de progt-amas sociales es ciue el estado del conocimientoen cada campo es inadecuado. Aunciue la "razón obvia" es que rnuchos progra-mas serán exitosos, a menudo no pasan las pruebas más rigurosas de los mejo-res diserios de valoración de la repercusión.

Los procedimientos que actualmente emplea un experto para llegar a con-troles espectro pueden variar en alto grado. Típicamente, se contrata a un exper-to bien conocido (o expertos) en el carnpo (con-to un consultor) y se le envía aconocer el sitio del programa con el fin de examinar detalladamente si funciona ypara escribir un informe en el que resuma las experiencias y valoraciones (en losanexos 7.5 y 7.6 se proporcionan ejemplos típicos de tales valoraciones y sus jui-cios). La visita del experto puede servir para examinar los registros del proyecto,observar el proyecto en operación, efectuar entrevistas con los participantes,hablar con los administradores del proyeCto, con el equipo de trabajo y con otrosoficiales y realizar entrevistas con los primeros participantes. En resumen, sepueden emplear todos los rnedios de la investigación social inforrnal.

La validez de la valoración mediante los juicios de un experto, depende de lasconsideraciones siguientes: Primera, se debe considerar el estado de conocimien-to del campo sustantivo. En un campo en que el conocimiento de cómo lograr unresultado particular es avanzado, la apreciación de un experto será muy adecua-da. Si se conoce poco en un área (como rehabilitar delincuentes), el juicio de un

Anexo úalaraCión- delmediárrte-,e1,ernplewide : estadístic.as adrninistrativás.anterlgrelj ,,,,p:o,s te!-,155'0.1s1,álf . .

• - - •-

' La e'dulact6rt a :;.kildáTfarn at:tntegráda, fue un prctijecto op cómd,_;un Intento'.0árit,".séducar-a'lbs ,adttlitiS ácerca i'dejas prácilbá apropladas ennutrieión, agrIcultüra, Planifkaaditsé úsaron clases cón nitittia.S - Mateilas intruetiYas'cUidadd4triénte'é.' stüianteprobadas, sóbre tódo'para la población

John Pet-tit, un éyalliadOrpdern0;htIO,IMktrts t tald1,93: TP9,4; i0s s s Oel.

yeetd -, -ditrunte tres semanas usó las eSiadí;1311.S:adiningliáleleri4elál'.,11tsrnedidas ariterlores y posteriores de alfab;etismo, suscripción:a practicasáProPteitias, etc., para dernbstrar güe los ayances sIgnifleatiYos habían slclologracló,poi loS,Participantés del programa. Se emprendieron entreyistas c,ontes; con loSlíderes'.,cle lá cornimidad y con los-emple,gdos del egutpd dé trabajd, 12-1'nledielas antetior4 -Y,'-ddSterlbreS: se hirCie-rOii = pará:Tbropioi.cfnnaiprnerdretrda,limentación en for. "1-a''.ide Ir nforrnación a lostra da ores del proyecto, yparajtç'fueran útileS'en la éváittación; por ejeMplo, en Ur!a,pequeña villa, los participantes,"gue realizaban praCticas'familiares apropiadas (r4.0'el comiléno del progi-a-'„ „ma . y 32% al final del ciclo de entrenaMierítilv;

CONTROLES ESPECTRO 215214

Anekó' 7.5. Uso del julpio de los expertoH - par. a e -valuár lá inilúencía de la partiCipaCio

ctudadana en lá, 4 ieriovaéiónurbana. _ .

"autoreefectuárán:-,éni,illst asrldlipatttIP y;

ron--"dátós' Cle'la'S,11Stas de r-rnieOrp`i:cle; „1o, rgánlaciones citidadanas, a; fln de' yalOráriá;efe'étividad deldS»ntentót,para?uSarun proceso oeijielttic tpcy5n en el,_

cliseño de,tift:Oan de reribvactÓri'úrban-a`difigido al área deláthiiversidád de Chi.-cago..1.17valoraeión tómó yarias formas: prIrhera, se snterregó a los planiflCado-re's acer'ea-delascaracteríSticas del,pian terminado gue . fuesen afectadaS Por ef

- proCesó- deParit-CtlabiZn; segu' nda; leeXarrit0i-ion los registios docuMentalescimnio á lás relittlórie.entre planificadoiá y cládadanos;y terdera3e'-hteleroti'1-7‹'estudlos detallado cleTlas característical-eSpectft d pIart;;,e0.trifitteritd,-cliscerntr.cómo selormaron los planes final

-Fuente: Re-surnen, con-11.1.0406n, Crone:

t. ....Edil,cation"Reportgrsir)Cnrn. 'ae 1977 i P5 5. 1.13

L. -

experto acerca de la efectividad de un proyecto particular no será más valiosoque el de cualquier otra persona. Los expertos deben conocer también los hallaz-gos de otras evaluaciones, incluidas las más sistemáticas, de programas simila-res; por ejemplo, un experto a quien se interroga si un tratamiento comunitario

en un centro para prisioneros liberados ayuda o no a los enjuiciados a obtenerempleo, debería conocer a fondo los estudios acerca de rangos de empleo para exConvictos realizados durante los meses previos a la liberación. Asimismo, el cono-cimiento de que muchos estudios influyen en el tamaño del salón de clases con res-pecto a la asimilación a pesar de los efectos positivos en los rangos de satisfacciónde los maestros, deben hacerlo a uno escéptico de que un programa basado princi-palmente en tal estrategia contribuya a la asimilación de los estudiantes (aunquepuede complacer a los maestros).

Segunda, uno debe darse cuenta de que es natural-para el administrador delproyecto intentar presentar éste de la mejor manera posible. Así, se debe espe-rar que el estado del proyecto en el momento de la visita anunciada sea mejorincluso que en otros periodos, de rnaneras proporcioriales, desde el aseo dellocal hasta las posibles buenas referencias manifestadas de lbs participantes.

Debido a que en tales'Circunstancias las valoraciones mediante juicios émi-tidos por los expertos son sólo géneros de valoraciones de la repercusión, esimportante que tales expertos sean seleccionados cuidadosamente de acuerdocon su habilidad para analizar la comunicación y su conocirniento de la discipli-na implicada. Como mínimo, los expertos deben Considerar las siguientes fuen-tes de datos:

1. Registros administrativos. Los expertos deben recabar información de ta-les registros administrativos (o tener tabulaciones hechas) acerca dediversos temas, como:

Tamaño del proyecto.Tipos de participantes seleccionados.Experiencias en la deserción de los participantes.Experiencias posproyecto con los participantes.Costo en el proyecto por cada participante que completa el programa.Medidas anteriores y posteriores de los cambios en los participantesadecuados para las metas del proyecto.

Obseruaciones acerca de la operación del proyecto. Los proyectos querequieren trabajo activo de parte de los participantes (por ejemplo, visitasfamiliares, sesiones de salón y presentaciones a los medios) deben obser-varlos directamente los expertos visitantes.Entreuistas con los participantes. En las entrevistas informales con los par-ticipantes y/o con los primeros participantes, por lo menos algunos de loscuales son espontáneos, se pueden considerar problemas tales como:

La selección de , los particípantes.La motivación de los participantes.La satisfacción del participante con el proyecto.El progreso del participante en las metas intentadas con el proyecto.

4. Entreuistas con los contextos adecuados. Las entrevistas informales conlos oficiales locales, con los administradores del programa competente,con los administradores de instituciones locales importantes (por ejem-plo, superintendentes escolares y jefes de policía) y con individuos de la

e)

4

217216 CAP. 7. DISE190 DE GRUPOS UNITARIOS

localidad poderosos o representantes de las instituciones locales influyen-tes (por ejemplo, grandes terratenientes, banqueros y autoridades políti-cas) deben abarcar los temas siguientes:

Validez del proyecto.Extensión en que el proyecto es considerado como una ayuda o trata-miento para la comunidad.

c) Interés en la continuación del proyecto cuando ha terminado el perio-do de demostración

En compensación con la debilidad del juicio de los expertos, a veces esteenfoque puede ser el único por hacer, como en el caso de intervenciones de largaduración, cobertura total y nivel constante. También, la urgencia de la necesidadpara valorar la repercusión puede forzar la confianza acerca del juicio de losexpertos; una carencia de recursos quizá impida hacer valoraciones relativamen-te costosas y con amplia escala en las que se empleen grupos control o un enfo-que seccional cruzado. Aún más, otros controles pueden ser factibles al principío,pero tediosos para ponerlos en prácticas.

En el anexo 7.7 se muestra un estudio poco común en el que el tiempoempleado desde que el programa se estableció fue de más de tres décadas. Sala-mon (1974) valoró la eficacia de la política de reforma de la tierra de la década delos treinta al examinar los títulos de propiedad para ver si la gente a la que se diooriginalmente la tierra aún tenía su posesión. Salamon encontró alguna continui-dad en el tiempo, por lo cual concluyó que la política era eficaz para crear unaclase media entre los negros respecto de la tenencia de la tierra.

Por supuesto, tal conclusión es resultado de un juicio acerca de si la propor-ción de colonos o de sus descendientes aún perrnanecía en poder de la tierra eramayor o menor de lo que podría esperarse respecto de la tendencía general delos poseedores de la tierra a cambiar de generación en generación. Ese cual-quiera de los poseedores originales o de sus descendientes que aún permane-cen es evidencia de alguna repercusión, pero el problema es sí esta repercusiónes diferente de aquella que cabría esperar en cualquier evento íntermedio entres décadas o más.

El caso de Salamon acerca de la repercusión de los programas de la ley dereformas de nueva negociación se podría reforzar para demostrar que parcelassimilares de tierra en la misfna parte del sur de Estados Unidos no muestran uncambio comparable de pertenecer a negros durante el periodo, y/o que el progra-ma no ejecutado de la tenencia de la tierra entre negros tendía a variar a la tenen-cia por blancos. Indudablemente, las dificultades para asegurar las razas de losdueños de las parcelas hace 40 años obstruían el uso de esta estrategia.

Juicios de los administradores del programa

Los administradores del proyecto son rutinariamente interrogados con el finde valorar su progreso para alcanzar las metas del proyecto. En muchos casos seduda que se dé mucha confianza a tales reportes como valoraciones de la reper-cusión, por razones obvias. Primero, es difícil realizar un juicio de la valoracíónde la repercusión en las mejores circunstancias. Es mucho esperar de los adminis-

Anexo 7.7. Analisis de los efectos de granproporción en un programa de reforma de latierrá de la nueva negociacion

En la década de los treinta, durante la nueva negociación, se decretó una seriele rofcm:Mas'agricolas, rnuchas de las cu,des fucron (-1e corta duración. Una de

leformas irnplicaba la ,coinpra de til ra ' su venta a pequeños granjeros paratrulr hogares a bctenos piEclos y con ¿Ielecuados tórmmos financteros„ Algunos delos proyectoS específicos cornenzaron ante protestas do los intereses de e.stableci-mientes agrícolas y originaron la cancelación del programa.

Durante la década- de FoS setenta, e/ autor efectuó una evaluaciOn de lade Reforma cle la Nueva Negociación y de su programa, al examinar a los propie,trios de laS inicelAs. -que fueron vendidas a terratphtentes negros en ocho pro: , -yeciOs de ieübkáCióh de la tierra en cinco eStadoáRtás regIstros de los terrate-:,..2mentes o nsstigaron para.determinar si la tiorra en cuestión permanecíamanos ,cie las personas relativas o 'deScendientes de las famihas a quienes se ven-Weron ' en la década cle los treinta. ' -

Satunon concluyó que el proyecto fue exitoso para crear una clase media:-negra permanente, dadó que rriucha de la tierra estaba aún en manosde los asenta-InInientos unglnales y de sus descendientes,

- - ,Fuente:ri 1 fe i con autc/izan6n, 2 iehn 1 and SID n s Iner, áe L M 5,,.lanlen, 'The Tsner.".."

Dinlen5ion in Policy Evaluatio .n . Th, Cas, Nrw LzInd Reform Experlments", en PublIc Pohcy,. .27, núm, 1979.

tradores y de sus responsabilidades diarias en la realización de un proyecto, yaque suelen estar sujetos a la carencia de calificaciones técnicas apropiadas, para-dedicar mucho tiempo y cuidado en la valoración de la repercusión.

Segundo, una valoración de la repercuslón realizada adecuadamente se basaen la hipótesis de que el proyecto no tiene efectos, una situación exactamenteopuesta al principio que debería guiar la administración de un proyecto, sobretodo que la intervención no ejerce efectos importantes en los particípan-tes. Esperar que los mortales comunes crean en ambos tipos de hipótesis espoco realista.

Tercero, existe una tendencia comprensible de los administradores a ponersus proyectos en la mejor de las perspectivas, una motivación que puede supri-mir activamente la información negativa o ineficaz.

Con todo, lo mejor que se puede esperar del juicio de valoracíón de un admi-nistrador es una exposición descriptiva razonable y segura acerca de los procedi-mientos operacionales. Por ello, los evaluadores deben buscar en el adminístradorestadística confiable y exposiciones descriptivas acerca del proyecto, lo cualrequiere un buen conjunto de registros administrativos, Los géneros-de registrosnecesarios se han descrito oportunamente en este capítulo y en el 4. En el cuadro7.1 también se muestran los registros administrativos útiles para valoraciones de larepercusión. Evidentemente, porciones de estos registros no son apropiadas atodos .los proyectos, por lo cual el cuadro 7.1 se debería consíderar una lista verifi-cada de registros sugeridos y no esenciales.

218

CONTROLES ESPECTRO 219 '

Cuadro 7.1. Registros administrativos útiles para describir proyectos y como ayuda en lavaloración de la repercusión

I. Registros de los participantes:Datos socioécOnómicos de los participantes:edad, sexo,localizacion cornposición de lá familia, ingresos, datos ocupacionales

-Dátos CrítiCósífecha :. de ingrelo én el proyecto, registro de asiStenCia fecha de Salida delproyecto .

3." "Registros dél tratarnientó:exposición de lol-participarites del proyecto,:áyuda dada, etc.

4. Dátóá l"dé seguimientodireCCión de lós partiCipanteS; incluidas direcciones futuras y los contaCtbs paraayticlar al rastredIráS la pártiCipaCión,

5 Registros CkítiCos dél eyentó:"íreSgiStio 'deíránnbrieS aptilos participanteS, ei;entds iinportantes enlat vidas de

1oS pártiCipánieS :,:. (Por ejernplb, náéimiento; rkinerté,. Cambics residenciales, detiabajó, .etc,

.1. Eventos críticoSíen la hiStoriá del proYecto:feChas de inició de Partes limportantes del proyecto; encuentros con oficialesámables u hostiles,. partés importantes deíla:suspensión -del programa

2:: PerSoñal dél,:prOyecto:datoS biográficos del personal, cambios en el peksOnál, ejernPlcis dé entrenamiento

: del personalá. Úarribios en la ejectición del proyecto:

problemas encontrados para los cambios en la ejecución del proyecto establecidosen las operaciones del ;proyecto (incluidas fechas)

III. Registros financieros:No se intentará describir tales registros, pues se puede asumir que los procedimientosfiscales locales típicos, requeridos por los financiadores del proyecto se podríanaplicar. El problerna principal es que el registro financiero se clebería mantener de talrnanera que facilite la efectividad del costo o el análisis de costo-beneficio, como sedescribe en el capítulo 8.

Juicios de los participantes

Debido a que los participantes en programas sociales son quienes reciben losservicios del programa, se podría estar tentado a buscar los relatos de los partici-pantes con respecto a qué tan bien fueron servidos por los prograrnas, como unaaproximación de la repercusión neta. Mientrás que los participantes pueden rela-tar muchas cosas útiles, es bastante optimista esperar conseguir de ellos lo querequeriría bastante esfuerzo a un hábil investigador social. El problema es que acualquier individuo se le dificulta valorar imaginativamente lo que cabría esperarde él si algún evento específico no ocurriera. Esto se debe a que los relatos de losindividuos acerca de CÓMO " es c og en a sus cónyuges o carreras generalmenteparecen ser resultado de eventos fortuitos. Los individuos no tienen las diversasexperiencias para ser capaces de disponer por sí rnismos las condiciones control

apropiadas o para "mantener constantes" sus características particulares. Nóte-se que ésta no es una imagen del ser humano como alguien ingenuo y deficiente,sino un reconocimiento de que la valoración de la repercusión neta es una tareacomparativa y que muchas personas no tienen ninguna experiencia para efec-tuar tales comparaciones.

Sin embargo, el porcentaje de satisfacción de los participantes con unprograma o con sus servicios es interesante por sí mismo. En primer lugar,algunos de los programas establecen la satisfacción de los participantes comouna de sus metas. El refinamiento generalmente se diseña para librar a los pro-gramas de las deficiencias que irritan a los participantes: en los programas debeneficio a jubilados se intenta entregar ingresos de jubilación de tal maneraque sean más satisfactorios para los beneficiarios, incluidos los depósitos banca-rios automáticos o el goce de provísiones especiales. Los programas de serviciopúblico pueden preocupar al cliente o presentar un índice del funcionamientounitario. En el anexo 7.8 se muestra un resurnen de un estudio realizado por laKerner Commission on Urban Disorders (Comisión Kerner de desórdenes urba-nos). Mediante el estudio se íntentó encontrar cómo los ghettos de negros en lasgrandes ciudades se relacionaban con la policía y con los departamentos de bie-nestar social de esas ciudades, conlo cualse demostraba'que estós niveles de

ns• ,•

tisfacciónde'unciói una agencia.,

, •

- _

r , Como párte ce un estudio cle sistemas de entrega cle , servIcloS urbanós,ená reas rne.tropolítanas, se tomáron ,MU9StraS cferesidentes, se les Inter,r96 Si eltaInscrítoS en el seguro social y sé les pyeáunt4:su Invel de sat nsfacci6n1Con lornahátde ser tra' tados por trabajadore -Y'ófíCiales*:.-Ademas se entre"vistaron alçistrabaa","dores sociales eq las agencias lbeáles del segtito 'social con respecto á sus actítudes,-,,,hacia el client'e y'-aciérca dela informaCIón obtérvIA—ren,sus:ganancias ,de.trabajci yotros asPectos cle su empi o : y

Se encontró grán-variaCiókireritre,las -clUíztadel-ekptiarító a los.'niveles de,"¿satis.accIón expresa_9,ppy c.lentes .a segu s0 ac a'sus epá amen-„,f cl 1 .6'j fl I d 'tos locales de benefick'sácial. :-íFue xnuyjn ,l1rtsitilte:éj k411azgo

r- tes defleguro s octal eStaban inülátilféChOlc4"áiá"de¡ti-artamentb-1.:debénefitsociáren cuanto„ a'tiue sus cárgas,eran mu¡altas y en ` los caso's en que, los traba,::),:'jádoreS tenían;11-6:–có- contacto c"Oki-el cllent La correlaciósi á lo targo de las 15'7,1

1 C tidá-14-0:fue d O .66, lo cual quíz'a- indíca 'qUe el cOntacto 'a menudo con losbaj ado're-s í ,er.1.1;i:ina-:(uentecle el cliente

. Ervel;rrisinó-éstu'dici'íSé'ob'tuvierdii, Porcentajes de negios residentes con res-"t.:pecto al rnaltrato político:,Un índíse de quejas por maltrató (Insultos, arrestoslndebiClos,,etC.),tuip una coribilá6ri-álti:cpn lo aulorreportes de la pólicrá aceicalas accicaes- jpótérícialrnente agiesivas ernprendldaíCon filcuencla,stigterel,fAúélli.¿Iénte„y.' ,10.ralcii-á-éión de los serViabs- puden ConVe`dirse-enfuente

•

I

ríl'í

I .

II. Registros del proyecto:

220 CAP. 7. DISEÑO DE GRUPOS UNITARIOS

satisfacción eran la razón de la existencia de los desórdenes sociales urbanos de ladécada de los sesenta.

En segundo lugar, las investigaciones acerca de los participantes puedenproporcionar una serie de pistas sobre cómo se incrementa la participación delas poblaciones objeto, especialmente cuando participantes de programastotales son comparados con las deserciones de un programa. Las valoracio-nes de los participantes en un programa ofrecen información útil, pero noreemplazan la valoración de la repercusión realizada de acuerdo con los dise-ños de investigación descritos en los capítulos 6 y presente.

En el presente capítulo se ha dedicado mucho espacio al uso de los controlesespectro en la valoración de la repercusión, debido principalmente a que esteenfoque se usa bastante bien y suele contener considerables precauciones. Enprogramas de evaluación social es difícil que los expertos efectúen más que losresultados brutos establecidos. Las estimaciones de la repercusión neta hechaspor los expertos parecen ser frágiles y altamente sujetas a error. En resumen, nose recomienda este enfoque, pues sólo es el segundo mejor.

UNA NOTA ACERCA DE LA APLICABILIDAD

Los enfoques examinados en este capítulo varían ampliamente en su rigor.Las valoraciones de la repercusión mediante el empleo de controles reflexivos,sobre todo en estudios de series de tiempo, pueden ser tan rigurosas como elmejor de los enfoques descritos en el capítulo 6. En contraste, el uso de controlesgenéricos o espectro para estimar la repercusión neta está rodeado de incerti-dumbres. En realidad, los últimos controles mencionados sólo se deberían usarcuando otros enfoques resulten imposibles o tan impedidos por las demandas detiempo y presupuesto, que la elección realmente se haga entre casi nada omediante métodos de juicio.

8Medición

delaeficacia

El conocimiento de la ejecución y de los resultados del programa es indispensable,pero en muchos casos es tan crítico como justo informar acerca de los resultados delprograma comparados con sus costos. Valorar la eficacia , (análisis de costo-beneficio ydel costo-efectividad) de un marco de referencia para relacionar los costos con los resul-tados del programa, los últimos medidos en términos monetarios o según resultadosactuales. Un análisis útil se puede emprender para decidir la localización de los recursosy para influir en los encargados de la política, en los grupos planificadores y en las consti-tuciones políticas que determinan el destino de los esfuerzos de la intervención social.

Los estudios costo-beneficio y costo-efectividad se pueden realizar durante la fase deplanificación del programa. Tales esfuerzos ex ante tienen gran utilidad, aunque la informa-ción empírica requerida y las estimaciones necesarias para emprenderlos no están disponi-bles. Mientras que las oportunidades para realizar análisis ex ante están limitadas por consi-deraciones prácticas, se pueden emprender análisis costo-beneficio y costo-efectividadcomo parte de la valoración de los resultados del proyecto. Estos análisis ex post son impor-tantes y eficaces en la planificación y toma de decisiones.


Perspectivas que subrayan las decisiones para clasificarlos bienes y servicios con el fin de incluirlos como cos-tos o beneficios en un análisis.

Resultados netos del proyecto, generalmente moneta-rios. Pueden incluir efectos directos e indirectos.

Beneficios totales descontados divididos entre los cos-tos totales descontados.

Ingresos, directos o indirectos, requeridos para .produ-cir una intervención.

Eficacia económica de un programa, expresada comouna relación entre los costos y los resultados, general-mente medida en -términos monetarios.

Perspectivas de contabilidad:

Beneficios:

Rango de costo-bene icios:

Costos:

Ancílisis costo-bene icio:

Nota de los autores: este capítulo fue escrito originalmente por Sonia Rosenbaum, con modificaciones subse-cuentes para la segunda edición revisada por Peter H. Rossi y Howard E. Freeman.

221

222 PERSPECTIVÁS EN EL ANÁLIS1S DE LA UBICÁCIÓN 223

Eficacia de un programa para lograr los resultados deuna intervención determinada en relación con los cos-tos del programa.

Tratamiento del tiempo al valuar costos y beneficios,esto es, los ajustes de costos y beneficios a sus valorespresentes, que requieren efectuar un ajuste o rango dedescuento en el marco del tiempo.

Análisis emprendido antes de la ejecución del programapara estimar los resultados netos en relación con loscostos, generalmente como parte de la planificacióndel programa.

Análisis que se realiza después de conocer los efectos delos resultados netos.

Valor calculado del rango de descuento necesariopara un programa de beneficios totales desconta-dos, equivalente a los costos de un programa de des-cuentos total.

BeneficIos totales descontados menos el costo total des-contado (también Ilamado retorno neto).

Valores de las oportunidades predeterminadas debido aun proyecto de intervención.

Costos atribuidos o estimados de bienes y servicioscuando no se han valuado en el mercado actual.

Los encargados de la política deben decidir cuál variedad de programaseducativos destacarán: la educación primaria y básica para niños, la educa-ción vocacional para adultos o la educación secundaria para adolescentes.Todas éstas tienen y han demostrado tener un efecto sustancial neto alcompletar las evaluaciones. ¿Cómo deben ubicarse los recursos de lanación en cuanto a educación?Una agencia gubernamental ha revisado los programas nacionales de con-trol de enfermedades, que se encuentran en función. Si se desea invertirfondos adicionales a un programa de control de enfermedades, ¿cuál pro-grama dará la mejor retribución por los gastos?Las evaluaciones en el campo del Derecho penal han establecido los efec-tos de varios programas alternos para reducir la reincidencia. ¿Cuál pro-grama es más efectivo según su costo para el sístema de justicia? Dadas laspolíticas de elección, ¿cómo podría el patrón de gastos actual maximizar laeficacia de alternativas correccionales?Los miembros de un grupo de capital privado debatían si era convenientepromover un programa de préstamos con interés bajo para construir casaso iniciar un entrenamiento para mejorar las habilidades en mujeres casa-das con el fin de incrementar el ingreso familiar. ¿Cómo decidir?

Estos ejernplos muestran los dilemas en cuanto a la ubicación de recursosque afrontan algunos planificadores, grupos con capital y los encargados de polí-tica, dondequiera. Estas personas deben escoger continuamente cómo ubicar losrecursos escasos, de manera que tengan un uso óptimo, aun en el caso afortuna-do de que dos o tres proyectos piloto han demostrado ser efectivos para producirlos efectos netos deseados. Para decidir a cuál proyecto apoyar en una escala

mayor, se necesita tener en cuenta las relaciones entre los costos y el resultado decada uno. Si bien intervienen otros factores, incluidas las consideraciones polí-ticas, el programa preferido suele ser aquel que produce la mayor influencia enmás poblaciones objeto por el mismo gasto. En este principio tan simple sebasan los análisis costo por beneficio y costo-efectividad, técnicas que propor-cionan enfoques sistemáticos para ubicar el recurso.

PERSPECTIVAS EN EL ANÁLISIS DELA UBICACIÓN DEL RECURSO

La aplicación de técnicas para ubicar el recurso según decisiones de progra-mas sociales es comparativamente nueva. Los procedimientos básicos y los con-ceptos que denotan el análisis de la ubicación del recurso se derivan de los trabajosemprendidos en la década de los treinta con el fin de establecer criterios de deci-sión para las actividades de inversión pública. En Estados Unidos, las primerasaplicaciones fueron para el desarrollo del recurso hidráulico, y en Inglaterra paralas inversiones en transportación. Después de la Segunda Guerra Mundial, es-timulado por el Banco Mundial, se aplicó el análisis de costo por beneficio a lasactividades específicas del proyecto y a los programas nacionales de paísesmenos desarrollados e industrializados. La idea de estimar los esfuerzos de inter-vención y los programas sociales en términos de su eficacia (utilidades, en el sen-tido de negocios) ha ganado arnplia aceptación.

A pesar de ello, en la aplicación de programas de desarrollo técnico e indus-trial de ingeniería (por ejemplo, caminos, presas y redes de comunicación) y enlos esfuerzos económicos (por ejemplo, impuestos y leyes de importación-exportación), el análisis del costo por beneficio es todavía un campo inexplora-do. Los conceptos y las técnicas constantemente se revisan y mejoran, y existencontroversias no resueltas de las presunciones que destacan los diferentes marcosdel análisis del costo por beneficio. Los evaluadores encargados de analizar el cos-to por beneficio o de estudiar la efectividad del costo de intervenciones sociales,deben estar alertas de la etapa del desarrollo del campo sustantivo apropiado yreconocer las limitaciones de ambos enfoques.

Eficacia del programa

Los análisis de costo por benefício o de efectividad del costo se pueden vercomo perspectivas conceptuales y como procedimientos técnicos complejos.Esto mantiene el énfasis de que en muchas evaluaciones, el análisis formal y com-pleto de la eficacia es impracticable o impertinente. Primero, los procedimientostécnicos requeridos pueden apoyar los recursos del proyecto de evaluación,requerir complejidad técnica no disponible entre los miembros del equipo o serinnecesarios, dado su mínimo o extremadamente alto grado de eficacia en la in-tervención. Segundo, las controversias políticas o morales que podrían resultarde poner los valores económicos en medidas de resultados o en entradas particu-lares podrían encubrir la pertinencia y minimizar el potencial del estudio que, deotra manera, podría ser útil y riguroso; para algunas personas estas consideracio-nes pueden negar la validez de emprender un estudio de la eficacia. Tercero, al

Análisis costo-efectividad:

Descuento:

Análisis ex ante:

Ancílisis ex post:

Rango interno de retorno:

Beneficios netos:

Costos de las oportunidades:

Precios espectro:

224 CAP. 8. MEDICIÓN DE LA EFICAC1A

expresar los resultados de los estudios evaluatorios en términos de eficacia sepueden requerir diferentes costos y resultados que deben tenerse en cuenta,según las perspectivas y los valores de los patrocinadores, de los evaluados yde los evaluadores, en oposición al encubrimiento de la pertinencia y la utili-dad de una evaluación. En resumen, no existe un análisis de la eficacia que seaúníco, simple y "correcto". Las limitaciones de esos estudios son reconocidasincluso por quienes defienden con vehemencia el análisis de costo por beneficio(Thompson, 1980; Stokey y Zeckhauser, 1978).

Al mismo tiempo, es innegable la pertinencia del análisis de la eficacia. Losprogramas sociales, casi sin excepción, se realizan con limitaciones del recurso.Casi invariablemente funcionan en circunstancias tales que mantener la continui-dad del apoyo requiere convencer a los políticos y a los beneficiadores que la"línea base" (esto es, dólares por beneficio o su equivalente) justifica el progra-ma. A menudo, las elecciones entre los programas competidores se basan, por lomenos en parte, en los pagos relativos en términos económicos. Aunque n-o seemprendan los estudios acerca de la eficacia, las decisiones del programa en elque se tíenen en Cuenta los hallazgos dé aquélla generalmente se enmarcan entérminos de los resultados de entrada-salida.

Uso del análisis de eficacia

El empleo de técnicas de costo por beneficio o eficacia del costo puede serapropiado, debido a dos puntos básicos en los esfuerzos para ejecutar progra-ma. En las fases de planificación y diseño, se puede hacer un análisis ex ante delcosto por benefício, con base en los costos anticipados y en los beneficiosdel programa. Por supuesto, en tal análisis se supone que el programa será exito-so en la entrega de las intervenciones implicadas y en el logro de resultados netospositívos de magnitudes estirnables. Dichas estimaciones no tienen que tener unabase empírica.

En la fase de valoración de la repercusión, después de que un programa hademostrado tener una influencia significativa, se pueden emprender valoracio-nes del costo por benefício y de la eficacia, ambas ex post, para apreciar si elcosto de la intervención se justifica por la magnitud de los resultados netos. Enel análisis ex post, los costos y los resultados se basan en estudios del tipo des-crito en los capítulos previos de las evaluaciones de planificación, verificación yrepercusión.

Costo por beneficioy eficacia del costo

Un análisis integrado del costo por beneficio requiere estimaciones de los bene-ficios de un programa, ya sea tangibles o intangibles, y los costos de emprender elprograma, ya sean directos o indirectos. Una vez especifícados, los beneficios y loscostos se trasladan a medidas comunes, por lo general unidades monetarias. Obvia-mente, muchos factores paralelos a la eficacia económica se consideran apoyos de lapolítica; la planificación y la - ejecución del programa,- pero las consideraciones dedicha eficacia casi siempre son críticas, dada la universal escasez de recursos.

PERSPECTIVAS EN EL ANÁLISIS DE LA UBICACIÓN 225

El análisis del costo por beneficio requiere adoptar perspectivas económi-cas particulares; además, se deben hacer ciertas presunciones, de manera quelos ingresos y egresos del programa se trasladen a figuras económicas. Comoya se señaló, existe un desacuerdo en el campo acerca de cuál procedimientoutilizar. Más aún, las presunciones apoyan definiciones y medidas de los cos-tos y beneficios que afectan seriamente las conclusiones resultantes. Todoslos datos requeridos para calcular el costo por benefício están disponibles; porejemplo, Noble (1977) ha sido capaz de documentar, mediante nomerososestudios de rahabilitación, modelos inadecuados analíticos y conceptuales,insuficiencia en el acopio de datos y una extrema susceptibilidad de resultadosdel costo por beneficio para sus presunciones de apoyo, pero, por desgracia,sin prueba. En consecuencia, las prioridades políticas sensibles no se puedenbasar en cálculos del costo por beneficio en el campo de la rehabilitación.'

Aunque las aplicaciones específicas y las conclusiones del enfoque se puedancuestionar, son irnportantes en la disciplina con que se fuez-za al evaluaclor, políti-co, planificador y al administrador a formular consideraciones económicas que,de otra manera, permanecerían implícitas o inestablecidas.

El análisis de costo-beneficio es menos controversial cuando se aplica aproyectos técnicos o industriales, en los que es relativamente fácil establecerun valor monetario a los beneficios y al costo. Los ejernplos incluirían proyec-tos de ingeniería diseñados con el fin de reducir el costo de la electricidad paralos consumidores, autopistas para facilitar la transportación o programas deiffigación para incrementar la producción de la cosecha. Sin embargo, esti-mar los beneficios en términos monetarios suele ser más difícil en programassociales, en los que, en la mejor de las circunstancias, sólo una porción de losegresos de los prograrnas conocidos se evaluará razonablemente; por ejem-plo, es posible trasladar las ganancias ocupacionales futuras de un proyectoeducativo a valores monetarios. Los problemas son rnás complejos en inter-venciones sociales como los programas de control de la fertilidad y los proyec-tos de servicios de salud, pues se debe tasar un valor para la vida humana detal manera que se puedan calcular en diriero los beneficios del programa total-mente (Zeckhauser, 1975).

Debido a lo anterior, el análisis de costo-efectividad, rnás que el análisis decosto-beneficio, a n-tenudo se considera -una técnica más apropiada. El costo-efectividad requiere calcular en dinero sólo los costos del programa, mientrasque los beneficios se expresan en unidades de resultados; por ejemplo, el costo-efectividad de la distribución gratuita de libros para niños de escuelas primariasrurales se podrí.a expresar como sigue: cada 1 000 dólares proyectados incre-mentan los niveles de lectura en un promedio de un grado por nivel.

De ese modo, en el análisis de costo-efectividad, los egresos o beneficios seexpresan en térrninos de costos de los resültados actuales sustantiVos; esto es, laeficacia de un programa para lograr sus metas se valora en relación con el valormonetario de los recursos o costos incluidos en el programa. Considérese otroejernplo: para analizar las intervenciones de diversas opciones educativas se pue-den medir las ganancias educativas, expresadas en marcadores de las pruebas, yluego relacionarlas con los costos del programa. Un análisis de costo-efectividadpermite hacer comparaciones y graduación de opciones entre los programaspotenciales, de acuerdo con la magnitud de sus efectos referentes a sus costos.


De manera diferente, la comparación se establece en términos de unidades deefectividad para lograr resultados particulares. Las operaciones y la repercusiónde programas actuales, y de egresos e ingresos, reemplazan en un grado conside-rable las estimaciones y presunciones. Aún más, el análisis restrospectivo puedeproducir experiencias y discernimientos útiles o procedimientos metodológicosaplicables a programas futuros.

El análisis de la eficacia, en su mayor parte, se puede considerar una exten-sión de la evaluación de la repercusión, no una alternativa. Es imposible empren-der cálculos de costo-beneficio o de la efectividad para programas cuyos efectosse desconocen por completo o no se pueden estimar; es insensato realizarlospara programas inefectivos, esto es, cuando evaluaciones de la repercusión nodescubren efectos netos significativos. Cuando se aplican a programas eficaces,los análisis de eficacia son útiles en las decisiones de política, para proyectos conplaneación amplia y en revisiones de programas en mornentos diferentes. Másaún, el análisis de costo-beneficio puede ser útil para determinar el grado en quecada nivel de las intervenciones produce diferentes niveles de beneficios (Shor-tell y Richardson, 1978).

COMPONENTES EN EL ANÁL1SIS COSTO-BENEFICIO

En términos simples, una intervención es eficaz si sus beneficios son mayoresque sus costos. Por tanto, un analista eficiente debe calcular esos beneficios y costos.

•

Beneficios

Los beneficios de un programa son sus resultados netos, ya sean tangibles ointangibles. Por ejemplo, los beneficios de un proyecto de salud pública pueden in-cluir la disminución de enfermedades y de mortalidad, e incrementar la producti-vidad económica; los beneficios de un programa de entrenamiento vocacionalpueden incluir ganancias en lo futuro y productividad económica de los particí-pantes, así como valorar el trabajo hecho por el entrenamiento y durante él, y losbeneficios de un proyecto de vivienda pueden incluir el incremento de su calidady cantidad y la disminución de los riesgos contra la salud.

Costos

Los costos son fáciles de calcular; constituyen los ingresos del programa,directos o indirectos, o sea, los recursos requeridos para realizar el programa. Paradeterminar los costos del proyecto es importante la noción de los economistasacerca de los costos de oportunidad o el valor de las oportunidades perdidas. Des-de el punto de vista de las obligaciones objeto, participar en un programa (porejemplo, el entrenamiento vocacional), significa contar con ingresos precedentesregulares y, por tanto, se trata como un costo.

El concepto de costo de oportunidad refleja el problema de los recursos limita-dos, ya sea dinero o tiempo, cuando los individuos o la comunidad deben escogersólo una de varias opciones. El costo de la elección se puede medir por la utilidad o

COMPONENTES EN EL ANÁLISIS COSTO-BENEFICIO 227

valía de las opciones determinadas previamente. La actual estimación de los costosde oportunidad es muy compleja. Además de los costos de oportunidad, el costo delprograma incluye gastos para el personal, la administración, el equipo, las facilida-des, la herramienta o los materiales y cualquier otra labor y costo operacional en quese incurra; no obstante, conocer los componentes específicos que se induirán en loscálculos y saber evaluarlos depende de las perspectivas de contabilidad que se consi-deren. En otras palabras, la lista precedente de costos del proyecto es una sobresim-plificación de los cálculos requeridos. Un resumen de los costos y beneficios de unestudio, de límite superior se muestra en el anexo 8.1

Anexo 8.1. Lista de costos y beneficlospara la evaluación del límite su erlor

...,, Ellírnité sup ,. ., . ... . . . • . , , . ., •.. ...-. •n rogram etemedio eciúeativ ro" en el nislel aé esclá,,7-

,

.„, a , sectíndaria;"diselldó en la década de/ciSsésénta:E1 propósito fue identlfIcar zl.IOSittlyénéS„Ciánirán, potenclalidad -de desventaja para cir ulenes sen. 'a'posible ridasIStli-Ilá ,-ésétielá.:St proporcionarles eclucación preparatorla espec14 Los'dato4-

r, de una evaluación de estudiantes que se inscribleron en el pxograma en aPSOS dife,`.I rentes est aban dIsponibles. La eval én incluy5 Información acerca deuación tambi-,, . . _r consanguíneos rnáS ViejOs de los reSpondentes qúé no particíparon. Desde el pun-,

vís lpántes, los costos y beneficios se definleron como sigue; .

del Jrnpue,sto, medldo conbas-e.de los partielpante,s corno

rante el p‘' rograrnar. ,te,ncIón del coleglo a los estudiantes clé

t _ s po TTi réquerida a los estudiantes . de Imit., . ,it. ti.O.,rp..0.i.,pOrt..,,,,11. ....0:).1Cn.,.. légici. J,1 1'.d sébido a los alto , rangos.. de asistenclaastOS:adIcícitílIes .,;p0r:Parte‘de ro's estudiantes de Iírnite superiór mientra

1..tIvierakietl.:0-.¿,,,4019:; •-. . ,- ; ,_ i .„-: ,. .:. .T .,,,: - - ., --, - --. .3 Ingreses predéféririkiadiAs .. 1;1:42rEestudiantes de limite superior nlientra

,.otuv, ieran en'ét-crHg 0. . ..-,-,,....lrigrOso transferido sobre el tiernpo de vida predeterrninado Por lós est,diaiitekijr tte: stiperi.ttit ejéniPlo, deserripleo ,y blenestar socli.1):-':.-

3. Ail:in'eiitát:141.11.

2,5

1/ife' rencias entre los costos y los pefieficlos(hilera 4 menos hilera 7) 164-326

Rangos de beneficíos costo(lailera

91-216

2.8-8.7

Costos,DoductividadServictos de planificación farniliartótár'

79-91 24-314-20 4-20

83-111 - 28-51 -

228

229

Comparación de los costos y beneficios

Después de listar exhaustivamente todos los beneficios y costos del progra-ma, el problema siguiente es relacionar los valores monetarios con ellos. En elanálisis del costo por beneficio, el factor tiempo se debe tener en cuenta. La técnicapara efectuarlo se conoce como descuento, la cual se examinará más adelante.

El cálculo final consiste en comparar los costos y beneficios totales, ya seade-mOdo directo para asegurar los beneficios netos o, de manera más general,como un rango de beneficios por costo. El resultado del análisis del costo porbeneficio se puede expresar en términos de rangos diferentes, lo cual dependede los criterios implicados para tomar las decisiones de un programa y losobjetivos y valores de quienes las toman (consúltese Thompson, 1980, capítu-lo 5). Opcionalmente, se puede calcular el porcentaje de retorno en formaanticipada. Una cornparación de los rangos de costo-beneficio (o de su resu-men de medidas) mediante los programas diferentes proporciona los datosnecesarios acerca de la eficacia relativa de las opciones del proyecto. Véase elanexo 8.2 para un ejernplo de un estudio de costo por beneficio en un progra-ma de planificación familiar.

Una vez revisados los marcos que subrayan el análisis de costos por benefi-cios en particular y de eficacia económica en general, se examinarán ciertos pro-blemas técnicos•y la elaboración de los conceptos.

Librus c[2, IPcfes por nacintiento euitadó

de descuento 15% de descuento

BcrwficiosCOnsumo 222 351 109-206

fecto de la ontla de productividad 16 21 9-14Ef&to ctel ahorro ptúttico 37 24 ,Total 275 409 142-244

Fuerde: TC n 111,10 de G. C. Za slsfl, 170C:.-:ts and Benehts of Family Pl q nning Pro;2rarris, WerldIdenk, n,,:adengten, 1971, ; rIcls 2 y 45. R mpreso ;:en p.erneso dci poseeder de los dereebos deautor ,

Anexo 8.2. Costos y bene cios de un programa deplanificación familiar: porcentajes del costo-beneficio -.:resúmenes4el:feto

Mediante un analls15 de,Costo;.benefícioTdetprógrarna deibknificaciónen la República Árabe Linidá',,24'esttrtiai-onlais benefícias y edliés dela prevenciónde nacimientos como sigue: - - ,

Beneficios

1. Efecto principal:Gastos de consumo que sepodrían requOr para un naci-Intento evitado, que están ahora disponiblél a lá pablaei6n.

2 Efecto de la órida cle PrOductividad: Incremento en_prOducción resultantede una ntejdr nutrición' en familias de tamaño reductdo.

3. Incremento en ahorro público total lesultante de la divsstún de recursos quee-..13" . 0-.1a4ii'relüerjr ....pareducar acerca del controK11.1a natálida

MágnItadde,13144áiltejkoducci ,5 p res1,1tante de una pequeña fuerza

' •- '

rbl•.contiiinádisá0e'I'er uce a 3 arecen eír.uría:05. 11-.1. .rriP a • reflejan presltriCiáriesalte

METODOLOGÍA EN EL ANÁLISISDEL COSTO-BENEFICIO

,Para realizar un análisis de costo-beneficio, primero se debe decidir cuá-

les perspectivas tomar para calcular los costos y los beneficios. ¿Qué punto devista debe ser la base para especificar, medir y calcular en dinero los benefi-cios y los costos? En resumen, ¿costos para quién y beneficios para quién? Losbeneficios y los costos se deben definir desde una sola perspectiva, pues com-binar puntos de vista causa especificaciones confusas y una sobreposición ocontabilidad doble. Esto no quiere decn- que el análisis de costo beneficio deun programa único se pueda emprender desde varias perspectivas. El análisis,eparado, basado en perspectivas distintas, frecuentemente proporcionainformación acerca del costo-beneficio conforme influye en los evaluados.

Perspectivas de la contabilklad -

Para analizar los proyectos sociales se pueden emplear tres perspectivása) las de los individuos objetivo, b) las de los patrocinadores del programá y c)las de los agregados comunales o las de la Socledad implicada; La perspecti-va de contabilidad indiuidual tonna su punto de Vista de la tinidad que es el ob-jeto del programa, esto es, la persona, el grupo o la organizáción que recibela intervención o el servicio. El análisis de costo-berieficio mediante la pers-

uán4O,

230 CAP. 8. MEDICIÓN DE LA EFICAC1A 231

pectiva individual del objeto suele producir mayores beneficios por rangos decosto, que aquéllos en los que se usan otras perspectivas. Otro medio de esta-blecer esto es que si el patrocinador o la sociedad sostienen el costo y subsi-dian una intervención exitosa, los participantes individuales del programa sebeneficiarán más; por ejemplo, un programa educativo requiere relativamentepocos costos por participante. El costo para los grupos objetivo es primordial-mente un gasto de tiempo en el proyecto, pues los libros y materiales generalrnenteson donados. Los beneficios de los participantes pueden incluir mejoramientode los ingresos como resultado de una educación mejor, así como opcionesocupacionales incrernentadas, mayores satisfacciones en el trabajo y pagostransferidos rnientras se participa en el proyecto.

La perspectiva de contabilidad del patrocinador del programa toma elpunto de vista del recurso del fondo para valuar los beneficios y especificar losfactores del costo. El recurso del fondo puede ser de una agencia privada o fun-dación-, de una agencia gubernamental o de una firma de beneficencia. En estasperspectivas, el análisis de costo-beneficio puede semejar lo que frecuentemen-te se ha denomidado análisis de beneficencia privada.

La perspectiva de contabilidad del patrocinador del programa es más apropia-da cuando hay claras opciones políticas que incluyen los programas alternos queun gobierno u otros patrocinados pueden apoyar, y en condiciones presupuesta-rias fijas en las que rentas nuevas no apoyarán a proyectos adicionales.

Por ejemplo, delde el punto de vista del patrocinador del programa, losbeneficios de un proyecto educativo en términos de golDiernos federales, estata-les y locales constituyen decrernentos en el gasto que ya no tendrán que hacer-se, tales como asistencia pública u otras formas de gastos gubernamentalesdirectos. Otro beneficio mayor del patrocinador (gobierno) está representadopor las rentas incrementadas como resultado de los salarios mejorados de losparticipantes subsecuentemente al entrenamiento (esto es, si el entrenadoobtiene mejores trabajos y gana rnás, tendrá que pagar impuestos más altos).Los costos del goblerno son por la operación, la adrninistración, la instrucción,los rnateriales, las facilidades y los subsidios adicionales o pagos transferidos a losparticipantes durante el entrenarniento. En el anexo 8.3 se muestra un cálculo delcosto por beneficio en términos de beneficios resumidos para el gobierno, deacuerdo con nacimientos evitados por los programas de planificación farniliar.

La perspectiva de contabilidad comunal toma el punto de vista de la comu-.. •

Anexo `.13,.:Ánálisis aljcp,r9rlos prograrnas de planifica

-,..Uná...e'Valuaciónrpaelónátreciente de los p,, gramas-:prolbrCiónádos,pgr.114.0.0111.15111iigicIpl;O:ffill:de-gt.404:: po blIti<iiiél'egátájdOI,V10461;i,ftil .érlitifériiiíslájáaWV,a16i'ar,tos de los nngo de fertilidad de 1970 a 1975 La evaluachi relaclonó datos aet.

cle.las a fi II a eícu 1cl ailbáb'10.1,10 :141.4-1bUbb:Una'1.1.dú.00e3r5-41ditifiCaVYWoriTa fertilidnd'

'.,elélOá`áruppsidNéiS-41;d'‘

lilliá›-Z, didj¿ljá?l enefIcló se estImaron... . ,. , . ..-..--.1.---._---r-T7',t-.--

. - . .. ,.... de el .to-deliíst d b. r o 9 'éba‘,-..-arán en nacim entos evitados, Indeseables y'-.

trs iritdifaclós. Tódas las graficas de costos y beneficlos reflejaia gastos Y ahorrcís.para el gobietno en te/minos de nacimientos evitados.--, .--, ,,,...... .

Los c¿ilculos utiltzados para establecer la repercusIón del prograrna sugIrierogue durante los seis afiós eStudiados, la particIpación en las clínIcas de planlfIcaclóefamiliar originó Uh-total de . casi 1.1 rnillones de nacIrnientos evitados: es deCIrkaumentó deSde:72 "000 en 19.70 hasta 324000 en 1975. Esto representa los efectcyldirectos del programa por mujer servida, y no Incluye los efectos secundarlos pos1,,('bles para personás..no servidas que también podrían beneftclarse. ':. ". - -- - :-.',.'•• '3:". "'

Los datosdísponlbles se emplearon para medlr los siguientesbenefictospara etilgobiemb,-loS cuále.s. se. lIstan como costos ahorradoS al gobierno mediarite el trnpe

t ,

dltnento denacírnientos Indeseados..a) el cuidado rnIcilco relácIonadd 'bón el emba:yrazo y el nacirniento, lo cual apoya toda clase de programas gubernamentales y eltodos los niyele,s para lapo .blación gan bajos I ngresos; b) la asIstencla pública durari-te el prirner año de nacimiciito ddriblo para las mujeres triscritas en lá asisten-publica, y c seleceionar los servictos sociales para receptores de asistencla públtcá y:"-;,1.;',sus neonatos durante un ano. . . ' - ,i -,-'-- !- - , '' ... .4,. '.- . , .. _

Los autores argumentan que estos costos subestiman sertamente los ahorrbá.en terminos de costosacorto'plazo denacimientosindeseados, así como tasforrnat.

t

adiclonalel-de asistencia públIca y serviclo Social y y tylenda p'úblIca, también.eorriCt;costos de oportunIdad de pérclida del Ingreso, delDiclo a las ausenclas delempleo poxpaite,clekkakádredurantediyezsos moinetttos del embárazo y en lps prirneros perbólddslido Ninfáficiá de É. hijo. EStascategorías ,Se excluyeron porque'no había dat

IiiibillicífeiPara ei/Sc. ificat las proporctone.s"cle mujeres con bajos tngresbs que se,„,,bic.afárt‘ eriestaicategorías Y los gastOs-resultantes por Parte del goblerno, En IS-5,..;:'

e.stimaciones de los costos nacionales por la asistencia pública para las tres categjrías menctonadas en líneas anteriores se tuvo en cuenta el,hecho de que durante etperiodo en cuestión, del 16 al 19 .% de los pacientes en las clínlcas de plantficactfamiliar bajo ekialuación recibían asistencia públIca. Así, el ahorro estimado ep los.- . , .gastds det gobleino para estas categorías d4,_costos varlaba de_sde 639 dólares ert,*.1970 hasta 1 238 dólares en 1975 por cadályiklmiento evitado. Estos ahorros estf.;;."mados se rnultiplicznn por el número 'esfrn?aclo de nacImlentos ImpedicloS por.'cacla ano, luego Itilizado para los seis años. Los ahorros estImados fueron d

milloneS de d(;lares, en una grafIca gue representa benefic(crs totales, : ._''. ..os costOS' fueron sln-Iplernente la conveniencla de;les serylclos de las clínIcas-

anificación farniliar, disponIble en los registrOs'.del goblerno, que totalizaba,_.__XI.. millones cle,dólare..T(que iba desde, 33 millonesIt'asta 260 mIllcines de dólares'n

árante el pettriclo 'de Seís meses). .-•-= ' -.El rango de costo beneficío de ahorro total estimado para los costos tota1eál-1;',

el progiama es cle 1.8 (1 07/584), Si se calculan separadarnente para cada aríO,,,V.-'1 rango más bájo es de 1.3, y el más alto de,2,5 én 1915.:Zsto .seinterpreta comb'4'tie:por cada .dókir invertido por el gebIerno feliql en la planificación famIltar en'Z'n'ahtb, lbs-gobfernos locales, estatales y federales ahorran aprOxIrnadamente.80 dólares un año después. Estos ahorros son además dé los ahorros a largo piarp y.de IOS beneficios_demograficos; looales.y.de sálud páia el gobterno y losindw ‘$Idimás -..con la,Pt'évéíisfótv dsá:ilitirniérifólnd'deseidos o no intentados:, ' , ':' -,,,

^

. . ,Of Fam uy Planning ProgrornsoL{4,

1

béMicioircomunales.-In1131 , 41ÁM

BenefIclo

232 CAP. 8. MEDICIÓN DE LA EFICAC1A METODOLOGÍA EN EL ANÁLIS1S DEL COSTO-BENEFICIO 233

nidad o sociedad como un todo, generalmente en términos de ingresos totales;por tanto, es el más completo, pero también el más difícil de aplicar. Desde elpunto de vista de una sociedad, implica que se deben hacer esfuerzos especialesde contabilidad para contar con proyectos secundarios. Por lo general, un pro-grama ejerce efectos en un grupo que no interviene directamente, lo cual sedeberá considerar al examinar la mayor economía. Aún más, en la bibliografíaactual, el análisis del costo por beneficio comunal se ha expandido para incluirconsideraciones equitativas o el efecto distribucional de los programas entrecada subgrupo. Esas consideraciones implican que los cálculos del costo porbeneficio son necesarios para ser distribuidos entre los subgrupos, o que algúncriterio o esquema de peso apropiado se emplee para asignar mayor o menorvalor a los beneficios, de acuerdo con quien los recibe (por ejemplo, consúlteseSquire y van der Tak, 1975). En el anexo 8.4 se muestran los costos comunalesy los beneficios de un límite superior, el cual se puede comparar con la lista delanexo 8.1, que contiene los costos y beneficios individuales.

Aunque los componentes de un análisis del costo por beneficio comunalparecen incluir muchos de los costos y beneficios que también aparecen en loscálculos en que se utilizan las perspectivas individuales y del patrocinador delprograma, las partidas se valoran y calculan en dinero de manera diferente; porejemplo, el costo comunal de un proyecto incluye el costo de opotunidad en tér-minos de inversiones alternas determinadas por la comunidad, de tal modo quese apoye al proyecto de cuestión. Obviamente, éste no es el costo de oportunidaden que un individuo incurre como consecuencia de su participación en el proyec-

to. El costo comunal también incluye desembolsos para las facilidades, el equipoy el personal, por lo general valuado desde una perspectiva diferente de la de lospatrocinadores del programa. Por último, estos costos no incluyen pagos detransferencia, pues también se podrían ingresar como beneficios a la comunidady simplemente se cancelarían unos a otros.

En el cuadro 8.1 se muestran algunos de los componentes básicos del análi-sis del costo por beneficio para perspectivas de contabilidad díferentes (en elejemplo, el patrocinador del programa es una agencia gubernamental). La listano debe considerarse completa, sino sólo como un ejemplo. Los problemas espe-cíficos incluyen un análisis de varianza real.

Cuadro 8.1. Componentes del análisis de costo-beneficio para perspectivas diferentes

Individual

Patrocinador Comunaies

Beneficios Incremento en lasagencias (netas deimpuestos)Recibe beneficiosadicionales (porejemplo,transferenciasdirectas, franjas ybeneficios noeconómicos)

Incremento en Incremento enretornos de impuestos ganancias (en bruto

de impuestos)Decremento en Incremento en otrosgastos de asistencta ingresos (porpública y otros ejemplo, beneficiossubsidios de franja, excluidas

las transferenciasdirectas)

Valoración del

Decremento entrabajo ejecutado en gastos de proyectosel proyecto alternativos no

aplicablesValor del trabajorealizado

Pérdida de impuestos Costos deoportunidad (brutosen impuestos)

Costo del proyecto.(por ejemplo, capitaladministrativo,instruccional ysubsidios directos)

Costos del proyecto(excluidos lossubsidios directos olos pagos detransferencia)

1, Incrementar los ingresos de por vIcla antes del irnpuesto para los par-tic,3pan-tes del programa (los ingtesos de antes del in-ipuesto se utilizan para refIclarla piOdtictividad socIal),„

Costos

Los costos directos del programa del límite supetior para el gobiemo mclu-yen todoslos recurs,os gastados, excepto los 'gueldos de los estildiantes.Los costos directos del Prograrna para los colegios participantes.El costo extra de la cducación ineurtida pur sodeclad debido al alto rangode asIstencia al colegio porlos estudiantes ' del Iírnite superior.Los costos extras cle rnanutencIón requendos por la asistencia al colegloatribulble al programa.

5 Las ganancias de antes del Impuesto adelantadas a lo. estudIantes delsuperlor rnlentras están aún en el colegio.

Fuente: Ad71t-dado con perrrd,D, de W. I. Garms, A B,tnefe ,Coet Anth,d, of the l i ptkard BoundPre ,gram', en J,Jun,al of idw-retr. ResGurces, oCre 6, prn-n,,,,r,, do 1 971, 't2t. 206 220.

Costos Costos deoportunidad(gananciaspredeterminadaslibres de impuestos)

Pérdida de subsidiosdirectos no másaplicables (proyectosalternativos)

Costosextraordinariosrelacionados con laparticipación (porejemplo, cuotas ymateriales)

rnetadona13,-mc.fIctos directos del tratarniento con

Anexo 8.5. Medición de lopiodrán31á-del tratamiedki

1. Berteficius a víctirnas

Decrernento en los gastos de protección privada.QlsrpinuciC,n del valor de los darlos a los recursos de las víctimas

cl::::1541erile'ras en el valor de las transferencias forzadas.neg4 do y la angusllavental,

mos adictos a los narcóti- '


En la tabla 8.1 se proporciona un ejemplo simplificado de los cálculos decosto-beneficio para un programa de entrenamiento desde las tres perspectivasde contabilidad. Otra vez, las figuras monetarias son sobresimplificaciones bru-tas, dado que un análisis real podría requerir un tratamiento más complejo delos problemas de medición implicados. El ejemplo sirve para ilustrar el éstudioprevio. Nótese que los mismos componentes pueden ingresar a los cálculoscomo beneficios desde una perspectiva y como costos desde la otra, y que elresultado del cálculo , (en este caso, el rango de beneficios por costo y las diferen-cias entre beneficios y costos, o beneficios netos) variará de acuerdo con la pers-pectiva de contabilidad utilizada.

Tabla 8.1. Ejemplo hipotético de un proyecto de entrenamiento y sus cálculos decosto-beneficio desde diferentes perspectivas de contabilidad

Costo-Beneficío°Mejoramiento de las ganancias de los entrenados (antes de losimpuestos) $100 000Mejoramiento de las ganancias de los entrenados (después de losimpuestos) 80 000

3. Valor del trabajo ejecutado en el proyecto de entrenamiento 10 0004. Costos del proyecto en facilidades y personal $50 000

Costos del proyecto equipo y provisiones,en 5 000Sueldos de los entrenados (pagos de transferencía directa) 12 000

7. Ganancias anticipadas por los entrenados (antes de los impuestos) 11 0008. Ganancias anticipadas por los entrenados (después de los impuestos) 9 0009. Impuestos perdidos: (7) menos (8) 2 000

Individual Patrocinador Comunal

Beneficios (2) 80 000(6) 12 000

(1) - 20 00010 000

(1)(3)

10010

000000

92 000 30 000 110 000

Costos (8) 9 000 (4) 50 000 (4) 50 000(5) 5 000 (5) 5 000(6) 12 000 (7) 11 000(9) 2 000

9 000 69 000 66 000

Rango B/C 92 000 = 10.22 30 000 = 0.44 110 000 = 1.679 000 69 000 66 000

Beneficios netos 83 000 — 39 000 44 000b

° Debe asumirse que estas figuras representan los valores presentes: véase la sección sub-secuente.b Nótese que el benefício social neto se puede partir en beneficio neto para entrenados,más los beneficíos netos para el gobierno, el cual es negativo en este caso: 83 000 + (— 39000) = 44 000.

Medición de los costos y los beneficios

La especificación, medición y valoración de los costos y los beneficios sonprocedimientos fundamentales en el análisis de costo-beneficio que originados problemas distintos: a) identificar y medir todos los costos y beneficios delprograma y b) expresar todos los costos y beneficios en téminos de un deno-minador común, esto es, trasladarlos a valores monetarios.

El problema de identificar y medir los costos y beneficios es más agudo paraapreciaciones ex ante, en los que existen pocos o ningún dato para hacer esti-maciones; sin embargo, los datos.frecuentemente son limitados también en losanálisis ex post. Para muchas intervenciones sociales, la informacíón de unaevaluación (e incluso de una serie de evaluáciones) puede proporcionar insufi-ciencias para lograr un análisis retrospectivo de costo-beneficio. Así, las evaluacio-nes proporcionan frecuentemente sólo alguna de la información necesaria, y elanalista tendrá que usar recursos adicionales o juicios complementarios.

El segundo problema para muchos programas sociales es la dificultad detrasladar los beneficios y costos a unidades monetarias. Los programas socialesfrecuentemente no producen resultados que se puedan evaluar con seguridadpor los precios del mercado; por ejemplo, muchos podrán argüir que los benefi-cios de un proyecto de control de la fertilidad, de una campaña de alfabetizacióno del entrenamiento de prácticas de salud, no se pueden calcular en dinero de for-mas aceptables para cada evaluado. En el anexo 8.5 se ejemplifica el problema dela medición de un programa de metadona; por ejemplo, ¿cuál valor debería darseal miedo y la angustia (problema 1)? En tal caso, el análisis de la efectividad del cos-to podría ser una opción razonable, dado que los beneficios no tienen que ser valo-rados en términos de dinero, sino sólo cuantificados de acuerdo con medidas delos resultados.

Debido a la ventaja de expresar los beneficios en términos monetarios, sehan especificado diversos enfoques para calcular en dinero los resultados o bene-ficios (Thompson, 1980; págs. 149-151).

3. Benefielos a los pacientes de metadona

Decrernento en los eastos deIncrenlento en las eanancias legareViiicias

ICTItnentó en las ganan-

236

Medictdn ernpfrica clel benencio clirecto del tratarnIentp con unetadona

Disn-anución de los gastos de justicia critninal.Decremento en los gastos méclicos para enferrnaa clativas a narcó-

,ticos.DIsminución de los gastos en herorna.Incrernento en las gananclas

Fuente: Trtrnsdn de T. Hanrttn, "The Bertefits ,Jrvi Costs of Methadone MaIntenttnce en PublicPoncy,111161. 24, Itninaveld 1 1976, tt•Sgs 200 201. R,..,impro con antortzaci6n.

Medición monetaria

El enfoque menos controversial es la estimación de los beneficios monetariosdirectos; por ejemplo, si mantener abierto un centro de salud durante dos horasdespués del trabajo reduce la ausencia de las poblaciones objeto de trabajo (por locual no reciben salario), entonces, por un promedio de 10 horas por año, desdeuna perspectiva individual, para calcular el beneficio anual se puede multiplicar elpromedio de salarios durante 10 horas por el número de empleados objetivo.

Valuaciones de mercado

Otro enfoque relativamente poco controversial consiste en calcular en dine-ro las ganancias mediante su valoración en el mercado de precios. Si el delito sereduce en 50% en una comunidad, se podrán estimar los beneficios en términosde valores de las viviendas, para lo cual se ajustarán los valores actuales con baseen tales precios de comunidades que tengan índices de delincuencia más bajos ycon perfiles sociales similares.

Estimación econométrica

Un enfoque más problemático consiste en estimar el valor supuesto deuna ganancia en términos de rnercado; por ejemplo, el incremento en recep-ciones de impuestos de los grandes negocios se debe al reducido temor a delin-quir, que se podría determinar mediante el cálculo de rentas apropiadas decomunidades similares con rangos de delincuencia más bajos, y luego estimar lasclevoluciones de impuestos que ocurrirán. La estimación puede requerir esfuer-zos analíticos complejos y presunciones problemáticas para hacer óptimas talesvaloraciones tentativas.

237

Cuestiones hipotéticas

Un enfoque aún más problemático consiste en estimar el valor de los bene-ficios no monetarios intrínsecos mediante el cuestionamiento directo de laspoblaciones objeto; por ejemplo, un programa para prevenir las enfermedadesdentales puede disminuir el índice de cavidades de los participantes en un pro-medio de una a la edad de 40 años; así, se podría efectuar una investigaciónacerca de cuánta gente piensa que es valioso tener un diente adicional intacto,en oposición a tener dientes obturados. Tales estimaciones presumen que elvalor monetario obtenido relistamente expresa la valía de un diente intacto. Porsupuesto, los valores hopotéticos de este género son susceptibles de un granescepticismo.

Alternativas de observación política

El enfoque más tentador consiste en estimar los beneficios con base enacciones políticas. Si los estados son congruentes y están dispuestos a ofrecerfondos adecuados a programas con alto riesgo de medicina infantil a un rangode 50 000 dólares por niño salvado, esta figura se podría usar como estima-ción del beneficio monetario de tal programa; sin embargo, como las alternati-vas políticas son complejas, transferibles e incongruentes, este enfoque sueleser muy riesgoso.

En resumen, para que los resultados de un análisis de costo por beneficiosean válidos y confiables y reflejen totalmente los efectos económicos de unproyecto, se deben incluir todos los cornponentes adecuados. Cuando no seconsideran beneficios importantes, debido a que no se puedan medir o calcularen dinero, el proyecto parecerá menos eficaz de lo que es; si se emiten ciertoscostos, el proyecto parecerá más eficaz. El resultado será engañoso si la estima-ción de los costos o beneficios es muy conservadora o muy generosa.

Métodos de valoración

Los beneficios y costos se deben definir y considerar para valorarlos demanera diferente, según la perspectiva de contabilidad utilizada. Cuando seadopta la perspectiva comunal, los efectos del proyecto (y, por tanto, los benefi-cios y costos) se deben valorar de acuerdo con la repercusión en la comunidadentera, la región o el país. Para muchos programas, los egresos no tienen preciosen el mercado (por ejemplo, la reducción de la contaminación o el trabajo de unaama de casa), pero debe estimarse su valor.

El procedimiento preferido es usar precios espectro, también conocidoscomo precios contables, con el fin de reflejar mejor el mercado de precios actual,el costo real y los beneficios para la sociedad. En otras palabras, los preciosespectro son derivados de bienes y servicios que reflejan los beneficios y costosnacionales.

238

METODOLOGIA EN EL ANÁLISIS DEL COSTO-BENEFICIO 239

Consideraciones de distribución

Tradicionalmente, la efectividad de realizar intervenciones sociales se estimaen razón de que la realice por lo menos una persona mejor que otra, sin embargo,éste puede no ser el caso; por ejemplo, disminuir el salario mínimo para adoles-centes puede incrementar su empleo, pero reducir las oportunidades de trabajopara los adultos.

El significado básico de incorporar equitativa y distribucionalmente las consi-deraciones en el análisis de costo-beneficio implica la existencia de un sistema deestímaciones en el que los beneficios se valoran más si producen el efecto positi-vo anticipado. Si un salario mínimo disminuido incrementa los ingresos de fami-lias con mayor desventaja, pero reduce los ingresos familiares de los desaventaja-dos moderadamente, los dólares ganados y perdidos se podrán estimar de mododiferente, según el grado de desventaja de las familias. Algunas realizaciones sonmás valiosas para la comunidad, por razones equitativas y debido al incrementodel bienestar; por tanto, se deben examinar con más profundidad.

Las estimaciones por asignar pueden determinarlas los tomadores de deci-siones apropiados, en cuyo caso tendrán que hacerse juicíos valiosos; sin embar-go, también pueden derivarse de la aplicación de ciertos principios económicos ypresunciones. Existen múltiples enfoques formales (estudiados en el capítulo 3).En cualquier caso, es obvio que las estimaciones no se pueden aplicar indiscrimi-nadamente. Sin duda, los analistas diseñarán refinamlentos posterioies confor-me continúen con los problemas de los efectos de distribución.

Una solución intermedia a las consideraciones de equidad en el análisis delcosto por beneficios consiste en efectuar cálculos de subgrupos separados desociedad, en vez de calcular una medida agregada única. Las disgregaciones sehan realizado para grupos de ingresos (por ejemplo, Hansen y Nelson, 1976) ypara los niveles de asimilación (por ejemplo, Wolfe, 1977). Tales problemas dedistribución en el análisis de los efectos en las escuelas se han examinado profun-damente, sobre todo debido a que los costos de la educación subsidiada los sufra-gan, en parte, quienes pagan sus impuestos y no tienen hijos en la escuela, y losbeneficios los reciben personas con grandes recursos económicos (Ribich yMurphy, 1975). Finalmente, se ha sugerido tener en cuenta la equidad conside-rada de los regresos en la educación (Conlisk, 1977).

Efectos secundarios (externos)

Los proyectos pueden tener efectos externos o de derrame, esto es, efectoscolaterales o consecuencias no intentadas que sean benéficas o perjudiciales.Como tales efectos no son resultados deliberados, se pueden emitír de los cálcu-los de costo-beneficio y si no se hicieron esfuerzos especiales por incluirlos.

Un efecto secundario del programa de entrenamiento es, por ejemplo, el entre-namiento a parientes, vecinos y amigos de los participantes. Entre los más comunesefectos externos negativos de proyectos técnicos o de la industria están la contami-nación, el ruido, el tráfico y la destrucción de plantas y de la vida animal.

Para muchos proyectos son probables dos efectos: el de desplazamiento y elde vacío; por ejemplo, en proyectos educativos o de entrenamiento, un grupo depersonas entrenadas que se incorporen al mercado de trabajo pueden competir

con los empleados que están trabajando y desplazarlos (esto es, que los obliguenfuera de su puesto). Los participantes del proyecto pueden dejar vacantes suspuestos, con lo cual dejarán un vacío que otros trabajadores llenarán.

Los efectos externos pueden ser difíciles de hallar o medir (consúltese Klar-man, 1974, quien revisa las dificultades para especificar los beneficios índirectoso intangibles de servicio de salud); sin embargo, una vez identificados, el análisisde costo-beneficio podría intentar incorporarlos en los cálculos.

Descuento

El último elemento principal en la metodología del análisis de la eficacia serefiere ,a1 tratamiento del tiempo para valorar los costos y beneficios de progra-mas. Esta técnica se conoce como descuento y consiste en reducir los costos ybeneficios dispersados a lo largo del tiempo en una base común monetaria, oajustarlos a sus valores presentes.

La intervención de un programa varía en duración, y los programas exitososen particular producen beneficios derivados en el futuro, algunas veces muchodespués que la intervención ha ocurrido. Se espera que el efecto de muchos pro-gramas perdure para toda la vida del participante. A menudo, el evaluador tieneque extrapolar el futuro para medir la repercusión y asegurar los beneficios, debi-do especialmente a que los beneficios del programa se miden conforme el pro-yectado ingreso cambia para los participantes; sin embargo, los costos son másaltos al principio de una intervención, cuando muchos de los recursos se debenampliar, y cesan o disminuyen cuando la intervención termína. Incluso un costofijo gastado en dos momentos diferentes o un beneficio constante derivado entiempos distintos no se pueden considerar equivalentes. El análisis de costo-beneficio ex post, y no sólo las valoraciones ex ante, a menudo se extrapolanhacia el futuro para lograr un análisis completo. De otra manera, la evaluación sepodría basar sólo en un periodo restringido, para el cual los datos del desempleoactual del programa estaban disponibles.

Los costos y beneficios ocurren en momentos diferentes y deben someterse auna medida común o hacerlos conmensurables. En otras palabras, los patronesde tiempo por costos y beneficios de un programa se deben tener en cuenta. Envez de preguntar "¿cuánto más valdrá mi inversión en el futuro?", la práctica eco-nómica común es preguntar "¿cuánto menos valdrán los beneficios del futuro deaquellos derivádos en el presente?". Lo mismo sucede con los costos. La respues-ta depende de lo que presumamos que es el rango de interés o el rango de des-cuento y del marco de tiempo escogido. En el anexo 8.6 se muestra un ejemplodel descuento.

La elección del tiempo en que se base el análisis depende de la naturalezadel programa y de si el análisis es ex ante o ex post. Todo lo demás es equiva-lente: un programa parecerá más benéfico cuanto mayor sea el tiempo horizonteescogido. La elección del rango de descuento se relaciona con la perspectivade contabilidad. No existe enfoque autoritario, aun cuando uno consiste enestablecer el rango con base en el costo de oportunidad del capital, esto es,qué cantidad se debe esperar ganar si se invierte en el mercado privado o en elsector público. Otro enfoque, bajo la perspectiva comunal, es usar el rango dedescuento social, que presumiblemente refleja una preferencia de la comuni-

$1000 $1000(1 + 10) 3 '.(1-t- 10) 1

$751.32 $683.01

$1000 (1 10)5

$620.92

240 ANÁLISIS DE COSTO-EFECTIVIDAD 241

ontados 114 Costos yta:válórTcsente

El docuéilt1:1',U, .que es preferible tener cierto

pitplen . elpréSente qué...tenerloen'él:flitUrCt:sTatto:jo..cternás,elequtvalente:,..11.c.z.se..pUléclé:,atiCirrar;eiüríi.lariCCI:liai,:a...a‘cUrn0far.:trite110éIa:Utilízársé.:.Par•-dalI

VerSibti›.Ytitárk:EStkirló'.:ViáráltrOgraiid.e'::éri.-e144.,trCi:IPUI:sfa'sdiferéigleilineftifurey:IárrienlaS:Vali64::4áelal'uOrria'¿aritjcIC1

rétérité:: s•eIlr'évele.cltáritd.sé..débeilá.l:artaisparaptOdiliCiftitia'antlaáC1.:fija.-eít..é.Fft;.

el descuent . s- a í. .ca . ¿ci iiitorscompues o

a tidad

Ál i + rr .3ii .oi:COfikáI de .d.és.00nto y t nluestra el nürnero de años. Por tark-

,...:para:abténer.la Cat.'• rterite-lOtai : debeijeftCios (y colós) dé Un trograrna epreso.:

(s i..'lli,:v1 or,p0.,sgatesi se: agrecian oss . valores deWtdrItádoliSma c:ada anO. Un. , eintilti.1-1416.116-.ét'él:,siguiente:

., .

é '..:0 .0 glesiin, Pt.ldrIniá de entrenamlento produce incrementos de 1 000

..... . . . : ,.ga mejoras n las gananclas..„ ., . . .. . , ,

.... yd1:13,cir Oc, .40-garianct4s para cad ,prtici anté: Las e -, _ , .. , „., . ,.. . .. .

4é1C-tientaii a sitt,tialórel,. iireselitel 'en ui. .roporclon de descuento del 10%•riráhte Clácd'áñbs; .-"'' ,------:''' --:-::•----''"''',

Año

$1000 $1000 ,-(1 + 10) 1(1+ 10)

$909.09 iS'26 45

Después de cmco años, los beneficlus descontacios a

i $909.09 + $826 45 620.02 o $3, 7.90.79.. Así, las mejorías de $1. • 000 toranono.v.aken, $5 000 , u o sólo 3 790.79. En un rango de descúeri.io

presálte.jet¿Il pndria de $4 329.48. En general, henc,1,clocss

eáltuladó-Snlediante el empleo bajos rangos de 'descuentos parecel,in iii

c¡- tié-los-catáuládáS . ton a tos lanyos, todo_la demás es equivalente.

dad en el tiempo. También, el patrocinador del programa, como un grupogubernamental, podría decidir, administrativamente si un rango específico sepuede usar en los cálculos. Manuales recientes recomiendan que se calcule unrango de interés de la contabinclad más complejo, relacionado con el rangode salarios espectro (Little y Mirrlees, 1974) o tener en cuenta el efecto distri-butivo (Squire y van der tak, 1975).

Los resultados de un estudio son así susceptibles de la elección de un ran-go de descuento. Por tanto, en la práctica, para resolver este problema com-plejo y controversial, generalmente se calcula el descuento con base en variosporcentajes distintos. Finalmente, en vez de aplicar lo que parece ser un des-cuento arbitrarío, se puede calcular el rango interno de retorno o el valor queel rango de descuento tendría que tener para hacer los beneficios del progra-ma equivalentes a los costos del programa.

Cuándo efectuar los análisis decosto-beneficio ex post

Es importante considerar un número de factores para determinar si seemprende o no un análisis de costo-beneficio. En los contextos de algunas evalua-ciones, la técnica es factible, útil y un componente lógico de una evaluación com-prensiva; en otros, su aplicación puede recaer en presunciones dudosas y teneruna utilidad limitada. Los requisitos óptimos para efectuar un análisis de costo-beneficio ex post de un programa, incluye lo siguiente:

El programa tiene fondos independientes o separados.El programa rebasa el estado de desarrollo en cuanto a su certez.a de quelos efectos netos son significativos.La repercusión del programa y la rnagnitud de la repercusión se conocen ose pueden estimar en forma válicla.Los beneficios se pueden reducir a términos monetarios.Los tornadores de decisiones consideran la aplicacIón de programas alter-nos, en vez de simplifícar si se continúa o no con el proyecto existente.

ANÁLISIS DE COSTO-EFECTIVIDAD

El análísis de costo-beneficio permite comparar alternativas o prograrnasalternos de eficacia económica, aun cuanclo las intervenciones no se dirijan ametas comunes. No obstante, después de los intentos iniciales a principios dé ladécada de los setenta, para usar el análisis de costo-beneficio en el campo social,algunos evaluadores pudieron, de forma no 'fácil, comparar directarnente loscálculos costo-beneficío de, por ejen-iplo, la planificación familiar, la salud, lavivienda o los proyectos educativos. Como se serialó, algunas veces no es fácilobtener convenios, por ejemplo, acerca del valor monetario de la vida prevenidapor un proyecto de control de la fertilidad, o de una vida salvada por una.carnpa-ña de salud, y luego comparar los resultados.

El análisis de costo-efectividad no requiere que los costos y beneficios sereduzcan a un común denominador. En vez de ello, la efectividad de un progra-ma para alcanzar las metas dadas se relaciona con el valor monetario de losrecursos que se incluyen en el programa (Levin, 1975). En el análisis de costo-efectividad, los programas con objetivos similares se evalúan y los costos de pro-gramas alternos para lograr la misrna meta se comparan. Se pueden compararprogramas diseñados para disrninuir el rango dé fertilidad con los diferentes

17 .7

r .-4,1414;2) >.6, , a, (0 ,..,, ifi 0 8 g .z ,,,2 -14m .... ,2 ;w .., --- , , fa. - > to' ,,,, , Cv - 1.6,3 -,,:grt_40,135.-cla,a_,-, --,--3,F,,y,j,„oz: coa-wr.0,9F,,zi, 0 -

n 0 " CC) L-1.-:

a'l z, a. n, -á- 10 .(57 cz , cr, g ..-' ••9 3 ' 0..59,, C -rt ' 1,-2 9 '5,. , g >n n

o — 's , ..,,o.,.o F, , 0 :"élle "-Z 9 -1 T ,.„:,t3,,,,:p,. - E l'i-S•f:(7,'z n. -o. ,2 :af.•, -1.— o. c, ,-, -ald,-,-. n' 0. (9 10u ; ;C).: Wil 5 . 1.1- ''' c' ..:5,' 1n n

5, ....,", j-- , 51' cv F,,' —.• n E'o- Q.: C,',„, '.2.: ': .0 -. 'ta'ee:1'....V(,(nr_.= c„, ..¿ , r-, c -±' CL.' CZ n

<",, a'r- . .1). -.r., r, 'fzi ,-,' ",,"„0 - ,g,' Ç•h- .,•,...,,,I• . j

1. 9 1 i' l' "z: `' 1 .„1-2:11.',2

o ...-:a•-•d n 'cr Fe-, o z n.c 6-' v. 0 ;'.. - L 'ilk,,, tA ell'0,-..,..,.;r1) , , n-i nr , „ , ,-.,,, _11.9.,1,;_.-, 70'2.-,9-..,,..., 1-•-,. ,-. ,2, . :., :,,.-,--.. ,,..,.• ,1_, g , A,321 1:',„ 1 u,-,9:,;.,:r,E7 2 L.:,',).,..�.,-_1..,:,.',,,,,..5-1: 1;•.‘,I.,i,z,P.; 2,,,,.,,,,,:,,I, ‹,-„›,-17._.,,,,,,..8. ‘.:- - :.--

..• .., - -.0...to — z -0 ,n-. 15_ E:-, _-; . ,V., _ 1 ''"-to.al n ro c . ,1 -. , E ,,,'1

' '; '.'-' a 'c'i, g. --r1 3 '-` c .1 17, 2, •,'" ,--4:,9....,..z.':'. 2 . 12, 0 9 w •`°n-l'o'.-9.-',0 •n"5. 'ti-c -, m.‹,

.,12,i'.°•.ci <L -'...,1,-"'

41.t.3

cr o. 3 0- 3

o c„ <«, o 0

0 1,1, 111 ca.

-n (9, Cv o. o ouz

o 1), In) `1)o u, r)0 0 (1)<;" cl.) rz)cr n •w 0 1:3 5.<C. u>

110 8- 11'•

a ,g. IS)wOMO

(1) 0 •-••

‘-‘v, <c)P-1 <s)cL cvcLc.o

wr)C-0 On•n cv n "Lt,

(f)

- c9"' cvo, gw o

cv 3 5.n

o n cy„-cs 14,

n gci.

(x) =0 0,3 z

cL crco

mg 3 a' co

_ o

0 coo

tif co

1,1 oo o°c

v.

_'1 ..ternjtIcas-Ganancia-,de cidkíhaGanancia cias-¿s.--171;e7i' m—"entaTes...TVE --Ganancla de grupos control expMentalcs. (refOrmá sin-TV.É).

Clencla -Gananc1a de clasestti-aclibonales1

Gapancia de clascs 1.exp,efirnentalesTVÉGanancia dé gruposleólidmentales (reforma

EstudIos soc".Iales

(3anancias de clases tradIclonales.,(3ariancia de clases exPerinie"i-ltre'sIE

rjmianca

, • ,

de gruPos control experl-nriefitales (reforma.sin,IVE)

s ,porcentaJes ciex-oltozelectOldad -pqra kcada sufeta son slgu

orniO sola

Sóló'enTós estitcllo's sociales está el poreenta....:emayor qüe larefdima sola. Por ello, el autor argumerita que se InvestIgue el prgranria eircular y las reformaS a la enseñanza, , y implaniar, la TVE: ".

Ion-- en

244 CAP. 8. MEDICIÓN DE LA EFICACIA 245

de asegurar el valor o mérito de una intervención dada, ni comparar cuál de dos omás programas en diferentes áreas producen mejores retornos. Sólo se pue-de compararla eficacia relativa de las metas del programa unas con respecto deotras, en que la eficacia es una función del costo mínimo. En el anexo 8.8 (pág.243), se resume un análisis de costo-efectividad de programas reformados alter-nos en términos de costo por reducción en la reincidencia.

El costo-efectividad se puede ver como una extensión del análisis decosto-beneficio para proyectos con metas múltiples y no conmensurables. El costo-efectividad se basa en los mismos principios y utiliza los mismos métodos de aná-lisis de costo-beneficio y su análisis. Las presunciones en el campo del método,así como los procedimientos requeridos para medir los costos y el descuento, porejemplo, son los mismos para cualquier enfoque. Por tanto, los conceptos y lametodología introducidos previamente en consideración del análisis de costo-beneficio se pueden tener en cuenta también como base para comprender elenfoque del costo-efectividad.

En el anexo 8.9 se muestra el uso del análisis de costo-efectividad para com-parar un programa de televisión experimental educativa con una reforma pro-puesta para un sistema escolar existente. En términos sencillos, muestra el uso delos rangos del costo-efectividad para comparar proyectos alternativos en térmi-nos de costos para producir ganancias cognoscitivas medibles.

Ane-xo. 8,9. AnaTsis 7delsle o-----1'sto--- 7e77eCiáírll' iia-cral proyede teforma educativa y television :editCatIva -, , , .., , , . -

1 ..-. - - - =. .1-;:.:1,,:l 0.-Olátós de'utia evalua,ciórx eXperImental'azIa-teleúlsiói-t e-541" fry E) y de. _ . .

"Itin P roáratn-dé i"éfoiiiiáll¿li,icatIVa Irnplantados en El Salvador por AID Perrnitló, . ,comparar el costo - efectistidad de dos alternativas para ampliar la escolarldadbáslcaen esté casó,-, en,¿, I nlYel ,,dersérátirnp:gradof Las'anántiaseelueativ -á„s semillieron ..,

pe.i:üleclid:rde Piruebas'de. astrilllaéiSiVeStándar ad,ffiirifstradai'al -e4rn-leirizó -Yral f i nít.l.del,año esecilar dé---1972'.., Lás refóri-Nas ed{leativasifícItiíáíiiiipgrayi'válcurriallElres :a-IMPIlós-,Y,.rna-tertar les y mar'es—,tr' os reentrenaclOs,.,c-On' y siti'tel ,ev, _ isiáiVeducal‘V-a. Sec.11:eitlat:Ori'lós'¿ostos actuaiá de la reforrna y clelól -Prograiiiás-17,9E:'el cols4O'anual.por,estucllánte_del,prograrna,de reforma sin33/Effile de 16.',51(51areS:sr el costo cle la .IVEsolafikde 22.dólares. En la tabía sigulente -se'resuMe el resultado del análisiv -,dé,C.O11".6.,:lie:c.i1Vid'a - - - -- ' ' ' . ..,-..-

RESUMEN DE UN CAMPO COMPLEJO

En este capítulo se ha examinado de modo general el análisis de costo-beneficioy estudiado su lógica, sus supuestos, sus conceptos y sus procedimientos. El análi-sis de costo-beneficio requiere que los costos del programa y los beneficios seconozcan, cuantifiquen y transformen a una unidad de medida común; que se pro-yecten hacia el futuro para reflejar la vigencia de un programa, y que los costos ybeneficios futuros sean descontados para reflejar sus valores presentes. El análisisde costo-beneficio se ha sugerido como una altemativa factible en los múltiplesejemplos en que los beneficios no se pueden estimar en unidades monetarias. Tam-bién se ha recalcado que el análisis ex post es más apropiado que los estudios exante para evaluar los programas de prestación de servicios humanos.

En términos de estimación de la eficacia ex post, los análisis de costo- beneficioy de costo-efectividad se podrían ver como componentes de una evaluación inte-gral, pues la evidencia sólida de la repercusión neta es la base para formular losbeneficios y la efectividad. El análisis competente puede proporcionar informa-ción extremadamente valiosa acerca de la eficacia económica del programa,importante no sólo en su planificación y ejecución, sino también en el procesopolítico. Como se muestra en el anexo 8.10 los análisis de costo-beneficio y de

Noexo 8.10.. Efectos y costos dé los seicio.i:ilecuicli-icto diurnó para CróniccisnIr'"'

Establecimicntos de cuiclado diurno para adultolisiryc9,- . .

-se,csfudiardn eri un exí->erinientó aleatdrio'rosultados,en,los pacleIrtes y los costos dé usar estos nuevós . senifcld.1: ÉllYrés-oterA,.1i-tículirifiSi4riá'de los halla'zgos' del culdádo .ctiur'nó. Las fundones físicas, pslcosry

'Sáluctelel . pástente se valoraron.trnpestralinente y se obtuvieron los regls-.trOS' .de..ré'nicl-ad6';inéditó. Los datos déaYtida„médica se obtlivieron en nurnerosóspai; ientes,'Pe/ o pocos usaron lo incluido en la ayudáinédiC,áYjot,ervicios de cuidá,

El anólisis do ctapas:inUltiPléS sé -:r2liZ4:Pará'niitigar los eféctos''cle.,partir dé! diseño aloatorio. Los pacierttesjiclé , cuidado,d).itrno:no mostraron benefi-ids en la 13abilidad funclonal físicá estudiii,lomparados con el grupo'

coCrtróL ,l,,Lá:pstitucionalización 'd e lai.s'.fC1114de41 lcuidados habilido'Sbsftiernas

baja párá el,árup-b exper-inkntal que pará el control, Pé'rO otros factorádiférentes.:;cleláVAriáblé'del.Uatarniento piarcep,xplic.ar muchO déla varianz$. Hubo

qUeise: . Prulongara lá vidáCfe`algunoS 4C1entes dé Cuidado diurno. Los -..

nu 'évOs' ser .vidos prOjnediaron .51,d4lárés:potydía'3 . 0j5 dólares por año. Cuandolos:cbstos ér 'ogados Pára los seV)Clii-S"détilicllab'í'il- édiCCn é;:iciItentés sésumaban, elcosto anual del -grUpo experimental fúe de 6 50,1 dólar&:, cornparado con lOs 3 809

(dólares dcl - grujpo ccintrok›Tun incrernento de 11 2 dólares o 71%.

- „Fuctnte: tyl,ptado, con aukt rtzaci claWtlitam Wessert,'-ThornzisWanj3a irOi-á 1.1v-Wrát.,:11,911.t ,

Kotz, "Ettfects 'and of DaP.:C-3re Sertitt'e,-s for the CtiOrti-MIW"t1IP.Art'lliditplonylzedtExperinseriti,'„IrtCare, vol 18, núrrt 6. 1:-.)50, patis 567.584

246

costo-efectividad frecuentemente proporcionan importante información no dis-ponible a partir de valoraciones de la repercusión.

Se ha proporcionado un enfoque general de la eficacia. Como parece evi-dente, la considerable complejidad técnica debe ser característica del múltipletrabajo que la rodea; no obstante, como un estilo de pensamiento en cuanto a losresultados del programa, tiene un gran valor en el campo de la evaluación.

El contextode lainvestigaciónevaluativa

Las decisiones políticas y administración relacionadas con los programas ocurrencon evaluaciones o sin ellas. Las evaluaciones pueden repercutir en el proceso de toma dedecisiones sólo si resulta un conocimiento influyente respecto de las evaluaciones, y siéstas son oportunas y adecuadas al programa. Posteriormente, el contexto en el quelas evaluaciones se realizan y los arreglos organizacionales con los cuales los grupos de lasevaluaciones hacen su trabajo influirán en la calidad y la utilidad de las evaluaciones.

Mientras las evaluaciones realicen contribuciones a largo plazo para conocercómo diseñar y ejecutar los esfuerzos de la intervención, sus contribuciones son relati-vas, inmediatas y directas para poner en marcha el programa y los resultados que provo-quen apoyo por la investigación evaluativa. Apropiadamente, continuará el escepticismoentre los tomadores de decisiones, los planificadores, el personal del programa y laspoblaciones objeto participantes en cuanto a las ventajas de las intervenciones sociales.Al mismo tiempo, este escepticismo se contrapone a nuestra aspiración de mejorarnuestra vida y las de nuestros hermanos en todo el mundo. El estado de la evaluación,como un arte, es uno de los medios de consumir esfuerzos para contribuir al progresohumano y social.


Validez extema:

Validez intema:

Significación política:

Poder estadístico:

Significación estadística:

Extensión en que el diseño de un estudio permite que loshallazgos se generalicen.

Extensión en que el diseño y la ejecución de un estudio per-miten hacer declaraciones definitivas de los resultados.

Extensión en que los resultados son significativos en elcontexto de los costos del programa, las intervencionesalternas disponibles y la presión de las acciones de laintervención.

Estimación de la probabilidad de que un efecto neto se ob-serve si existe, dando las propiedades estadísticas de lasmedidas y los procedimientos estadísticos empleados.

Probabilidad de que un resultado se deba a la fortuna.

247

248 CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA

249

La evaluación, como repetidamente se destacó, es no sólo actividad técnica,sino también una investigación diseriada para dirigir el proceso de formaciónpolítica, el diseño de programas y la ejecución y administración. Asimismo, esuna actividad política, en el sentido en que las evaluaciones siempre se realizanen contextos en los que participan muchos partidos interesados en lo expues-to en los resultados de los esfuerzos. Estos evaluados afectan la capacidad del eva-luador para realizar efectivamente las evaluaciones y los medios en los que losresultados de la evaluación son utilizados por los políticos, los planificadores,los patrocinadores y los administradores. En este capítulo se examinarán algu-nos de los problemas derivados del hecho de que las evaluaciones tengan lugaren medios más o menos politizados, y que requieren relaciones con personas quetienen sus propios puntos de vista e intereses profesionales y personales.

Las actividades de las evaluaciones también se realizan con un vasto rangode organizaciones, incluidos universidades, corporaciones de beneficio y no be-neficio y prestadores de servicios hurnanos. Estas organizaciones, de acuerdocon sus actividades y las personas que las realizan, ejercen una influencia en eltipo, la cualidad y la utilidad de las evaluaciones.

Desafortunadamente, los evaluadores aún tienen el conocimiento sistemáti-co sobre sí mismos y sus esfuerzos --cómo otros usan sus trabajos y sus relacionescon el contexto mayor político en el que se realizan-; sin ernbargo, ese conoci-miento ha crecido, de modo que en años recientes se han realizado numerososestudios que permiten por lo menos hacer algunas generalizaciones.

051n10 INTERPRETAR pos RESULTADOSDE LA EVALUACIÓN

Los procedimientos descritos en los capítulos anteriores proporcionarondatos que intentaron ayudar en /a formulación de juicios acerca de la efectividadde las intervenciones; tales hallazgos son no sólo consideraciones que podríanformar parte de tales juicios. Los hallazgos de los esfuerzos por evaluar no sonautoevidencias tanto como a sus implicaciones prácticas concierne, de modo queel evaluador debe tener en cuenta otros elementos más allá de lo estrictamen-te metodológico, al hacer su estudio. En este sentido, la postura convencional delos investigadores sociales requiere modificación (Cronbach et al., 1980). Algu-nos de los elementos adicionales de la toma de decisiones se examinarán breve-mente en este capítulo. Las preguntas que se originan son:

¿Qué tanto se necesita un efecto.positive?, ¿dónde debería establecerse unnivel de significación parád-i-s-cernir si un programa da o no resultadosnetos diferente-s-,-más allá de la posibilidad de no obtener ningún resultado?¿Qué tangeneralizable es el resultado?, ¿se obtendrá el resultado positivoen unaT1ói el programa continúa o se aplica en circunstanciasdiferentes? \.¿Cómo son los_hallazgos-errcuanto- a pertinencia, para la política y para losintereses del programa?, ¿son las diferencias no sólo reales, sino tambiéncon suficiente magnitud para garantizar la comisión de los recursos en unabase común y a largo plazo?

Establecimiento del nivel designificación estadística

El resultado de valorar cuantitativamente la repercusión de un programa esuna estimación de los resultados netos del programa. ¿Qué tanto debe prolongar-se una estimación antes de aceptar los resultados como factibles? Primero, sedebe deternrri el resultado eto es diferente de cero. Como los hallazgosgeneralmente son di in os e cero, se debe Caid-cértón algún grado de confian-za si los resultados son o no diferentes de cero.

Para efectuar tales juicios, se considerará de nuevo la estadística teórica.Mediante el empleo de un modelo estadístico apropiado, se puede determinarcuán a menudo los resultados netos de tamaños dados en una serie de replicacio-nes de un experimento aleatorio ocurrirán si el verdadero resultado de un experi-mento es cero (o alguna otra magnitud especificada); por ejemplo, si en un expe-rimento dado se puede aprender que un resultado neto de por lo menos ciertotamaño podría ocurrir por fortuna en cinco de 100 ensayos cuando la interven-ción actualmente no tiene efecto.

Si se acepta el resultado como un indicador de que el programa tiene efecto,se admite que dicho experimento no es del 5% en el qué el verdadero efecto escero; esto es, se supone que el resultado no se debe simplemente al azar (esto es,el resultado de un procedimiento aleatorio). Si se rechaza la hipótesis de que elexperimento tiene un efecto, se corre el riesgo de cometer el error opuesto de cla-mar un resultado particular inducido por el programa como un resultado de lafortuna (Crane, 1976).

En la investigación social tradicional, los niveles de significación estadísticageneralmente se ubican entre 0.05 y 0.01. El nivel establecido puede ser porquese considera el grado de riesgo de que los resultados se deben al azar. En otraspalabras, el modelo estadístico apropiado dicta que los hallazgos pueden ocurrirpor posibilidad cinco veces de cada 100 ensayos (0.05) o una vez de cada 100ensayos (0.01) lo cual depende del nivel establecido. Mientras puede resultarcómodo basarse en la tradición, este juicio en la investigación social aplicada sedebería hacer con precaución, lo cual reflejaría que incluir errores en los juiciospodría tener ciertas consecuencias. En su lugar, en algunos casos se podrían apli-car niveles estrictos de significación estadística (por ejemplo, 0.0001) y aceptarcomo un indicador el efecto estadísticamente significativo de sólo aquellos resul-tados netos que ocurran por azar una vez en cada 10 000 ensayos. En otroscasos, se podrían aplicar límites benignos (por ejemplo, 0.20), en los cuales seacepten los resultados netos que ocurran por azar una vez cada cinco ensayoscomo evidencia razonable de un efecto real del programa.

Un enfoque complejo de la determinació aceptación-rechazo se incluye enel concepto de poder estadístico, el cual se refiere a la probabilidad de que unefecto neto sea observado si existe, dadas las propiedades estadísticas de lamedición y los procedimientos estadísticos empleados. Por ejemplo, dado unvalor estimado de la correlación entre la preprueba y la posprueba y de lasnotas de los grupos experimental y control, y dada la estimación del tamaño dela muestra, la probabilidad de advertir un resultado real de cierta magnitud sepuede calcular. Esto se conoce como poder del resultado de un análisis estadís-tico. Recíprocamente, si se calcula la probabilidad estadística de los resultados,


se podrá estimar el tamaño apropiado de la muestra, dado el uso de un procedi-miento estadístico determinado.

Establecer los niveles de significación estadística de -la evaluación de unprograma implica formular juicios acerca de la importancia relativa de dostipos de errores:

Error tipo 1 o positiuos falsos. Tomar una decisión positiva cuando lacorrecta debería haber sido negativa; esto es, concluir que un programatiene un efecto cuando realmente no lo tiene.Error tipo 2 o negativos falsos. Tomar una decisión negativa cuando lacorrecta debería haber sido positiva; esto es, fallar al detectar el efecto realde un programa.

La probabilidad de cometer un error de tipo 1 es equivalente al nivel de signi-ficación establecido para la prueba. Se pueden minimizar los positivos falsosmediante la ubicación de criterios muy estrictos de significación estadística, peroeso sólo incrementa la probabilidad de cometer un error falso negativo. Los dostipos de errores están inversamente relacionados y es posible minimizarlos simul-táneamente sólo mediante un enorme costo. En cada proyecto evaluativo sedebería decidir a priori cuál de los dos tipos de errores es más importante, demanera que se diseñará coordinadamente el análisis estadístico particular. Deter-minar

. si un falso positivo o un falso negativo es más importante de minimizar

resulta, evidentemente, un juicio valioso y se basa en el área sustantiva de la eva-luación, no en la teoría o la estadística.

Cabe ilustrar las circunstancias en que dominan un falso positivo y un f al-so negativo. Al probar la seguridad de un equipo de un avión, es obvio que losfalsos positivos son más importantes que los falsos negativos. En resumen, esmás importante evitar certificar como seguro un avión que puede caer debidoa un sobreuso (esto es, evitar el falso positivo) que evitar rechazar como inse-guro uno que podría no caer debido a un sobreúso. Se puede formular tal jui-cio con base en el principio de que preservar la vida es más importante quediseñar y manufacturar aviones con poco costo. Decisiones análogas tienenlugar en las intervenciones médicas.

En contraste, la situación opuesta se puede obtener en un programa conbajos costos relativos, como una intervención en la televisión educativa: comolos programas de educación efectivos son difíciles de diseñar y los efectos negati-vos de adoptar un proyecto ineficaz no son muy marcados (especialmente ante laausencia de otras opciones), los positivos falsos resultan menos costosos que losnegativos falsos. Quizá sea mejor adoptar una serie de proyectos educativos que,en términos estadístícos, son problemáticos en su efectividad ante la esperanzade que por lo menos uno será efectivo.

En esfuerzos de intervenciones, puede ser útil aplicar los principios siguientes:

Para proyectos que tienen algún riesgo en los individuos, las familias o lascomunidades, puede ser más importante rninimizar los positivos falsosque los negatívos falsos.Para proyectos en los que existe poca probabilidad de dañar a los indivi-duos, las familias o las comunidades y que existen unas cuantas inter-venciones efectivas, los negativos falsos pueden dominar a los positivosfalsos.

CóMO 1NTERPRETAR LOS RESULTADOS 251

La noción de riesgo se debe interpretar ampliamente para incluir toda clasede costos que se podrían aplicar si la intervención estuviera en efecto como unprograma estatutario. Los proyectos costosos, aquellos que podrían tener efec-tos negativos colaterales y los que implican tratamientos que en algún sentidoson riesgosos para las poblaciones objeto son ejemplos de intervenciones poten-cialmente peligrosas.

La primera implicación de esos principios es que los niveles de significaciónestadística que se podrían aplicar a programas potencialmente peligrosos debe-rían establecerse de modo más estricto que para los benignos o menos costosos.Una segunda implicación es que al valorar un programa costoso o peligroso sedebería emplear la más completa de las investigaciones en sus diseños, los cualesfueron examinados en los capítulos anteriores.

Si un proyecto pudiera tener algún riesgo, es muy importante estar segurode que es rechazado cuando, de hecho, es inefectivo. Un proyecto para curar apacientes mentales mediante un tratamiento peligroso (por ejemplo, psicociru-gía o la aplicación extensiva de preparaciones psicofarmacológicas) debería pro-barse más cuidadosamente que un proyecto para incrementar la aceptaciónpopular de complementos nutritivos.

No obstante, las pruebas de significación estadística proporcionan sólo unabase mínima para estimar la valía de modificar un sistema de entrega o defensade una estra tegia de intervención particular. Las pruebas de significacióndependen de muestras y de sus tamaños, distribuciones y pruebas utilizadas,además de que diferencias muy pequeñas pueden ser significativas aun en unnivel extremo (por ejemplo, 0.0001). En un sentido, las pruebas producen unaestimación de si las diferencias son reales o no, esto es, el grado en que es po-sible que los resultados ocurran por azar. Los resultados se deben estimartambién por la magnitud de los efectos encontrados, un tema que se tratarásubsecuentemente bajo el título de significación política.

Generalización de los resultadosde la evaluación

La valoración de la repercusión típicamente se realiza mediante el empleo demuestras" de las poblaciones objeto, subconjuntos de aquellas escogidas por

materia de conveniencia o, de alguna manera más estructurada, para maximizarsu representatividad. Un problema importante que se origina una vez que la eva-luación se ha realizado es la extensión en que los resultados se pueden generali-zar a la población objetivo total. El problema en la investigación evaluativa sueleocurrir en términos de - intercambios o negociaciones entre la ualidez interna y laexterna (Campbell y Stanley, 1966; véase también el análisis hecho en el capítulo5 de esta obra).

La ualidez interna de un diseño es su capacidad, por medio de los datos deri-va dos, para efectuar declaraciones definitivas acerca de si el programa produce ono resultados netos de la intervención. Cuando se realiza apropiadamente, elexperimento controlado aleatorio tiene una validez interna alta, porque talesdiseños capacitan a un investigador para asegurar si la intervención probada ejer-ce un efecto apropiado. Debido a que los experimentos controlados ponen al

COMO INTERPRETAR LOS RESULTADOS 253252 CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA

margen casos extraños de los efectos, tales diseños ofrecen mayor seguridad deque la intervención fue la "causa" de la diferencia notada entre los grupos experi-mental y control. Los otros diseños estudiados en el capítulo 5 muestran cantida-des decrecientes de validez interna.

En contraste, la ualidez externa se refiere a la habilidad de un diseño deinvestigación que permite hacer inferencias o generalizaciones acerca de losefectos más allá de los grupos específicos y de los contextos que se prueban. Undiseño de investigación particular tiene alta validez externa en la extensión enque el diseño permite hacer generalizaciones para una población adecuada másallá del grupo empleado en la evaluación. Por ello, una consideración impor-tante al diseñar cualquier evaluación es si los grupos objetivo seleccionados dela población forman una muestra sin sesgo de ésta. Un experimento bien dise-ñado y ejecutado, controlado aleatoriamente en una escuela secundaria, puedemostrar claramente que un proyecto de entrenamiento profesional es efectivo;sin embargo, si los estudiantes que participan en el experimento son escogi-dos sin considerar qué tan bien representan a los estudiantes de secundaria enla población al respecto, será difícil generalizar que los proyectos de entrena-miento paraprofesional resultarán efectivos en otras escuelas secundarias. Enresumen, la validez externa del experimento podría ser deficiente.

Asimismo, con el fin de probar un experimento diseñado para disminuir eldesempleo mediante la adopción de una lista de computadora más eficazsobre los trabajos en las agencias del gobierno, se pueden enviar agentes dedemostración específicamente entrenados a diversas oficinas de empleo. Silas oficinas son escogidas de acuerdo con procedimientos de muestreo apro-piados, se podrán efectuar generalizaciones acerca de su efectividad en el paísentero, dentro de los límites de la variación de la muestra. Si el muestreo sehace sin sistema (por ejemplo, mediante la selección de las oficinas que volun-tariamente se ofrecen para probar el nuevo sistema), la generalización detodas las oficinas de empleo será problemática. Esto se debe a que las oficinaspueden estar más predispuestas a usar el nuevo método tan asiduamente comosea factible y, por tanto, proporcionar resultados que sobrestimen el potencial derespuesta de todas las oficinas hacia los nuevos procedimientos.

Debido a que los experimentos aleatorios son difíciles de realizar en granescala y con buenas muestras de grupos objetivo, probablemente se realizan conmayor atención de los problemas de validez interna y externa; por ejemplo, debidoal gasto que representa estudiar un número de comunidades adecuado, los seisexperimentos de apoyo al ingreso emprendidos en Estados Unidos y Canadá serealizaron en un número pequeño de comunidades "típicas" urbanas y rurales;con todo, no se intentó escoger sistemáticamente tales comunidades con base ensu representatividad de todas las comunidades urbanas y rurales en Estados Uni-dos (Rossi y Lyall, 1976). En contraste, la valoración de la repercusión que usacontroles estadísticos generalmente se diseña con mayor atención en los proble-mas de validez externa. Las muestras representativas de las poblaciones objetivose seleccionan frecuentemente, y los participantes se identifican con ellas.

Destacar o no la validez externa o interna al diseñar la valoración de la reper-cusión es un problema que debe afrontarse pronto en la etapa de diseño de la in-vestigación. Para un proyecto bastante innovador (y posiblemente costoso) puedeser valioso destacar la validez interna. La ejecución de tal proyecto causaría una

gran pérdida de recursos si se convierte en inefectiva, aun en las circunstanciasmás favorables. En contraste, para un proyecto efectivo para algunos gruposobjetivo, el problema principal puede ser si resultaría efectivo en un gran rangode poblaciones objetivo; por ejemplo, en un programa de pago transferido delingreso que será muy costoso y valioso si se decreta en un alto nivel de pago, pue-de ser conveniente realizar un experimento cuidadosamente diseñado de contro-les aleatorios en una situación prototipo, antes de realizar-la valoración total de larepercusión. Donde resulta menos probable la efectividad, pero el problema esefectividad con todos los subgrupos de una población objetivo, se puedenemplear diseños menos restrictivos con muestras más representativas.

Otra estimación importante (la cual, en un sentido, se puede considerarmateria de validez externa) es la extensión de la replicabilidad de un programa ode su trasferibilidad. Una intervención prototipo o piloto, diseñada para probarla aplicabilidad de un programa consejal corrido por consejeros dedicados yhábiles, puede tener una validez externa deficiente, porque podría ser difícil esta-blecer el programa en un amplia base; esto es, puede ser improbable encontrarpersonas suficientemente dedicadas y hábiles para que pongan en marcha el pro-grama en la nación entera al mismo nivel de la prueba.

En general, emprender una prueba piloto o prototipo puede ser diferente deponer en marcha los programas diseñados para las masas, no porque los gruposobjetivo empleados no sean representativos, sino porque el tratamiento en,laprueba piloto se da de manera que no puede aplicarse a grandes masas o escalas.Existen muchos ejemplos acerca de las dificultades de generalizar desde los pro-gramas piloto hasta los diseñados para las masas. En educación, muchas técnicasde enseñanza funcionan bien en manos de sus defensores, pero fallan cuando sesometen a políticas escolares amplias. Este problema de validez externa destacafuertemente la importancia de monitorear, como se vio en el capítulo 4.

El problema de la significación política

Aunque el resultado de una evaluación puede producir hallazgos que con-vendrían por ser estadísticamente significativos y generalizables, el resultadoneto puede no tener significación política; esto es, a veces los hallazgos puedenpasar muchas de las pruebas estudiadas en este capítulo, pero ser muy pequeñospara tener relevancia política, administrativa o de planificación; por ejemplo, enla evaluación de Sesame Street (Plaza Sésamo), examinada en el capítulo 6, seencontró que los niños que observaban el programa eran estadísticamente distin-tos de los que no lo veían, en sus conocimientos acerca del alfabeto. Sustantiva-mente, la diferencia encontrada sólo abarca unas cuantas letras y, por tanto, teníapoca significación política (Cook et al., 1976).

El problema de que la magnitud de la diferencia debía tener significaciónpolítica varía de campo en campo. En la educación, una importante ganancia sedefine frecuentemente como aquella cuya magnitud es de por lo menos unmedio de la desviación estándar. Una manera formal de proporcionar datospara juicios es realizar análisis de costo-beneficio y de la efectividad del costo,como se vio en el capítulo anterior. Efectuar esto permite que los juicios sehagan con base en si los recursos se gastan efectivamente, comparados con loscostos y beneficios de proyectos alternos.


Otro criterio más dificil es formular juicios del valor social del cambio en elresultado. Pequeñas magnitudes de cambio tienen significación política cuandola valoración social es alta, mientras que las grandes magnitudes tienen significa-ción cuando la valoración social es baja. Así, un programa de educación nutricio-nal que reduce clínicamente en 2% los casos observables de malnutrición enniños, puede ser políticamente significativo, mientras que un proyecto de educa-ción del consumidor que reduce en 10% las compras de aparatos innecesariospequerios para el hogar puede que no lo sea.

La disponibilidad de intervenciones alternas también se debe tener en cuen-ta; por ejemplo, en un país con alta saturación de aparatos de televisión y un sis-tema de educación formal que requiere recursos extensos y un largo periodo demodificación, las pequeñas ganancias obtenidas mediante la televisión educativapueden ser políticamente significativas; a su vez, la misma magnitud de cambiopuede no verse positivamente si los cambios rápidos a un costo bajo fueran posi-bles en el sistema de educación formal.

La significación política también surge como un problema en otros sentidos.A menudo, un programa prospectivo se puede probar sin suficiente comprensiónde cómo ven los problemas políticos quienes toman las decisiones y deben apro-bar el decreto del programa en los estatutos. Por ello, mientras la evaluación deun programa en cuestión puede ser sin tacha, sus hallazgos pueden probar suimpertinencia. En el Experimento de apoyo al ingreso de Nueva Jersey, Pensilva-nia, los diseñadores del experimento plantearon como su problema central lapregunta siguiente: ¿qué tan grande es el efecto de desincentivar el trabajo deun plan de mantenimiento del ingreso? Para el tiempo en que el experimento seterminó y los comités de congresistas consideraban los diversos planes de mante-nimiento del ingreso, el problema clave ya no era el efecto desincentivador deltrabajo, más bien, los miembros del congreso estaban preocupados con cuántasdiferentes formas de bienestar social se podrían consolidar en un paquete de peti-ciones, sin ignorar las importantes necesidades de los pobres y sin crear muchasinquietudes.

Debido a que los últimos probósitos de la valoración de la repercusión, comocon el enfoque evaluativo general .,‘ es ayudar a tomar decisiones y a quieneslo hacen a formar y adoptar políticas públicas, la investigación debe servir a losdiversos problemas políticos implicados. Las metas de un proyecto deben seme-jar aquellas planteadas por los políticos en sus deliberaciones de los problemasconcernientes. Un experimento aleatorio diseriado cuidadosamente mostró unareducción en ciertos impuestos regresívos que permitirían mejorar la productividad del trabajador, y ser inadecuadas si los tomadores de decisiones se interesanmás en motivar a los empleadores y en atraer las inversiones potenciales.

Los diserios para valorar la repercusión deben implicar, si es posible,algún contacto con tomadores de decísiones adecuados, con el fin de asegurarsus intereses en el proyecto que se prueba. Para un proyecto innovador noanalizado por los tomadores de decisiones, pero probado porque puede con-vertirse en el tema del estudio futuro, los evaluadores y patrocinadores de laprueba de la repercusión y sus efectividad deben contar con sus conjeturasinformadas acerca de la política que podrían originar. Para otros proyectos, elproceso de obtener opiniones de los tomadores de decisiones es bastante ínte-gro. Se pueden consultar los procedimientos de los cuerpos deliberativos (por

CóMO REDUCIR LOS CONFLICTOS 255

ejemplo, comités auditores del gobierno o debates legislativos), entrevistar alos miembros de los equipos de tomadores de decisiones o consultarlos direc-tamente. De hecho, es justo el problema que Ilevó a diseñar la valoración de laevaluabilidad, examinado en el capítulo 2.

Aunque el estudio se ha centrado en las evaluaciones de la repercusión, pre-valece el mismo problema en los sistemas de entrega y sus evaluaciones (procesoy contabilidad); por ejemplo, a fin de mejorar un prograrna acerca de los requeri-mientos en la elegibilidad de las poblaciones objetivo, para incrementar la cober-tura y reducir la desviación, se deben examinar la significación estadística y lamagnitud de la diferencia, así como estimar qué resultado se debe al cambio decriterio de la población objeto cubierta y desviada o al azar.

Interpretar los resultados de la evaluación requíere hacer consideracionesque van más allá de la metodología. Que las evaluaciones se realicen de acuerdocon los cánones de la investigación social pueden hacerlas superiores a otras for-mas de estimar los programas sociales, pero las evaluaciones proporcionan sóloinformación superflua, a menos que se diseñen para evidenciar los valores y laspreferencias implicados en la política, la planificación de programas y la adminis-tración. Según esta consideración, sus deficiencias tienden a centrarse en cómoestablecer las interrogantes de la investigación y en cómo interpretar sus resulta-dos (Datta, 1980). Para maximizar los resultados de la evaluación, el evaluadordebe poder apreciar ambos niveles de consideraciones políticas.

Primero, los programas que ubican problemas percibidos como requeri-mientos críticos (esto es, más rigurosos), en vez de valoraciones relativas a pro-blemas triviales. Las decisiones técnicas, como establecer niveles de significaciónestadística o de magnitud, se deben informar por la naturaleza de la política y lasconsideraciones del programa. Esto es siempre materia de juicio y sensibilidad.Aun cuando se emprenda análisis más formal de eficacia (capítulo 8), el proble-ma permanecerá; por ejemplo, la decisión para usar un programa individual ouna perspectiva de contabilidad comunitaria está determinada por la política ypor consideraciones de los benefactores.

Segundo, los resultados de la evaluación se deben valorar de acuerdo con sugenerabilidad, si los hallazgos son significativos políticamente o sólo para el pro-grama, y si el programa satisface de manera clara las necesidades (como seexpresó por los múltiples factores que intervienen en el proceso político).

CÓMO REDUCIR LOS CONFLICTOS ENTREEL EVALUADOR Y LOS EVALUADOS

Evaluar es formar juicios. Para efectuar una evaluación se deben proporcio-nar resultados que puedan utilizarse para formar juicios. La distinción entre for-mar juicios y proporcionar información acerca de la cual se basarán los juicios esútil y clara en la teoría, pero a menudo dificil de delinear en la práctica. Algunosevaluados pueden percibir los resultados de una evaluación como muy críticos yreaccionar de acuerdo con ello.

¿Quiénes son las partes típicamente implicadas en el uso de los resultados deuna evaluación? En seguida se presenta una lista de algunos evaluados, gruposque pueden participar directamente o Ilegar a estar interesados en el proceso dela evaluación o en sus resultados:

Research Politicaltyon autorizadón dela


Polítícos o tomadores de decisiones: son las personas responsables dedecidir si se debe establecer, continuar, suspender, ampliar o reducir unprograma.Patrocinador del programa: es la organización que inicia y proporcionafondos para el prograrna que se evalúa.Patrocinador de la evaluación: es la organización que inicia y proporcionafondos para la evaluación (algunas veces, los patrocinadores de la evalua-ción y del programa son idénticos).Participantes objetivo: son personas, familias u otras unidades que partici-pan en el programa o que reciben los servicios de la intervención sometidaa evaluación.Administradores del prograrna: es el grupo responsable de supervisar ycoordinar la intervención y su programa.Personal del programa: es el personal responsable de entregar la interven-ción (por ejemplo, los maestros).Evaluadores: es el grupo de individuos responsables del diserio y/o la reali-zación de la evaluacíón.Competidores del programa: son las organizaciones o los grupos quecompiten por los recursos disponibles.Evaluados contextuales: son las organizaciones, los grupos, los individuosy otras unidades en el ambiente inmediato de un programa (por ejemplo,oficiales del gobierno local o influyentes situados cerca o sobre el sitio delprograma).

Aunque estos nueve grupos no comprenden exhaustivamente a todas las per-sonas interesadas y/o implicadas en las "políticas de la evaluación", son los evalua-dos que típicamente participan de una manera u otra para efectuar una evaluacióny obtener sus resultados. No está completamente claro cómo se afectan los inte-reses de cada uno y cómo actúan en ellos para dar el resultado de una evaluación.En una situación particular, los políticos y los tomadores de decisiones puedenestar satisfechos con una evaluación positiva y frustrados con una negativa; otrasveces, sus reacciones pueden ser inversas.

Casi la única predicción confiable que se puede hacer es la de que los patroci-nadores del programa, los administradores y el equipo de trabajo probablementeefectúen evaluaciones favorables con positivismo y reaccionen con honestidad alas negativas. Tales reacciones son bastante incomprensibles, pues esos grupossuelen tener al evaluado en la continuación del programa y su actividad es la quemás claramente se juzga por el informe de la evaluación.

También a menudo, el evaluador novato, una vez que ha completado un repor-te y anunciado prudentemente los resultados, es abrumado por un torrente de críti-cas y de reacciones negativas para los resultados. Por tanto, es útil concientizar a losevaluadores novatos acerca de que sus hallazgos se recibirán con escepticismo, sos-pecha y hostilidad (aunque conocer esto no puede atenuar el grado de desilución delnovato). Un evaluador puede ser el centro de grandes controversias. En anticipo atales reacciones se pueden tomar medidas para reducir la cantidad e intensidad delconflicto potencial.

Cabe señalar que existen críticas que rechazan evaluaciones, y aquí se abogapor ellas, como típicamente se emprenden ahora. La ideología y desconfianza de

COMO REDUCIR LOS CONFLICTOS 257

los métodos cuantitativos justifican en mayor grado estas actitudes; sin embargo,el punto de vista de los autores es que se justifica la crítica de una evaluación par-ticular, debido a que esto, la política adecuada y los problemas burocráticos sehan manejado mal, y no debido a que el enfoque fundamental de la investigaciónhalla fallado.

Participación en la comprensióndel diseño total

Es importante que el mayor interés que se podría tener en una evaluacióníncluya los supuestos y las límitaciones de la evaluación y de la metodologíaempleada. Esto es particularmente importante respecto de los patrocInadores,administradores y el equipo del programa.

El evaluador debería hacer algún consenso con esos grupos en cuanto a lasdirecciones del proyecto por evaluar, los métodos por emplear y la Idea de que laevaluación se pueda reflejar negativamente en ellos (véase el capítulo 2). Comoobservan Berk y Rossí (1976), los datos y su efectividad en la evaluación puedenaumentar mediante la particípación de los grupos en las actividades de diseño de laevaluación (véase el anexo 9.1). Este proceso de construcción de consenso y obli-gaciones debería comenzar antes de emprender la evaluación (Wholey, 1977).

Anexo 9.1. Contribuciones de lospartidarios d el disebo

=Lá efectividad de los datos de la ,QuáluacIón,suele me)O'rar posterlorment4

cuando los participantes del programas .01-11Otlyado* a particIpar en el diseño denvesfigación yi .¿ii.anclo las jnedidas aciectElás -están engrádas...queloypolíticos con-,clián'011dós; poiefeltip;e 9 un estüdbn a¿éicá dela pal4tila .de:fiObbr,hecho por

liebau m, Warcl diseños dellg>liíát i ñ'éiaktabltistos queresultaba casi írnpckitle éscaPar a t2n!itá.infénto con.sistía en diferentes géneros de teraplas de grupo con las que se pretendia maxlmlzárlo que los abogados Ilarnan cornunicied t,e,rop é u t Ic.<4 .,Slus0 ,3410pOtlyriOnlo aleat51.-rio para probár los programas terapItitilltque fiálliiltáiié.:sttéthátnépte cóiridfuera posible, laserpecificaclones óptimas deseadas por los patrocInadói:esderpro.':granta. El otra4Válnbras, los tr y1.4..:09adores buscan 19.que i9kclefensorel.derprOgret,ma pc>drían querer en el inejor nutndo posible, ol.c1¿!fiaddrii114ece:shlades,luesoyaloran e_ste prograrna ideal, AdenApdelaIllechdaVS, ::- - ntelsIsejncluyertresultados (por tj emplo, rearré.St0s) .qt,te"W:iltütnrldád: de

- -AduitOs tOmó como vá lidól:Pét:tantá;:tunc16. 115S1.14i1:ázi efec-„ ,0 , fue ,mas difícil -Cambh5

itiediátáinente, procesoué.5110.6 ::-aH aIterac mes étílá,.pólí..„. tatal: -

1YC r

Anexo 9.2. Los juicios de quienes tortiaiL-decisiones y difusión

258 CAP. 9. CONTEXTO DE LA INVESTIGACIóN EVALUATIVA CóMO REDUCIR LOS CONFLICTOS 259

A los grupos que han sido importantes en los resultados de la evaluación seles debería advertir que los resultados de la evaluación y sus formas de empleopueden ser útiles para ellos; por ejemplo, una evaluación de monitoreo puedeproporcionar información a los administradores del proyecto que permita super-visar el equipo y modificar el proyecto. Puesta diferencialmente, la evaluación seemprende debido a que existen evaluados que desean y necesitan informaciónacerca de las operaciones del proyecto y de sus efectos. Por ello, el evaluadortambién necesita comprender y obligarse a informar a los grupos adecuadosacerca de las formas de probar una evaluación (véase el capítulo 2 acerca de lavaloración de la evaluabilidad).

Especificación de las metasde la intervención

Un punto de conflicto mayor y común es si los términos de la evaluación seescogieron adecuadamente, sobre todo si las metas se especificaron o no demodo correcto. En este sentido, como se serialó en los capítulos 2 y 3, es impor-tante reconocer que un programa no necesita tener una meta o un pequeño con-junto de metas para poder evaluarlo. Aquí, cabe reconsiderar el criterio señaladoen los primeros capítulos en el sentido de que las metas sean claras y medibles.En compensación de las complejidades implicadas, al evaluar un programa algu-nas veces es prudente señalar los diferentes puntos de vista de los polítieos, de losadministradores del programa, de los clientes y de los otros miembros de lacomunidad. El grado en que esta valía incrementa la complejidad del diseño deuna evaluación al medir las metas múltiples de esos grupos diferentes debe resol-verse en una base individual de evaluación por evaluación. Vale la pena volver amencionar que el proceso de toma de decisión en términos de la evaluación y deservicio en un rango de puntos de vista dentro de la evaluación, es un acto quedebe emprenderse consultando a los evaluados que intervienen, antes de empe-zar la evaluación.

Posteriormente, como se se. rialó, algunos autores han recalcado la impor-tancia de usar el conocimiento teórico de campos específicos, de tal maneraque se diseñe un conjunto de objetivos (Chen y Rossi, 1980). Se arguye que lateoría de manejar conjuntos de criterio pueden minimizar la oportunidad deque las evaluaciones sean negativas o fallar en contribuir al conocimientoacerca de la ejecución y repercusión de los programas. Otros autores handefendido el uso de procedimientos formales de decisión analítica, y otrosmás han aceptado enfoques como la escala de logro de metas (véase el capí-tulo 2). El punto tratado debe ser evidente: especificar las metas es esencial,por lo menos para asegurar la adecuación del diseño.

Divulgación

Los resultados de la evaluación y los informes internos se deben presentaren una secuencia oportuna, lo bastante rápida para asegurar que los proce-dimientos empleados en el proyecto se puedan modificar de acuerdo con elprograma. Esta observación se aplica particularmente al monitoreo de la evalua-

ción: en particular, los planes para monitorear deberían permitir una retroali-mentación a las partes pertinentes.

Los resultados de la evaluación se deben presentar de una manera com-prensible, incluida una combinación de simplicidad y seguridad, lo cual es difí-cil de alcanzar para algunos evaluadores. Para evaluaciones de la repercusiónespecialmente complicadas que deben realizar científicos sociales altamenteentrenados, se aconseja contar con autores profesionales, con revisores de edi-ción o escribir informes dirigidos a quienes toman las decisiones y a los adminis-tradores del proyecto.

La divulgación es materia no sólo de comunicación clara de los resultados dela evaluación, sino también de comprensión de por qué difieren las metas priori-tarias de los evaluados. El estudio que aparece en el anexo 9.2 relaciona este pun-to con las agencias de tratamiento de drogas, y refuerza la importancia de lacomunicación verbal.

Nótese también que una valoración de "qué es" resulta más útil cuando refuer-za el punto de lo "que podría ser mejor". Una evaluación que concluye en un juicionegativo sin sugerir acciones que podrían remediar las deficiencias, probablemen-te se vea con hostilidad que aquella que ofrezca sugerencias positivas.

Si 1 .,Iriforrnabiójr-ievaltratiya'fieine por, objeto Influir,en una-toma de decislc5n,los carnbio-s maybre's , én'lós actbres prióritariós dé clertos papeles y varios criteries, , _que puedan requerir las agenc14.parajOrinular sus juicios y tratamientos; por ejem- .plo. parecé 'que los planificadorá en este sistema tendran quepreocuParse más porla eficlencia del Manejo, la competen-cia (111,e,quipo de tbbájayla filosofía del.trata-nnento, con n-layor préocupación ,por el c1ient si los;datoS tesultantes , cle éste sonponcipalmente pará influir su'S julclOS; en 16's qrtfe'se'ei-i -gteii- ,Cuenta a las ,agenciasquelOS estudlan-. S1 tales caniblos enla : Pricirldad deltrIteti&e- mpleado paia la to-rnacle cletlsión ocurrirán cuando'ii?s datos res' illtantes cues-lien C rn pí rica. Si tales canibios no o 'eurren, la información-de la evainación nó laemplearan considerablemente Fos planificadores,

Lo zrntetior sugiere que los evaluadores Interesados en'tener,losres' uliados'desu traty¿Ijo cleberían enfocar snajención en , los diversos criterios de decisión emplea-dos por los'actOres en lol.ienSaYOS aMbientalesldelmiento delps criterios de'deiSión unlizados por,Cada -audiljitl-ánte4'-aUSencla de •'infot mación de la evaluacIón cle1PrOgrarria, deb 'ería serclon

,que reúna las preferencias de'inft?rinar:.,ión del slsterna detgiiiáctpkés:d. decisio-

nes Durdnte la'retrOalimentatiá cle lóSireSiiitadOl de laCle;dét1.5iánpetitálmenté utilizael6s_en-éVtidterná 'clebed,an - Srudar aguiI111-11ni 0 ,cla por la e\„aluaC16n.:-"Adernás, provéera una línea déjaárti' da para valcilar posterior-rnente cl 'efecto aetüntde tós resUltadoS de lá evaluación enla tórna cle deelsitines. -•

Una segunda implicacIón considera-el'ernpleo'de lainfor-rnación evaltiátivaderivada-del que suel 'en 'obtener los practicántes ''su IMPOrtante Informa r- - „Ción cv i luativa ..tabré las agéncias por rnedto de contáctos personales o retroalimen-

: taciones or¿les, Los hallazges de otros estudios sugleren que esta conftablIdad'en, , _ ,.lás iiirorrnIcioneyeruatsljneopante contactos,personates-,es,colnup;eittre•,quienes'tolnan decisiones DIchopatrón no cambiará tréceSáriattientél-Inda5.1j_inforrna-

260 CóMO REDUCIR LOS CONFLICTOS 261

cit5n cle la evaluación este dispornble. Estosresubados elildenclan la importancia dehallar rnedtos de retrcalin-lent,ícIón de la inforn-lación evaluatIva que incluyan ta-mto

' los contactos chrectos y personales corno las presentaciones ornles. Aun-si esto se.redliza es posíble que las presentaCiones orale_s por los evaluadores noseánsufícIen-tes para darles la utilización descada, a menos que aquéllos senn conSiderados porlos tornadores dé decisione.s corno importatates v vallosos co -ntactos personales y

.:corno fuentes cle inforrnación.

Fuelit'éT,m2,10 de1 a Ha- wItIns, R:A:Roffman y Osborne; ectsion-

: 11,11u, nce Ppfkle Evaluative Crítéria, and infoUnatiodite¿ess74-'én'agiúátiort.Qicie 1978, págs. 490-451.

,

Arreglos de la evaltiación de programas

Los evaluadores son mejores cuando su posición es segura e independientede las influencias de la administración del proyecto y del equipo de trabajo. En elpasado, algunos evaluadores experimentados establecieron categóricamenteque las evaluaciones nunca se deberían emprender dentro de la misma organiza-ción resposable de la administración de un proyecto, pero debería realizarlas ungrupo externo.

Una razón para efectuar las evaluaciones "externas" pudo ser el deseo o lasopciones deseadas de que existían diferencias en los niveles de entrenamiento yuna competencia presumible de los equipos internos y externos de evaluación.Estas diferencias se han estrechado. La carrera del investigador en evaluacionestiene, típicamente, una de tres formas. Hasta la década de los sesenta, un granporcentaje de investigación evaluativa se hizo en los servicios de salud, sociales,rehabilitación, educación y bienestar social por investigadores afiliados a univer-sidades o firmas de investigadores. Después de esa década, las agencias de servi-cios públicos en las áreas de esos programas han contratado investigadores paralas posiciones en los equipos con el fin de realizar evaluaciones más domésticas.También, la proporción de evaluaciones hechas por grupos privados o de benefi-cio se ha incrementado marcadamente. Como los puestos de investigación enambos tipos de organizaciones han aumentado y el mercado académico de traba-jo ha declinado, muchas personas bien entrenadas en los campos sociales y deconducta buscan trabajos de investigación en las agencias públicas y con las fir-mas de beneficencia (Polivka y Steg, 1978).

La evidencia actual está lejos de ser clara. En un estudio que correlaciona lacalidad de la evaluación, Bernstein y Freeman (1975) encontraron que existíamayor probabilidad de que las evaluaciones internas fueran de mayor calidad quelas externas. Este hallazgo se atribuyó a la mayor habilidad de los contratantes eninfluir en la conducta de los evaluadores externos, mientras que no podían influiren la de los evaluadores internos.

En el capítulo 2 se señaló la probabilidad de que la contabilidad tenga mayorutilidad si se lleva en forma interna. En Holanda, estudios recientes de evaluacio-nes externas e internas sugieren por qué las evaluaciones internas pueden tenermayor repercusión en las decisiones organizativas. De acuerdo con van de Vall yBolas (1981, pág. 479), las variables responsables de la mayor tasa de utilizaciónde los hallazgos logrados por los investigadores internos, son de mayor impor-

tancia que la superación de la formación social política por parte de la categoríade investigadores externos. La respuesta, sugieren, radica parcialmente en el altorango de comunicación entre los investigadores y los políticos, acompañada porconsensos mayores, y parcialmente en el balance entre las normas de validezepistemológica y de ejecución: "En términos operacionales, esto significa que losinvestigadores en política social deberían buscar el equilibrio entre el tieMpodedicado a la perfección metodológica y el traslado de los resultados hacia medi-das políticas". Los datos de van de Vall y Bolas sugieren que los investigadoressociales de casa están en una posición más favorable para lograr esas metas ins-trumentales que los investigadores externos.

Dada la creciente competencia en el equipo y la visibilidad y el escrutinio dela empresa evaluativa, no hay razón para favorecer un arreglo organizativo envez de otro; sin embargo, aún quedan puntos críticos durante una evaluacióncuando existen condiciones para que el trabajo sea mal empleado o mal dirigido(Cook et ai., 1980).

Se insta a todos los evaluadores para que continúen fomentando la compren-sión clara de sus papeles con los patrocinadores y el equipo de trabajo. La totalcomprensión de sus papeles por parte de los evaluadores, así como de sus res-ponsabilidades es uno de los factores que más contribuyen al éxito en la realiza-ción de un esfuerzo evaluativo (véase el anexo 9.3).

ar—•

Anexo 9.3. Cói.no méjorar, las evatuacionesw

Lo investigadores de la- evalnáción pueden ayudar a arrnbrilzar:la' productivi-dad de la investigaeión evaluativa en los intereses de lOs blenes públIc6s, los bienesgubeínamentales y el bierr privado: si se e_sfuerzan en desatiállar las áreals siguien-tes: Primero; obtener un,:arnplio- :consenso de invest1OCIón l é' Orriunitaria ncerca deuná. ,je-rj-áff'ej, uía de dseñod irniesti qadón'preferldáS:-Y ,.'riiátódós de inVestigaciónevaluati jiáJtípicó,«, eornunes y a rne.nudo repetidás, y prorrtular leyes de procura-ción rc. fórrnadáS.-,acerca de la investigación social, de taL,rnanera.qutpdos- lospatrocina-d(ireS -1Utiernarnentales y rovisores Puedart,desarrolíá-r.lá-.011dad.ffiiiiii-na

.y 1O -S - IMeaMientOS ':-flexiblesttantripaira los diseñoS'.déj--ini-JeSti.ááCi&íj-.,;'-'11tdOS,Cfrcíopara,sti;adtriinistaci6n.',AinboS--átirnentarán la calidad;totall appyárári'de mOdoexterno a los investigadores en evaluaciones que puedán réSUliár..conflictivas p,aralos revisOres gubernameMales o pára los patrociriaciOteSSeOde lá elección del -primercJeo segundo mejOr djseñoS, y quienes a rn'enud&PierdenT.,

Una . segunda área en nvlos iesti .gadores evaluativospuedeM'prOpOr-Cio-nar'-dija—n nyuda es en recoleetárjjvalorar, filtrár4 ampliar ejernplos exitóijsosdejeya-luatiány sn investigación e -fectiva qtie sean válidoS, Políticamente aprorMós'Y.'Oueteng' ári . una influencia.sociaLpositiva, aciernás dé ejernplos-acére.a-de córn. Se,P0e-den . cOinPágIriar.:-.eféCtiyaniénte con las lirnií'a:CiOne

• Uná:teicera áréa deac'elán prOdu'ctiva s trahajr para .1á'reformá.rácionalprocuración investigatiVfajgubernamerital y de las regulaciones acIministiativasdise--fiadas específicaménte para la Mvestigación jsocial, p-or imiestigadoreS socíale_s y.fuéra det Conocimientó de la iniíesilgación social.' . .

Fi enie T r 1 d;'C. FLIÉ;lic Good, thetu E,31, 1,311Dn f 5,i,c;•111 Pco-er ,Irns :-:11ow Enept. Cepvernr'cic-nt

Que o 'ly 'cern 2, nos, ihi de 1978: pe83s. 620 630.-

rC1 1-. ^- ---.CV '-' M1

aE

co . £t

"J"...11:, ¿ca,

c'T)'

11...

a) c ,.z.= ‘,2 ,....) ,o ü) ›,

w-

,.... ,. cc + 2

E. E 2 ,, oc.) c,) co ai ,a, -tclcl_..,

262

TIEMPO DE POLÍTICA Y TIEMPO DE EVALUACIÓN

Las evaluaciones requieren tiempo, especialmente si repercutirán. Cuantomás justo y detallado sea el diseño del estudio, mayor será el tiempo que llevará.Los experimentos sociales a gran escala que miden los efectos de programasinnovadores mayores pueden requerir de cuatro a ocho años para terminarse ydocumentarse. Los mundos políticos y del programa avanzan en una marchamás rápida. Los políticos y los patrocinadores de proyectos quieren saber enpocas semanas si un programa logra o no sus metas. Esta disparidad en el tiempoes otro problema para los evaluadores.

Los evaluadores suelen sentirse presionados para completar sus valora-ciones más rápido que lo que el mejor de los métodos permite, así como liberarresultados primarios antes de que estén completamente firmes. A veces, losevaluadores son interrogados acerca de sus "impresiones" de la efectividad,aun cuando hayan recalcado que aquéllas son inefectivas en ausencia de resul-tados firmes.

También, los procedimientos de planificación y procuración con las organi-zaciones que apoyan la realización de evaluaciones dificultan emprender estu-dios oportunos. En muchos casos, los procedimientos deben ser aprobados envarios niveles y por cierto número de evaluados. Como se muestra en el anexo9.4, la evaluación típica hecha bajo contrato del U.S. Department of Education(Departamento de Educación de Estados Unidos) requirió tres años desde suconcepción hasta su terminación. Mientras que los patrocinadores de los secto-res gubernamental y privado han tratado de diseñar mecanismos para acelerarlos procesos de planificación y procuración, la deficiencia de su burocracia, losrequisitos legales relacionados con la contratación y la necesidad de establecerconvenios respecto de los diseños y cuestiones de la evaluación, los han retrasado.

No está claro qué puede hacerse para reducir el grado de presión que se ori-gina de los calendarios de la evaluación y toma de decisiones. Es evidente que unestudio a largo plazo podría no ernprenderse si la información se necesita antesde termínar la evaluación. En tales circunstancias, puede ser mejor contar con laopinión de los expertos o de otros acerca de los métodos de juicio de la evalua-ción examinados en el capítulo 7. Podría ser mejor tener alguna información tanbuena en calidad técnica como sea posible, dadas las limitaciones de tiempo, quecarecer de información alguna.

Un enfoque más estratégico es limitar evaluaciones técnicas y complejas aproyectos prototipo o piloto de intervenciones que probablemente se ejecu-ten a mayor escala en el futuro. Así, los experimentos aleatorios pueden sermás apropiados para evaluar la validez de nuevos programas (inicialmenteejecutados en pequeria escala) antes que tales programas aparezcan en lasagendas de corporaciones tomadoras de decisiones. Los análisis extensivosseccionales y cruzados se pueden aplicar a programas que tienen una historiade apoyo estable.

Una estrategia final para los evaluadores es anticipar la dirección del progra-ma y de las actividades políticas, en vez de estar forzado, dentro de las limitacio-nes de tiempo, a satisfacer las demandas de otras partes. Un propósito que haatraído gran atención es establecer institutos de evaluacíón independientes, dedi-cados a examinar con una base prototipo o piloto las intervenciones que podrían

265264 CAP. 9. CONTEXTO DE 1-A INVESTIGACIÓN EVALUAT1VA

tener gran demanda. Un centro de evaluación nacional podría tener que valorarla validez de programas sociales alternos dirigidos a los problemas políticos queprevean ser importantes durante una década o más tiempo. Mientras que esteproyecto tiene algunas características atractivas, especialmente para los evalua-dores profesionales, no está claro si es posible predecir los problemas socialesde la década siguiente. Como están las cosas la tensión causada por las dispa-ridades entre el tiempo político y el de investigación continuará siendo un pro-blema para emplear las evaluaciones como un instrumento para políticos yadministradores de proyectos.

PAPEL QUE DESEMPEÑAN LAS EVALUACIONES

En cada punto de un programa, los resultados de la evaluación pueden serútiles en el proceso de toma de decisiones. En algunos casos, los patrocinadoresde proyectos pueden convenir para hacer una evaluación con bastante anticipa-ción, lo cual influirá críticamente en la continuación, el cambio o la terminacíónde un proyecto. En esos casos, el evaluador puede estar presionado para produ-cir información rápidamente, a fin de que las decisiones se tomen expeditamente.En resumen, los evaluadores pueden tener una audiencia receptiva.

En otras situaciones, el evaluador puede completar la valoración de una evalua-ción sólo para descubrir que los tomadores de decisiones reaccionan lentamente asus hallazgos (Cox, 1977). Todavía más desconcertantes son las ocasiones en queun programa es continuado, modificado o terminado sin consíderar la valoración dela evaluación ni la información costosa.

Aunque en tales circunstancias los evaluadores pueden pensar que susesfuerzos han sido vanos, en el proceso de toma de decisión se verá más comple-jo. Como se señaló en párrafos anteriores, cabe esperar que los resultados de unaevaluación serán sólo uno de los elementos de la toma de decisiones. Esto seadvierte claramente en la controversia de 1915 acerca de la evaluación del planGary en la ciudad de Nueva York (véase el anexo 9.5).

Existen muchas partes que intervienen en un programa de servicios huma-nos, como se apuntó en líneas anteriores. Los patrocinadores de un programa,los administradores y operadores, y algunas veces los participantes suelen corrergrandes riesgos en la continuación de un programa, y sus insoportables pero

Anexo 9.5. Evaluación y políticas

Ei plan Gary InIcialrnente se instauró (2111as 2scuelas de Nueva York en formapiloto, y el plan Ettinger en'Otras escuelas. El superintendente Maxwell, resentido

la.lpterférencia en su dotninio profesional y sospectroso:deltiterito de la adrni-tWhistrácIón.'de Mitchel, ha 'exPresado strs'sentirnientólacercáaelplan Gary como

funclonabjenfláé1"cüelángelo Ctia escuela el otro día, y loúnico qué Obsery0 füéuna turbadlchiquIllos quetaliaban un lote". En respuesta dela opinión deVsüPérIntendentel-1131fterriá 'Garyha pdó difundido a 12 escuelas en elBronx y había planes para

Lanecesídad de ,contar Cori-ritIS inves-tigación antes de difundir el plan fueléháláda .0t:úti,Mieml)ro de la junta escolar. En J vetano de 1915, el superinten-

. _dente MaxWell el, cual cOrnefl, ert. ,escudás . de:NueVá .'04c.-E.1 ..trabajo fue ótórgacb a B. R. Buckirigharn, - psteófolo.edriCatiiro en el dePartárneritp . .detnvátigación de las eseuelas de la chiclad de Nue-va . York . ..y .picmero . en el déSatrollo de . prirebas académiéaS :dé cohOcirnientos.

Bli -ckinghám usó su recien'disenado conjunto de•Pruebas academicas de cono-- • • • . .. • ..; • . • •• •....cirnientos para•Cárfiraarar dos escuelas'organiz .aroas bajo el plari Gary, seis escuelas- , bajo el.plah Éttinger y ocho.prganiZádáS . trádiérOnalMente.-EstaS',últirnas tuvierán. 'rnéjái•Prórnedio, rnientras qu'e las .de1Plan ...Garii.Promedtaron'de forma-Mát.défij

ciéntel'Él infórrne.Inckingháni füe. 'altamente'ériticadó.pOilds mas fielés segárdores.dél. SiSterna ParY; qiiéperMitió,haéér Pi-emattir . as. 'declár .-aei¿ines con respee4Osuperioridad sObre otras escuelas.

Ericuanto ap.atectó el i.nforyne Buclüngh.am;.se deSató una:torrnentá de tefuta.:.prehsa dárinq, :én lás. réviStal..estiecializadaí:'Howátd.W:.19üdd,

clitéCiOr ejecutivo de la Publiá• ÉdtiCation AssoClatiOn (AsOetación: dé edUcaárónpública), escribió una cy1tica : detallada'del infórme Buckingharn, Publica , O ..en .e ,Globe:dé . Nueva York, en . The igelú Yói* Times, en Scholl arid Soctety y en.'el.Jo.ur'-

, • . .Ntidd•cointraatacó n el camp. 9 tecnIco. 1.)rünero, clernostró que n el tiempo en -que 13u. é.kingham realizi5 Str Prüeba; eli5lan : Gary— habja estado 'en operaCión. en. iiná.

. • eScuélá- sólo . durante "caatier..meses y en la oti-á.dürante-menos de tres.;terrianas.udd sostuvo que mucho del equipo requeridópo— r. :Witt .no sehabía própcirCip—riadó

y quel él trabajá: de 'Iás escuéla .s • Gary'iliab1a sidá distoiStoriadó..serianietité..pecdhátante afluencia . de.visitantes. qüe caraéreiísticarnenté descienden . éri ün.ptcráta:,

loárá • PubliOidad..En una ...ébrirparación detallada de . eséuelaNudct demástr&qtre : en. : •una . de láS esCuelas cqn .órganización Gary;:iel.90cli.de los-aluirrinos:prOv.énfa de.fárnilias . inriiiárántes en qüe el italianá . era Si.1.1énátrá:rnateina.;mientras que algunas .dé. .las:elctielás- cortiparadás,fueroil jirthcipaltrierité . Poliladas -cod.nities,de.clase.rne.dia.:nativás..delas es. cttelás':Gársi:tenían eXcéléntes:califiCactenieCuandO .. lal.calificactOneide éla.séscuelas Se compárarán . cOn . las.. de-átras escuelas, se vio que la,pósick5h . 'étá fltnnepárá las eséuelas Gary, Perá diandó le .. promédiáron eg.uncla escrieia Gary; el. .resultacto tótal..clejó:. . . . . el . plan Gary..

Buckináliarn .no . tuvb respuéStá a la satislacó poi los.controles inadecuados,pero ar. guitentóque él éstimaba la relación rio .COn . dos, seistr ocho escueláS; .isin Conlas . ineditiones'dé Cerca . de 11 000 portanto, su estudio representó una prue-ba sustancial d., e1 é..squ.e. á. 'd. e. : Gáry.ijustifiCó . habef.:. emPrendido su'eStridiát.ántés

z . én el campo que el plan Ga0,. eri . lal . 12 esc.uelas . del; tiroriX; ya..que fue..impulsa o• precipitadamérite : p.ára lás ésétielás : de N.uevá . VOrk. pcit. él . SuperintenClerite: . COrrt9

se:Piitó; trubo présión desde : l.a . .áficina del mayor para difundir el plan fuer.-á de láseáCuelas de . Nueirá.Y.Ork Y:,efectuar cuaiyuier.inCrernéntc, en.el

adopción de„ofei-já del . siste.ma:Ganj.'lluddriáhain concluyó„queel-suPerintendente . MaXwell ftie bbligádo. a érnprender él éstudio de las escuelás, a fin,'de ..deterrninar su éxito eni 'dar . instrtiéCiónr..én.loS."aSpecti-ss funchriuustnles"térrhiriosde otros valores o metas del

EVOreSidénte dé lá Junta :de . Eclúcación encontró ventajOso citar lá interpieta-. . . „ción dé Nádd aeeréádel infoirrne Buckinghárn en debate aríte lá reúnión de dtéháJunta..'El . :SuPerintenelenté.MáxWell continuó en citar estudio Bückinghani como„ . . . .una cita nPVIdericial efectiliidad dél Plan Gary,'aún n añó y rnedio después.'

-Contexióf Ev.-11utIVC'", n 11(1 ,éti.EviilUati6 núm:;•1, 50S23

266 CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA 1 PAPEL QUE DESEMPEÑAN LAS EVALUACIONES 267

entusiastas clamores pueden contar más que los resultados de una evaluación.Los resultados de un proceso político se pueden ver como equilibradores de unavariedad de intereses; los resultados de una evaluación son simplemente un argu-mento hacia un lado u otro.

De otra manera, imaginar sería postular que los evaluadores ocupen unlugar en el proceso de toma de decisiones políticas que comanda el poder delveto, un papel que podría despojar de sus prerrogativas a los tomadores de deci-siones. En tales circunstancias, los evaluadores podrían convertirse en filósofoscuyos pronunciamientos respecto de programas particulares podrían pasarsobre todos aquellos de las partes implicadas.

En cualquier sistema político susceptible de valoración, estimación y equili-brio de las peticiones científicas y los intereses de un número de constituyentes,cabe esperar que una evaluación desernperie el papel de testigo, al testificar elgrado de efectividad de un programa. Un jurado de tomadores de decisiones yotros evaluados puede dar tal testimonio de manera más decisiva que una opi-nión uniforme o un testigo sagaz, pero son ellos, no los testigos, quienes formu-lan un veredicto.

Estudios de utilización

El crecimiento de las empresas evaluadoras ha sido acompariado por unnúmero de esfuerzos para comprender cómo y cuándo se utilizan evaluaciones.En parte, esta actividad se relaciona con las decepciones entre los evaluadores ydefensores de la evaluación y su utilidad acerca de la ligera influencia de evalua-ciones que parecen tener en las actividades y la política de los programas. En elcapítulo 2 se sugirió que los resultados de una evaluación pueden ser valiosos deformas diferentes: pueden influir en las decisiones tecnicoadministrativas y con-tribuir al conocimiento general de los problemas sociales.

Tipos de utilización

De acuerdo con Leviton y Hughes (1979, 1981), los resultados de una eva-luación puede influir en la planificación del programa y en su ejecución en tér-minos de uso instrumental, conceptual o persuasivo. El uso• instrumental serefiere a las acciones documentadas y específicas de decisión efectuadas por lostomadores de decisiones y solucionadores de problemas (Rich, 1977); porejemplo, los datos de la evaluación que muestran que los pacientes de institu-ciones de conservación de la salud requieren menos días de hospitalización quelos que necesitan los pacientes ambulatorios de hospital, han sido utilizados porabogados para fundamentar su enfoque ante comités de congresistas. De acuer-do con Rich (1977), el uso conceptual, es el empleo de evaluaciones parainfluir en el pensamiento de los problemas, sin comprometer la información encualquier propósito específico documentable. Un ejemplo es el esfuerzo actualpara controlar los costos de entrega de servicios de la salud y el bienestar social,estimulado, por lo menos en parte, por evaluaciones de su eficacia y costo porbeneficio. Los usos persuasiuos se refieren a los resultados listados de evalua-

ciones con esfuerzos, ya sea para defender o para atacar posiciones políticas,en otras palabras, para apoyar o refutar el statu quo.

Las desilusiones acerca del empleo delas evaluaciones se relacionan principal-mente con la limitada evidencia de que tienen un uso instrumental. Desde luego,muchas evaluaciones se inician porque son factibles para el uso instrumental, y elcampo continúa prósperamente, lo cual depende de la optimización de ese uso.Ciertamente, estas evaluaciones pueden ser importantes por su uso conceptual y,más adelante, tal uso puede hacer más que sólo justificar los costos y esfuerzosrequeridos para los estudios; sin embargo, permanece el hecho de que la vastamayoría de las evaluaciones son apoyadas y financiadas por organizaciones cuyosfines, por lo regular, no están orientados a proporcionar recursos y oportunidadesde evaluar sin esperar algún razonable, y de relativo corto plazo, uso instrumental.De ahí se infiere el interés que existe en centros evaluadores de estudios en maximi-zar este tipo de uso.

Variables que afectan la utilización

En estudios acerca del uso de la investigación social en general, y de las eva-luaciones en particular, cinco condiciones parecen influir consistentemente en lautilización (Leviton y Huges, 1981):

La pertinencia.La comunicación entre los evaluadores y los usuarios.El proceso de información por los usuarios.La factibilidad de los resultados de la evaluación.

e) La participación del usuario o defensor.

La importancia de estas condiciones y sus contribuciones relativas para lautilización han sido estudiadas cuidadosamente por Weiss y Bucuvalas (1980).Estos autores examinaron a 150 tomadores de decisiones en el campo de lasalud mental y sus reacciones a 50 informes de investigaciones actuales. Lostomadores de decisiones aplicaron las pruebas de ueracidad y utilidad para fil-trar los reportes de las investigaciones. La veracidad se estimó con base en dosaspectos: la capacidad de la investigación y la conformidad con el conocimientoa priori y con las expectativas. La utilidad se refiere a la factibilidad y al grado decambio de la corriente política. El estudio de Weiss y Bucuvalas proporcionaevidencia convincente de la complejidad del proceso de utilización (véase elanexo 9.6).

Anexo 9.6. Piuebas verdadéras ypruebas utilitarias _

Información,:los.tqLnadores de decislones inclun-larcdSSáliCbs derefeeca a)la".Pertinéri'Cla del Conte -nido del estudio para suesfera cle re s borisabiliááci;,b) la confiabilidad del estudio, 'y c}la.clirección-gue piry1-yarciona Los clos rriarcOs pwehasverda éiO.sYueb0Su tlver a ergsyprue s u

esdn ceilstituidos, cacl,a,l1110;_por"dos cornponentes inde .ente,51.,

268 PAPEL QUE DESEMPEÑAN LAS EVALUACIONES 269

' —Pnichas lierdaderas: ¿es confiáble'la investi .gaci¿n?, .puedo-confiar en ella?,

podrl. s ostenerse al someterla a crítica? Los cornpo»entes especificos.son:

• CaliáádIcle la invé_stigación: ¿se realizó la inveStigación mediante métodos,Cientíhcbs aproplados?ConfOrmiclad con las expectativas de los usuarlos- son losrresultadoscomiSafibles con ml expericncla, conocimiento y .valor

PlIjeDUS ÚtliitariaSt . proporciona dirección la investi§áción?,, gu i o, iyasea para las acciones‘mmediatas o para las cOnslúenciones de ent'°'altérrtivos para los problernas? Los cornponentes > específicos son:

OrientaCión de la acé ,'¿muestra la investigkiáh'Cólno reáll"iár camposibles en aspectos faetIbles ., de camblar? 1,1141.0:„'Desafíos afsta tu q uo: , ¿ciesa fía 1 a Investi§ációti:10:a"-la' s.áigtleTa actua1e17 --ofrece- nuevas;.¡SerSpiltilids'?:1'.

,Jüntd .e`ónia elé-v anha que entre el tenlál'Ilé:IáinVestigaet6n,- -, • - - -

las'responsabílidades del trabajcidé la persona), los citatro'compOnerites consti-tüYen,loOnárCOS -de. référeiteia po-timédici delos'cualesquie'ííes'fon:OYdeeisionesválOran.la- iinieSti¡eíción'SóCial cie'nfífica, Lá'Caiidad Cilláinvesti -gá s_ti¿n y'la contfOrrnidaCl dé.ias - espectativas del usuarlo forman una Prueba verdadera en la que,sus„etéctos sóbcontingentes unos a otros: la calidad de la investigaciánes menos'irracirInted t o at 1'de n- es tudio cuando los resultados-sOn"con-_ a u gruentes- coplos-cohodrnientos'OfiClalcs an_tertóres,i.qPeÇI9isóri

cOntrarios..d,l,a, Intulción. LáTorient,ación,,„de,=,la'-4-Ción-iy;lbá!desaffoalltitatuqtió tePresentan,"ffinciones alterrítíyáS''á qué.nn estüdin-pue e.serv, ,, ,:c2nStituven uoa prueba que gl ero e dirección práctiCa,y Sen-,Cillez - capturadaS-Iiór el marcp de orientaéión dé la accián es Más fi-nPditante

cte:CM . estuc111,:cuarido .este proporcioriálaikas.crítiegs` .'o reprien-, ta-eVón fdeSa'fIciaiktatu quoq .u7e`Cu' Mido el de.safío ealtó.ReCfPrde"arrienté-,"las

críticw a los programas y las,nuevas perspectivas sruplicadás"enieLdeSafíct'a -1 sta-ttrquo agregan'rnásala:utilialcl .cuando ,unestudio carece'clétti-VsCtiptcitines'lac-,..;:tibles ,para su eje'ettetán -

,„ Fuente: Ao-otattoz uto and Uti1.--

11ty-15 abrIl dejpágS 3O31

Lineamientos para una utilización máxima

Fuera de la investigación sobre la utilización y de las experiencias reales delcampo de los evaluadores, se han creado múltiples lineamientos para incremen-tar la utilización, los cuales han resumido Solomon y Shortell (1981) y se anotanaquí como referencia:

1. El eualuador debe comprender los estilos congnoscitiuos de los tomado-res de decisiones; por ejemplo, al presentar una pieza compleja de análisis a unpolítico, no hay punto que no pueda consumir ese material. Así, los informes y la

presentación verbal presentada a una audiencia determinada previamente puedeser más apropiada para artículos en revistas académicas.

Los resultados de la eualuación deben ser oportunos y estar disponiblescuando se necesiten; por tanto, los resultados de la evaluación deben balancearla oportunidad y accesibilidad de los hallazgos con la totalidad y terminación delanálisis. Los evaluadores deben arriesgar críticas para sus colegas académicos,cuyos conceptos de la escolaridad no se puedan compartir debido a la necesidadde obtener informes recientes y con resultados rápidos.

Las eualuaciones deben respetar las obligaciones de los interesados en elprograma. Las evaluaciones se hacen para conjuntos específicos de individuos uorganizaciones, y su utilidad requiere una amplia participación en el diseño de laevaluación, para asegurar la sensibilidad de los intereses de los evaluados. Lasdiferencias de valor y observaciones entre los clientes y el evaluador se deberíanexplicar al margen del estudio y ser una determinante de si una evaluación particu-lar es llevada o no por un equipo particular.

Los planes de uso y diseminación deben ser parte del diseño de eualua-ción. Los resultados de una evaluación probablemente se usarán si el esfuerzode evaluar incluye "enseñanzas" para los usuarios potenciales de los alcances ylas limitaciones del esfuerzo, el grado en que se pueden esperar resultados defi-nitivos, cómo la información de la evaluación puede ser definitivamente efecti-va para los tomadores de decisiones y qué críticas y otras reacciones se puedenanticipar.

La eualuación debe incluir la ualoración del uso. Los evaluadores y lostomadores de decisiones no sólo deben compartir los conocimientos de los propó-sitos para los cuales se emprende un estudio, sino también convenir en los criteriospara los cuales un uso exitoso puede ser estimado. En tales condiciones, es necesa-rio contar con mucha informalidad; se debe efectuar un esfuerzo para considerar laextensión en que los usos de los resultados llenan estas expectativas.

Debe ser evidente que mientras estos lineamientos son adecuados para la utili-zación de los programas evaluativos, los papeles de los consumidores de evalua-ciones difieren y afectan los usos que se dan a la información y los consecuentesmecanismos para optimizar su utilidad. En particular, si las evaluaciones influyenen la legislación y las políticas trascendentales, deberán realizarse de manera quesatisfagan las necesidades de los usuarios potenciales. De un estudio realizado porun equipo de congresistas con responsabilidades mayores para diseñar la legisla-ción educativa, Florio y sus colaboradores (1979) compilaron un resumen total derequerimientos, los cuales se presentan en el anexo 9.7.

„Anexo 9.7. La ave4iguación e.ducativa: .el potencial sin retmir

Los entre \,1 ,-,iados m2ncionaron cercá de 90 pasos que podrían darse pararnejorar el uso de e q tudios educatis. os en la formación polític,o legislatnía.Los t,rnas més comunes, que reflPjan las barteras Corrits detal uso, son lasrn,meras de pr, soiltar los inforrnes de saloración ylnveStIlá'ció ,n,: a' Sícomo lasf ,Ilas para iuzfcr la ne4.eIdácics 1it-rnáid(4 11,s ..po'r. 19,s: con,I,Comireso

•En d cuadro que aparece al final det anexo se mue tren las respuestas a las

cuestiones.'.Los riliájyrias':del í...Pérlónai):iéY',..em.:±11- cornún de trabajo y de

sobrecarjI:cle'-irsfórm'álión",ielacii5liik10_11":éPh"abál6:' Ell -OS-rára-vez- tienen tiem-po de los :VOlunilhosos Informes quellenan suje:letitiiiiókjj.átd. -lpziáljj11571at tl'élétícías 11 arnadal.párá restiménés ejecútl-vos comq:.iriaterla-,friárila .1,130:10'. .infOrmés¡.-A> .:1'5Ual podríaperrnittrles juzgar . la per-tinencia de los contenidos y determinar las lecturas én , buSca ,de su fundarnento.

de . sobré-earta defórZaWligene-

rar sus propios datos apropiados en las cuestiones de politica Como clIjo un m iem-bro,

Cuestio nes y los;.:..V.ó1011?an*.eras rnenciónadas repétida-

rnersté -pictj.1.10 :pil -00,9n511:driáte:s1.1til; analisra de .pOlítica páralá AsSistártt Sedrétaky ...lif-edulatibii',.(lIclItarría . :‘d1:édueaCión asistida) y una de lasfüerites de información politica más importantes comparo el prociesopolífto conun:treti en movimiento0 Ella sugiere que quienes proporcionan información ile-nen la -o1;,!ígájCiilirl046i¡deov 7éttici0 político yreunirlo ensus prOplos térrnirioSi,

deaveriguaélón.l.o.éial.Bertarti. .,CárP:.cliplitad6. ..'t4dirédfót:'dé.114 ::p-Olíti .4:doti.11 .stíCa Cle . la Casa Blanca y éxayudante clel+iké . PréSiderité. .: 14 .0411-:,:oáido Isté erá senadór,--01,0,;qtrie...`-tódás;las

in.cOnfiahley no , adecitada PoIllicarnéh-te7„5.4s coriientailOs.lqw .réfiéjarpiriir' arl-plde los miemhros - entrevistados, por

definitivas1; O "de-cadahallazgo exIste:únó . hlbativ.' o;lá invéstigad6n - edúcatíVa rará.vez se puedécar y existen pocos lineamientos que puedan aplicarse Para valorar jos Productosde la lías proYectos evaluatiV&I-"mien-ten"-;perkégriZrecOrí,lidér.4:19......óbtill6.1.1:

tákamti .o.d1 ño.entré Cádátlporara :vez se hacán:Pót..1Os

si las eValnacióneS del proyecto sevén cornO.fabrida . " ' te.en la .Corhuniclad entera deguación--edittátl

Aurs cy4p4:0; .: ,4::Ipliellgációki:: .0q:19 .410 . ádécuadá se PréSente a tiérnpo parareUnirse, •al sé quejan de,:tener."deinastada

es-tán - empacadós deficienterneti-te7 ,contienen mucha terminología ...j.4V.;1111yspp "autósIrvients"..VariOs tniembrpsdijerólvquellis írni.ls .trgádo,rél-és.c .libeh'150.0:liós InvestigadO r és y rata, Vez, exdéPloen 16 .s . es. f.engUajé las audi.enclaldeqüienes tornan.las ..4eilioél'éri:el . PrOC4O. ..19gISrati. vo..Unfénia que cléstaca niuChasde estas OljáérV4ictines: •es. :et 11:490 ...1#7:cOrtighldad . Investigadota y la . de eValuacióntienen 'el conocimient necesario y la infoihiación disponible Esto indica qué exiStemenos "qUel"Clatnprendlirilentó.: dare, ;:d -e';la limitacióii en las cOntilbisciones sque se_ .Pueden-kácet;p0 de la averiguación comunitaria educatil-ra.

-

Meloramiento del uso de estudló&e.ducativos

Pertinencio para necesIcladesdel Congreso (25)

,Reunión del tiernpo del cíclo Icgislatt.,

vo y del proceso (9)

Terter infornlación poltica'aclecuada (9)De mos tt ar gran-comprensiOn del area

política én el CongreSp . (4) •

Usar ejemplos de resultados (4)

Hacer recomendaclones concretas (3)

Proporcionar referencias a mayorinformación (3)

índice de datos (1)

CredIbilidad (22)

Desarrollar relaciones directas con los miembros antes y durante la rílizacióndel estudio..(13) ,

•

Tener fue'nieá-eon uría reputación fuerte (5)Tener información rnás segura y sm sesgo (3)No tener resultados sobrecautelosos (1)

Nota: menclonan los tlempos entre paréntis.-

Fuente: Adat t do con ant,nzación, de H. Florto, Michci M. Viel-urnann y NaneVhat Do Pollcy. Makers Think of Evahiation Reseárch EVahlat/0/19 OT Do Thet?, en Eduwtional Epa-

luatIon cand PólicjiAnalysts, VOL 1, eriérp. .0 , 1979 .j. págs. 61-87.

,..-Fortriato de. presentación.(41))

Usar un resumen ejecuti yo (13)

Aclarar el lenguajefeliminar c1ertaterminología (7)

Usar cartas y diaposIt1vas (6)Sintetizar hallazgos disponibles (4)Presentar datos ' en forma correcta (4)

Hacer disponsiile la informaciónapropiada mediante el procesolegislativo (3). ' "- ,

EPÍLOGO

Existen muchas razones para esperar que continúe el apoyo a las actividadesevaluativas. Primera, los tomadores de decisiones, los planificadores, los equiposde trabajo y los grupos objetivo participantes han aumentado con un sentidocomún escéptico y una sabiduría convencional, así como con suficientes basessobre las cuales diseñar los programas sociales con que se lograrán sus metasintentadas. Múltiples esfuerzos para resolver los problemas presentados por elcrecimiento explosivo de la población, la mala distribución de los recursos en lassociedades y entre ellas, el descontento popular, el incremento de delitos, las conti-

270 271

272 CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUAT1VA

nuas deficiencias educativas entre adultos y niños, los índices tan altos de alcoholis-mo y drogadicción, y la aparente debilitación de instituciones tradicionales como lafamilia, han permitido el enfrentamiento de estos problemas difíciles y obstinados.A su vez, este escepticismo ha permitido a los políticos y tomadores de decisionesaprender más y rápido respecto de sus problemas y errores, y a capitalizar másrápidamente las medidas efectivas. Encontrar una evaluación es expresar que elescepticismo, o por lo menos el estado que implica que un programa propuesto,puede no ser tan efectivo en su respuesta como se esperaba.

Una razón principal secundaria en el crecimiento de la investigación evalua-tiva ha sido el desarrollo del conocimiento y de procedimientos técnicos en lascienCias sociales. La depuración de los procedimientos de las investigaciones de

,muestras ha proporcionado un método importante de acopio de información.'Cüando se ajus-ten a métodos_ más tradicionales en forma de experimentos decampo, tales procedimientós- se -convertirámecTios eficaces de probar losprograt—ai -s-sociale-17Los avances en la medición, la teoría estadística y el conoci-miento sustantivo de las ciencias sociales se ha acoplado también con el fin dehabilitar a los científicos sociales para adquirir habilidades especiales en la inves-tigación evaluativa.

Finalmente, existen cambios en el clima social y político en la actualidad. Cabeinsistir en que los problemas comunales, sociales y personales no son característi-cas fijas de la condición humana, sino que están sujetos a cambio y disminuciónmediante la reconstrucción de las instituciones sociales. Creemos, más que nues-tros antecesores, que las sociedades pueden mejorar y que muchas personaspodrán progresar si desaparecen las desventajas y privaciones existentes. Al mis-mo tiempo, casi mundialmente, se afrontan recursos muy limitados de salud, bie-nestar social y otros problemas sociales. Se intenta alejar la inflación, argumentoscontra la violencia doméstica e internacional, y se cree en la "reconstrucciónmoral" que diminuirá las necesidades de programas comunales, aunque seríacatastrófico creer que estas "acciones" resolverán todos los problemas.

Los pronósticos son difíciles, a corto plazo por lo menos, cuando se contem-plan las variedades y el número de intereses que requieren acción urgente, y losniveles de recursos que se pueden enfocar para disminuirlos y contratarlos. Serámuy difícil saber cuáles problemas afrontar primero y cuáles programas ejecutarpara resolverlos. Nuestra posición es clara: las evaluaciones sistemáticas son inva-luables en los esfuerzos actuales y futuros por mejorar a toda la humanidad.

BibliografíaAbt Associates, An Overview of the Experimental Housing Allowance Program Demand

Experiments, Abt Associates, Cambridge, Massachusetts, 1977.Abt, C. C., "The Public Good, the Private Good, and the Government Good in the Evalua-

tion of Social Programs: How Inept Gobernment Requierements Increase Costs andReduce Effectiveness," en Evaluation Quarterly, núm. 2, noviembre de 1978, págs.620-630.

Adams, B. y B. Sherman, "Sunset Implementation: A Positive Partnership to MakeGovernment Work,' en Public Administration Review, núm. 36, enero-febrero de1978, págs, 78-81.

Armor, D. J J. M. Pouch, y H. B. Stambul, Alcoholism and Treatment, Rand Corpora-tion, Santa Monica, California, 1976.

Augustin, M. S., E. Stevens, y D. Hicks, "An Evaluation of the Effectiveness of a Childrenand Youth Project." en Health Services Report, núm. 88, diciembre de 1973, págs.942-946.

Barnouw, B. S. y G. G. Cain, "A Reanalysis of the Effect of Head Start on Cognitive Deve-lopment: Methodology and Empirical Findings," en Journal of Human Resource,núm. 12, primavera de 1977, págs. 177-197.

Barnouw, B. S., G. G. Cain, y A. Goldberger, "Issues in the Analysis of Selectivity Bias,"en E. W. Stromsdorfer y G. Farkas (dirs.) Evaluation Studies Review Annual, vol. 5,Sage Publications, Beverly Hills, California, 1980.

Bennett, C. A. y A. A. Lumsdaine, Evaluation and Experiment, Academic, Nueva York,1975.

Berk, R. A., T. Cooley, C.J. La Civita, y K. Sredl, Saving Water: Lessons in Conservationfrom the Great California Drought, 1976-1977, Abt Books, Cambridge, Massachu-setts, 1981.

Berk, R. A., y P. H. Rossi, "Doing Good or Worse: Evaluation Research Politically Re-Examined," en Social Problems, núm. 23, febrero de 1976, págs. 337-349.

Bernstein, I. N. y H. E. Freeman, Academic and Entrepreneurial Research, Russell Sage,Nueva York, 1975.

Blalock, H. M., Jr. y A. Blalock (dirs.), Methodology in Social Research, McGraw-Hill,Nueva York, 1968.

Bogart, L. (dir.), Social Research and the Desegregation of the United States Army,Markham, Chicago, 1969.

Bohrnstedt, G. W., "Reliability and Validity Assessment in Attitude Measurement," en G.

273

índice analítico

Academia Nacional de Ciencia, 6Acceso, 116-117

a los indicadores, 93-94a los porcentajes, 92al foro comunitario, 91al informante clave, 88-90definición, 116estrategia de, 99

Acciónfundamentación para la, 36-37hipótesis de, 50-51

Aceptación por parte del objeto, 53Acopio de datos, 149Actividades de evaluación, 69-70 cAdministración para la Seguridad Social,

146Administrador del Sistema, 116Adopción de la innovación, 156Agencia(s)

de Desarrollo Internacional, 6de salud mental, 79-80secundarias relacionadas, 79-80

Agente del sistema, 116Ajustes estadísticos sucesivos, 189-192Alternativas de observación política, 237Análisis

costo-beneficio, 12, 31, 221, 224-226componentes, 226-227ex ante, 222, 235ex post, 222, 235, 241metodología, 229-241

costo-efectividad, 12, 31, 222, 224-226, 241-245

de beneficencia privada, 230

de eficacia, 224-226de la ubicación del recurso, 223-229de series de tiempo, 151-152, 203

de programas de cobertura total, 206político, 21

origen, 22-23y conceptualización del diseño, 11-12

Aplicabilidad, 220Aplicación, sistema de, 12Áreas estadísticas estándares metropolita-

nas (AEEM), 93-94Atenuación debida a la no confiabilidad,

160Autoselección, 140, 180Azar, muestreo al, 167

Behavioral Research and Evaluation Cor-poration (BREC), 81

Beneficio(s), 221, 226costo, análisis, 12, 31, 221-222, 224-

227, 229-241costo por, 224medición de los, 235-237netos, 222y costos, comparación, 228-229

Cambios endógenos, 139Capital, costos del, 239Causalidad, 137Censo(s), 93-94

decenal, 93definición, 95e investigaciones, 95

287

288 INDICE ANALtricoINDICEANALITICO 289

Centro Nacional de Investigación y Servi-cios para la Salud, 6, 117

Centros de Control de Enfermedades, 6Ciencia política, 21Cliente, evolución del, 116Cobertura

baja, 105contabilidad de la, 101definición, 99, 103del programa, 100eficacia de la, 105excesiva, 105medición de la, 105parcial, 145-146, 161total, 145-146, 161

estudios de laposteriores, 152previos, 152

programas de, 206y desviación, 103-105

Comparabilidad, 166-179Comparación

entre los sitios, 132grupos de, 165

Comprehensive Employment Training Act(CETA), 13

Computadora, 49Comunicación de masas, experimentos en,

17-18Comunidad, investigación de la, 110Conceptualización y análisis del diseño,

11-12Confiabilidad, 135, 142Conformidad del programa, 132Confusión, factores de, 135, 138Congruencia

con el uso, 155con las medidas alternas, 156interna, 156

Construcción de la validez, 155Contabilidad

comunal, 230-233de la cobertura, 101del patrocinador del programa, 230del programa, 101-102del servicio de entrega, 101fiscal, 101individual, 229legal. 102perspectivas de la, 221, 229-234y monitoreo del programa, 99-133

Control(es)aleatorios, 145, 177-179

construidos, 145, 149-150, 179-181espectro, 145, 153-154, 203, 212-220estadístico(s), 145, 162

uso del, 193-197complementario, 200-202

genéricos, 145, 153-154, 203, 210-211grupos, 161, 163, 179-181, 186-188reflexivos, 145, 204-210

Costo(s), 221, 226beneficio, análisis, 12, 31, 221-222,

224-227, 229-241de oportunidad, 222, 226del capital, 239efectividad, análisis, 12, 31, 222, 224-

226, 241-245eficacia del, 224medición de los, 235-237por beneficio, 224y beneficios, comparación, 228-229

Costumbres sociales, 20-21"Cumplimiento ritual", 114

Children's Television liVorkshop, 110

Datosacopio de, 149cualitativos, 154cuantitativos, 154de los participantes en el programa, 129del proveedor de servicios, 128-129del registro de servicios, 125-128guía de, 124

Decisión de continuar o no continuar, 36Demanda y población con necesidades,

71, 88Departamento

ilitación y Desarrollo Urbano, 6de Justicia, 12, 92de Rehabilitación, 6de Salud, Educación y Bienestar Social,

172de Salud y Servicios Humanos, 44de Trabajo, 6, 13, 111

Depuración de programas establecidos,66-69

Desarrollo y diseño del programa, 49-53Descripción del proyecto, 132Descuento, 222, 228, 239-241

rango de, 239Desplazamiento, efecto de, 238Desviación, 99

definición, 103y cobertura, 103-105

Diagnósticode las evaluaciones, 97-98procedimientos de, 71-98

Direcciones maduracionales, 205Diseño(s)

conceptualización y análisis del, 11-12de intercambios, 202de observación, 149de regresión discontinua, 198longitudinales, 149y desarrollo del programa, 49-53

Distribución, 238Divulgación, 258-260

Efectividad-costo, análisis, 12, 31, 222,224-226, 241-245

Efecto(s)de desplazamiento, 238de vacío, 238del método, 141del placebo. Véase Efecto Hawthorneestocásticos, 135, 142neto, 166

estimado, 193resultantes

brutos, 135netos, 135

Efecto Hawthorne, 15, 143Eficacia

de la cobertura, 105del costo, 224medición de la, 221-246valoración de la, 31-33

Enfermedad de Tay Sacs, 54Entrega, servicios de, 99Equiparación. Véase IgualaciónEquivalencia probabilística, 146Error(es)

de especificación, 197-198en la medida, 141-142

Esfuerzo de modificación, 34Espacio político, 52, 177Especialización de los servicios, 117Especificación

de objetivos, 46-47de poblaciones objeto, 75-81errores de, 197-198

Esquema de proporción estructurada, 125Establecimiento de objetivos, 47-48Estadística bayesiana, 48Estimación econométrica, 236Estudios

de la cobertura total, 152

de utilización, 266del proceso, 99explicativos, 64-66formativos, 54-56no aleatorios, 179seccionales cruzados, 161, 197-200

Evaluabilidad, valoración de la, 61-63Evaluación(es), 11-40. Véase también

Investigación evaluativaactividades de, 69-70 cconsideraciones, 2433de la repercusión, 12

estrategias para la, 135de la utilidad del programa, 12de programas establecidos, 35, 58-66del refinamiento, 34diagnóstico de las, 97-98e intervenciones, 72-73elementos, 25-33entrecruzadas, 65externas, 65integración de las, 41-70integral, 11, 25internas, 65objetivo, 15políticas, 38-39programas de, 13-14resultados de la, 248

generalización de los, 251-253sistemáticas, 15uso de las, 35-39valoración de la, 41y programas, 69-70

Evaluation Research Society, 19Eventos de interferencia, 140, 205Evolución del cliente, 116Experimental Housing Allowance Proyect,

78Experimentos

aleatorios, 175-176complejos, 176"verdaderos", 148

en-comunicación de masas, 17-18no aleatorios, 149-150

Expertos, juicios de los, 213-216Exploración del programa, 61

Factibilidad del modelo de repercusión,51-52

Factorescombinados, 138

extraños, 138-141

290 INDICE ANALÍTICO

INDICE ANAUTICO 291

de confusión, 135, 138enmascarados, 143

Federal Bureau of Investigation (FBI), 92Federal Freedom of Information Act, 21Feeling Good, 110Formas de las tomas de decisiones, 36Fórmula para valorar la repercusión,

142-143Fuentes de hipótesis, 51Fundación

Ford, 6Nacional de Ciencia, 6Robert Wood Johnson, 6, 39Russell Sage, 6

Fundamentación para la acción, 36-37

Gobierno, 116Grupos

cívicos, 79-80comunitarios, 79-80control, 161, 163

construidos, 161, 179-181selección de, 186-188

estadísticos, 188-202de comparación, 165experimentales, 161, 163

Guía de datos, 124

Hipótesiscausal, 49-50de acción, 50-51de intervención, 50fuentes de, 51

Identificación de objetivos, 44Igualación, 161, 181

agregada, 181-186individual, 181-186

Incidencia, 71, 84Inclusión

deficiente, 87-88excesiva, 87

Indicadores, 71Individuos con riesgos altos, 79Información, sistemas de, 116Iniciativa, 66Innovación

adopción de la, 156programas de, 11

Instituto Nacional de Justicia, 6Instituto Nacional de Salud Mental, 6Integración de las evaluaciones, 41-70Intercambios, diseño de, 202

Interés, rango de, 239-240Interferencia, eventos de, 140, 205Intervención(es), 12

hopótesis de, 50metas de, 258necesarias, 73-81social, programas de, 11y evaluaciones, 72-73y resultados, 137-138

Investigación(es)de la comunidad, 110de la muestra, 95-97

definición, 95definición, 71formativa, 12

en Plaza Sésamo, 55seccionales cruzadas, 151, 188social, 15-17

"reglas" de la, 15y censos, 95

Investigación evaluativa, 13-40. Véasetambién Evaluación

clases, 25contexto de la, 247-272definición, 11, 14estado actual, 24historia, 15-24

Juicios de los expertos, 213-216

Legitimidad, 37-38Leyes sunset, 23"Línea base", 224Línea de pobreza, 75-77

Maduración, tendencias de, 140Manipulabilidad del modelo de repercu-

sión, 51-52Masas, experimentos en comunicación de,

17-18Mayoría comunitaria, 79-80Mecanismo de revisión de necesidades, 116Medición

de la cobertura, 105de la eficacia, 221-246de los costos y los beneficios, 235-237de necesidades, 71monetaria, 236

Medida(s)alternas, congruencia con las, 156aproximadas, 135, 157-158de los resultados, 155, 158error en la, 141-142

Mercado, valuaciones de, 236Metas de la intervención, 258Método(s)

complejos multivariados, 193de valoración, 237efectos del, 141narrativo, 124

Modelo(s) de repercusión, 41, 49definición, 49elementos, 49-51factibilidad del, 51-52manipulabilidad del, 51-52

Modificaciónde objetivos, 46esfuerzo de, 34

Monitoreo, 12, 122-132de la puesta en marcha, 100de los servicios de entrega, 112-122de(1) programa(s)

de alimentación gratuita, 27-28y contabilidad, 99-133

retroalimentación desde el, 132-133usos, 100-101

Muestra, investigación de la, 95-97Muestreo al azar, 167

Necesidad(es)mecanismo de revisión de, 116medición de, 71valoración de la, 74, 79-81

New Deal, 16No confiabilidad, 142

atenuación debida a la, 160

Objetivo(s), 41absoluto, 45especificación de, 46-47establecimiento de, 47-48identificación de, 44modificación de, 46relativos, 45y resultados, 67

Objetoaceptación por parte del, 53directo, 52indirecto, 52

Observacióndiseños de, 149política, 237sistemática, 122-125

formas de, 124-125Oficina de Información de Guerra, 16

Oficina de la Secretaría de Salud y Servi-cios Humanos, 6

Oficina de Oportunidad Económica, 115,172

Oficina Federal de Investigación, 92Operacionalidad, procesos de, 50Oportunidad, costos de, 222, 226Organización Panamericana para la Salud, 6

Perspectiva(s)de la contabilidad, 221, 229-234de la evaluabilidad, 60-61

Planeación, 41-44Plática(s), 11-41Plaza Sésamo, 12, 38, 104, 110, 169-

171, 253investigación formativa en, 55

Población(es)con necesidades, 71, 88

y demanda, 82-84objeto, 12, 82, 88, 93-94

definición, 74directas, 74,75especificación de las, 75-81indirectas, 74-75límites de la, 77selección de, 52, 103y cobertura del programa, 102-112

servida, 116Poder

del resultado, 247estadístico, 247

Porcentaje. Véase Rango"Positivos falsos", 87Precios

contables, 237espectro, 222, 237

Predominio, 71, 84Prestigio, valoración del, 68Problema

por resolver, 12social, 25

Procedimientos de diagnóstico, 71-98ejemplos de, 72-73

Proceso(s)de operacionalidad, 50estocásticos, 142estudios del, 99

Programa(s), 11-41cobertura del, 100

y población objeto, 102-112con cobertura parcial, 163conformidad del, 132

292 ÍNDICE ANALÍTICO

INDICE ANALITICO 293

contabilidad del, 101-102de cobertura total, análisis de series de

tiempo de, 206de evaluación, 13-14de innovación, 11de intervención social, 11de renovación urbana, 81descripción del, 61diseño y desarrollo del, 49-53efectividad del, 29, 223-224elementos del, 99, 117-122establecidos

depuración de, 66-69evaluación de, 35, 58-66

evaluable, 61exploración del, 61innovadores

características, 33-34evaluación de, 33, 43

monitoreo del, y contabilidad, 99-133objetivos del, 82-85participantes en el, datos de los, 129personal del, 61proceso del, 100producción del, 100repercusión del, 29replanificación del, y rediseño, 68-69selección de los, 85-88simulaciones del, 56-58utilidad del

evaluación de la, 12valoración de la, 29

utilizadores del, 111y evaluaciones, 69

Programa de Acción Comunitario, 115Proporción estructurada, esquema de, 125Proposición 13 de California, 23Proyecto, descripción del, 132Proyecto Head Start, 115, 151Prueba de Tay Sacs, 54Puesta en marcha, monitoreo de la, 100

Rango, 71, 85, 221de descuento, 239de interés, 239-240interno de retorno, 222-241

Recurso, análisis de la ubicación del, 223-229Rediseño y replanificación del programa,

68-69Refinamiento, evaluación del, 34Registro de servicios

datos del, 125-128uso de, 126

Reglas de la investigación social, 15Regresión

discontinua, diseños de, 198hacia la media, 185

Remisión espontánea, 139Renovación urbana, programa de, 81Repercusión

evaluación de la, 12, 135fórmulas para valorar la, 142-143modelos de, 41, 49 -

Replanificación del programa y rediseño,68-69

Reporte Coleman, 200Responsabilidad

fiscal, 64legal, 64

Resultado(s)brutos, 138, 142

valoración de los, 138-144de la evaluación, 248, 251-253e intervención, 137-138netos, 138, 226poder del, 247y objetivos, 67

Retornoneto. Véase Beneficios netosrango interno de, 222, 241

Retroalimentación desde el monitoreo,132-133

Revisión de necesidades, mecanismo de, 116Riesgos altos, individuos con, 79

Sage Publications, 6Salud mental, agencias de, 79-80Selección

con sesgo, 174de poblaciones objeto, 52, 103sin sesgo, 174

Series de tiempo, 94Servicio(s)

de entrega, 99contabilidad del, 101monitoreo de los, 112-122

especialización de los, 117humanitarios, 20-21proveedor de, datos del, 128-129registro de,

datos del, 125-128uso de, 126

unidad de, 117Sesame Street. Véase Plaza SésamoSignificación

estadística, 247

nivel de, 249-251política, 247, 251

problema de la, 253-255Simulaciones del programa, 56-58Sistema

administrador del, 116agente del, 116de aplicación, 12de entrega

conceptos del, 115contaminantes del, 144definición, 116diseño del, 53elementos, 53

de información, 116de manejo de información (SMI), 41elementos, 116

Sitios, comparación entre los, 132Sociedad de investigación evaluativa, 19Sociedad del Hospital Luterano del Sur de

California, 6Sorteo, 162, 166

procedimientos, 167-173significado del, 167

"Tablas falsas", 57-58Técnica

del foro, 91pantalla, 82

Tendencias de maduración, 140Tiempo, series de, 94Tomas de decisiones, formas de las, 36Tratamiento

incorrecto, 114no estandarizado, 115

Ubicación del recurso, análisis de la, 223-229

UNESCO, 5Unidades de Servicio, 117U. S. Department of Labor, 13

Usoconceptual, 266congruencia con el, 155de registro de servicios, 126del control estadístico, 193-197

complementario, 200-202del monitoreo, 100-101

Utilizaciónestudios de, 266máxima, 268-271tipos de, 266-267variables de la, 267-268

Utilizadores del programa, 111

Vacío, efecto de, 238Validez

construcción de la, 15externa, 247, 251-252interna, 247, 251-252

Valoración(es)de la eficacia, 31-33de la evaluabilidad, 61-63de la evaluación, 41de la(s) necesidad(es)

de la juventud, 81de salud mental voluntaria, 79-80

de la repercusión, 29-30, 104, 144-154,161-200, 203-220

de la utilidad del programa, 29de los resultados brutos, 138-144del prestigio, 68métodos de, 237previa. Véase Evaluabilidad

Valuaciones de mercado, 236Variables de la utilización, 267-268Variación natural, 146Verbo "fuerte", 46Verificación. Véase MonitoreoVertiente secular, 139

Western Electric, 15

Evaluación. Un enfoque sistematico de los programas sociales

Documents

Transcript of Evaluación. Un enfoque sistematico de los programas sociales