www.ts.ucr.ac.cr 1

HACIA LA ELABORACION DE INDICADORES CUALITATIVOS DE EVALUACION Msc. Xinia Picado Gatgens1 Introduccin Hoy da la utilizacin de indicadores sociales es un imperativo en la formulacin de polticas y toma de decisiones en los niveles gubernamentales de la sociedad. Se hace necesario tambin el empleo de indicadores para evaluar las acciones pblicas cristalizadas en programas y proyectos de desarrollo. El objetivo de este trabajo es brindar el planificador, al trabajador social, a los administradores y ejecutores de polticas un aporte en la elaboracin de indicadores de evaluacin. I.- DEFINICION DE INDICADOR Investigadores y metodlogos han establecido diferentes denominadores del trmino indicador y es muy poco lo que se ha escrito para establecer una clara diferenciacin entre "indicador social" e indicador de evaluacin. Se ha definido indicador como toda forma de evidencia que permita reconocer donde se est y hacia dnde se va en la persecucin de objetivos y valores que permitan evaluar diversos programas y en especial su impacto social.2 II.- INDICADORES SOCIALES "Se denomina indicadores sociales a las medidas objetivamente verificables de hechos y acontecimientos econmicos y sociales"3. Por indicador social se entiende una estadstica o serie estadstica que refleja: el estado y la tendencia de las actuales condiciones sociales o de aquellas que se vayan a transformar en foco de la atencin pblica. Los indicadores sociales orientan a los polticos y planificadores en los procesos de direccin y planificacin en distintos niveles: a- ofrecen informacin perodica sobre las tendencias sociales y econmicas de un pas y sus distintas regiones. b- brindar informacin sobre aspectos crticos de problemas sociales especficas o grupos poblacionales prioritarios. El tema de la elaboracin y construccin de indicadores sociales ha sido tratado por diversos autores que en mayor medida lo han abordado desde la 1-Profesora Escuela de Trabajo Social, Universidad de Costa Rica, Coordinadora Maestra en Evaluacin, Universidad de Costa Rica 2-Vquez Ramrez S. Indicadores Sociales de la calidad educativa de una sociedad agrcola, industrial, tecnolgica. Ministerio de Educacin Pblica. Departamento de Investigacin Educativa. San Jos, 1989. 3-Molina Hugo. "Consideraciones Generales acerca de los indicadores econmicos y sociales" en Indicadores Socioeconmicos para el desarrollo. Edicin Francisco Rojas Aravena. Ediciones Flacso. San Jos. 1983.

www.ts.ucr.ac.cr 2

perspectiva macroeconmica.(*) Los indicadores sociales tienen como caractersticas comn el reflejar situaciones del nivel macro social en mbitos econmicos, de salud, etc. "Los indicadores son usados actualmente partiendo deun concepto de realidad bsicamente esttico y fragmentario. El indicador arroja un dato sobre la situacin en un momento dado, y el proceso de cambio se intenta registrar construyendo series de valores sucesivos"4 que reflejen su evolucin en el mediano y largo plazo. El tema de la elaboracin y construccin de indicadores sociales ha sido tratado por diversos autores que en mayor medida lo han abordado desde la perspectiva macroeconomica. (*) (*) Para el caso de Centroamerica cabe citar el trabajo realizado con la cooperacin de la Facultad Latinoamericana de Ciencias Sociales (FLACSO) y por la UNESCO editado por Rojas Aravena en 1983. "Algunos organismos internacionales"5 han venido elaborando indicadores sociales de distinta ndole. Con fines de exposicin se presentan en el cuadro No.1 algunos indicadores sociales de la clasificacin de Naciones Unidas sobre el Indice de Desarrollo Humano. El cuadro No. 2 agrupa Indicadores de Integracin de Estadsticas Sociales de esa misma organizacin. El cuadro No. 3 del Programa de Empleo para Amrica Latina y el Caribe sugiere una "lista de indicadores que permitan un diagnstico rpido de la situacin del empleo e ingresos y su relacin con la situacin y perspectivas de la economa en general"6. III.- INDICADORES DE EVALUACION En el campo de la evaluacin se ha definido "indicador como toda forma de evidencia que permita reconocer dnde se est y hacia dnde se va en la persecucin de objetivos y valores para evaluar diversos programas y en especial su impacto social. "Un indicador es la demostracin de que se ha alcanzado el propsito para el cual fue creado el programa o proyecto. Departamento del alcance de la evaluacin se utilizarn distintos tipos de indicadores: as pueden emplearse indicadores sociales para el anlisis del nivel macro social. Por ejemplo, en la evaluacin de un plan, de una poltica o un programa de cobertura nacional los indicadores sociales son muy tiles para identificar las tendencias observadas a nivel global y orientar la toma de decisiones y distribucin de recursos. En el nivel de programa o proyecto se elaboran indicadores para identificar el alcance de objetivos en la fase de ejecucin o posteriormente para evaluar su impacto. III. a REQUISITOS DEL INDICADOR 4-Ramrez Gonzlo. Indicadores socioeconmicos: que medir, para qu, para quin medir. Centroamerica: Indicadores socioeconmicos para el desarrollo. Edicin Francisco Rojas Aravena. Ediciones FLACSO. San Jos. 1993. 5-Barboza J. y Raabe C. Notas sobre estadsticas e indicadores: Referencia al caso de Costa Rica. Centroamerica: indicadores socioeconmicos para el desarrollo. Edicin Francisco Rojas Aravena. Ediciones FLACSO. San Jos. 1983 6-Barboza J. Raabe C. "Notas sobre estadsticas e indicadores scoiales: referencia al caso de Costa Rica". Centroamerica: indicadores socioeconmicos para el desarrollo. Edicin Francisco Rojas Aravena. Ediciones FLACSO.

www.ts.ucr.ac.cr 3

"Un indicador debe tener como principales requisitos: 1) ser razonable, 2) objetivamente verificable y 3) contener metas"7. 1) LOS INDICADORES DEBEN SER RAZONABLES, es decir estar en concordancia con lo que se est planteando. Por ejemplo: Indicador Edificio seguro Agradable a la vista (esto no es una medida de seguridad). En cambio stas si podran ser: -estructuralmente slido -Salidas de emergencias -instalacin elctrica sellada 2) LOS INDICADORES DEBEN SER OBJETIVAMENTE VERIFICABLES es decir deben estar enunciados de tal manera que los resultados puedan ser comprobadosd mediante evidencias y no en base a juicios de valor. viviendas bien construidas 400 viviendas con paredes de block y madera con viga antissmica total (es una evidencia objetivo). 3) LOS INDICADORES DEBEN TENER METAS Al elaborar un indicador se debe precisar el nivel de logro que se quiere alcanzar en relacin a CANTIDAD,CALIDAD Y TIEMPO. Primer paso IDENTIFICAR INDICADOR Graduados de Maestra de Evaluacin Social. Segundo paso CUANTIFICAR LOGRO 200 graduados de Maestra. Tercer paso ESTABLECER CRITERIOS DE CALIDAD 200 graduados de Maestra de Evaluacin Social empleados en po- siciones claves de evaluacin en el sector pblico. 7-Alvarez J.L. "El marco lgico". FOV mimeografiado, San Jos, 1982.

www.ts.ucr.ac.cr 4

Cuarto paso ESPECIFICAR TIEMPO 200 graduados de Maestra de Evaluacin Social empleados en posiciones claves de evaluacin en el sector pblico. Cuarto paso ESPECIFICAR TIEMPO 200 graduados de Maestra de Evaluacin Social en posiciones que requiren conocimientos de e- valuacin para febrero del ao 2000. Los indicadores son las medidas especficas y objetivamente verificables de los resultados. Deben por lo tanto ser vlidos, confiables, pertinentes con los objetivos del programa o proyecto y deben ser econmicos en el sentido de que su comprobacin no sobrepase el presupuesto planeado. Se examinan a continuacin algunos aspectos relacionados con la elaboracin de indicadores de evaluacin. III.b PASOS PARA LA ELABORACION DE INDICADORES DE EVALUACION Al realizar una evaluacin se estudia una problemtica social, institucional u organizacional y se focaliza el problema que se va a evaluar. La focalizacin del problema se logra primero mediante su definicin. Se procede entonces a generar interrogantes que cuestionan la causalidad del problema observado, sus consecuencias y efectos. Al plantear las interrogantes generales se procura: ENSAYAR LA RELACION DE: PROBLEMA PREGUNTA INDICADOR Veamos el siguiente ejemplo: 1) PRIMER PASO: SE DEFINE EL PROBLEMA PROBLEMA: En la Cooperativa San Marcos no hay integracin de los asociados, se toman decisiones unilaterales y no hay participacin. DEL PROBLEMA A LAS PREGUNTAS: 2) SEGUNDO PASO: SE PLANTEAN LAS INTERROGANTES SOBRE EL PROBLEMA PLANTEANDOSE PRIMERO UNA O VARIAS INTERROGANTES GENERALES. INTERROGANTE GENERAL

www.ts.ucr.ac.cr 5

Cules con las causas de la falta de integracin cooperativa en Coope San Marcos? INTERROGANTES ESPECIFICAS - Qu bases de educacin cooperativa tienen los asociados? - Cmo se toman las deciciones? - Cul es la opinin de los asociados de su participacin en la cooperativa? 4) CUARTO PASO: SE IDENTIFICAN LOS MEDIOS DE VERIFICACION POR MEDIO DE LOS CUALES SE OBTENDRAN LA COMPROBACION EMPIRICA DE LOS INDICADORES. Los medios de verificacin tienen como funcin principal contribuir a seleccionar indicadores realistas facilitando la viabilidad de la evaluacin al tener que asegurar cmo se van a comprobar los resultados y las respectivas fuentes de informacin. MEDIOS DE VERIFICACION: - Ampliacin de cuestionarios a asociados para medir conocimiento en materia cooperativa. - Entrevistas a fondo con asociados. FUENTE: -Actas de asambleas de cooperativa -Funcionarios que ocuparon puestos directivos en los ltimos cinco aos en la cooperativa. -Asociados MEDIOS DE VERIFICACION Y FUENTE: -estudios de actas del Consejo Directivo y la Asamblea de la cooperativa. -entrevistas focalizadas Consejo Directivo -entrevistas focalizadas miembros asamblea -entrevistas a profundidad lderes de la cooperativa -cuestionario pre-codificado a muestra representativa de miembros de asamblea. Se continan desagregando las interrogantes especficas previamente definidas y finalmente se seleccionan los indicadores que tienen mayor relacin con el problema incorporndolos al diseo evaluativo. IV.- ALGUNAS OBSERVACIONES EN TORNO AL PROCESO "PROBLEMAS- PREGUNTAS-INDICADORES" En el ejemplo utilizado anteriormente se plantearon nicamente indicadores para uno de los aspectos principales del problemas. Sin embargo, como ya se seal el esfuerzo deber centrarse en disear indicadores que cubran integralmente la problemtica estudiada tomando en cuenta por supuesto considera-ciones de tiempo y economa de recursos. Es conveniente tener claro tambin que lo que aqu se propone es plantear la

www.ts.ucr.ac.cr 6

relacin "problema-pregunta-indicador" va ensayo. Al sealar esto lo que se quiere destacar es que la elaboracin de indicadores y el proceso "problemas-preguntas-indicadores" es un ejercicio dinmico sin respuestas "correctas". En otras palabras, NO EXISTEN FORMULAS ESTABLECIDAS PARA EL PLANTEAMIENTO DE INDICADORES. La elaboracin de indicadores es un ejercicio de precisin en donde el esfuerzo se dirige a plantear y obtener evidencias de los resultados que se busca alcanzar en el programa o proyecto. La perspectiva entonces es la de obtener cada vez mayor especificidad sin descuidar el realismo y la vialidad del indicador propuesto. En el momento de definir indicadores es entonces aconsejable asegurarse que se est focalizando el problema correctamente. La focalizacin de problemas est relacionada con las interrogantes principales de la evaluacin. En otras palabras, qu queremos saber, investigar o identificar sobre el problema? cules son los aspectos en los que interesa invertir recursos de evaluacin? Algunas veces las interrogantes del problema responde a necesidades especficas de los niveles gerenciales de la organizacin. En otros casos interesa conocer la opinin de los beneficios de un programa orientado a la reduccin de un determinado problema. De esta manera, los indicadores deben disearse de manera que sean pertinentes al problema evaluado. La consulta con expertos en el rea y con beneficiarios del programa o proyecto es un paso necesario para mantener esta coherencia. V.- INDICADORES CUALITATIVOS Datos cualitativos: El propsito de los datos cualitativos es comprender los puntos de vista, actitudes y perspectivas de los investigados. "Los datos cualitativos se concentran en los signos y smbolos que descifran la realidad tal como la ve la poblacin considerada como objetivo"8 Estos aspectos cualitativos no se identifican por medio de procedimientos estadsticos pero interesan al investigador por cuanto revelan elementos importantes del objeto de estudio, tales como rasgos actitudinales, comportamientos ya sean de un individuo, un grupo, una institucin o una comunidad. Estos rasgos si bien no siempre son susceptibles de medir mediante tcnicas estadsticas brindan informacin que puede resultar muy rica para la comprensin del objeto de evaluacin. Por ejemplo, en la evaluacin de una institucin aprendemos de la cultura organizacional mediante la aplicacin de tcnicas de evaluacin cualitativa como por ejemplo la entrevista focalizada (Focus Group); as se podrn comprender mejor las reacciones de un individuo, de un grupo, y el comportamiento humano ante determinadas situaciones lo que facilitar la propuesta de recomendaciones que deber emitir el evaluador. Los datos cualitativos pueden ser utilizados para: "1) clarificar e ilustrar hallazgos cuantitativos, 2) construir instrumentos de 8-Casley D. y Kumar K. Recopilacin, anlisis y uso de los datos de seguimiento y evaluacin. Ediciones Mundi-Prensa. Banco Mundial.1990.p.4.

www.ts.ucr.ac.cr 7

investigacin, 3) evaluar programas, 3) proveer informacin para fines comerciales y cientficos"9. Si la identificacin de los componentes cualitativos se torna difcil o muy compleja, se puede proceder de la siguiente manera: 1.- Se define el aspecto principal presentndolo como problema, tal como se realiz en los ejemplos anteriores. Se puede proceder a plantear una o varias interrogantes generales que permitan una mejor aprehensin de la situacin o problema estu-diado. En algunos casos resulta tambin til plantear el problema a manera de hiptesis para facilitar su anlisis. 2.- Aplicar la tcnica "Lluvia de ideas" sobre los elementos generales y especficos relevantes, relacionados con la interrogante principal de evaluacin. 3.- Definir y seleccionar los aspectos cualitativos que interesa analizar y que tienen mayor relacin con el problema que se va a evaluar. 4.- Enlistar y seleccionar los aspectos por orden de relevancia y por su generalidad o especificidad en torno al problema. 5.- Identificar los aspectos que se repiten o son similares y pueden condensarse en uno solo. 6.- Reagrupar estos aspectos, eliminando los que sobran. 7.- Proceder a elaborar indicadores derivndolos de los aspectos identificados. Ejemplo 1: Problema: En una cooperativa de vivienda el sentimiento de pertenencia del asociado incide en su participacin. Nota: en algunos casos resulta til hacer una definicin del componente cualitativo principal del problema estudiado ej. el trmino "pertenencia" (en el ejemplo aqu anotado este paso no se consider necesario). LLUVIA DE IDEAS: A) ELEMENTOS GENERALES Y ESPECIFICOS RELACIONADOS CON EL TERMINO PERTENENCIA: *1.- Posicin, funciones y responsabilidad del asociado entrevistado en la cooperativa. 2.- Seguridad y buen manejo de la cooperativa 3.- Conciencia del asociado de su pertenencia a la cooperativa.

9-(Strauss A y Corbin J. 1990 (1). (1) Strauss A. y Corbin J."Basics of qualitative research". Grounded Theory. Procedures and techniques. Sage Publications. 1990.

www.ts.ucr.ac.cr 8

4.- Grado de conocimiento por parte del asociado del modelo cooperativo. *5.- Motivacin del asociado al ingresar a la cooperativa y motivacin actual. *6.- Satisfaccin y seguridad que la cooperativa le brinda como asociado. 7.- Identificacin del asociado con la cooperativa 8.- Conocimiento por parte del asociado de las ltimas acciones que ha venido realizando la cooperativa. 9.- Factores que indujeron al asociado a involucrarse en la cooperativa? 10.- Grado de liderazgo del asociado entrevistado. 11.- Nmero de acciones o participacin proporcional del asociado entrevistado en la cooperativa. *12.-Seguridad habitacional que la cooperativa le brinda al asociado. *13.-Nivel de ingreso por asociado *14.-La cooperativa cumple con las necesidades del asociado? *15.-Cuenta el asociado con asistencia tcnicas por parte de la cooperativa? *16.-Cul es el grado de participacin de asociado en la definicin de polticas de la cooperativa? *17.-En que ambiente econmico y social se desenvuelve el asociado, cules son las condiciones econmicas y sociales que lo rodean? *18.-Son iguales estas condiciones para todos los asociados? Pueden identificarse claramente grupos con muy distintos niveles de ingreso? *19.-Participa el asociado en los proyectos a desarrollar? en la definicin de polticas? *20.-Cul es el proceso para la toma de decisiones del asociado? B) IDENTIFICAR LOS ASPECTOS QUE SON SIMILARES Los aspectos marcados con un asteristo(*) fueron considerados relevantes para el trmino "pertenencia". C) IDENTIFICAR LOS ASPECTOS QUE SON SIMILARES: 3- conciencia del asociado de su pertenencia a la cooperativa 5- motivacin del asociado al ingresar a la cooperativa y motivacin actual(**). 6- satisfaccin y seguridad que la cooperativa le brinda como asociado(**). 7- identificacin del asociado con la cooperativa 9- factores que indujeron al asociado a involucrarse en la cooperativa 14-la cooperativa cumple con las necesidades del asociado?(**). Se procede a identificar el elemento que mejor refleje el aspecto cualitativo del problema que se quiere analizar y se desechan los que son repetitivos. Se elaboran indicadores desagregndose del o de los elementos seleccionados. Se establecen los medios de verificacin (encuestas, cuestionarios, entrevistas estructuradas, no estructuradas) y la fuente de informacin para la comprobacin de los indicadores. INDICADOR: 5-Grado de motivacin del asociado al ingresar a la cooperativa y motivacin actual. Desagregacin del grado de motivacin:

www.ts.ucr.ac.cr 9

Alto Medio Bajo Nota: Se pueden agregar otras calidades del factor cualitativo que se va a analizar definindolas previamente con el equipo evaluador. INDICADOR: 6- Nivel de satisfaccin y seguridad que la cooperativa le brinda como asociado. Comentario: Se pueden definir categoras tanto numricas como de tipo y calidad para el nivel de satisfaccin del asociado de acuerdo a los intereses de la evaluacin. Ej. Muy satisfactorio satisfactorio Medianamente satisf. Insatisf. 10-9 8 7-6 5-4 D) Se procede a elaborar indicadores de los elementos cualitativos que son relevantes para la evaluacin. 17- Nivel promedio de ingreso y condiciones socioeconmicas de los asociados 18- Disparidad son similares estas condiciones para todos los asociados?

pueden identificarse grupos con muy distintos niveles de ingreso? Finalmente se incorporan todos los indicadores elaborados al diseo de la evaluacin. VI.-PROBLEMAS COMUNES EN LA ELABORACION DE INDICADORES: En la bsqueda de definir indicadores cualitativos se cae en la dificultad de no precisar de manera suficiente lo que se desea alcanzar. Veamos un ejemplo: En un curso de capacitacin uno de los objetivos era: "que los participantes del curso obtuvieran una visin ms clara de la realidad". Comentarios: Amn de que este es un objetivo impreciso porque el trmino "visin ms clara de la realidad" puede tener distintos significados para cada persona, no se precisan resultados que puedan evidenciarse. Como se sealaba anteriormente. Elaborar indicadores es producto de una reflexin sistemtica y del esfuerzo por definir lo que se desea alcanzar a nivel cualitativo y cuantitativo de el proyecto. Otro ejemplo: Se en listan a continuacin algunos indicadores elaborados para evaluar proyectos de desarrollo rural(1) dsglosndolos por reas de evaluacin: IMPACTO DE PROYECTO - Nivel de logro de los objetivos generales - Nivel de no logro de los objetivos generales - Cantidad y calidad de logro no previsto - Nmero de cambios observador en las personas e intituciones beneficiarias del proyecto

www.ts.ucr.ac.cr 10

- Nmero de aciertos y definiciones detectados entre los resultados del proyecto y la realidad objeto de transformacin actualizada. Examinemos algunos aspectos. En relacin al indicador "Nivel de logro de los objetivos generales" el evaluador tendr la dificultad de definir que va a entender por logro y cul ser su expresin cuantitativa y cualitativa. Es conveniente entonces que al elaborar el indicador lo define en relacin a estos aspectos y no lo deje para una fase posterior porque necesariamente la misin del indicador es precisar lo que espera alcanzar con el programa o proyecto. CONCLUSIONES Este trabajo es un esfuerzo por avanzar en un campo metodolgico delicado. Los aspectos que aqu se proponen son producto de experiencias recogidas en el ejercicio de la evaluacin y tienen carcter de ensayo. Se espera en el futuro avanzar en la investigacin metodolgica integrando bloques interdisplinarios que permitan una mayor profundizacin en este campo del tema. Bienvenidos los futuros aportes.

www.ts.ucr.ac.cr 11

BIBLIOGRAFIA - ALVAREZ, J.J. El Marco Lgico FOV. Mimeografiado. San Jos, 1982. - BARBOZA, J Y Raabe C. Notas sobre estadsticas e indicadores: Referencia al caso de Costa Rica, Centroamerica. En Indicadores Socioeconmicos para el desarrollo. Edicin Francisco Rojas Aravena. Ediciones FLACSO. San Jos. 1993. - MOLINA, Hugo. Consideraciones Generales acerca de los indicadores econmicos y sociales. En indicadores socioeconmicos para el desarrollo. Edicin Francisco Rojas Aravena. Ediciones FLACSO. San Jos. 1983. - PNUD. Informe sobre Desarrollo Humano, 1993. Editorial CIDEAL. Madrid, 1993. - RAMIREZ, Gonzlo. Indicadores socioeconmicos: qu medir, para que medir, para quin medir. Centroamerica: indicadores socioeconmicos para el desarrollo. Edicin Francisco Rojas Aravena. Editorial FLACSO. San Jos, 1983. - STRAUSS, A. y Cosrbin J. Basic of qualitative research.Grounded theory. procedures and techniques. Sage Publications, 1990. - VIQUEZ, Ramrez Silvia, Indicadores Sociales de la calidad educativa en una sociedad: agrcola, industrial o tecnolgica. Ministerio de Educacin Pblica. Departamento de Investigacin Educativa, San Jos, 1989.