Glosario de Trminos relacionados con el seguimiento y evaluacin de las Polticas Pblicas

Glosario de trminos

Tema: Evaluacin de Polticas Pblicas Primera versin: 2008 Datos de contacto: Servicio de calidad de polticas y servicios pblicos del Instituto Navarro de Administracin Pblica (INAP) sercalinap@navarra.es - Tfno: 848 42 37 80

Instituto Navarro de Administracin Pblica Gobierno de Navarra

Pgina 2 de 28

Glosario de trminos

ndiceIntroduccin........................................................................................................................4 Relacin alfabtica de trminos..........................................................................................5 A...................................................................................................................................5 B...................................................................................................................................7 C...................................................................................................................................8 D.................................................................................................................................10 E.................................................................................................................................11 G.................................................................................................................................15 H.................................................................................................................................16 I..................................................................................................................................17 J..................................................................................................................................18 L.................................................................................................................................19 M................................................................................................................................20 O.................................................................................................................................21 P.................................................................................................................................22 R.................................................................................................................................24 S.................................................................................................................................25 T.................................................................................................................................26 U.................................................................................................................................27 V.................................................................................................................................28

Pgina 3 de 28

Glosario de trminos

IntroduccinEl glosario consiste en un diccionario de trminos generales y especficos sobre seguimiento y evaluacin. Su objetivo es facilitar la comprensin de los conceptos principales y ms comnmente usados y favorecer la utilizacin de un lenguaje comn en relacin con esta materia, permitiendo disponer de esta informacin, de forma sencilla y operativa, en orden alfabtico. Es, en definitiva, un recurso de aprendizaje en evaluacin de polticas pblicas. Tiene como propsito ayudar a las personas de la administracin pblica de Navarra que no poseen conocimientos especficos sobre la materia, a entender los trminos y conceptos utilizados de modo que cuando se realicen evaluaciones tanto de tipo interno como externo, exista una definicin clara de lo que se demanda, lo que va a posibilitar conocer de mejor manera para qu se demanda. Para su elaboracin se han consultado dos referencias fundamentales: La Gua para la Evaluacin de Polticas Pblicas editada por el Instituto de Desarrollo Regional en el ao 2000. El Manual para la Gestin de Evaluaciones de la Cooperacin Espaola editada por el Ministerio de Asuntos Exteriores y de Cooperacin en el ao 2007. Para la elaboracin de los glosarios contenidos en ambos documentos ya se tomaron como referencia, a su vez, los principales textos sobre la materia. Entre ellos: CAD (2002). Glossary of Key Terms in Evaluation and Results Based Management. Evaluation and Aid Effectiveness N 6. OECD. Pars. Francia. Osuna, J.L. y Mrquez, C. (dir.) y A. Cirera y C. Vlez (red.) (2000). Gua para la evaluacin de polticas pblicas. Instituto de Desarrollo Regional. Sevilla. Espaa. Osuna, J.L. y C. Vlez (2004). Gua de planificacin y evaluacin para agentes de desarrollo local. Sevilla Siglo XXI, S.A. e Instituto de Desarrollo Regional. Sevilla. Espaa. The Evaluation Center. List of Evaluation http://ec.wmich.edu/glossary/glossaryList.htm. Glossary Terms. En lnea

Vias, E.V. y A. Ocampo (2006). Conceptos clave de seguimiento y evaluacin de programas y proyectos. Breve gua. PREVAL y FIDA. Per. Este Glosario de trminos deber ser una ayuda para la comprensin de los conceptos utilizados en la realizacin evaluaciones tanto de tipo interno como externo. Cabe la posibilidad de que existan trminos que no se encuentre en el glosario. Si as fuera, puede solicitar su inclusin a travs del Servicio de Calidad de Polticas y Servicios Pblicos del INAP (sercalinap@navarra.es).

Pgina 4 de 28

Glosario de trminos

Relacin alfabtica de trminosA Accin: Actividad o trabajo realizado con el fin de transformar recursos o insumos en resultados. Actores implicados: Instituciones pblicas o privadas, organizaciones no gubernamentales, universidades, asociaciones profesionales y empresariales o empresas privadas, entre otros, que participan, directa o indirectamente, en la planificacin, ejecucin, seguimiento y evaluacin de una poltica. Acuerdos de concertacin social: Instrumentos de concertacin social entre la administracin pblica y las organizaciones sindicales y empresariales, para la puesta en marcha de un modelo de desarrollo econmico y social para la creacin de ms y mejor empleo. Anlisis coste-beneficio. Procedimiento para evaluar la conveniencia de una intervencin sopesando costes y beneficios, incluyendo aquellos para los cuales el mercado no existe o para los que no provee una medida satisfactoria de valor econmico. Puede ser llevado a cabo tanto antes como despus de la ejecucin de la intervencin. Anlisis coste-efectividad. Estudio de las relaciones entre el coste de la intervencin y sus resultados, expresndolos como coste por unidad de resultado logrado. Se usa cuando no puede drsele fcilmente un valor monetario a los resultados. Antecedentes de la intervencin. Breve resumen de la intervencin que debe incluirse en los trminos de referencia (TDR) de la evaluacin. Incluye el marco legal y nivel de planificacin superior en el que se encuadra la intervencin, su fecha de inicio y finalizacin, el momento de ejecucin en que se encuentra, el presupuesto asignado y, de manera escueta, la estructura interna de planificacin (objetivos, actividades y resultados esperados y fases previstas). Tambin debe recoger una breve referencia al contexto socio-econmico de la intervencin y las caractersticas del colectivo beneficiario. Aprendizaje e incorporacin de las lecciones de la experiencia. Conocimiento adquirido por medio del estudio o la experiencia. Funcin principal de la evaluacin con la finalidad de incorporar a la gestin y a la planificacin aquellos elementos que hayan mostrado mayores y mejores logros, cerrando as el ciclo de la transferencia efectiva de las mejores prcticas. rbol de objetivos: representaciones descriptivas de las relaciones medios-fines de la estrategia propuesta en una intervencin. rbol de problemas: representaciones descriptivas de las relaciones causaefecto de los problemas.

Pgina 5 de 28

Glosario de trminos

Atribucin. Imputacin de un vnculo causal entre cambios observados (o que se espera observar) y una intervencin especfica. Nota: la atribucin se refiere a la accin que explica los cambios observados o los resultados obtenidos. Representa la medida en que los efectos de desarrollo observados pueden imputarse (o atribuirse) a una intervencin especfica o a la actuacin de una o ms partes teniendo en cuenta otras intervenciones, factores exgenos (previstos o imprevistos) o choques externos. Auditora. Actividad de control centrada en la valoracin del cumplimiento de la normativa y regulaciones vigentes aplicables.

Pgina 6 de 28

Glosario de trminos

B Beneficiarios: El grupo especfico de personas (fsicas o jurdicas) que se benefician directa o indirectamente de una intervencin, tambin llamado grupo beneficiario o poblacin diana. En definitiva, son las unidades hacia las cuales se dirige la intervencin. Beneficios: Es el valor o la utilidad de los resultados de una intervencin. Estos sern generalmente los objetivos finales del programa, pero puede tambin aludirse a aquellos beneficios que no sean imputables directamente al programa en s.

Pgina 7 de 28

Glosario de trminos

C Capacidad institucional: Posibilidad de una organizacin para dirigir y gobernar su propio desarrollo. Ciclo de vida de la intervencin: Perodo temporal que abarca desde que se concibe y disea la intervencin hasta que se manifiestan sus impactos. Cobertura: Medida de la proporcin de destinatarios o destinatarias de una intervencin que han sido efectivamente beneficiados con ella. La evaluacin de la cobertura se centra en el anlisis de los colectivos beneficiarios reales de una intervencin y en la valoracin de su adecuacin con los destinatarios previstos, indagando en los factores causales de los posibles sesgos hacia determinados colectivos o en las barreras de acceso que hayan podido existir. Coherencia: Se realiza a dos niveles, interno y externo. La coherencia interna valora la articulacin de los objetivos de la intervencin con los instrumentos propuestos para lograrlos y su adecuacin a los problemas. La coherencia externa analiza la compatibilidad de la intervencin con otras estrategias y programas con los que pueda tener sinergias o complementariedad. Comit de seguimiento de la evaluacin: Estructura formal de apoyo a la gestin del proceso evaluativo que facilita y propicia la participacin de los actores clave. Su naturaleza puede ser ms o menos formal pero, como mnimo, debe contar con representacin de la entidad gestora de la evaluacin y el equipo evaluador. Comit de seleccin: Grupo responsable de analizar y valorar las diferentes propuestas que presenten los evaluadores durante la fase de concurso. Debe seleccionar la propuesta que mejor se adecue a la evaluacin diseada aplicando los criterios de baremacin previamente establecidos. Contexto operativo: Elementos del entorno (econmicos, polticos, legales, institucionales, etc.) de la intervencin y que pueden afectarla de forma directa o indirecta. Es decir, es la parte de la realidad que conforma las condiciones externas de la intervencin sobre las cuales los planificadores y gestores no tienen un control directo. Coordinacin: Todas las actuaciones, estructuras y procedimientos que realizadas por diferentes agentes e instituciones tienen el objetivo de alcanzar el desarrollo integrado de su rea de actuacin. Credibilidad: Principio que sustenta la evaluacin de polticas pblicas para lograr la mayor objetividad, imparcialidad y rigor posible del proceso y de sus resultados de forma que se garantice su aceptacin. Criterios de baremacin: Parmetros de valoracin de las propuestas de evaluacin recibidas por la unidad gestora durante la fase de concurso. Deben estar claramente definidos y aplicarse con rigurosidad para asegurar la transparencia del proceso. Los ms comunes son la calidad tcnica de la

Pgina 8 de 28

Glosario de trminos

metodologa propuesta, la cualificacin y experiencia del equipo evaluador, y la propuesta econmica solicitada para realizar la evaluacin. Criterios de evaluacin: Categoras generales de anlisis para enjuiciar el mrito o valor de una intervencin, que sirven de referencia para estructura las cuestiones a las que la evaluacin debe dar respuesta. Criterio de valor o parmetro de valor: Instrumento de referencia para valorar los resultados y hacer un seguimiento de la marcha de la actuacin. Norma de realizacin que hay que alcanzar a fin de lograr un objetivo. Cuestiones de evaluacin: Preguntas a las que la evaluacin debe dar respuesta. Se derivan directamente de los objetivos de la evaluacin, que a su vez han sido definidos a partir de las necesidades informativas de los actores implicados.

Pgina 9 de 28

Glosario de trminos

D Desplazamiento y sustitucin: El grado en el que la generacin de un resultado deseable de un programa conduce a la prdida de ese mismo resultado en otra rea. Destinatarios: Poblacin objetivo (meta o diana) de una intervencin. Nota: los destinatarios de una intervencin pueden coincidir o no con aquellos que realmente se benefician de ella, beneficiarios y otras partes interesadas. Trmino conexo: beneficiarios. Diagrama de flujo: Instrumento basado en la representacin grfica de las interrelaciones existentes entre distintas situaciones y actuaciones que confluyen en una determinada intervencin. Como resultado de su aplicacin se obtiene un diagrama que facilita la priorizacin de problemas y la identificacin de las soluciones posibles. Difusin de la evaluacin: Dar a conocer el proceso y los resultados de la evaluacin. Dimensin geogrfica de la intervencin: Territorio en el que tiene lugar la intervencin y variables que determinan su contexto de desarrollo. Dimensin institucional de la intervencin: Organizaciones implicadas y niveles de planificacin que debern ser considerados en la evaluacin. Dimensin sectorial de la intervencin: Sectores en los que incide la intervencin, reas temticas priorizadas y sus vinculaciones con otras polticas. Dimensin temporal de la intervencin: Espacio temporal bajo el que la intervencin va a ser analizada y valorada. Las fechas de inicio y finalizacin de la intervencin pueden no coincidir con el inters prioritario de la evaluacin, que puede centrarse en un periodo o fase que revista especial inters.

Pgina 10 de 28

Glosario de trminos

E Efecto contrafactual: Es el efecto que se hubiera producido si no se hubiera aplicado un programa o si el programa hubiera tomado una forma diferente. Efecto: Cambio, intencionado o no, debido directa o indirectamente a una intervencin. Efectos del diseo: Son los efectos causados por los mtodos y procedimientos usados para estimar los efectos netos. Entre ellos destacan: efectos aleatorios, baja fiabilidad en la medicin, validez y problemas que surgen por no medir adecuadamente el resultado o producto. Eficacia: Nivel o grado en el que se alcanzan los objetivos de un programa en funcin de su orientacin a resultados. Eficiencia: Valoracin de los resultados alcanzados en comparacin con los recursos empleados para ello. Se tratar de determinar si se ha empleado el mnimo de recursos para alcanzar los resultados obtenidos o si con los recursos empleados se podran alcanzar mayores y mejores resultados. Encuesta: Tcnica de investigacin sociolgica que implica la administracin de cuestionarios a la poblacin objeto de estudio para recopilar sistemticamente informacin. Entidades colaboradoras: Instituciones pblicas o privadas que participan en la ejecucin de los programas de insercin a travs de la financiacin que se establece para cada uno de ellos. Su participacin puede ser de carcter provincial o multiprovincial. Estrategia: Conjunto de directrices y principios que orientan la aplicacin, en un determinado territorio, sector o periodo de tiempo, de un conjunto de intervenciones de carcter ms operativo. Tambin se denomina estrategia de intervencin a las relaciones causales entre los recursos, actividades, resultados y objetivos. Estudio de base: Anlisis que describe la situacin previa a una intervencin para el desarrollo, en relacin con la cual puede medirse el avance o pueden efectuarse comparaciones. Asociado a este trmino se encuentra la lnea de base que supone la valoracin, cuantitativa o cualitativa, de la batera de indicadores que caracteriza a la situacin de partida de una intervencin. Evaluabilidad: Anlisis que tiene por objetivo determinar hasta qu punto una intervencin es evaluable. La evaluabilidad debera ser un paso previo a la puesta en marcha de cualquier evaluacin ya que permite preparar la intervencin para ser evaluada. Se revisan principalmente tres factores: informacin disponible, calidad de la programacin y capacidad de la entidad responsable de la gestin.

Pgina 11 de 28

Glosario de trminos

Evaluacin conjunta: Evaluacin promovida, gestionada o cofinanciada por un grupo de entidades que coparticipan durante todo o parte del ciclo de la evaluacin. Evaluacin de conjunto -clusters o agregados: Evaluacin de un conjunto de intervenciones relacionadas entre s que no sustituye a la evaluacin de las intervenciones aisladas sino que las complementa con una visin de conjunto. El propsito de reunir estas intervenciones por agregados, racimos o clusters es facilitar la identificacin de elementos comunes y buenas prcticas que permitan aumentar la representatividad de los hallazgos y conclusiones de la evaluacin y que fortalezcan la capacidad de extrapolar o transferir las lecciones de la experiencia a otros contextos, territorios y colectivos, generando mayores impactos en el sistema de ayuda. Evaluacin de diseo: Esta evaluacin tiene como objetivo analizar la racionalidad y la coherencia de la intervencin: verificar la bondad del diagnstico realizado, constatar la existencia de objetivos claramente definidos, analizar su correspondencia con los problemas y examinar la lgica del modelo de intervencin diseado, tanto de forma interna, como en relacin con otras polticas e intervenciones. Evaluacin de estrategias: Evaluacin que tiene por objeto una poltica, plan o estrategia general de actuacin. Centra su atencin sobre mbitos relacionados con la coherencia estratgica de la intervencin en el marco general en el que se inserta. Se puede realizar ad hoc o tomando como insumos los resultados de las evaluaciones de las intervenciones de carcter ms operativo integradas en la estrategia. Sus aprendizajes son de carcter general y susceptibles de ser extrapolados a otros contextos y transferidos a polticas generales. Evaluacin de impactos: El objetivo de esta evaluacin es valorar los efectos ms generales y menos inmediatos de la intervencin sobre las necesidades de sus beneficiarios. Es un anlisis complejo pues debe indagar en las relaciones de causalidad entre la intervencin y los cambios habidos (efecto neto), deslindndolos de los efectos producidos por intervenciones distintas a la evaluada o por la propia evolucin del contexto. Adems, se debe indagar en la capacidad de replicar los efectos positivos una vez retirada el programa, plan o poltica, es decir, la viabilidad y sostenibilidad de la intervencin. Evaluacin de proceso, de aplicacin o de gestin: Aquella cuyo objetivo es valorar la forma en que se ponen en prctica y gestionan las intervenciones. Examina la capacidad de los centros de planificacin y gestin de la intervencin en relacin con su diseo, aplicacin, seguimiento y evaluacin, y de revisar la implicacin y coordinacin de los centros gestores, de donantes y receptores, en dichas tareas, determinando el rol de cada uno, la idoneidad de la organizacin y la suficiencia en la dotacin de recursos. Evaluacin de resultados. Aquella cuyo objetivo principal es valorar hasta qu punto se pueden conseguir, se estn consiguiendo o se han conseguido, los objetivos ms inmediatos establecidos (eficacia), y en examinar a qu coste se alcanzan en trminos de tiempo y recursos humanos, materiales y monetarios (eficiencia).

Pgina 12 de 28

Glosario de trminos

Evaluacin ex ante: Evaluacin que se efecta antes de poner en marcha una intervencin, siendo su objetivo principal analizar su adecuacin a las necesidades que la motivan y sus posibilidades de xito. Tambin se pronuncia sobre la coherencia interna de la lgica de planificacin, la funcionalidad de los mecanismos de gestin y aplicacin que se pretenden articular, sobre la idoneidad del sistema de seguimiento diseado para recoger la informacin, y sobre los resultados e impactos previsibles del programa. Es en definitiva, una evaluacin prospectiva. Evaluacin ex post: Su objetivo suele ser emitir un juicio sobre el xito o fracaso de la intervencin desarrollada, el acierto de la estrategia diseada, su grado de flexibilidad y capacidad de adaptacin a una realidad siempre cambiante, su eficacia y eficiencia, la adecuacin de los mecanismos de gestin y seguimiento aplicados, y los resultados e impactos logrados. Puesto que es necesario dejar transcurrir un tiempo desde la finalizacin de la intervencin para que se manifiesten los impactos y efectos ms indirectos, suele distinguirse entre evaluacin final (realizada nada ms terminar la intervencin) y evaluacin expost (realizada en un momento posterior). Son evaluaciones retrospectivas. Evaluacin externa: Evaluacin realizada por entidades y/o personal ajeno a los organismos ejecutores y gestores de la intervencin. Una evaluacin externa independiente en sentido estricto sera aquella en la que la definicin de las cuestiones de evaluacin y la contratacin del equipo de evaluacin se realiza por tcnicos ajenos a la intervencin Evaluacin formativa: Evaluacin cuyo objetivo es mejorar el desempeo y que generalmente se realiza durante la fase de implementacin de una intervencin aunque puede realizarse en cualquier momento. Evaluacin independiente: Evaluacin realizada por entidades y personas que no estn bajo el control de los responsables del diseo y la implementacin de la intervencin para el desarrollo. La independencia significa que la evaluacin no est sujeta a ninguna influencia poltica ni a presiones de ninguna organizacin. Evaluacin individual: Aquella evaluacin que es promovida por una nica entidad, organismo o agencia de desarrollo. Evaluacin intermedia (o de trmino medio): Evaluacin que se efecta a medio camino en perodo del desarrollo de la intervencin. Consiste en la valoracin crtica de la informacin producida sobre el comportamiento de las actuaciones para determinar la pertinencia de los objetivos considerados, la calidad del sistema de gestin y seguimiento que se est aplicando, la forma en la que los objetivos perseguidos se estn consiguiendo y, en definitiva, pronunciarse sobre la validez de la intervencin en curso, explicando las diferencias respecto a lo esperado, y estimando anticipadamente su resultados finales. Nota: no debe confundirse a la evaluacin intermedia con el seguimiento. La diferencia radica en que el seguimiento permite informar, de manera aislada, de los elementos de la intervencin (coherencia con otras intervenciones, ejecucin y aplicacin, grado de participacin de la poblacin objetivo, y evolucin del contexto socioeconmico, entre otros), mientras que con la evaluacin se relacionan todas las variables para emitir un juicio crtico sobre sus mritos y logros.

Pgina 13 de 28

Glosario de trminos

Evaluacin interna: Aquella realizada por personal adscrito a la entidad gestora de la intervencin evaluada. Evaluacin mixta (o interna asistida): Aquella realizada por personal de la entidad que gestiona la intervencin apoyados por un equipo externo o asistencia tcnica, que orienta el proceso y/o desarrolla el trabajo de evaluacin sobre el terreno. Evaluacin participativa: Es un enfoque metodolgico a travs del cual se abren canales de comunicacin con todos los colectivos implicados en la ejecucin de una intervencin pblica integrando sus necesidades y expectativas en el desarrollo del proceso evaluativo, lo que permite generar espacios colectivos de interaccin y aprendizaje mutuo. Evaluacin sumativa: Evaluacin que se realiza al final de una intervencin (o de una fase de ella) para determinar en qu medida se produjeron los resultados previstos. El objetivo de la evaluacin sumativa es proporcionar informacin sobre el valor de la intervencin con un propsito muy vinculado a la toma de decisiones especficas como pueden ser su reformulacin o continuidad, entre otras. Evaluacin: Aplicacin sistemtica de los procedimientos de la investigacin social para valorar la conceptualizacin y el diseo, la ejecucin y la utilidad de los programas de intervencin social. Evaluadores: Equipo tcnico encargado de realizar el estudio de evaluacin. Pueden estar implicados en el diseo, aplicacin o gestin de la intervencin, o ser externos y ajenos a ella.

Pgina 14 de 28

Glosario de trminos

G Gestin basada en resultados: Enfoque para valorar el xito o fracaso de una poltica pblica en funcin de los resultados obtenidos. Gestin de programas: Procesos, criterios y mecanismos puestos en marcha para la ejecucin de programas. Gestores de la evaluacin: Aquellas personas o equipo tcnico que se encargan de que el proceso evaluativo se realice segn lo establecido. Para ello impulsa y lidera el diseo de la evaluacin, coordina el avance y desarrollo del estudio de evaluacin, supervisa la calidad del proceso; y es responsable de comunicar sus resultados, conclusiones y recomendaciones. Grupo control: Grupo al que no se le aplica un programa o se le aplica uno alternativo y frente al cual se comparan los cambios habidos en el grupo experimental (al que s se le aplica el programa evaluado). Los grupos de control son elegidos aleatoriamente dentro de los beneficiarios potenciales. Grupo experimental: Grupo al que se le aplica el programa que se est evaluando. Grupos de inters: Grupos organizados para perseguir intereses especficos en el escenario poltico, econmico, social, etc. que funcionan ejerciendo presin sobre otros grupos.

Pgina 15 de 28

Glosario de trminos

H Hallazgo (evidencia): Un hallazgo (o una constatacin) es una afirmacin basada en hechos registrados sobre la intervencin o intervenciones evaluadas. Herramientas analticas: Mtodos empleados para procesar e interpretar informacin durante una evaluacin. Herramientas de recoleccin de datos: Metodologas, tcnicas e instrumentos empleados para identificar fuentes de informacin y recopilar datos durante una evaluacin. Cabe citar como ejemplos las encuestas informales y formales, la observacin directa y participativa, las entrevistas, la opinin de expertos, los estudios de casos y la investigacin bibliogrfica. Hiptesis: Idea sobre un determinado estado de cosas que se propone como base para su contrastacin emprica. Historias de vida: Tcnica de carcter cualitativo que consiste en un relato autobiogrfico, obtenido por el investigador mediante entrevistas sucesivas en las que el objetivo es mostrar el testimonio subjetivo de una persona en la que se recojan tanto los acontecimientos como las valoraciones que dicha persona hace de su propia existencia

Pgina 16 de 28

Glosario de trminos

I Imagen en negativo: Representacin de la situacin inicial sobre la que se desea influir con un programa. Imagen en positivo: Traslacin de la imagen en negativo a la ideal que se espera alcanzar con la intervencin. Cuanto ms semejante sea el reflejo de ambas imgines, ms correcta es la planificacin del programa. Impacto: Efectos a largo plazo, positivos y negativos, primarios y secundarios, producidos directa, colateral o inducidamente por una intervencin, intencionalmente o no. La evaluacin del impacto trata de identificar todos estos efectos y centrarse en la determinacin de los efectos netos atribuibles a la intervencin. Indicador de impacto: Se utilizan para medir las consecuencias de los programas, ms all de los efectos inmediatos sobre sus beneficiarios directos. Indicador de realizacin: Se emplea para medir la ejecucin fsica y financiera de las distintas medidas que encuadran un programa. Indicador de resultado: Se emplea para medir los resultados (directos o indirectos) obtenidos en la realizacin de las actuaciones; pudiendo hacer referencia a aspectos fsicos o financieros. Indicador: Expresin cuantitativa o cualitativa de una variable que permite describir algn aspecto de la intervencin y ayuda a valorar lo alcanzado en relacin con un parmetro de referencia. Informantes clave. Personas o entidades que poseen informacin relevante para la evaluacin y, al igual que el resto de actores, poseen necesidades informativas en torno al proceso como potenciales usuarios o interesados de la evaluacin. La participacin de estos agentes en el proceso evaluativo es clave para garantizar la apropiacin de los resultados y la satisfaccin de sus necesidades. Esta implicacin en la evaluacin hace que pueda distinguirse entre los informantes clave a los PARTICIPANTES en el proceso evaluativo. Informe de evaluacin: Producto en el que se recogen las tcnicas y mtodos usados para la recopilacin y anlisis de la informacin, los resultados de la evaluacin, las conclusiones y recomendaciones. Puede tener soporte escrito o no (presentacin oral o multimedia, por ejemplo). Insumos: Recursos financieros, humanos y materiales empleados en una intervencin. Intervencin: Cualquier programa, plan, poltica u otra forma de planificacin diseada para producir cambios en la poblacin objetivo.

Pgina 17 de 28

Glosario de trminos

J Jerarqua de objetivos: Clasificacin de objetivos a distintos niveles; por ejemplo: objetivos finales, objetivos especficos y medidas de resultado y realizacin. Juicio (enjuiciamiento): Afirmacin sobre el mrito o valor de una intervencin basada en unos criterios o parmetros previamente definidos (eficacia, pertinencia, etc.) y relacionados con las preguntas de evaluacin, que miden cualidades existentes o deseables de dicha intervencin segn unos estndares o normas aceptadas.

Pgina 18 de 28

Glosario de trminos

L Lecciones aprendidas: Generalizaciones basadas en la experiencia de evaluacin aplicables a situaciones ms amplias, destacando puntos fuertes o dbiles en la preparacin, el diseo y la puesta en prctica que afectan al desempeo, los resultados y el impacto de la intervencin, y que identifiquen buenas o malas prcticas. Lgica de la intervencin: Secuencia que explica la forma en que debern lograrse los objetivos, identificando las relaciones causales y supuestos subyacentes.

Pgina 19 de 28

Glosario de trminos

M Marco lgico: Herramienta que se utiliza para mejorar el diseo de las intervenciones, ms frecuentemente a escala de proyecto. Comprende la identificacin de elementos estratgicos (insumos, productos, efectos, impacto) y sus relaciones causales, indicadores y los supuestos o riesgos que pueden influir en el xito o el fracaso. De esa manera facilita la planeacin, la ejecucin y la evaluacin de una intervencin. Medicin de los resultados: Sistema para evaluar los resultados de las intervenciones en funcin de los objetivos declarados. Meta: Objetivo global hacia el cual se prev que contribuya una intervencin. Metaevaluacin: Consiste en la evaluacin de una o varias evaluaciones. Las metaevaluaciones se centran en analizar la calidad tcnica y metodolgica del proceso evaluativo, ofreciendo indicaciones sobre las estrategias evaluativas seguidas, su idoneidad en relacin con el objeto evaluado y los propsitos e intereses a los que sirve. Tambin la metaevaluacin tambin hace referencia a la evaluacin de los evaluadores, situando el examen en torno a su desarrollo o desempeo profesional sobre la base de unas normas o estndares. Por tanto la metaevaluacin cumple dos funciones: una normativa (describir cmo debe ser la evaluacin), y otra positiva (cmo es, o cmo se desarrolla en la prctica). Muestreo: Seleccin de una proporcin de individuos o casos a partir de una gran poblacin.

Pgina 20 de 28

Glosario de trminos

O Objetivo del proyecto o programa: Se refiere a los resultados fsicos, financieros, institucionales, sociales, ambientales o de otra ndole que se espera que el proyecto o programa contribuya a lograr. Objetivos especfico: Es la razn inmediata de un proyecto, el efecto que se espera que el proyecto vaya a lograr si se completa con xito y a tiempo. Objetivos finales: Declaraciones especficas mediante las cuales se considera el cumplimiento deseado de los programas de intervencin social. Las razones principales por las que un programa/poltica existe. Se encuentran en el primer nivel de la jerarqua de objetivos. Objeto de evaluacin: Intervencin o intervenciones que son evaluadas. Puede ser una estrategia, un instrumento operativo o un grupo de intervenciones que cumplan determinados requisitos o sean especialmente significativas por su carcter innovador o su potencial para generar aprendizajes.

Pgina 21 de 28

Glosario de trminos

P Partenariado: Grupo de entidades que se asocian para alcanzar objetivos compartidos en la planificacin de una intervencin o en su evaluacin. Partes interesadas: Entidades, organizaciones, grupos o particulares que tienen un inters directo o indirecto en la intervencin o en su evaluacin. Participacin: Posibilidad de que todos los actores involucrados en la intervencin puedan valorar el diseo, la aplicacin y los resultados de la poltica de cooperacin (planificadores, gestores, representantes polticos, organizaciones, beneficiarios etc.). Prepara el terreno para la concertacin y el consenso en los procesos de decisin pblica sobre la ayuda al desarrollo. Pertinencia: Medida en que los objetivos de una intervencin son congruentes con las necesidades identificadas. La evaluacin de la pertinencia consiste en valorar la adecuacin de los resultados y los objetivos de la intervencin al contexto en el que se realiza a travs del anlisis de la calidad del diagnstico que sustenta la intervencin, juzgando su correspondencia con las necesidades observadas en la poblacin beneficiaria. En una mirada retrospectiva, la cuestin de la pertinencia suele referirse a si los objetivos o el diseo de una intervencin siguen siendo adecuados an cuando hayan cambiado las circunstancias. Plan de comunicacin. Documento de planificacin para la difusin de los resultados de la evaluacin entre todos los actores implicados, sealando los canales y mensajes ms adecuados satisfacer las necesidades de informacin. Plan de mejora: Documento de planificacin de las acciones de mejora de las intervenciones derivadas de la evaluacin. Debe registrar las recomendaciones de la evaluacin que tienen implicaciones operativas, la propuestas de actuacin que realiza la unidad gestora de la evaluacin, los actores que deben hacerse cargo de ponerlas en prctica y el programa de mejoras finalmente pactado con estos actores. Las propuestas debern incluir plazos previstos y recursos necesarios. Plan de trabajo: Programacin de las actividades a llevar a cabo durante la fase de desarrollo del estudio de evaluacin, en la que se recogen las etapas a seguir, sus plazos y los productos a entregar como resultado de cada una de ellas. El Plan de trabajo surge de la negociacin y acuerdo entre los gestores de la evaluacin y los evaluadores sobre la base de los TdR y la propuesta tcnica. Planificacin: Proceso para identificar las necesidades y problemas de un territorio, colectivo o sector, establecer los objetivos a conseguir y determinar las actuaciones a emprender para provocar los cambios deseados. En algunos contextos se denomina planeamiento. Programa: Grupo de proyectos o servicios relacionados y dirigidos hacia el logro de objetivos especficos. Promotores de la evaluacin: Aquellos que generan la motivacin para evaluar o que deben dar cumplimiento a un mandato de evaluacin. Normalmente son los

Pgina 22 de 28

Glosario de trminos

responsables de su financiacin, aunque quien promueve la evaluacin no tiene que ser necesariamente quien gestiona o financia la intervencin. Propsitos de la evaluacin (motivaciones para evaluar): Razn o razones que motivan a los promotores de la evaluacin para impulsar su puesta en marcha. Pueden tener su origen en un mandato reglamentario o en otro tipo de motivaciones. A partir de ellos se define el objetivo general de la evaluacin. Proyecto: Nivel ms concreto de programacin o unidad mnima de planificacin. Intervencin planificada destinada a lograr ciertos objetivos especficos con un presupuesto dado y dentro de cierto perodo de tiempo.

Pgina 23 de 28

Glosario de trminos

R Racionalidad: Es el examen de las relaciones entre las necesidades y/o problemas detectados en el mbito espacial donde se ejecuta el programa (y para una poblacin objetivo determinada) con los objetivos establecidos para la mejora o solucin de dichos problemas. Implica el anlisis de la relevancia y pertinencia de un programa. Recomendacin administrativa: Traduccin de las recomendaciones de la evaluacin que realizan los gestores de la intervencin con el propsito de operativizarlas e incorporarlas, en su caso, en los procedimientos administrativos. La definicin de las recomendaciones administrativas supone un paso previo para la definicin de las acciones de mejora a emprender como consecuencia de la evaluacin, o el diseo de un Plan de mejora. Recomendaciones: Propuestas que hayan suscitado las conclusiones de la evaluacin con la finalidad de mejorar la calidad de la intervencin evaluada mediante la consolidacin de sus fortalezas y la reduccin de las debilidades. Las recomendaciones debern estar vinculadas a las conclusiones o deducirse claramente de ellas. Relevancia: Evaluacin del diagnstico plasmado en el programa, plan o poltica. Rendicin de cuentas: Obligacin de demostrar que se ha efectuado el trabajo cumpliendo con las reglas y normas acordadas o de declarar de manera precisa e imparcial los resultados obtenidos en comparacin con las funciones y/o planes encomendados. Resultado bruto: Es el resultado total medido en una evaluacin. Slo parte del mismo es el provocado por el programa evaluado. Resultado neto: Resultado de una intervencin una vez que las consecuencias provocadas por factores externos han sido eliminadas. Resultado: Efectos directos e inmediatos producidos por la ejecucin de una actuacin. Retroalimentacin: Transmisin de las constataciones (hallazgos) a las que lleg el proceso de evaluacin a aquellas partes para quienes son pertinentes y tiles con objeto de facilitar el aprendizaje. Puede abarcar la recopilacin y divulgacin de observaciones, conclusiones, recomendaciones y lecciones de la experiencia.

Pgina 24 de 28

Glosario de trminos

S Seguimiento: Proceso continuo y sistemtico de recoleccin de datos para verificar lo realizado y sus resultados, tanto en trminos fsicos como financieros. Ofrece informacin necesaria para mejorar la gestin y aplicacin de la intervencin e imprescindible para su evaluacin. Sinergia: Efecto producido por todas las actividades de un programa consideradas conjuntamente. Si es positiva el impacto del conjunto de actividades es mayor que la suma de los impactos de estas actividades consideradas de forma separada. Sistema de informacin: Conjunto de elementos que interactan entre s para generar y distribuir aquellos datos de utilidad que permitan optimizar los procedimientos de gestin y mejorar el control y la eficacia de la intervencin. Sostenibilidad: Probabilidad de que continen los beneficios de una intervencin en el largo plazo. Situacin en la que las ventajas netas son susceptibles de resistir los riesgos con el paso del tiempo. Supuestos: Hiptesis sobre los factores o riesgos que pueden afectar el avance o xito de una intervencin. Este trmino puede tambin aplicarse a las condiciones hipotticas que inciden en la validez de la evaluacin, por ejemplo, las caractersticas de la poblacin de la cual se extrae una muestra para una encuesta.

Pgina 25 de 28

Glosario de trminos

T Teora del cambio: Es un enfoque de evaluacin mediante el cual los actores implicados en un determinado proceso examinan los cambios que se esperan lograr, identifican los pasos clave para su desarrollo y los representan grficamente. Trminos de referencia: Documento escrito que presenta las decisiones tomadas para disear la evaluacin: el propsito y el alcance, los mtodos que se han de utilizar, la norma con la que se evaluarn los resultados o los anlisis que se han de realizar, los recursos y el tiempo asignado, y los requisitos de presentacin de informes. Constituyen la principal referencia para el equipo evaluador sobre la evaluacin que se pretende realizar. Triangulacin: Uso de tres o ms teoras, fuentes o tipos de informacin, o tipos de anlisis para verificar y sustentar una evaluacin. Al combinar mltiples fuentes de datos, mtodos, anlisis o teoras, los evaluadores procuran eliminar el sesgo que surge cuando se recurre a una sola fuente de informacin, a un solo mtodo, a un nico observador o a una teora nica.

Pgina 26 de 28

Glosario de trminos

U Utilidad de la evaluacin: Validez de los resultados de la evaluacin para que puedan ser aplicados por gestores, planificadores, decisores y la sociedad en general. Para garantizar la utilidad de la evaluacin es necesario que sta responda a las demandas planteadas por los actores implicados, que se despliegue una adecuada estrategia de comunicacin y que sus recomendaciones sean viables.

Pgina 27 de 28

Glosario de trminos

V Validez externa: Grado en el que el diseo de un estudio permite que los hallazgos se generalicen. Validez interna: Grado en el que el diseo y la ejecucin de un estudio permite hacer declaraciones definitivas de los resultados. Validez: Medida en que las estrategias y los instrumentos de recopilacin de datos miden lo que tienen por objeto medir. Variable dependiente: Variable o factor sobre el que influye causalmente otro, la variable independiente. Variable independiente: Variable o factor que influye causalmente sobre otro, la variable dependiente.

Pgina 28 de 28