tema_7_proceso_de_evaluacion_aspectos_metodologicos.pdf

TEMA 7:

EL PROCESO DE EVALUACIN: ASPECTOS METODOLGICOS

1. Aspectos previos a la evaluacin 2. Diseo de la evaluacin 3. Ejecucin de la evaluacin

1. ASPECTOS PREVIOS A LA EVALUACIN El proceso de realizacin de una evaluacin conlleva el tratamiento y resolucin

de dos cuestiones previas:

Las negociaciones preliminares entre los que encomiendan la evaluacin y el equipo que la

realizar

Respuesta premilitar a cuestiones que condicionarn el diseo de la investigacin evaluativa

1.1. LAS NEGOCIACIONES ENTRE LOS QUE ENCOMIENDAN LA EVALUACIN Y EL EQUIPO DE EVALUACIN

Realizar una investigacin evaluativa no es una cuestin puramente tcnica o metodolgica que pueda decidir un grupo de especialistas por s mismo. Prcticamente todas las investigaciones evaluativa son encargadas por alguien para algo. Esto supone negociaciones entre los que contratan la investigacin (futuros usuarios de sus resultados) y el equipo de investigacin que la realizar. Estas negociacionesI tienen como propsito principal especificar el tema concreto de evaluacin, compatibilizando lo que quiere la parte contratante con lo que el equipo tcnico indicar qu es posible hacer en las circunstancias concretas que permiten establecer qu se va a estudiar, para qu, cunto y con qu profundidad.

Esto supone ir explorando y esbozando el trabajo evaluativo, mediante una serie

de aproximaciones sucesivas que se deciden en negociaciones entre los que encargan la evaluacin y el equipo que la realizar. Esta fase es esencialmente delicada, por cuanto los intereses pueden ser contradictorios y, adems, pueden no aparecer nunca en la superficie los diferentes intereses y verdaderos objetivos.

La reflexin acerca de este aspecto: de quin parte la iniciativa de comenzar

una evaluacin? quin es el cliente o receptor de los resultados?, nos permitir situarnos en la perspectiva y expectativas de los solicitantes y, a su vez, contextualizarlos dentro del esquema organizativo de trabajo; de este modo podremos objetivar los intereses de cada uno de los agentes implicados ya que dependiendo de quin solicite la evaluacin ser ms pertinente incidir en unos aspectos y no en otros.

TEMA 7: EL PROCESO DE EVALUACIN: ASPECTOS METODOLGICOS

Prof. Ana Cano Ramrez. Curso 2005/06

- 2 -

1.2. RESPUESTA PRELIMINAR A CUESTIONES QUE CONDICIONARN EL DISEO DE LA INVESTIGACIN EVALUATIVA

Sobre la base de los acuerdos a que se ha llegado en las negociaciones previas en las que se establece el alcance de la investigacin, el equipo tcnico debe operacionalizar ese acuerdo en un diseo de investigacin.

Para ello, por un lado, el equipo deber intentar dar respuesta a: es previsible la aparicin de algn obstculo durante el proceso evaluativo?. Se tratara de determinar cualquier dificultad que pueda surgir y entorpecer la marcha del proceso. Los obstculos pueden ser de ndole econmica, de personal, de escasa participacin de los implicados, etc. En la medida de lo posible, habra que prever y generar alternativas de solucin estas posibles dificultadesII.

Por otro lado, lo que interesa de manera particular en este punto son los problemas que conciernen al diseo, que debe rematar con un anlisis de la viabilidad de la evaluacin. Las cuestiones principales a responder son las siguientes:

a. Cules son las necesidades de informacin y las posibilidades de

obtenerla? b. En qu medida puede ser asegurada la calidad y exactitud de los datos?,

cmo establecer la validez y fiabilidad de los mismos? c. Qu mtodo o mtodos utilizar en la investigacin?, qu

procedimientos tcnicos se consideran los ms adecuados? d. Qu grado de colaboracin se espera de parte de las personas que,

directa o indirectamente, estn involucradas en los resultados de la evaluacin?

e. En que medida es viable esta evaluacin? 2. DISEO DE LA EVALUACIN

Teniendo en cuenta el marco de negociaciones preliminares, la determinacin del tipo de evaluacin a realizar y las cuestiones previas que conciernen al diseo, se procede a su elaboracin. Como es sabido, el diseo de una evaluacin es el conjunto de operaciones que permite llevar adelante el proceso de investigacin. Se trata del esbozo, esquema, prototipo o modelo que indica el conjunto de decisiones, pasos y actividades a realizar para dar direccionalidad al curso o camino que se sigue en una investigacin.

Tratndose de una investigacin evaluativa, el diseo comporta entre otros- las

siguientes tareas fundamentales:

Formulacin del marco de referencia

Seleccin de la estrategia metodolgica y de los instrumentos y tcnicas de investigacin

Seleccin de variables y elaboracin de indicadores

2.1. MARCO DE REFERENCIA

Despus de las negociaciones preliminares que conducen a la delimitacin conceptual de los aspectos a estudiar y luego de plantearse y dar respuesta a las



- 3 -

cuestiones tcnicas concernientes al diseo de la evaluacin, queda la tarea de operacionalizar todo esto, para hacer posible la recopilacin, elaboracin anlisis e interpretaciones de los datos e informacin que implica realizar la investigacin evaluativa.

Para ello, la primera tarea a realizar es la formulacin del marco de referencia o

encuadre. Esto incluye dos aspectos:

A)) DETERMINAR EL PARA QU DE LA EVALUACIN: CUL ES EL OBJETIVO DE LA EVALUACIN?

De lo que se trata es de formular tcnicamente el objetivo de la investigacin evaluativa. Considerando los resultados y acuerdos de las negociaciones previas, de lo que se trata es de establecer, por parte del equipo responsable de realizar la investigacin, los objetivos de la misma, especificando en lo posible el grado y extensin en que dichos objetivos pueden ser logrados con el estudio evaluativo. B)) IDENTIFICAR Y DETERMINAR LOS ASPECTOS QUE SERN EVALUADOS: QU ES LO QUE SE VA A EVALUAR?

Esta fase del trabajo consiste en establecer con precisin los aspectos que sern objetivo de evaluacin. Se trata de formular las preguntas a las que se quiere responsa la investigacin evaluativa: qu elementos o componentes especficos del programa sern evaluados y, por tanto, qu tipo de evaluacin deber hacerse (vase tema Elementos para una definicin de evaluacin). 2.2. SELECCIN DE LA ESTRATEGIA METODOLGICA Y DE LOS PROCEDIMIENTOS

TCNICOS QUE SERN UTILIZADOS PARA LA RECOPILACIN DE DATOS

La cuestin ahora es: qu mtodos y qu procedimientos tcnicos se van a utilizar?. En cuanto a la seleccin de un mtodo u otro, sta suele estar influenciada, en buena medida, por el estilo u opciones metodolgicas que, a priori de la evaluacin a realizar, tiene el equipo. Hay profesionales que manifiestan una preferencia marcada, y casi excluyente, por los mtodos cuantitativos; otros, por el contrario, prefieren los mtodos cualitativos. Hoy, la mayora de los investigadores optan por formas mixtas, combinando diferentes procedimientos y tcnicas de ambos mtodos.

En cuanto a las tcnicas y procedimientos de recogida de datos e informacin, los

mtodos cualitativos suelen utilizar las siguientesIII: Entrevistas en profundidad Observacin Anlisis de contenido Estudio de casos Historias de vida Reuniones de grupo Tcnicas grupales de investigacin

IDENTIFICAR Y DETERMINAR LOS ASPECTOS QUE SERN EVALUADOS

DETERMINAR EL PARA QU DE LA EVALUACIN



- 4 -

Por su parte, los mtodos cuantitativos utilizan procedimientos que permiten medidas estandarizadas, con categoras predeterminadas, que facilitan la comparacin y anlisis estadstico, o permitiendo hacer presentaciones sumarias y generalizadas ms o menos precisas de los fenmenos que se estudian. Se vale de procedimientos tales como:

Entrevistas estructuradas Encuestas Anlisis estadstico Escalas de medicin de actitudes y opiniones Test

A modo de sntesis sobre este punto, diremos que la estrategia metodolgica y la

seleccin de tcnicas y procedimientos depende de seis circunstancias principales: (a) Naturaleza de la investigacin (b) Recursos disponibles (c) Aspectos a evaluar (d) Tipo de informacin existente y accesible (e) Grado de colaboracin (indiferencia o rechazo) que se presume tendr

la investigacin, sobre todo durante el trabajo de campo (f) Tiempo disponible para su realizacin

2.3. SELECCIN DE VARIABLES Y ELABORACIN DE INDICADORES

Muy relacionada con la seleccin de la estrategia metodolgica se encuentra la determinacin de variables e indicadores que permitirn efectuar las mediciones y recoger los datos en el trabajo de campoIV.

Generalmente, en las investigaciones evaluativas de programas socioeducativos,

los objetos de evaluacin o preguntas a que se quiere responder la evaluacin, suelen ser hechos, procesos, situaciones o conceptos complejos que no pueden captarse o medirse directamente. Si, adems, se pretende medir cuantitativamente y/o estadsticamente dicho objeto de evaluacin, es imprescindible transformar dichos objetos/conceptos en nmeros. De ah la necesidad de utilizar indicadores que permitan captar estadsticamente un fenmeno social que no se puede medir conceptualmente de forma directa. Ahora bien, por ms indicadores que se utilicen nunca se puede llegar a reflejar total y exhaustivamente todas las dimensiones de un concepto, el indicador es, sencillamente, una forma de aproximarnos al conocimiento de algo que no podemos captar directamente.

Al formar siempre parte de un concepto, los indicadores hacen referencia

necesariamente a un contexto especfico, por lo que no puede pretenderse la construccin de indicadores vlidos en cualquier programa o situacin. Segn la formulacin del concepto y de la operacionalizacin que hagamos del mismo, se elaborarn distintos indicadores. Por ejemplo, si queremos medir el grado de participacin de un grupo de personas en un servicio o programa, depender del concepto de participacin que formulemos (qu entendamos por participacin) los indicadores que se empleen en la medicin de estos procesos sociales:

Si por participacin entendemos solamente la asistencia a una actividad del programa o el uso de un servicio, entonces un indicador posible par medir la participacin podra ser el nmero absoluto de personas asistentes por un periodo de tiempo dado, o el promedio de asistentes por actividad realizada en un tiempo dado.



- 5 -

Ahora bien, si por participacin se entiende no slo la asistencia a una actividad sino tambin el grado de inters mostrado hacia la misma por parte de la gente, es obvio que los indicadores mencionados anteriormente no son vlidos, debindose incorporar a los mismos factores tales como: repeticin de asistencia a esas actividades e inters subjetivo manifestado por los participantes.

Si, por el contrario, se entiende la participacin como forma de tomar decisiones conjuntamente o de forma autogestionada, los indicadores ms tiles no sern los de la simple asistencia, y sern necesarios otros tales como: actividades propuestas en relacin a actividades realizadas por parte de los usuarios, o actividades realizadas por iniciativas de la gente, en comparacin con las realizadas por iniciativa de la organizacin responsable del servicio.

En definitiva, los indicadores son las medidas especficas (explcitas) y objetivamente verificables de los cambios o resultados de una actividad, y sirven de patrn para medir, evaluar o mostrar el progreso de una actividad, respecto a las metas establecidas.

Para finalizar, decir que la elaboracin y eleccin de indicadores est condicionada por la calidad y cantidad de datos disponibles, o susceptibles de obtener; lo que, a su vez, tambin depende de los recursos asignados para realizar la evaluacin y de las previsiones que sobre seguimiento y monitorizacin del programa se hayan efectuado en la planificacin o diseo del programa. En cualquier caso, la eleccin de los indicadores es compleja y debe darse prioridad a aquellos que tengan mayor valor operativo, ya sea por definicin de objetivos, o por su significacin acerca de los medios necesarios que hay que utilizar de cara a la accin En el anexo I presentamos un listado de las preguntas ms frecuentes que se pueden responder, sin que eso signifique que con la evaluacin deban responderse todas. En la prctica, una de las principales tareas que debe realizar el evaluador es seleccionar las preguntas a las que se quiere responder. 2.4. RECURSOS Y CALENDRIZACIN

Al igual que se hiciera en el diseo de la ejecucin, aqu tambin se trata de especificar los recursos necesarios para llevar a cabo la evaluacin y definir el calendario durante el que se efectuar.

3. EJECUCIN DE LA EVALUACIN 3.1. TRABAJO DE CAMPO: RECOPILACIN DE DATOS Y DE INFORMACIN

Supone la recoleccin de datos por parte de los evaluadores o colaboradores (personas que aplicarn el cuestionario, las entrevistas, el registro de observacin, el anlisis documental, etc.) dado que ya estn decididos el tipo de informacin, los instrumentos y las fuentes que se van a utilizar, solamente hemos de ocuparnos de determinados aspectos organizativos tales como planificar las actividades en el tiempo, formular las peticiones pertinentes tanto a los informantes como a los representantes institucionales, seleccionar a las personas que llevarn a cabo la recogida de datos, facilita entrenamiento a los colaboradores acerca de los protocolos que se han de seguir en la recoleccin de datos, realizar una prueba piloto, si fuera necesario, del instrumento elaborado, mantener entrevistas, hacer encuestas y registrar informacin en los documentos pertinentes.



- 6 -

3.2. ELABORACIN DE LA INFORMACIN

Una vez obtenida la informacin, es preciso ordenar, clasificar y agrupar los resultados, es decir, elaborarlos. La masa de datos disponibles es de poca utilidad si no se procede a una elaboracin de los mismos de acuerdo a los objetivos de la evaluacin. Se trata de procesar y sistematizar los datos, para poder obtener conclusiones vlidas. Adems, las tareas de elaboracin de los datos dependen del tipo de anlisis que se quiera hacer con los mismos. 3.3. ANALISIS E INTERPRETACIN DE LOS DATOS

Los datos en s mismos no nos proporcionan mucha informacin, de modo que necesitamos efectuar un proceso interpretativo que nos permita determinar cmo es la realidad estudiada y en qu medida responde a lo esperado.

El tipo de anlisis depender de la perspectiva de estudio cuantitativa o

cualitativa- que hayamos elegido. En el primer caso habremos de expresar de forma numrica la informacin obtenida o someterla a rigurosos tratamiento estadsticos para poder generalizar los datos, dado que se ha realizado un exhaustivo control de variables y procesos. En el segundo caso tendremos que centrarnos en la descripcin e interpretacin de los hechos en el contexto en que se producen. 3.4. DISCUSIN DE LOS RESULTADOS. ELABORACIN Y PRESENTACIN DE LOS

RESULTADOS. FORMULAR CONCLUSIONES Y RECOMENDACIONES. EL INFORME DE

EVALUACIN

Terminado el trabajo de anlisis, como es obvio, se llega a unas conclusiones. Sera un grave error presentar estas conclusiones como definitivas, ya que su carcter es ms bien preliminar. Por ello, es necesario facilitar la discusin de los resultados y ajustar lo que sea pertinente. A un equipo evaluador (sobre todo si es externo) se e pueden escapar muchos aspectos contingentes de la prctica y funcionamiento de la institucin, cuyo conocimiento puede suponer el reajuste de algunas conclusiones.

Es por ello que, antes de entregar los resultados de la investigacin evaluativa a

los destinatarios, hay que someter a discusin las conclusiones que se han formulado. Lo deseable es que todas las personas, que debido a su trabajo pueden estar afectadas por los resultados de la evaluacin, tengan la oportunidad de dar a conocer su opinin acerca de las primeras conclusiones.

Discutidas las conclusiones preliminares y recogidas las observaciones,

comentarios, crticas, aclaraciones, etc. se procede a la redaccin del informe final y las conclusiones, comunicando los resultados y recomendaciones. El proceso culmina con la plasmacin de los datos en un documento que d cuenta de los hallazgos encontrados y con su transmisin a los solicitantes de la evaluacin.

Algunas sugerencias prcticas sobre le informe final son:

Cmohacerlo: ante todo tener en cuenta que un lenguaje claro, sencillo y concreto es preferible a otros estilos. El informe debe tener un lenguaje preciso y comprensible, evitando lo esotrico de los iniciados en una disciplina o ciencia, y preciso. Debe centrarse en los resultados y



- 7 -

recomendaciones fundamentales. Un informe evaluativo que diga slo que el programa no ha producido los efectos esperados, no sirve de gran cosa. Hay que presentar observaciones concretar y recomendaciones tiles para ayudar a la toma de decisiones.

Cmoestructurarlo: un esquema que puede resultar til sera el que siga o se parezca al siguiente:

II. Sumario.III. Informacin concerniente al programa: origen, objetivos,

destinatarios, participantes, personal, caractersticasgenerales(materiales,actividades,aspectosadministrativos).

IV. Descripcindelestudioevaluativo: a) propuestasdeevaluacin,b) diseodelaevaluacin, c) resultadosdelasmedidas:instrumentos,datos, d) implementacindelasmedidas.

IV. Resultados:tantode la implementacindelestudiocomodelasmedicionesefectuadas.

V. Discusin de los resultados: resultados y efectos comprobados que son consecuencia del programa; resultados o efectos positivos.

VI. Costos y beneficios: mtodos de clculo empleados, costos monetarios y no monetarios asociados al programa.

VII. Conclusiones, recomendaciones y opciones: a) conclusiones, b) recomendaciones para la revisin del programa, c) recomendaciones concernientes a sucesivas evaluaciones.

Practicidadyfactibilidad de las conclusiones y recomendaciones finales. Las propuestas deben ser prcticas, es decir, fcilmente utilizables por los destinatarios de la evaluacin. Por su parte, la factibilidad de las recomendaciones hace referencia a la necesidad de que propongan modificaciones o correcciones realizables. No se trata de proponer lo ptimo, sino lo posible. Sin embargo, ello no obsta par que se presenten varias alternativas que van desde lo deseable (propuesta maximalista), pasando por lo probable y lo posible como el mnimo a realizar.

3.5. APLICACIN DE LOS RESULTADOS DE LA EVALUACIN

Una investigacin evolutiva se debe hacer para que sus resultados, conclusiones y recomendaciones sean aplicadas. Es decir, las conclusiones deberan traducirse, por parte de los directivos de la institucin, en decisiones relevantes (por ejemplo aprobar o rechazar un proyecto determinado) o en modificaciones en las actividades o el proceso que se est siguiendo en la aplicacin de un programa. En cualquier caso, son el punto de partida para analizar el trabajo desempeado y los logros conseguidos.



- 8 -

Proceso de la evaluacin

ASPECTOS PRELIMINARES

DISEO DE LA EVALUACIN

EJECUCIN DE LA EVALUACIN

1.1. Las negociaciones entre interesados y equipo evaluador

1.2. Cuestiones que condicionarn la investigacin evaluativa

2.1. Marco de referencia 2.2. Seleccin mitologa y

procedimientos tcnicos

2.3. Variables e indicadores

3.1. Trabajo de campo: recogida de datos

3.2. Elaboracin de la informacin 3.3. Anlisis e interpretacin 3.4. Discusin y formulacin de

conclusiones y recomendaciones. El informe de evaluacin

3.5. Aplicacin de los resultados



- 9 -

ANEXO I: PREGUNTAS A LAS QUE DEBE RESPONDER LA EVALUACIN

A) PREGUNTAS PARA LA EVALUACIN DEL DISEO Y CONCEPTUALIZACIN DEL PROGRAMA

A.1. EVALUACIN DEL ESTUDIO-INVESTIGACIN

Se defini y delimit claramente el objetivo de la investigacin de la situacin-problema que es origen del programa?

Desde qu marco terico-referencial se realiz el estudio? Fue adecuado el diseo de investigacin? Fue claramente delimitad la poblacin o universo a estudiar? Fueron adecuados los procedimientos de muestreo? Los instrumentos de investigacin fueron adecuados a lo que se quera

estudiar? Cmo se realiz el anlisis? fue apropiado para los objetivos de la

investigacin Las conclusiones son congruentes con los datos obtenidos?

A.2. EVALUACIN DEL DIAGNSTICO

Se ha establecido con claridad la naturaleza y magnitud de los problemas y necesidades?

Se ha establecido cul es el volumen del problema y dnde se encuentra? Se ha establecido claramente cul es el alcance del problema y la distribucin

de la poblacin-objetivo o potencialmente usuaria? Se ha realizado un propsito realista? Se encuentra adecuadamente conceptualizado el problema social? Se ha jerarquizado las necesidades y problemas? Se han tenido en cuenta los factores contextuales ms significativos que

actan como condicionantes para superar la situacin-problema que origina la necesidad del programa o intervencin concreta?

Se ha efectuado un anlisis de viabilidad poltica de las posibles intervenciones?

Se ha elaborado un inventario de recursos disponibles? Se ha establecido un perfil del usuario o beneficiario? Puede hacerse algo para resolver el problema? Funcionar un programa de intervencin determinado en condiciones

ptimas? Puede lograrse que un programa funcione en un contexto determinado?

A.3. EVALUACIN DEL DISEO DEL PROGRAMA

Est diseado el programa para lograr los objetivos propuestos? Subyace una base lgica en el programa? Ser eficiente un programa determinado? Y eficaz?



- 10 -

Cul es la relacin prevista entre costos y beneficios? Se han maximizado las posibilidades de que el programa llegue sin problemas

a los usuarios o beneficiarios potenciales? Existe coherencia entre el programa elaborado y los resultados del

diagnstico? Responde el programa a las necesidades y problemas detectados en el diagnstico?

Qu relacin tiene el programa con la poltica general de la institucin? Se han fijado objetivos y metas a corto, medio y largo plazo? Responden los objetivos y metas a las necesidades y problemas detectados? En qu medida lo programado ayudar a resolver, de una forma

significativita el problema o necesidad para cuya superacin se ha elaborado el programa?

Se han relacionado las actividades con los objetivos y las metas? Se las ha relacionado con la solucin de los problemas? El enunciado de las actividades est categorizado y estn conectadas entre s? se ha especificado un calendario de ejecucin? Se han previsto recursos suficientes, y en tiempo oportuno, para alcanzar los

objetivos y las metas propuestas? Existe correlacin entre la finalidad o impacto esperado, los objetivos y metas

propuestos y los productos que sern resultado inmediato de las actividades? Qu respaldo real tiene el programa por parte de los directivos polticos y

tcnicos de la institucin? Se ha realizado una adecuada estructura financiera y calendario financiero del

programa? Se han tenido en cuenta los factores externos o pre-requisitos de xito del

programa? stos son realistas? Son viables y factibles? Son completos? Se ha previsto una estructura de gestin del programa? Se han especificado en el diseo del programa los indicadores de evaluacin

de resultados y las fuentes y medios de comprobacin de dichos indicadores?

B) PREGUNTAS PARA LA EVOLUCIN DE LA INSTRUMENTALIZACIN Y

SEGUIMIENTO DEL PROGRAMA O EVALUACIN DEL PROCESO B.1. EVALUACIN DE LA COBERTURA

Llega el programa a la poblacin objeto del mismo? Llega realmente el programa al segmento o grupo de poblacin que se desea

que sea su destinatario? Cul es el grado de utilizacin de los servicios y el perfil del usuario? Existe infracobertura o sobrecobertura? Por qu? Existe conocimiento, accesibilidad y aceptacin del programa por parte de los

usuarios potenciales y reales? Cul es el grado de participacin de la gente en el programa?

B.2. EVALUACIN DE LA IMPLEMENTACIN Y SEGUIMIENTO

Se implementa el programa como estaba previsto en el diseo?



- 11 -

Se estn llevando a cabo los esfuerzos de intervencin en la forma indicada en el diseo del programa? Se realizan las actividades y tareas del modo previsto?

Se han realizado las tareas de preparacin y motivacin necesarias para crear un clima favorable a la implantacin del programa?

Cul es la disponibilidad real de recursos para la ejecucin e implementacin del programa?

Existe un adecuado sistema de control operacional sobre la marcha del programa?

Existe un adecuado sistema reinformacin para el seguimiento del programa? Cules son los costos de funcionamiento del programa? Se estn utilizando adecuadamente los recursos? Los procedimientos utilizados son acordes con los objetivos que se persiguen?

Facilitan la consecucin de los mismos? Los procedimientos utilizados son oportunos desde el punto de vista poltico,

econmico, social, cultural y/o institucional? El programa tienen una coordinacin adecuada dentro y fuera de la

organizacin?

B.3. EVALUACIN DEL RENDIMIENTO DEL PERSONAL

Cul es la aptitud y habilidad del personal en la aplicacin de tcnicas y procedimientos en las tareas y actividades propias de su trabajo?

Cules son las actitudes y motivaciones para realizar responsablemente el trabajo?

Lo que hacen los responsables de la direccin, los cuadros medios y los ejecutores del programa corresponde con lo establecido en el anlisis de puesto, manual de organizacin o manual de procedimientos?

La competencia profesional del personal del programa se ajusta a los estndares de calidad exigidos?

Cul es la capacidad que tienen el personal para organizar el trabajo y resolver problemas?

El personal posee los conocimientos y habilidades necesarias para el correcto desarrollo de las funciones a su cargo? Y las aptitudes?

El personal desarrolla sus funciones y actividades en los tiempos oportunos? Si emplea ms tiempo del necesario por qu?

Cul es el nivel de satisfaccin del personal del programa? Existen incentivos para el personal? De qu tipo y con qu efectos?

B.4. EVALUACIN DE LA ESTRUCTURA Y AMBIENTE ORGANIZACIONAL

La estructura organizativa de la institucin contribuye o perjudica el desarrollo del programa?

El estilo de direccin y los mecanismos de toma de decisiones son coherentes con los objetivos del programa? Son los ms adecuados para el logro de los objetivos previstos?

La naturaleza y contenido de las comunicaciones internas del programa se adaptan a las necesidades de gestin del mismo? Son excesivas o escasas?



- 12 -

Cul es el clima y nivel de satisfaccin existente en el seno de la organizacin? Qu relacin existe con el rendimiento del personal?

La organizacin de los recursos humanos, tcnicos y materiales es evacuada y til para la prestacin de servicios que se persigue?

Los sistemas de supervisin del personal son adecuados? Las modalidades de coordinacin permiten articular adecuadamente las

actividades de las diferentes personas implicadas en la realizacin del programa o en la prestacin del servicio?

C) PREGUNTAS PARA LA EVALUACIN DE LA EFICACIA Y EFICIENCIA DEL PROGRAMA O EVALUACIN DE RESULTADOS Y EFECTOS

C.1. EVALUACIN DE RESULTADOS O EVALUACIN DE LA EFICACIA DEL PROGRAMA

Es efectivo el programa en lo referente a la consecucin de los objetivos que se persiguen?

Cmo se ha modificado la situacin de los usuarios o beneficiarios con el programa?

Las acciones realizadas han sido tiles, beneficiosas o nocivas? Se pueden deber los resultados del programa a procesos alternativos exgenos

al mismo? Qu resultados o efectos no previstos han surgido como consecuencia de la

ejecucin del programa? Cul es la opinin de los usuarios y no usuarios acerca del programa? Cul es el nivel de implantacin del programa en el contexto social en que se

ejecuta? Hay un grado de aceptacin y participacin social aceptable? En qu ha cambiado la situacin-problema que dio origen al programa, como

consecuencia de su realizacin? C.2. EVALUACIN DE LA EFICIENCIA O EVALUACIN DE LA RENTABILIDAD

ECONMICA DEL PROGRAMA

Qu costos se proyectaron y qu costos se han producido realmente? Cules son los costos de que los servicios y beneficios del programa lleguen a

sus usuarios potenciales? Existe un uso eficiente de los recursos asignados al programa si se compara

con otros alternativos? Cul es la relacin existente entre los resultados finales y el esfuerzo realizado

en trminos de dinero, recursos y tiempo? Cul es la productividad o rendimiento del programa, o relacin entre insumos

y productos? Cul es la relacin del trabajo, el tiempo, la productividad y el costo del

programa? Cul es la relacin entre costos y resultados efectivos? Podran alcanzarse los mismos resultados de una manera ms econmica?



- 13 -

I Para ampliar informacin sobre la tcnica de la negociacin puede consultarse Cano, A. (2005): Tcnicas e instrumentos prcticos de Trabajo Social. Biblioteca Pblica. Las Palmas de Gran Canaria. II Daz Herriz, E. y Rodrguez Martn, V. (2002): La evaluacin en Servicios Sociales, en Fernndez Garca, T. y Ares Parra, A. (coords): Servicios Sociales: Direccin, gestin y planificacin. Ciencias Sociales Alianza Editorial. Madrid. III Para ampliar informacin sobre algunas de las tcnicas citadas, como por ejemplo: la observacin, los cuestionarios y las entrevistas, puede consultarse Cano, A. (2005): Tcnicas e instrumentos prcticos de Trabajo Social. Biblioteca Pblica. Las Palmas de Gran Canaria. IV Aguilar, M.J. y Ander Egg, E (1992): Evaluacin de servicios y programas sociales. Siglo XXI de Espaa S.A. Madrid.

tema_7_proceso_de_evaluacion_aspectos_metodologicos.pdf

Documents

Transcript of tema_7_proceso_de_evaluacion_aspectos_metodologicos.pdf