Post on 02-Apr-2020
La Evaluación de la Participación
PRESENTA
CONCEPCIÓN HERNÁNDEZ BATALLA
V Seminario "Pensamiento Sistémico y Análisis de Sistemas"
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
1. Planeación y Evaluación.2. Evaluación 3. Participación 4. La Participación y su Evaluación 5. Aplicación
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
Esquema conceptual Situación actual
Análisis histórico
Planteamiento de la problemática
Análisis de los problemas
actuales y potenciales
Escenario de
refrerencia
Expectativas
Evaluación
del sistema
Sistema de problemas;
causas y discrepancias
Evaluación e integración
Formulación de los problemas a solucionar
Elaboración del
estado deseado
Formulación
de objetivos
Construcción del
estado deseado
Generación de
alternativas y
estrategias
Evaluación de
alternativas y
selección
Plan: táctico,
estratégico,
prospectivo
Análisis de
contingencias
Rediseño de la
organización
Generación y Evaluación
de Alternativas
Integración del Plan
Documentación
del diagnóstico
Integración de
programas y
proyectos
Acciones
Desarrollo de la
solución
Restricciones impuestas Criterios y parámetros externos
Identificación de variables
Criterios de medición
Diseño de indicadores
Diseño de la
implementación
Integración de una
estructura de gestión
Sistema de
información
Evaluación del
sistema
Diseño de la implementación y control
SUBSISTEMA CONTROL
DE RESULTADOS
SUBSISTEMA DISEÑO
DE SOLUCIONES
SUBSISTEMA
DIAGNÓSTICO
SISTEMA DE LA
PLANEACIÓN
Estados de insatisfacción
Aprendizaje y
adaptación
Definición de la
problemática
Criterios y
parámetros
internos
Programación y
presupuestación
Gestión del cambio
Implantación de
acciones planeadasResultadosGabriel de las Nieves Sánchez Guerrero;
adaptación de Fuentes Z. A. y Sánchez G. G. N., 1987
1. Planeación y Evaluación
Diversos autores del campo de laevaluación reconocen a esta como partedel proceso de participación (SánchezGuerrero,1994)
Evaluación en función de la Planeación
Diagnóstica ex-ante ex-post
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
Edad de la Reforma.
Edad de la Eficiencia y la
experimentación.
Edad Tayleriana.
Edad de la Ignorancia.
1800-1900 1900-1930 1930-1945 1946-1957
Edad de la Expansión.
1958-1972
Edad de la Profesionalización.
1973-1990
Edad de la Convergencia.
1990-2010
2. Evaluación
Es una búsqueda de información que habrá de proporcionarse a quienes deban tomar decisiones (Cronbach, 1963)
Es la ciencia que proporciona información para la toma de decisiones (Stufflebeam, 2000)
Es un proceso participativo y creativo para la toma de decisiones (Patton, 2010)
Evaluación
Es una más de las derivaciones de
las Ciencias sociales aplicadas. Rebolloso (1987).
Es interdisciplinaria
porque ha emergido de
campos distintos. Alvira(1998) .
Es transdisciplinaria , presente en múltiples disciplinas como una
actividad común. Scriven (1994).
Es una multidisciplina
que proviene de muchos campos y
disciplinas. Perloff (1976).
Algunas de las conceptualizaciones actuales permiten comparar y clasificar diferentes evaluaciones o enfoques teóricos en función de su nivel de participación.
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
Objetivismo Subjetivismo. Pluralismo Transformativo
1ª Generación 2ª Generación 3ª Generación 4ª Generación 5ª Generación
Ensayos aleatorios.
Resultados eficaces
orientado a procesos .
Evaluación adaptativa,uso de juicios.
Enfocada a los involucrados , los enfoques participativos y al uso de combinación de métodos.
Teoría crítica, evaluación defensiva.
Scriven. Stake. Stufflebeam
Weiss Guba y Lincon Fetterman
Stake Greene Patton
Post- positivismo
Construccionismo
Positivismo
Trasformativa
Paradigmas de la evolución de la Evaluación (Vaca, 2013)
Evolución del enfoque de Evaluación
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
Forma Autor(es)
principal(es)
Función Control de toma de decisiones Selección para participación Profundidad de
participaciónEvaluación Participativa
Práctica (EP-P)
Cousins and Earl;
Ayers
Práctica: Apoyo a la toma de decisiones
del programa y la resolución de
problemas; utilización de la evaluación
Equilibrado: El evaluador y los
participantes en asociación
Los usuarios primarios: Los
patrocinadores del programa, gestores,
desarrolladores, implementadores
Amplia: La participación en todas
las fases de la evaluación
Evaluación Participativa
Transformativa (EP-T)
Tandon &
Fernandes; Fals-
Borda; Gaventa
Política: El empoderamiento, la
emancipación, la justicia social
Equilibrado: Asociación, toma de
decisiones definitiva por parte de los
participantes
Todos los grupos legítimos:
Especialmente los beneficiarios del
programa o proyecto
Amplia: La participación en todas
las fases de la evaluación
Evaluación de las partes
interesadas
Bryk; Mark &
Shotland
Práctica: utilización de Evaluación;
cierto énfasis en los aspectos políticos
de la evaluación
Evaluador: Coordinador de las
actividades y los aspectos técnicos de
la evaluación
Todos los grupos legítimos: la
representación es la clave para
contrarrestar los efectos nocivos de la
micro política del programa
Limitadas: Las partes interesadas
consultadas en las fases de
planificación y de interpretación
Evaluación Académica Nevo; Alvik Práctica: Apoyo a la toma de decisiones
del programa y la resolución de
problemas
Equilibrado: El evaluador capacita al
personal académico que hacen su
propia investigación
Los usuarios principales: personal
académico, en su mayoría los ejecutores
de programas
Amplia: La participación en todas
las fases de la evaluación
Evaluación Democrática MacDonald;
McTaggart
Política: Uso legítimo de la evaluación
en una sociedad pluralista
Equilibrado: El evaluador y los
participantes trabajan en
colaboración
Todos los grupos legítimos:
Representación ante los participantes es
fundamental
Moderado: Los interesados
controlan la interpretación y
presentación de informes
Evaluación del Desarrollo Patton Práctica: Utilización de la evaluación de
mejora del programa
Equilibrado: El evaluador y los
participantes trabajan en
colaboración
Los usuarios principales: Mayormente
desarrolladores e implementadores de
programas
Sustancial: implicación y
participación vigentes
Evaluación del
Empoderamiento
Fetterman Política: El empoderamiento, la
iluminación, la autodeterminación
Participantes: Control casi total,
facilitado por evaluador
Los usuarios principales: Normalmente
personal clave del programa; a veces los
grupos más amplios incluidos
Amplia: La participación en todas
las fases de la evaluación
Cullen (2011) comenta que la evaluación participativa ha sido conceptualizada, operacionalizada e implementada de diversas maneras yque su diversidad merece hacer una análisis de las diversas formas que incluyen a la participación.
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas" Evaluación enfocada a
la Utilización
Patton Práctico: la utilización de Evaluación Equilibrado: El evaluador y los
participantes en asociación
Los principales usuarios: los usuarios de
la evaluación previstos
Amplia: La participación en todas las
fases de la evaluación
Evaluación Responsiva
Stake Política / filosófica: Promover la
equidad y la justicia, que responda a las
preocupaciones de las partes
interesadas
Evaluador: Mantiene el control y la
autoridad
Usuarios primarios: Interesados locales
/ cercanos
Amplia: La participación en todas las
fases de la evaluación, en particular
en la identificación de problemas del
programa
Evaluación
Colaborativa
Rodriguez-
Campos
Práctica: Apoyo a la toma de decisiones
del programa, propiedad compartida,
aumento de la calidad
Equilibrado: Evaluador y miembros
de colaboración funcionan en
asociación
Las partes interesadas que poseen
"características esenciales" que busca
evaluador
Amplia: miembros de Colaboración
trabajan juntos en todas las fases de
la evaluación
Evaluación de Acción
Participativa
Whyte; Argyris &
Schon
Práctica / filosófica: Mejorar la práctica
y avanzar simultáneamente
Equilibrado: Investigador y
profesional como copartícipes en la
investigación
Usuarios primarios: Muy a menudo los
ejecutores de programas, aunque
pueden estar abiertos a los
beneficiarios y los demás
Amplia: La participación en todos los
aspectos de la investigación
Forma Autor(es) principal(es) Función Control de toma de decisiones Selección para participación Profundidad de participación
Investigación de
Acción Emancipadora
Carr and
Kemmis;
McTaggart
Política: Empoderamiento,
emancipación, mejora de
condiciones sociales
Practicante: Control exclusivo; el
investigador como una persona de
recursos
Sin especificar: Usualmente
los interesados que están
privados de sus derechos o de alguna
manera marginados por el sistema
Extensivo: Participación en todos los
aspectos de la investigación
Investigación
Cooperativa
Heron; Reason; Reason
& Heron
Filosófica: Conocimiento base de
investigación proposicional sobre las
personas en su conocimiento
experimental y práctico
Practicante: Los participantes son co-
investigadores y co-sujetos con
reciprocidad completa
Sin especificar: Usualmente
los participantes son miembros de un
grupo de investigación con todos los
problemas de inclusión,
influencia e intimidad
Extensivo: Participación en todos los
aspectos de la investigación
Evaluación Rural
Rápida
Chambers, Dart Práctica / Filosófica: Método efectivo en
costo para recolectar información de
gente local
Evaluador: Aunque los beneficiarios
participan en
la recopilación de datos, el evaluador
mantiene el control
Usuarios principales: Usualmente es
gente local y beneficiarios
Moderado: Participación
principalmente
limitada a la recopilación de datos
Evaluación Rural
Participativa
Chambers,
Townsley
Política / filosófica: Movimiento hacia
las preocupaciones de los "locales"
contra los "ajenos" en el proceso
desarrollo
Practicante: Los papeles de
investigador e investigado se
invierten
Sin especificar: Usualmente personas de
medio rural que no tienen voz
Extensivo: Los interesados participan
ampliamente en todos los aspectos
Evaluación de
Beneficiarios
World Bank Práctica / filosófica:
Al escuchar a las personas marginadas,
los administradores de programas
pueden tomar mejores decisiones
Evaluador Sin especificar: Le da voz a
pobres y a otros beneficiarios difíciles
de alcanzar
Moderado: El evaluador
invierte grandes cantidades de
tiempo en
conocer a los interesados y sus
problemas y preocupaciones
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas" 3. Participación
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
Sahagún (2007) indica que hay algunas cuestiones olvidadas en laparticipación que necesitan ser retomadas:
“La mayoría de las definiciones de participación, ya seaconceptuales u operativas, se refieren de alguna manera a la ideade compartir: Ser consultado por su supervisor (Vroom,1960),tener cierto grado de influencia en las decisiones (Ascigil y Ryan,2001), elaboración decisiones conjuntamente (Baloff y Doherty,1989), sintiendo que "todos estamos en el mismo barco" (Andersony West, 1998), asumir la responsabilidad sobre nuestra propiasituación en un colectivo forma (Montero, 1996), etcétera.”
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
Manipulación
Terapia
Informar
Consultar
Aplacamiento
Colaboración
Delegación de poder
Control ciudadano Grados de poder ciudadano
Grados de formulismo
No Participación
Sherry Arnstein (1969) La escalera de la Participación ciudadana
1
2
3
4
5
6
7
8
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
Actores
Objetos
Co
nte
xto
s
Procesos
Sen
tid
os
Algunas cuestiones olvidadas, Componentes de participación Sahagún (2007)
Flynn (1992) indica cuatro argumentos claves para apoyar lanoción de participación en la toma de decisiones, el diseño y laplaneación:
1. Ética. todo el mundo tiene el derecho de ordenar su propiodestino.
2. Conveniencia. Las personas que no están involucrados en latoma de decisiones pueden revocar o subvertir lasdecisiones tomadas por otros.
3. Conocimiento experto. Ciertas decisiones requierenconocimientos especializados y para asegurar que elconocimiento es ejercido sobre una decisión, los propiosexpertos debería participar en el proceso de toma dedecisiones.
4. Motivar a la fuerza . La participación en el proceso de tomade decisiones garantiza que la gente sea consciente de losmotivos de la decisiones.
Acercamiento a un Modelo de Participación
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
“…..hasta la fecha no existen normas uniformes, puntos de referencia, indicadores, métricas, o cuadros de mandos para
evaluar los esfuerzos de participación de interesados.” (Measuring Stakeholders, 2010)
Los retos de la Evaluación, Evaluación de la Participación y la Participación (elaboración propia)
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
Evaluar consiste en emitir juicios de valor sobre la calidad de algún objeto (programa, proceso, elemento, organización, persona, etc). El juicio de valor requiere de la existencia de criterios de valor.(Rebolloso, 2008 )
4. La Participación y su Evaluación
Churchman ha caracterizado la medición como una “actividad de toma dedecisiones diseñada para lograr un objetivo” en el cual “el medidor” se enfrentaráa los siguientes problemas:
1. El problema del lenguaje, que se deriva de la cuestión de cómo debenexpresarse los datos para comunicar resultados.
2. El problema de la especificación, que involucra la cuestión de qué datos utilizar,dependiendo del problema que maneje.
3. El problema de estandarización, que involucra la especificación de condicionesbajo las cuales se sostendrá la medición.
4. El problema de exactitud y control, que involucra la evaluación de desviacionesy el control de resultados en contextos diferentes, a través del monitoreo delsistema.
¿Qué es medición? La medición es la asignación de numerales (y números) para representar propiedades.
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
Participantes
RecursosObjetivos
Métodos y técnicas
Espacialidad
1. Elementos del Sistema de Evaluación de la Participación(Preliminar)
Personas
Proceso de Comunicación
Conocimiento
Medios de comunicación
2. Elementos del Sistema de Participación(Preliminar)
Sánchez (1994) escribe que para poder realizar el proceso de evaluación primero debemos comprender el sistema a evaluar así como sus fines .
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
La medición de la
Participación
Medir la Participación asociado a los motivos de los participantes (Humanistas)
Medir la participación por
análisis de datos y diseño de software.
Medir la participación por
análisis de contenido para un
modelo de negocio.
Medir la participación bajo
un enfoque de sistemas asociado a la participación
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas" 5.Aplicación
Foros
CorreosMensajeForos (virtuales)Teléfono*
Un foro se puede considerar unmicrocosmos, con normas, reglas defuncionamiento propias, en el que senegocian posiciones, estatus, funciones,etc. De ningún modo es un simplecontenedor de mensajes, una meraemergencia técnica, un concepto o elsimple telón de fondo de un juego derelaciones. Un foro virtual es unmicroambiente, un juego deacontecimientos que puntúan elnacimiento de fenómenos desociabilidad. Es, por decirlo en otraspalabras, un elemento básico de la vidasocial en los entornos virtuales
La condición mínima de apertura del foro es la participación
Participación es el efectototal que se genera alponerse en relación losmensajes, los textos, losemoticonos, el contexto, laaudiencia, los auditorios yla larga lista de elementosque forman estecompuesto
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
Medir la participación asociada al éxito en unforo de educación a distancia, fundamentado enun marco de sistemas .
Definición del objeto de estudio (elaboración propia)
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
Integrar una propuesta
metodológica para la medición ( criterios e
indicadores )
III. Identificación de variables,
criterios , atributos
métricas e indicadores
V. Medir la participación mediante sus
criterios y atributos
IV. Sensibilizar en Foros de
educación a distancia de la CUAED, UNAM
I. Esquema conceptual
II. Caracterizar el sistema de
participación
M.I. Concepción Hernández Batalla
V S
em
inari
o "
Pensam
iento
Sis
tém
ico y
Análisis
de S
iste
mas"
•Adcock, R., & Collier, D. (2001). Measurement validity: A shared standard for qualitative and quantitative research. [Review]. American Political Science Review,
95(3), 529-546.
•Cardozo, B. M. (2011). Teoría de las decisiones: Marco Teórico-Conceptual (Primera ed.). México D.F.: Impresora cometa.•Carter, J. (1994). Evaluation Thesaurus (4th ed.): by Michael Scriven. Newbury Park: Sage Publications, 1991, 391 pp. [doi: 10.1016/0886-1633(94)90071-X].
Evaluation Practice, 15(1), 109-110.
•Cousins, J. B., & Earl, L. M. (1992). The Case for Participatory Evaluation. Educational Evaluation and Policy Analysis, 14(4), 397-418.
•Cullen, A. (2009). The politics and consequences of stakeholder participation in international development evaluation. Western Michigan University). ProQuest
Dissertations and Theses.
•Daigneault, P.-M., Jacob, S., & Tremblay, J. (2012). Measuring Stakeholder Participation in Evaluation: An Empirical Validation of the Participatory Evaluation
Measurement Instrument (PEMI). Evaluation Review, 36(4), 243-271.
•Flynn, D. J. (1992) Information Systems Requirements: Determination and Analysis.London: McGraw-Hill.
•Freeman, P. H. R. H. E. (1990). Evaluation, A Systematic Approach (Fourth Edition ed.). California, United States of America.
•Gregory, A. (2000). Problematizing Participation: A Critical Review of Approaches to Participation in Evaluation Theory. Evaluation, 6(2), 179-199.
•Guerrero, G. d. l. N. S. (1994). Evaluación de Programas Sociales Enfoque a programas académicos universitarios. Universidad Nacional Autónoma de México,México D.F.•Guba, Y. S. L. a. E. G. (1989). Fourth generation evaluation. United States of America.
•Hart, R.A. (1993). La participación de los niños: de una participación simbólica a una participación auténtica, en Ensayos Innocenti nº4. UNICEF.•Janda, L.H. (1998). Pscychological testing: Theory and applications. Boston, MA: Allyn & Bacon.
•Laughlin, R., & Broadbent, J. (1996). Redesigning Fourth generation Evaluation: An Evaluation Model for the Public-sector Reforms in the UK? Evaluation,
2(4), 431-451.
•Madaus, G. F. (1989). Evaluation Models. In E. a. M. S. Scriven (Ed.) (eighth ed., pp. 423). United States of America.
•Patton, M. Q. (1990). Qualitative Evaluation and Research Methods (2a ed.). California.
•Rebien, C. C. (1996) Participatory Evaluation of Development Assistance: Dealing with Power and Facilitative Learning, Evaluation 2(2): 151–72.
Algunas Referencias