Investigación Evaluativa
-
Upload
bettys-arenas-de-ruiz -
Category
Documents
-
view
1.384 -
download
4
description
Transcript of Investigación Evaluativa
Fundación para la Actualización Tecnológica de LatinoaméricaPrograma de Expertos en Procesos ElearningMódulo 5 - Metodología PACIE - Capacitación
LECTURA OPCIONAL
INVESTIGACIÓN EVALUATIVA: UNA OPCIÓN PARA EVALUAR CON PERTINENCIA SOCIAL
Grupo Innov@doras en Alfabetización Digital
“Capacitación digital al docente del siglo XXI en su nuevo rol”
Lic. Bettys Arenas de Ruiz
INTRODUCCIÓN
El modelo de sociedad actual se caracteriza por su apego al conocimiento que se
acumula y se produce en un orden que sorprende y enfrenta al hombre a una nueva
realidad, la misma cada día es más diferenciada en lo político, en lo cultural, educativo
y hasta en lo social propiamente dicho. Se vive una transición “de las economías
industriales a las economías fundadas en el saber” (Avalos Gutiérrez, 2009) para
significar que más que depender del capital o de los recursos naturales, hoy se enfatiza
el uso de la información y conocimientos en cualquier actividad productiva. Esto
significa el desplazamiento del centro de la economía hacia la comercialización del
conocimiento e informaciones y el surgimiento de la propiedad intelectual como
elementos claves de la economía globalizada, lo cual marca la importancia de las
organizaciones que ofrecen servicios, como por ejemplo la universidad que genera y
valida el conocimiento por parte de las comunidades científicas y como parte de su
intervención en los entornos virtuales. La realidad de la universidad en este contexto
enfrenta “serias y continuas limitaciones para poder modificar rápida y profundamente
sus modelos, estructuras y procedimientos obsoletos con la finalidad de responder
funcional y oportunamente a las nuevas y exigentes demandas de la economía
comercializadora del conocimiento” (Casas Armengol, p.2, 2005).
Al considerar la universidad como institución decisiva para la sociedad del
conocimiento, resulta necesario que la misma sea repensada para impulsar los
cambios y la incertidumbre presente con nuevas concepciones, procesos y funciones.
Se trata de que asuma que “este siglo está llamado a ser el siglo de la incertidumbre y
de la interdisciplinariedad” (op cit) donde la evaluación constituirá un proceso esencial
para direccionar el desarrollo, transformación y actualización de la institución
universitaria. Esta premisa es aceptada en tanto la pertinencia social constituya el
propósito que orienta el camino de la transformación universitaria. En 1998, Vessuri,
en la Comisión de la Conferencia Mundial sobre la Educación Superior en Paris, afirmó
que la pertinencia sería un factor clave de la educación superior en el siglo XXI cuando
señala:
El término pertinencia ha sido utilizado para referirse a la coincidencia entre lo que las instituciones de educación superior hacen y lo que la
2
sociedad espera de ellas. Se refiere especialmente al papel y el lugar de la educación superior en la sociedad, pero también comprende el acceso y la participación, la enseñanza y el aprendizaje, la función de la universidad como centro de investigación, la responsabilidad de la educación superior con otros sectores de la sociedad, el mundo laboral y la función de servicio de la educación superior en la comunidad. No menos importante es la participación de la educación superior en la búsqueda de soluciones a los problemas humanos urgentes, como la población, el medio ambiente, la paz y el entendimiento internacional, así como la democracia y los derechos humanos (citado por Casas Armengol, 2005, p.3).
Este concepto de pertinencia social está vinculado con el de calidad, la cual según
la UNESCO está referida a la “adecuación del ser y quehacer de la educación superior a
su deber ser” (1997). Como puede notarse la calidad, que tiene muchos significados,
en este caso se orienta hacia “la idoneidad con los fines, lo que enfatiza que los fines
institucionales quedan definidos dentro del marco de los objetivos y principios”
(Woodhouse, 2002). Acorde con esta concepción, si se logran los objetivos y se
instrumentan los principios, es posible asegurar que se alcanza la calidad en la
universidad y en la colectividad.
Acorde con las líneas anteriores, se puede señalar que la principal contribución
de este artículo es el planteamiento de la necesidad que tienen las universidades de
asumir la evaluación como una función inherente a su propia concepción y estructura,
capaz de garantizar la calidad y la pertinencia social en este contexto de incertidumbre
y de exigencias cambiantes para satisfacer a la sociedad de conocimiento. La
evaluación se orienta en el campo de la investigación evaluativa que puede convertirse
en el proceso clave que modela, con la aplicación de los métodos de investigación, la
valoración de los programas, funciones, procesos, planes e instituciones a fin de
disponer de información útil y oportuna en la toma de decisiones que facilite ajustar
de forma constante, sistemática e integral su funcionamiento, proyección e impacto.
LA EVALUACIÓN COMO DISCIPLINA
Se puede decir que la evaluación como disciplina con un desarrollo teórico y
metodológico sistemático se inicia en las primeras décadas del siglo XX, y desde su
3
orígen se concibe en un contexto de cambio social, toda vez que sus resultados
plantean y encierran en su esencia, la noción de ajuste, de modificación, de
transformación, en definitiva de cambio. Esta consideración expresa desde su
principio, su contenido político, no neutral el cual debe conducir a la toma de
decisiones inteligentes. En general, se puede señalar que la evaluación se identificó
originariamente con la evaluación de programas y como tal fue generalizado su uso
con esta denominación. En el momento actual se conoce más comúnmente como
investigación evaluativa, la cual es definida por Escudero como:
Un tipo de investigación aplicada, que estudia objetos sociales, programas, centros, agentes, organizaciones, intervenciones para analizar y juzgar su concepción y calidad de acuerdo con criterios científicos, rigurosos y múltiples con el propósito de plantear, a las diversas audiencias implicadas, acciones sobre los mismos para diferentes fines, tales como utilización, mejoras, optimización, acreditación, fiscalización, reforma, reajustes, entre otros (2006, p.184).
La investigación evaluativa, según Gubbins (2007, p. 2), también está sometida a
las tensiones propias que la ciencia sufre en la actualidad:
D I L E M A S
Objetividad y medición cuantitativa de los resultados
EVAL
UAC
ION
Subjetividad de los participantes con sentido dialéctico
Medición de diferencias individuales
Evaluación como proceso sistémico y holístico
Disciplina consolidada en su concepción teórica
Disciplina para activar la prescripción con modelos
Participantes de la evaluación como clientes
Sujetos de la evaluación como implicados
Figura 1. Dilemas de la Disciplina Evaluativa
4
Estos dilemas muestran que la evaluación como disciplina en pleno desarrollo
también “vive” las controversias de la ciencia en general tanto en su concepción como
en su estructura metodológica. Por una parte, se enfrenta a un paradigma científico
propio de los siglos XIX y XX con su reduccionismo y linealidad y por la otra, visualiza
un nuevo enfoque que desde principio del siglo XX, orienta a la ciencia hacia un marco
más integral, sistémico y holístico para considerar la multiplicidad de factores en el
estudio riguroso de cualquier hecho social.
En todo caso a fin de consolidar teórica y metodológicamente la investigación
evaluativa, el estudioso requiere precisar, de manera clara y objetiva, el marco de
referencia para: (a) la especificación de una situación u objeto de evaluación; (b) el
establecimiento de los propósitos o de la intención de la evaluación; (c) la explicación
acerca de los criterios de evaluación; (d) la definición de la audiencia, el tipo de
información requerida, el momento y lugar para su recolección; (e) la selección de
técnicas, procedimientos e instrumentos de recolección y análisis de la información; y
(f) la formulación de los planes de intervención o de mejoramiento. Vale destacar que
la concepción y el énfasis en estos elementos han variado en la evolución de la
disciplina evaluativa acorde con los diferentes momentos que registra su desarrollo
histórico.
EVOLUCIÓN Y DESARROLLO
El campo de la evaluación de programas ha tenido, desde los años 60, un
crecimiento incesante y complejo. Ello permite afirmar que en el mismo, también, se
vive la controversia actual de los enfoques paradigmáticos que caracterizan el debate
planteado en el pensamiento científico, la ciencia o el método experimental (Arenas y
Torres, 1998, p. 15).
Este crecimiento de la evaluación en general ha estado unido al desarrollo de
factores económicos, educativos y administrativos de cada país. Así se ha percibido en
los períodos históricos señalados por Madaus, Scriven y Stufflebeam (1983) para
explicar el perfil del desarrollo de la evaluación en el tiempo. Esos períodos son
5
referidos como: (a) Edad de la Reforma (1800-1900), (b) Edad de la Eficiencia y Prueba
(1900-1930), (c) Edad Tyleriana (1930-1945), (d) Edad de la Inocencia (1946-1957), (e)
Edad de la Expansión (1958-1972) y (f) Edad de la Profesionalización (1973- hasta el
presente).
En el cuadro 1 se hace una sinopsis del desarrollo de la evaluación según las
edades indicadas.
Cuadro 1
Sinopsis de la Evolución del Proceso de Evaluación
DenominaciónPeríodo
Características de la Evaluación Enfoque de la Evaluación
Algunos Re-presentantes
Edad de la Reforma
1800-1900
Se asignan recursos a las instituciones de acuerdo con los resultados alcanzados.
Evaluación con el apoyo de comisiones especiales nombradas por los gobernantes.
Aparece el inspector que evalúa.
Asociaciones y juicios de expertos para evaluar y acreditar
Samuel HoweHorace MannJoseph Rice
Edad de la Eficiencia y Prueba
1900-1930
Sistematización y estandarización para medir objetivos instruccionales o sociales.
Indicadores cuantitativos (promedio de alumnos aprobados o reprobados, efectividad docente, institucional, índices de inteligencia).
Medición y cuantificación: empleo de tests ya estandarizados
George Strayer
Edad Tyleriana1930-1945
Evaluar los programas a partir de los objetivos.
Énfasis en objetivos conductuales.
Evaluación centrada en los resultados.
Tecnologización de la evaluación y la educación.
Objetivos planificados vs objetivos logrados (linealidad)
Ralph Tyler
Edad de la
Énfasis en el estudio y desarrollo de instrumentos de evaluación, taxonomías de
El uso de experimentos y estadísticos Lindquist,
6
Inocencia1946-1957
objetivos, de modelos experimentales y de procedimientos estadísticos como producción teórica no como interpretación de la realidad.
(cuantitavidad) Campbell, Tyler
Edad de la Expansión1958-1972
Nacimiento del evaluador como una nueva profesión.
Evaluación de metas, inversiones, prestación del servicio, planes de perfeccionamiento, utilidad del programa, ética del evaluador.
Vinculación entre la evaluación y el curriculum.
Juicio de expertos o profesionales
Toma de decisiones
Concebida como proceso
Cook, Hammond,Eisner, Metfessel,Michael, Stake, Scriven, Stufflebeam,Popham, Provus
Edad del Profesionalismo1973-presente
Estudios sobre evaluación y su teoría.
Sistematización de la metaevaluación.
Debate entre los enfoques positivista/cuantitativo y fenomenológico/cualitativo.
Toma de decisiones.
Proceso Explicación y
comprehen- sión de los
hechos
Scriven, Madaus,Stufflebeam, Guba,Lincoln,Parlet, Hamilton
Fuente: Arenas/Torres, 1998
A partir de esta sinopsis, se presentan las tendencias fundamentales que han
caracterizado el campo de la evaluación en el contexto norteamericano, las cuales se
han extendido también a las escuelas de los países latinoamericanos. Las mismas son:
1. La evaluación vista como medición y cuantificación de los resultados de una
escuela, curriculum o programa.
2. La evaluación de los objetivos logrados en comparación con los planificados.
3. La evaluación como punto de partida para la toma de decisiones.
4. La evaluación de procesos que contextualiza el hecho o situación evaluada.
5. La evaluación como explicación y comprehensión de los hechos.
Las tendencias reflejan cómo la noción de evaluación ha recorrido un camino
que conduce a diferentes vías. En primer lugar, lleva a una interpretación limitada y
parcelada de la escuela, del programa o del proceso evaluado, la cual apoya su sentido
7
científico en la aplicación de los tests estandarizados y acepta interpretar un hecho o
situación a partir de un número.
En segundo lugar, conduce a una concepción de linealidad supuesta entre lo
que se planifica y lo que se logra para conocer la efectividad del objeto evaluado
(Tyler, 1930).
Esta concepción pareciera que trasladara a la escuela la noción de cuantificar los
resultados o logros a partir de los estándares previamente acordados, lo cual es una
característica del campo empresarial. Se enfatiza en los resultados alcanzados en los
exámenes o en las actividades desarrolladas y se obvia el contexto o los procesos
implicados en la consecución de los objetivos.
En tercer lugar, refiere a una consideración de la evaluación como un proceso
que ofrece información útil para la toma de decisiones y da un sentido pragmático a la
recolección de información, que debe ser pertinente para el equipo gerencial
responsable de la toma de decisiones (dicho equipo es diferente al equipo evaluador).
En esta tendencia se pierde o no se considera información que pudiera ser importante
para explicar o interpretar el hecho evaluado.
En cuarto lugar, lleva a una concepción de la evaluación de procesos, la cual
considera necesario estudiar el contexto, las condiciones y los elementos involucrados
en la situación evaluada con el propósito de hacer los reajustes y las modificaciones
requeridas para el logro de los objetivos y metas. Esta idea es fortalecida por el
concepto de la evaluación formativa de Scriven (desde 1967), la cual debe desarrollar
acciones evaluativas de forma continua y permanente. Según esta concepción se
atiende tanto a los aspectos cuantitativos como a los cualitativos implicados en el
proceso. La autoevaluación es una de las opciones consideradas en esta tendencia, la
cual constituye, también una forma de proporcionar y controlar información útil para
la acertada toma de decisiones en relación con el objeto evaluado.
8
En quinto y último lugar, esta tendencia lleva una explicación de la teoría y praxis
de la evaluación en un plano comprehensivo que permite conocer el hecho o situación
estudiada. De acuerdo con este enfoque, en la evaluación no basta explicar el hecho,
no es suficiente determinar la causalidad del mismo (paradigma tradicional), sino que
es necesario entender la totalidad del fenómeno o del hecho, de aquí que la
comprehensión del mismo, permita la visión holística (paradigma fenomenológico) que
facilita entender la actuación del sujeto a la luz de su contexto histórico. Así señala
Díaz (1987) “la función de la evaluación debe tender a una comprehensión de los
procesos internos que se dan en el ámbito educativo (aprendizaje, docente,
curriculum) desde su inserción histórica” (p. 13). Esto también es enfatizado por Stake
(1978) cuando señala:
La primera responsabilidad del evaluador debe ser ofrecer al cliente un retrato comprehensivo del programa... Nosotros necesitamos retratar esa complejidad. Nosotros necesitamos comunicar una impresión holística, el modo, aún el misterio de la experiencia... Tales estilos no son probablemente los que usa el especialista en mediciones o los que planifica teóricamente el científico social (citado por Cronbach, 1982, p. 26).
En el caso particular de la investigación evaluativa se considera que la
orientación de la evaluación debe fundamentarse en la noción de proceso, porque el
desarrollo de un programa implica una serie de elementos y condiciones que se
desenvuelven en una situación y momento determinado donde no es importante sólo
la cantidad de objetivos logrados, sino que también se exige el estudio de la calidad, de
las fortalezas y debilidades que caracterizan el proceso evaluado en todos sus
momentos (inicio, desarrollo, cierre).
TIPOS DE EVALUACIONES
En el desarrollo de la disciplina evaluativa se tiene un continium que según
Stufflebeam ha pasado por tres diferentes modos de conceptualizar la aplicación de la
evaluación; uno denominado como pseudoevaluación para referirse a aquellos
estudios controlados “políticamente” para garantizar resultados que permitan
“mantener o incrementar una esfera de influencia, poder o dinero” (Stufflebeam,
9
1987, p. 68). También se consideran en este tipo de evaluación, aquellos estudios de
relaciones públicas planificado para obtener resultados positivos que aseguren la
creación de imágenes sea de instituciones, programas, planes, proyectos, entre otros.
Un segundo tipo de estudio son las cuasievaluaciones, señaladas por Stufflebeam
como aquellos donde “existe la evidencia de que a veces pueden ser utilizados para
enjuiciar el valor o el mérito de un objeto, mientras que en otros casos su alcance es
demasiado estrecho o solo tangencial a las cuestiones del mérito y el valor” (1987 p.
70). Un ejemplo de estas cuasievaluaciones lo representa el enfoque de evaluar por
objetivos (que no aborda el estudio de programas, de la escuela o del curriculum, de
manera integral, holística y solo se queda en la categoría de lo que se quiere lograr, sin
tomar en cuenta el qué?, el cómo?, el por qué?, es decir, el contexto y el momento
histórico). Ralph Tyler, Bloom, Metfessel y Michael, Popham, Provus orientaron sus
estudios en función de los objetivos. Otro ejemplo se tiene en los estudios basados en
la experimentación, los cuales por su naturaleza no consideran en su metodología,
elementos relacionados con el juicio de valores. Siguiendo a Stufflebeam (1987) entre
los pioneros de este tipo de estudio se tiene a Campbell y Stanley, Suchman, Cronbach
y Snow y Maguire. Otros estudios son los de comprobación de los resultados de un
programa, los sistemas de información administrativa y los estudios de
responsabilidad. Conviene destacar que la ubicación de estos estudios como
cuasiexperimentales, es porque dada su naturaleza metodológica, en su desarrollo y
resultados, hay ausencia del juicio de valores, lo cual debe ser inherente a la
evaluación como disciplina y consecuentemente debe estar presente también, en la
investigación evaluativa. Es decir, constituye una condición indispensable que en el
acto de evaluar se cuenten con juicios y valores.
El tercer tipo de evaluación, es el llamado verdaderas evaluaciones, constituidos por
modelos que, en general, evitan la tendenciosidad o la ausencia de cuestiones de valor
y mérito en palabras de Stufflebeam. En este caso se tienen cuatro tipo de estudios,
centrados en: (a) la decisión; (b) en el cliente; (c) en la política; y (d) en el consumidor,
los mismos se muestran a continuación:
10
MODELOS DE EVALUACIÓN
Figura 2. Modelos de Evaluación
11
A continuación se presenta un breve resumen del modelo evaluativo CIPP.
MODELO CIPP
El modelo de Evaluación Contexto-Insumo-Proceso-Producto (CIPP) propuesto
por Stufflebeam en 1971 establece que la evaluación provee información útil para
juzgar decisiones alternativas. Arenas y Torres (1998) plantean en este resumen, que
su autor se fundamenta en el enfoque sistémico, el cual permite desarrollar de forma
constante la realimentación en cada una de las fases del proceso evaluativo. Esta
interacción entre los elementos del curriculum facilita el reajuste permanente para
que cada elemento funcione congruentemente con los fines de la Universidad,
también facilita concretar el proceso de evaluación en cada una de las fases de un
sistema (entrada, proceso y producto) con cualquier elemento del curriculum.
En este modelo, la evaluación es vista como un proceso para delinear y proveer
información útil para la toma de decisiones; de esta manera es posible detectar las
debilidades y fortalezas del programa con el fin de buscar su mejoramiento
permanente.
La aplicación del modelo de evaluación de Stufflebeam (CIPP), permite centrar el
énfasis de la evaluación en la identificación, recolección y análisis de la información
relativa a un programa o a una carrera con el doble propósito de conocer la
estructura, el funcionamiento, el desempeño del personal, los resultados e impactos
del mismo en el contexto socio-profesional y de valorar su utilidad para la formación
del capital humano que se requieran pertinentemente en la institución o en la región.
Con esta información se espera que los equipos gerenciales dispongan de elementos
para orientar la toma de decisiones en los diferentes niveles involucrados.
En este proceso de toma de decisiones, el equipo evaluador tendrá la
responsabilidad de fundamentar cada juicio emitido con el objeto de especificar la
12
Estudios orientados de la decisión
información y orientar dicho proceso. En atención a esta premisa, es conveniente
considerar tanto datos cuantitativos como datos cualitativos.
El modelo CIPP se enmarca en la teoría sistémica al plantear cuatro tipos de
decisiones que se toman a partir de cuatro tipos de evaluaciones: (a) del contexto; (b)
de los insumos; (c) del proceso; y (d) de los productos de un programa o del
curriculum. Estas fases se relacionan, a su vez, con los momentos de entrada, proceso
y salida de un sistema (Stufflebeam, 1987).
Las fases del desarrollo del curriculum (planificación, instrumentación, ejecución
y evaluación) se corresponden con as evaluaciones que plantea el modelo de
Stufflebeam: contexto, insumo, proceso y producto. Cada una puede ser realizada de
manera independiente porque el efecto de la realimentación, propio del enfoque
sistémico, siempre permitirá que se vinculen entre sí las decisiones formuladas para
cada función del curriculum o del programa en cuestión.
Cada fase del modelo tiene sus propios propósitos, estrategias de recolección y
análisis de la información, lo cual le permite gozar de las características de la
versatilidad, de la flexibilidad y del sentido de independencia que tiene el modelo, las
cuales constituyen razones muy valederas para asegurar su empleo en la evaluación
de programa (Ver gráfico 1).
13
Gráfico 1. El Modelo CIPP
También se indica el sentido de cada de evaluación en el modelo CIPP:
La evaluación del contexto tiene que ver con el estudio de los argumentos que
justifican el programa o el curriculum. Considera las necesidades y objetivos que puede
cumplir y asume el análisis crítico de las oportunidades y amenazas que podrían
afectar el programa. Las decisiones que se asumen en esta fase pueden asegurar la
supervivencia del programa o su gradual eliminación. Permite que el planificador o el
evaluador anticipen la direccionalidad de los cambios que debe asumir el programa o
curriculum.
La evaluación de insumos contempla una atención detallada a los recursos de
diferente naturaleza que están considerados en el programa o curriculum. Permite
asumir decisiones en cuanto al uso, tipo, organización y adecuación de los recursos
para alcanzar las metas del programa. De la eficiencia de estas decisiones depende en
gran parte que el programa sea exitoso o no. En esta fase se explica y valora la
importancia de los insumos para mejorar el programa.
La evaluación de proceso permite identificar y valorar el desempeño de los
recursos humanos y la adecuación o no de los recursos materiales en la ejecución del
proceso o en la acción del programa. Asume también aspectos de orden afectivo y
14
cognitivo que están presentes en la puesta en marcha de un programa y tienen una
importancia capital para el logro de los objetivos del mismo. Estas decisiones permiten
reconducir y hacer ajustes en la ejecución del programa.
La evaluación del producto permite medir y valorar los resultados del programa,
así como también interpretar y juzgar la trascendencia del impacto del programa o del
curriculum. Considera la variable del tiempo en las decisiones que se asuman en esta
fase. Relaciona los logros con las necesidades que se analizaron en el contexto para
determinar si fueron satisfechos o no, o para incorporar las modificaciones y ajustes
necesarios en las fases precedentes de la evaluación.
El elemento vinculante entre las fases lo constituye la función de realimentación
que permite la interacción entre los componentes, estrategias y actividades que se
ejecutan en cada evaluación. La realimentación entre las fases constituye, en la
mayoría de los casos, una vía importante para obtener información acerca de la
efectividad del programa. Esta función facilita determinar el estado actual de los
elementos y recursos del programa, conocer la opinión de los participantes en el
mismo en cuanto a si están satisfechos y evaluar la calidad de la información
recopilada para hacer los reajustes que demande cada situación estudiada. En suma, la
realimentación facilita la metaevaluación de las decisiones asumidas con el contexto,
insumo, proceso y producto.
Estas consideraciones sirven de base para caracterizar la investigación evaluativa
según este modelo de la siguiente manera:
Los procedimientos e instrumentos de recolección de datos se diseñan
atendiendo a las características de los sujetos del estudio (por ejemplo
estudiantes, docentes, gerentes).
El análisis debe considerar tanto la información de carácter cuantitativo como
de carácter cualitativo.
Los resultados se deben analizar considerando todas las fuentes de
información.
15
Los juicios de valor presentados en las conclusiones se deben fundamentar en
los datos obtenidos y en los supuestos teóricos establecidos.
Los resultados que se presentan siempre corresponderán con un determinado
momento del programa o del curriculum y la credibilidad de los mismos se
concreta a un espacio y tiempo delimitado.
MODELOS DE EVALUACION
En esta última parte del trabajo se presenta un resumen acerca de los modelos
de evaluación que se comienzan utilizar en los entornos virtuales de aprendizaje como
una clave evidencia de la necesidad de conocer y valorar estas experiencias en
términos de sus fortalezas, debilidades, oportunidades y amenazas. Para las
instituciones con estos desarrollos educativos de hace indispensable disponer de
información acerca de la calidad y del impacto que esta nueva realidad tiene en los
actores del proceso enseñanza-aprendizaje y como esta formación está siendo recibida
por las organizaciones, empleadores y por la sociedad en general. Ya se conoce que en
estos estudios de investigación evaluativa, no es suficiente el énfasis en las
herramientas tecnológicas disponible, sino que por el contrario, es evidente la
necesidad de evaluar cómo se integran las diferentes dimensiones de la educación en
línea (tecnológica, pedagógica y administrativa) para garantizar su calidad y
pertinencia social. De acuerdo con Rubio (2007) se distinguen en este momento dos
enfoques fundamentales, uno orientado a la evaluación de elementos propios del e-
learning (enfoque parcial de evaluación), y otro referido al estudio integral de la
experiencia en un contexto holístico que privilegia la calidad (enfoque global de
evaluación). A continuación se esquematizan dichos enfoques:
Cuadro 2. Enfoques y Modelos de Evaluación para el E-Learning
Enfoques Énfasis Modelos
EnfoqueParcial
1. Actividad formativa para evaluar una acción concreta: logro de objetivos, mejoramiento de procesos y retorno de
Modelo sistémico de Van Slyke (1998), el cual trata los siguientes aspectos: características institucionales, de los participantes, del curso y de la formación a distanciaModelo de los Cinco Niveles de (Marshall y
16
la inversión realizada Shriver (1999). Trabaja con la docencia, materiales del curso, curriculum, módulo de los cursos y transferencia del aprendizajeModelo de los Cuatro Niveles de Kirkpatrick (1994). Considera como aspectos para evaluar las categorías de: reacción, aprendizaje, transferencia e impacto.
2. Evaluación de los materiales
La evaluación se orienta a las necesidades de los usuarios, a los insumos, al proceso, al producto y a los resultados.
3. Evaluación de las plataformas tecnológicas
La evaluación enfatiza la calidad del entorno virtual. Emplea criterios como por ejemplo: estabilidad, viabilidad, fiabilidad, tolerancia a fallos, estándares para el registro de cursos, agilidad, flexibilidad, actualidad, facilidad para la interacción con el usuario (intuición), entre otros.
4. Evaluación financiera
Análisis financiero de la inversión inicial (tasa de retorno de la inversión) Medición de beneficios logrados para los estudiantes y la propia institución.
Enfoque global
1. Evaluación y gestión de la calidad
Este tipo de evaluación se fundamenta en la perspectiva sistémica y en el concepto de mejora continua. Constituye una estrategia de organización e implica una metodología de gestión. Enfatiza la eficacia, eficiencia y funcionalidad como criterios evaluativos esenciales (ver gráfico 2).
2. Evaluación del e-learning basada en el benchmarking
Evaluación centrada en la comparación entre instituciones que se distinguen por su calidad. El propósito es conocer las herramientas y acciones de la institución para emular y mejorar la propia. Se trabajan con procedimientos relacionados con la observación, comparación y cooperación, para la ejecución de buenas prácticas.
Con estos modelos se enriquece la investigación evaluativa como función clave
para que las instituciones de educación superior puedan desarrollarse en pro de
alcanzar resultados significativos en el marco de la pertinencia social y de la calidad. La
17
evaluación aún como disciplina reciente, ofrece una gama de modelos que apoyan la
planificación metodológica de este tipo de investigación que, en definitiva, constituyen
referentes para que la universidad haga de la evaluación una práctica permanente y
oportuna.
A MANERA DE CONCLUSIONES
Se comparte la posición que valora la investigación evaluativa como una práctica
científica que puede orientar las funciones, los procesos, procedimientos y el
replanteamiento de lo que debe ser la universidad en el contexto de la sociedad del
conocimiento, producto de la informatización y de la globalización.
Se debe asumir el concepto de la pertinencia social como una construcción socio-
histórica que responderá al conjunto de necesidades que enfrenta la sociedad en la
cual están insertas las instituciones de educación superior según el contexto y el
momento histórico que se viva en la misma. La pertinencia social es un concepto
filosófico y político que implica un compromiso con la calidad de la institución y de la
comunidad en sus diferentes planos del mundo político, económico, laboral, cultural y
social.
Se comparte la afirmación de Tünnerman (1998) cuando afirma que
“la pertinencia implica adaptar los propósitos de la educación superior a
las necesidades y limitaciones del entorno local, nacional, regional e
internacional… por lo cual las instituciones de educación superior deben
ser evaluadas entre todo con la ayuda de indicadores de eficacia y
eficiencia” (p. 1).
Se ratifica que el mejoramiento de la universidad como institución clave para
redireccionar su concepción y funcionamiento, está marcado por el papel que la
pertinencia social y la calidad tengan en dicha transformación. Esto es aplicable
también a cualquier otro tipo de organización pública o privada, de bienes o de
servicios que aspire tener un espacio en el desarrollo planteado para el siglo XXI. El
18
compromiso de la organización con la responsabilidad ante la sociedad y el propio
planeta, será un signo distintivo de estas primeras décadas de la sociedad del
conocimiento en el actual siglo. En palabras de Tünnerman se ilustra la afirmación
anterior
“para todos es evidente la estrecha relación que existe entre pertinencia y
calidad, al punto que podemos decir que la una presupone a la otra, como
las dos caras de una misma moneda. Pertinencia y calidad deben marchar
siempre de la mano, pues la pertinencia no se logra con respuestas
educativas mediocre o de baja calidad” (Tünnerman, 1998, 1).
Para finalizar, en la figura 4, se visualiza la unidad de la pertinencia social con la
calidad institucional:
19
REFERENCIAS
Arenas, B. y Torres, F. (1998). Informe de Evaluación Maestría de Educación Ambiental. Manuscrito suministrado para su publicación. Barquisimeto: Universidad Yacambú.
Avalos Gutiérrez, I. (2009, Junio 10). El capitalismo Ingrávido. El Nacional, pp. A10.CASAS ARMENGOL, Miguel (2005). «Nueva universidad ante la Sociedad del Conocimiento» [artículo en línea]. Revista de Universidad y Sociedad del Conocimiento (RUSC) (volumen. 2, No. 2). UOC. Disponible en http://www.uoc.edu/rusc/2/2/dt/esp/casas.pdf Consultado 12/06/2009
Escudero, T. (2006). Claves Identificativas de la Investigación Evaluativa: Análisis desde la Práctica. En Contextos Educativos, 8-9 (2005-2006) Disponible en http://www.unirioja.es/servicios/sp/ej/contextos/infos/2091397.pdf Consultado 30/05/2009
Gubbins, V. ¿En que estadio podría encontrarse la Investigación Educacional en Chile hoy?
Disponible en http://psicologia.uahurtado.cl/vgubbins/wp-content/uploads/2008/05/en-que-estadio-investigacion-educacional.pdf Consultado 30/05/2009
Rubio, José (2003). Enfoques y modelos de evaluación del e-learning. Revista ELectrónica de Investigación y EValuación Educativa, v. 9, n. 2. Disponible en http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm. Consultado 20/08/2008
Stufflebeam, D. y Shinkfield, A. J. (1987). Evaluación Sistemática: guía teórica y práctica. Traducción Carlos Losilla. Barcelona, España: Paidós
Tunnerman, C. (1998, septiembre 8). La Pertinencia Social de la Educación Superior. Nuevo Diario. Disponible en http://archivo.elnuevodiario.com.ni/1998/septiembre/30- septiembre-1998/opinion/opinion4.html Consultado en 23/05/2009
Vessuri, H. (1996) Pertinencia de la Educación Superior Latinoamericana a finales del siglo XX. En Revista Electrónica Nueva Sociedad, No.146 Noviembre-Diciembre, pp.102-107. Disponible en http://www.nuso.org/upload/articulos/2550_1.pdf Consultado 12/05/2009.
Woodhouse, D. (2002). Calidad y Aseguramiento de la Calidad. En Calidad e Internacionalización de la educación, texto en formato electrónico. Disponible en http://www.anuies.mx/servicios/d_estrategicos/libros/lib62/indice.html Consultado 12/05/2009
20
21