FORMATO DE DESCRIPCION DE TRABAJO DE GRADO · 2010-01-28 · FORMATO DE DESCRIPCION DE TRABAJO DE...

104
FORMATO DE DESCRIPCION DE TRABAJO DE GRADO Nombres completos de los autores : Jorge Andrés Alvarado Valencia, Claudia Liliana Cruz, María del Pilar Márquez. Título y subtítulo del trabajo : Vivencias académicas de los ECAES: El Caso de las Facultades en Salud e Ingeniería de la Pontificia Universidad Javeriana. Ciudad: Bogotá Año de elaboración: 2.005 Número de páginas: 101 Tipo de ilustraciones : No aplica Material acompañante: Ninguno Título obtenido: Magíster en Educación Facultad: Educación Programa: Maestría en Educación Palabras claves descriptores : ECAES, evaluación masiva, evaluación de la educación superior, competencias, vivencias, test estandarizado. Resumen o descripción breve del trabajo: Esta investigación de corte etnográfico describe las principales acciones y consecuencias académicas que, de cara a los Exámenes de Calidad de la Educación Superior en Colombia (ECAES), están sucediendo en un contexto universitario específico, así como indaga por las condiciones de aplicación en que se llevaron a cabo los exámenes y las percepciones sobre los objetos de evaluación alcanzados, según diferentes audiencias. El trabajo se llevó a cabo con: estudiantes que ya hubieran presentado los exámenes, directores de carrera y profesores relacionados con el tema del examen en las carreras de Ingeniería Industrial, Ingeniería de Sistemas, Medicina y Enfermería de la Pontificia Universidad Javeriana. La pregunta problema fue: ¿Cuáles son las vivencias académicas que estudiantes y directivos de las carreras de Enfermería, Medicina, Ingeniería Industrial e Ingeniería de Sistemas en la Pontificia Universidad Javeriana, han tenido frente a la aplicación de los ECAES, en lo referente a acciones, consecuencias, objetos de evaluación y condiciones de aplicación.

Transcript of FORMATO DE DESCRIPCION DE TRABAJO DE GRADO · 2010-01-28 · FORMATO DE DESCRIPCION DE TRABAJO DE...

FORMATO DE DESCRIPCION DE TRABAJO DE GRADO

Nombres completos de los autores: Jorge Andrés Alvarado Valencia, Claudia Liliana Cruz, María del Pilar Márquez. Título y subtítulo del trabajo: Vivencias académicas de los ECAES: El Caso de las Facultades en Salud e Ingeniería de la Pontificia Universidad Javeriana.

Ciudad: Bogotá

Año de elaboración: 2.005

Número de páginas: 101

Tipo de ilustraciones: No aplica

Material acompañante: Ninguno

Título obtenido: Magíster en Educación

Facultad: Educación

Programa: Maestría en Educación

Palabras claves descriptores: ECAES, evaluación masiva, evaluación de la educación superior, competencias, vivencias, test estandarizado. Resumen o descripción breve del trabajo: Esta investigación de corte etnográfico describe las principales acciones y consecuencias académicas que, de cara a los Exámenes de Calidad de la Educación Superior en Colombia (ECAES), están sucediendo en un contexto universitario específico, así como indaga por las condiciones de aplicación en que se llevaron a cabo los exámenes y las percepciones sobre los objetos de evaluación alcanzados, según diferentes audiencias. El trabajo se llevó a cabo con: estudiantes que ya hubieran presentado los exámenes, directores de carrera y profesores relacionados con el tema del examen en las carreras de Ingeniería Industrial, Ingeniería de Sistemas, Medicina y Enfermería de la Pontificia Universidad Javeriana. La pregunta problema fue: ¿Cuáles son las vivencias académicas que estudiantes y directivos de las carreras de Enfermería, Medicina, Ingeniería Industrial e Ingeniería de Sistemas en la Pontificia Universidad Javeriana, han tenido frente a la aplicación de los ECAES, en lo referente a acciones, consecuencias, objetos de evaluación y condiciones de aplicación.

Señores BIBLIOTECA CENTRAL PONTIFICIA UNIVERSIDAD JAVERIANA Estimados señores: Autorizamos a los usuarios interesados, consultar y reproducir parcial o totalmente el

contenido del trabajo de grado titulado “VIVENCIAS ACADÉMICAS DE LOS ECAES:

El Caso de las Facultades en Salud e Ingeniería de la Pontificia Universidad Javeriana”

presentado como requisito para optar el título de MAGISTER EN EDUCACION en el año

2.006.

Jorge Andrés Alvarado

Claudia Liliana Cruz

María del Pilar Márquez

Artículo 23 resolución # 13 de 1.946.

“La Universidad no se hace responsable por los conceptos emitidos por sus alumnos en sus

trabajos de tesis. Sólo velará porque no se publique nada contrario al dogma y a la moral

católica y porque las tesis no contengan ataques personales contra persona alguna, antes

bien se vean en ellas el anhelo de buscar la verdad y la justicia”

VIVENCIAS ACADEMICAS DE LOS ECAES 1

Vivencias Académicas de los ECAES

El Caso de las Facultades en Salud e Ingeniería de la Pontificia Universidad Javeriana.

Jorge Andrés Alvarado Valencia, Claudia Liliana Cruz y María del Pilar Márquez

Pontificia Universidad Javeriana. Bogotá D.C

VIVENCIAS ACADÉMICAS DE LOS ECAES

VIVENCIAS ACADEMICAS DE LOS ECAES 2

VIVENCIAS ACADÉMICAS DE LOS ECAES

El Caso de las Facultades en Salud e Ingeniería de la Pontificia Universidad Javeriana.

JORGE ANDRÉS ALVARADO VALENCIA

CLAUDIA LILIANA CRUZ

MARÍA DEL PILAR MÁRQUEZ

TUTOR

DOCTOR RAFAEL CAMPO VÁSQUEZ

PONTIFICIA UNIVERSIDAD JAVERIANA. BOGOTÁ D.C

FACULTAD DE EDUCACIÓN – MAESTRÍA EN EDUCACIÓN

LÍNEA DE INVESTIGACIÓN: PROCESOS DE FORMACIÓN Y PRÁCTICAS

EDUCATIVAS

BOGOTÁ D.C. 2005

VIVENCIAS ACADEMICAS DE LOS ECAES 3

PONTIFICIA UNIVERSIDAD JAVERIANA

FACULTAD DE EDUCACIÓN

MAESTRÍA EN EDUCACIÓN

RECTOR: GERARDO REMOLINA VARGAS S.J

DECANO ACADÉMICO: JAIME PARRA RODRÍGUEZ Ph. D.

DIRECTOR DE LA MAESTRÍA: JAIME PARRA RODRIGUEZ Ph. D.

DIRECTOR DE LA LÍNEA: CARLOS GAITÁN Ph. D.

TUTOR: RAFAEL CAMPO VÁSQUEZ Ph D.

BOGOTÁ D.C. 2005

VIVENCIAS ACADEMICAS DE LOS ECAES 4

Artículo 23 resolución # 13 de 1.946.

“La Universidad no se hace responsable por los conceptos emitidos por sus alumnos en sus

trabajos de tesis. Sólo velará porque no se publique nada contrario al dogma y a la moral

católica y porque las tesis no contengan ataques personales contra persona alguna, antes

bien se vean en ellas el anhelo de buscar la verdad y la justicia”

VIVENCIAS ACADEMICAS DE LOS ECAES 5

TABLA DE CONTENIDO

RESUMEN ............................................................................................................................6 1. ANTECEDENTES............................................................................................................7 2. JUSTIFICACIÓN DEL ESTUDIO...............................................................................11 3. EL PROBLEMA .............................................................................................................13

3.1 Pregunta central........................................................................................................14 3.2 Preguntas específicas ................................................................................................14

4. OBJETIVOS....................................................................................................................15

4.1 Objetivos Específicos ................................................................................................15 5. MARCO TEÓRICO .......................................................................................................16

5.1 Marco institucional universitario ............................................................................16 5.2 Los Exámenes de calidad de la educación superior (ECAES) ..............................18 5.3 La evaluación: práctica educativa sujeta a tensiones históricas...........................22 5.4 Dimensiones de las vivencias académicas ...............................................................27 5.5 Categorías ..................................................................................................................29

6. METODOLOGÍA ...........................................................................................................41

6.1 Diseño de la investigación.........................................................................................41 6.2 Tipo de investigación ................................................................................................42

7. RESULTADOS ...............................................................................................................50

7.1 Directivos ...................................................................................................................50 7.2 Estudiantes ................................................................................................................76 7.3 Relaciones entre las carreras y entre las audiencias..............................................83

8. CONCLUSIONES Y PROSPECTIVA .........................................................................89 9. LISTA DE REFERENCIAS ..........................................................................................94

VIVENCIAS ACADEMICAS DE LOS ECAES 6

RESUMEN

Esta investigación de corte etnográfico describe las principales acciones y consecuencias

académicas que, -como resultado de la aplicación de los Exámenes de Calidad de la

Educación Superior en Colombia (ECAES)-, están sucediendo en un contexto universitario

específico; así mismo, indaga por las condiciones de aplicación de los exámenes y las

percepciones sobre los objetos de evaluación alcanzados. El trabajo se llevó a cabo con

estudiantes que presentaron los exámenes, directores de carrera y profesores relacionados

con el tema del examen en las carreras de Ingeniería Industrial, Ingeniería de Sistemas,

Medicina y Enfermería de la Pontificia Universidad Javeriana de Bogotá, Colombia. Los

resultados reflejan acciones previas de participación en aspectos técnicos del examen y

escasa preparación de los estudiantes; posterior a los resultados, se presentaron acciones de

autoevaluación y reforma curricular, utilizando dichos resultados como un insumo más; en

términos de divulgación e interpretación de resultados, las posturas de las audiencias

oscilan entre la crítica a los ECAES y la poca importancia que se le otorga. Los

entrevistados perciben que el examen no alcanza a medir más que algo de conocimientos y

memoria, sin llegar al nivel de competencias, en particular aquellas relacionadas con

habilidades prácticas; adicionalmente consideran el examen de poca validez para comparar

programas. Entre los beneficios esperados del examen, se destacan la disminución de la

proliferación de programas y la posibilidad de detectar fortalezas y debilidades propias;

entre los perjuicios, la indebida interpretación de resultados por parte de todas las

audiencias, la focalización de la atención en los rankings, el fomento de la realización de

pre-ECAES y la preocupación por la orientación de los currículos hacia el examen por

encima de la formación profesional de las personas.

VIVENCIAS ACADEMICAS DE LOS ECAES 7

1. ANTECEDENTES

El presente proyecto surge en el marco de la línea de investigación de procesos de

formación y prácticas educativas en educación superior, inscrito en la Maestría en

Educación de la Pontificia Universidad Javeriana.

Entre las preocupaciones y los intereses de los investigadores estaba la inquietud

sobre las prácticas evaluativas, y en particular, la influencia de ciertas prácticas evaluativas

sobre las prácticas educativas. La inquietud principal se dirigía a los efectos que los

exámenes de calidad de la educación superior (ECAES) en Colombia estaban teniendo

sobre las comunidades académicas universitarias en diferentes aspectos de su diario vivir;

en otras palabras, entender cómo estaban viviendo y asumiendo la experiencia de los

exámenes estandarizados de calidad las universidades, instancia educativa que hasta hace

pocos años era ajena a estos procesos. Es evidente que de la manera en que sean asumidos

estos procesos se desprenderán prácticas educativas que afectarán a la educación superior

en su conjunto de maneras que es necesario empezar a prever para someterlas a una

reflexión y análisis que impidan el desarrollo de impactos nocivos sobre el sistema

educativo.

La preocupación sobre los efectos que la evaluación estandarizada pueda tener sobre

las prácticas educativas crece a la par con la expansión mundial de la utilización de este

tipo de pruebas, y tiene referentes internacionales. Muestra de dicha preocupación son los

artículos realizados por Bakker (1.999) en Rusia y por Grobe y McCall (2.004) en Estados

Unidos y Canadá. En particular, Grobe y McCall mencionan algunas de las consecuencias

que los exámenes estandarizados usados por los gobiernos para el mejoramiento del sistema

escolar han traído, refiriendo además diversos estudios al respecto. Entres dichos efectos se

encuentran: la escasa información que los resultados dan para mejorar las prácticas

educativas; el cambio de prioridades de las prácticas educativas, las cuales tienden a

orientarse hacia lo que demandan las pruebas estandarizadas dejando de lado objetivos más

amplios; la improductividad y desinformación de los debates basados en los rankings o

escalafones generados sin información contextual o de factores asociados al desempeño; la

publicación exacerbada de los resultados sin detallar el limitado uso que éstos resultados

VIVENCIAS ACADEMICAS DE LOS ECAES 8 puedan tener; y la no ubicación de las pruebas en el marco de un sistema global de

valoración del desempeño del estudiante. Agréguense a estas consecuencias, la presión

reportada por otras investigaciones, en las que los docentes se sienten forzados a preparar

los estudiantes para la prueba, disminuyendo el tiempo para la preparación de los

estudiantes en otros aspectos (Atkinson, Satterthwaite y Gale, 2.003).

En Colombia, algunos estudiosos también han elevado su voz para referir las

consecuencias educativas de los exámenes de Estado. Del lado crítico, Guillermo

Bustamante Zamudio (Abril y Bustamante, 1.996) relaciona algunas consecuencias del

examen de Estado para el ingreso a la educación superior –conocido como el examen del

ICFES-, tales como la elaboración de preguntas basadas en el currículo vigente, el

direccionamiento de los currículos de los grados 10 y 11 a la preparación exclusiva para el

examen, la proliferación de institutos que preparan a los estudiantes para el logro de

excelentes resultados en las pruebas, la utilización de los resultados como indicador único y

real de calidad por estudiantes e investigadores, y la valoración que los propios colegios

hacen su labor social a partir de dichos resultados. El mismo autor, en colaboración con

otros, ha escrito también un artículo en relación con los propósitos de los ECAES

(Otálvaro, Liévano y Bustamante, 2.003). “Hacia dónde se dirigen las pruebas, es una

pregunta que los académicos de las diversas profesiones tienen que intentar responder”

(Ibid, p.3), escriben estos autores en los principios de su artículo, dando a entender que la

reflexión y la investigación acerca de la evaluación de la calidad de los programas de

educación superior es un campo amplio de indagación bastante inexplorado. Entre los

posibles efectos que los autores vislumbran para los ECAES está la utilización de los

resultados para legitimar acciones sobre los sujetos y las instituciones que no logren

excelentes desempeños en la prueba, ampliando así aun más los mecanismos de exclusión

del ya excluyente sector educativo colombiano. Por su parte Víctor Manuel Gómez,

investigador del Instituto de investigación en Educación de la Universidad Nacional de

Colombia, ha venido cuestionando las políticas de calidad en educación. Es así como de

manera muy crítica ha señalado el impacto educativo y social de los ECAES al reducir o

simplificar la calidad de la educación a puntajes individuales en test de papel y lápiz con

opciones múltiples que pretenden medirlo todo: la formación científica, tecnológica,

ciudadana, estética, moral, la capacidad expresiva, y la creatividad del estudiante. Esto

VIVENCIAS ACADEMICAS DE LOS ECAES 9 permite sospechar de la gran debilidad y limitación técnica de la prueba, lo que genera

preocupación por el uso arbitrario que de ella pueda hacerse. Plantea entonces la necesidad

de una revisión conceptual y metodológica de la prueba con la participación analítica y

creativa de la comunidad académica nacional, basada en dimensiones de calidad,

pertinencia y equidad. También propone reflexionar sobre los usos sociales de la prueba y

sus resultados en términos de puntajes, los cuales han venido comparando y jerarquizando a

las instituciones y programas generando en la opinión pública imaginarios reduccionistas y

simplistas de la calidad de la educación y de las instituciones. (Universidad Nacional, 2005)

A lo largo del año 2.004 se publicaron dos documentos claves para el análisis del

fenómeno de interés: Las reflexiones surgidas de un encuentro de vicerrectores académicos

de diferentes universidades (Pontificia Universidad Javeriana, 2.004) y la compilación del

ICFES sobre el impacto de los resultados 2.003 de los ECAES a partir de los informes de

las instituciones de educación superior (ICFES, 2.004).

En el primer documento mencionado, cabe destacar la clasificación de las

reflexiones acordada por los vicerrectores académicos, puesto que dichas reflexiones se

refieren a las acciones emprendidas alrededor de los ECAES y a las consecuencias de los

exámenes. En primer lugar, se habla del proceso de elaboración de las pruebas, resaltando 5

fortalezas y 5 debilidades de las mismas. Las fortalezas señalan principalmente la

posibilidad de participación e intercambio de ideas entre diversas comunidades académicas,

y entre las debilidades, se destacan las limitaciones de tiempo, participación y diseño de la

prueba, sobre todo en lo referido al tema de las competencias y la orientación de la prueba.

Dadas estas fortalezas y debilidades, se recogen algunos efectos institucionales de

autoevaluación. Después se presentan reflexiones sobre el proceso de presentación de la

prueba, las cuales comentan dificultades en la transparencia y motivación del proceso de

inscripción, así como las acciones tomadas para preparar a los estudiantes para los ECAES,

señalando el riesgo de orientar la educación hacia el entrenamiento para los ECAES. En

tercer lugar, se hace una reflexión sobre los efectos de los resultados, haciendo énfasis en

los beneficios obtenidos esperados de los ECAES. El cuarto ítem es una reflexión sobre la

divulgación de los ECAES por parte del ICFES, medios de comunicación y algunas

instituciones, cerrando el documento con unas reflexiones finales. De interés para esta

VIVENCIAS ACADEMICAS DE LOS ECAES 10 investigación fueron las dimensiones de análisis del documento, que permitieron plantear,

reformar y mejorar algunas de las dimensiones que maneja la investigación.

Por otra parte, en la compilación del Instituto Colombiano para el fomento de la

educación Superior (ICFES, 2.004) se presentan algunos comentarios iniciales a los aportes

hechos por las instituciones de educación superior. En ellos se destacan aquellos aspectos

que convalidan el logro de los objetivos del examen, tales como la reflexión para el

mejoramiento de la calidad de las instituciones, el apoyo a la toma de decisiones y la

comprobación de las competencias de los estudiantes, aunque no deja de ser llamativo que

se mencione la necesidad del mejoramiento de la evaluación por competencias y el riesgo

de una equivocada orientación de lo que en el documento ya se denomina como PRE-

ECAES.

Si bien estas publicaciones resultaron de gran utilidad como antecedentes de la

investigación, la información disponible sobre lo que está ocurriendo con los exámenes es

escasa, y la mayor parte de ella es publicada por los organismos oficiales encargados de

diseñar y aplicar el examen o por organismos privados profundamente involucrados en ese

proceso, lo que les resta validez investigativa.

Una de las razones para esta escasez de información es el corto tiempo transcurrido

desde la implementación de estos exámenes. Sin embargo, consideramos que es el

momento para comenzar a darle una mirada a lo que está ocurriendo con los ECAES desde

una perspectiva muy particular, e iluminar a través de ello futuras reflexiones, decisiones e

investigaciones.

VIVENCIAS ACADEMICAS DE LOS ECAES 11

2. JUSTIFICACIÓN DEL ESTUDIO

Existe actualmente una profunda preocupación por la calidad de la educación como

garantía de un mejor desarrollo humano, científico y tecnológico, evidenciando la

necesidad que tiene la sociedad, el sector productivo y el Estado de evaluar la calidad de la

educación superior ofrecida en nuestro país. A esta necesidad pretenden responder las

políticas de evaluación de la calidad en educación superior, uno de cuyos elementos

constitutivos son los exámenes de calidad de la educación superior (ECAES) que se han

venido implementando desde el año 2.002 de manera masiva a los estudiantes de último

año de los programas profesionales ofrecidos por las instituciones de educación superior del

país.

Sin embargo, puede suceder que el objetivo de medir y mejorar la calidad de la

educación mediante pruebas estandarizadas- en este caso con la aplicación de los ECAES

como único instrumento- presente efectos inesperados o imprevistos en la política,

poniendo de relieve no sólo lo que miden los exámenes sino también lo que no miden.

Estos elementos de análisis quizás sean más significativos a la hora de considerar el

impacto de las acciones evaluativas orientadas por una política de Estado si se intenta

responder a interrogantes como: ¿para qué sirven los exámenes?, ¿en qué medida las

pruebas aportan al mejoramiento de la calidad de la educación? y ¿qué está ocurriendo

alrededor de los exámenes en la comunidad académica?

Han transcurrido tres años y es poco lo que se sabe sobre investigaciones dirigidas

al estudio sistemático de las vivencias y los efectos reales de los ECAES en la comunidad

académica. Lo conocido hasta ahora se ha quedado más en el enfoque especulativo referido

a la importancia y utilidad del examen para el Estado, la sociedad y las instituciones, que al

reconocimiento y al análisis de las vivencias y experiencias académicas de los actores que

directamente han participación en la construcción, en la aplicación y en la utilización de los

resultados de los ECAES. Se considera necesario iniciar el estudio y análisis de un conjunto

de dimensiones de índole contextual alrededor de los efectos reales que emergen de la

implementación del examen en las universidades. En particular, resulta valioso observar las

acciones que se han generado y apreciar las posibles consecuencias académicas del

VIVENCIAS ACADEMICAS DE LOS ECAES 12 examen, desde la condiciones de aplicación hasta el efecto y utilidad de los resultados, a

partir de la percepción de los grupos de personas involucradas en las diferentes fases de los

exámenes. Se trata pues, de conocer cómo se perciben estas dimensiones frente a los

medios y los fines de la evaluación planteados por los ECAES a partir de las diferentes

voces de las audiencias.

Toda evaluación, como parte de un proceso, debe permitir la posibilidad de

reflexionar y analizar sobre sus alcances y limitaciones, más aún cuando está en juego un

modelo de educación y sociedad. El interés de esta investigación está en que a partir de las

experiencias de la comunidad académica se de apertura a la discusión respecto a la

evaluación de la calidad de la educación superior por medio de los ECAES y se

problematicen de forma específica los diversos aspectos que están implicados en las

prácticas evaluativas tales como las intenciones o propósitos, la instrumentación u

operatividad, y los efectos producidos por el uso de los resultados y sus implicaciones

educativas y sociales; además, se espera iluminar la reflexión a partir de diferentes

perspectivas de la evaluación que enriquezcan el proceso y movilizar las discusiones y

acciones que contribuyan a construir y elevar la calidad de los procesos evaluativos de

formación profesional en Colombia.

VIVENCIAS ACADEMICAS DE LOS ECAES 13

3. EL PROBLEMA

Hacer referencia a los efectos derivados de la prueba sobre la base de los resultados, sin

conocer las experiencias educativas de directivos y estudiantes que han participado

directamente a lo largo del proceso del examen desde su construcción hasta su aplicación,

sería subvalorar la riqueza de estas vivencias y desconocer una mirada contextual que en

ocasiones escapa o supera a las limitaciones técnicas de la prueba. Esta situación plantea la

necesidad de conocer lo que está ocurriendo en las instituciones educativas y en los

programas, y sugiere a la vez la posibilidad de describir los efectos e impactos producidos

por el examen en quienes están viviendo el proceso, constituyéndose de gran valía

acercarnos a lo que piensan, perciben, y sienten los integrantes de la comunidad académica

que guardan relación directa con los exámenes. En este sentido, de los múltiples actores

educativos se escogieron dos grupos: estudiantes y directivos o profesores que hubiesen

tenido una mayor participación en asuntos referentes a los ECAES.

Así mismo, se seleccionaron cinco dimensiones de las posibles vivencias y efectos

que los ECAES pudieran generar, y en las cuales se centró el interés de la investigación:

Las acciones generadas por los ECAES, las consecuencias de los mismos, sus condiciones

de aplicación, los objetos de evaluación y las propuestas de mejoramiento. El criterio de

selección de las dimensiones resulta de un concienzudo análisis de las prácticas de los

investigadores y de los aspectos más relevantes mencionados en los antecedentes, que

orientaron la investigación hacia los tópicos más sensibles percibidos actualmente dentro

del fenómeno de interés.

Se decidió realizar el estudio en la Pontificia Universidad Javeriana de Bogotá,

Colombia por las limitaciones propias de la investigación que obligan a centrar la

investigación en una comunidad académica específica para asegurar la profundidad del

estudio.

Se trabajó en las carreras de Enfermería, Medicina, Ingeniería Industrial e Ingeniería de

Sistemas, selección motivada por cuatro razones básicamente: el interés específico de los

investigadores – todos profesionales de las áreas de Ingeniería y Salud-; la

representatividad de las carreras frente al examen, por haber sido precisamente las áreas de

VIVENCIAS ACADEMICAS DE LOS ECAES 14 Ingeniería y Salud quienes fueron las primeras en ser evaluadas por los ECAES; el

reconocimiento y tradición de dichas carreras en Colombia; y la posibilidad de contraste

entre las mismas.

3.1 Pregunta central

¿Cuáles son las vivencias académicas que estudiantes y directivos de las carreras de

Enfermería, Medicina, Ingeniería Industrial e Ingeniería de Sistemas en la Pontificia

Universidad Javeriana, han tenido frente a la aplicación de los ECAES?

3.2 Preguntas específicas

3.2.1 ¿Qué acciones desarrollaron los diferentes actores académicos (directivos, profesores

y estudiantes) de la Pontificia Universidad Javeriana como participantes durante el proceso

de los ECAES en los años 2.003 y 2.004?

3.2.2 ¿Cómo fueron percibidos los objetos de evaluación por los grupos académicos

investigados?

3.2.3 ¿Qué consecuencias y efectos derivados de la implementación de los ECAES

observaron los diferentes participantes?

3.2.4 ¿Cómo se desarrolló el proceso de los ECAES en relación con las condiciones de

aplicación de la prueba en cuanto a tiempo, modo y lugar?

3.2.5 ¿Qué propuestas de mejoramiento de los ECAES presentaron los actores académicos

investigados?

VIVENCIAS ACADEMICAS DE LOS ECAES 15

4. OBJETIVOS

Describir las vivencias académicas que están ocurriendo en el ámbito académico

universitario, específicamente en la Pontificia Universidad Javeriana, en relación con los

ECAES.

4.1 Objetivos Específicos

4.1.1. Describir las experiencias expuestas por directivos y profesores que participaron en

las diferentes etapas del proceso ECAES.

4.1.2 Describir las experiencias de los estudiantes que participaron en la prueba ECAES.

4.1.3 Realizar comparaciones entre las diferentes carreras con el fin de establecer

diferencias y similitudes en las respuestas derivadas de las vivencias de estos participantes

frente al proceso ECAES.

VIVENCIAS ACADEMICAS DE LOS ECAES 16

5. MARCO TEÓRICO

5.1 Marco institucional universitario

La Pontificia Universidad Javeriana es una universidad privada sin ánimo de lucro,

fundada y dirigida por miembros de la Compañía de Jesús. Su nombre deriva de San

Francisco Javier, Doctor de la Universidad de Paris y uno de los compañeros iniciales de

San Ignacio de Loyola. Fue una de las primeras universidades fundadas en América: El 13

de Junio de 1.623 fue autorizada para otorgar grados académicos universitarios. Sin

embargo, el 31 de Julio de 1767, por orden de Carlos III de España, los jesuitas fueron

desterrados de sus dominios, y la universidad fue cerrada. El primero de octubre de 1930 la

Universidad Javeriana fue restablecida en Colombia con la apertura de la facultad de

Ciencias Económicas y Jurídicas. En 1937, la Santa Sede erigió canónicamente la

Universidad y el 24 de agosto del mismo año aprobó sus estatutos dándole el carácter de

Pontificia. (Pontificia Universidad Javeriana, 2.005a )

Actualmente la Pontificia Universidad Javeriana cuenta con 18 facultades, 39

programas de estudio a nivel de pregrado, 111 programas de especialización, 19 programas

de Maestría y 4 programas de doctorado. Su comunidad agrupa alrededor de 23.000

estudiantes y 3.000 docentes, presenciales y a distancia. Cuenta con una población

estudiantil variable alrededor de los 27.000 estudiantes (Pontificia Universidad Javeriana,

2.005b)

De acuerdo con sus documentos institucionales, su misión está propuesta en los

siguientes términos: En el inmediato futuro, la Universidad Javeriana impulsará prioritariamente la investigación y la

formación integral centrada en los currículos; fortalecerá su condición de universidad

interdisciplinaria; y vigorizará su presencia en el país, contribuyendo especialmente a la solución

de las problemáticas siguientes:

La crisis ética y la instrumentalización del ser humano.

El poco aprecio de los valores de la nacionalidad y la falta de conciencia sobre la identidad

cultural.

La intolerancia y el desconocimiento de la pluralidad y la diversidad.

La discriminación social y la concentración del poder económico y político.

VIVENCIAS ACADEMICAS DE LOS ECAES 17

La inadecuación e ineficiencia de sus principales instituciones.

La deficiencia y la lentitud en el desarrollo científico y tecnológico.

La irracionalidad en el manejo del medio ambiente y de los recursos naturales”.

(Pontificia Universidad Javeriana, 2.005c)

El proyecto educativo de la Universidad Javeriana se dirige esencialmente a la

formación integral desarrollada por parte de la Comunidad educativa en la perspectiva de la

interdisciplinariedad, a través de las funciones de docencia, investigación y servicio

(Pontificia Universidad Javeriana, 2.005a ).

En su conformación orgánica, la Universidad Javeriana está dividida en

departamentos y programas disciplinares (carreras). Los primeros están dirigidos a la

administración del saber académico, teniendo a su cargo las asignaturas y los profesores;

los segundos están enfocados a la administración de los programas de estudio, teniendo a su

cargo los currículos y los estudiantes.

La Facultad de Ingeniería fue fundada en el año de 1.950, y actualmente cuenta con

4 programas de pregrado, 5 especializaciones y 2 programas de Maestría. A su interior se

encuentra la carrera de Ingeniería Industrial, la cual fue fundada en el año de 1.971, recibe

semestralmente de 120 a 140 estudiantes, y en Septiembre de 2.005 graduó 96 estudiantes.

El perfil del egresado que busca, de acuerdo con sus documentos institucionales, destaca en

las siguientes características: Capacidad de trabajo en grupo, liderazgo, capacidad de

resolución de problemas, capacidad investigativa, formación ética y de responsabilidad

social, humanismo y capacidad de tener una opción de fe. También en la facultad de

Ingeniería se encuentra la carrera de Ingeniería de Sistemas la cual inició labores en el año

de 1.995, recibe semestralmente entre 60 y 80 estudiantes, y en Septiembre de 2.005

graduará 40 estudiantes. En el perfil propuesto del egresado de Ingeniería de Sistemas

destaca la capacidad prospectiva y planificadora, el alto nivel de sentido social, la

generación de soluciones a las problemáticas propias de la disciplina y el trabajo en equipo

de dichos egresados. (Facultad de Ingeniería de la Pontificia Universidad Javeriana, 2.005)

La facultad de Medicina fue fundada en 1.942. Cuenta con un único programa de

pregrado, 43 especializaciones (en áreas médicas, quirúrgicas, de salud mental e

investigativas) y una maestría en epidemiología clínica. El programa de pregrado en

Medicina recibe semestralmente 80 estudiantes, y en Septiembre de 2.005 graduó un

número aproximado de 70 estudiantes. El perfil del egresado que se busca destaca la

VIVENCIAS ACADEMICAS DE LOS ECAES 18 conciencia social, las altas calidades científicas y humanas y la capacidad de dar respuesta a

las necesidades de la sociedad como objetivos a lograr en sus egresados. (Facultad de

Medicina de la Pontificia Universidad Javeriana, 2.005)

La facultad de Enfermería fue fundada en 1.964, pero los estudios de enfermería

comenzaron en 1.949, en la escuela javeriana de enfermería. La Facultad tiene actualmente

un único programa de pregrado y seis especializaciones. El programa de pregrado en

Enfermería recibe semestralmente 80 estudiantes, y en Septiembre de 2.005 graduó

alrededor de 70 estudiantes. El perfil del egresado que se busca destaca dos dimensiones:

La social-humanística, basada en el compromiso con la salud y el conocimiento y

sensibilidad sociales, y la profesional, dirigida a la fundamentación en conocimientos en el

contexto general de la salud. (Facultad de Enfermería de la Pontificia Universidad

Javeriana, 2.005)

5.2 Los Exámenes de calidad de la educación superior (ECAES)

De conformidad con la Constitución política de Colombia (1.991), la educación se

constituye en un derecho de la persona y un servicio público con función social con el cual

se busca el acceso al conocimiento, a la ciencia, a la técnica y a los demás bienes y valores

de la cultura. En este contexto, le corresponde al Estado regular y ejercer la suprema

inspección y vigilancia de la educación con el fin de velar por su calidad, el cumplimiento

de sus fines y la mejor formación moral, intelectual y física de los educandos (Ibíd., Art.

67). En consecuencia, por tratarse de un derecho de la persona y dada su naturaleza de

servicio público cultural, es inherente a la finalidad del Estado y constituye, por lo tanto,

una obligación ineludible asegurar su prestación eficiente (Ibíd., Art. 365) y ejercer la

inspección y vigilancia de la enseñanza, en cabeza del Presidente de la República,

conforme a la Ley (Ibíd., Art. 189), con garantía de la autonomía universitaria.

Estos ordenamientos constitucionales tienen desarrollo legal en la Ley 30 de 1.992

mediante la cual se organiza el servicio público de la Educación Superior, especialmente a

través de los artículos 3, 6, 27, 31 (Literal h) y 32 en los que se hace referencia a la

responsabilidad que tiene el Estado de velar por la calidad de la Educación Superior, su

inspección y vigilancia. Dicha ley determina igualmente, los objetivos de la Educación

VIVENCIAS ACADEMICAS DE LOS ECAES 19 Superior y de las instituciones que la imparten en el contexto de la formación integral de los

colombianos, con miras a mejorar las condiciones de desarrollo y avance científico y

académico del país.

En este sentido, en septiembre de 2003 fue expedido el decreto 2566 que establece

las condiciones mínimas de calidad y demás requisitos para el ofrecimiento y desarrollo de

los programas académicos de educación superior, resultado del trabajo conjunto entre el

Estado (Ministerio de Educación Nacional – MEN y el Instituto Colombiano de fomento y

educación superior - ICFES), las instituciones de educación superior, las asociaciones de

facultades y pares académicos, quienes definieron las características específicas de calidad

para cada uno de los programas ofrecidos en el nivel nacional tal como lo estableció el

artículo primero.

Paralelo a estas disposiciones y como parte de los procesos y acciones de que

dispone el Gobierno Nacional para evaluar la calidad del servicio público educativo, se

reglamentaron los Exámenes de calidad de la Educación superior – ECAES-, entendidos

como pruebas académicas obligatorias y de carácter oficial. Actualmente, el decreto 1781

de 2003 reglamenta los ECAES para todos los programas académicos de pregrado.

En este decreto se determina en sus artículos 2o y 3o, que los exámenes deben

comprender aquellas áreas y componentes fundamentales del saber que identifican la

formación de cada profesión, disciplina u ocupación. Así mismo, establece que el ICFES es

la entidad encargada de dirigir y coordinar el diseño, la aplicación, la obtención y análisis

de los resultados de los ECAES, para lo cual se puede apoyar en las comunidades

académicas, científicas y profesionales del orden nacional o internacional.

Como parte de este mismo decreto en su artículo 1º, se expresan los siguientes objetivos

de los ECAES: - Comprobar el grado de desarrollo de las competencias de los estudiantes que cursan el último

año de los programas académicos de pregrado que ofrecen las instituciones de educación superior;

- Servir de fuente de información para la construcción de indicadores de evaluación del servicio

público educativo, que fomenten la cualificación de los procesos institucionales la formulación de

políticas y faciliten el proceso de toma de decisiones en todas las órdenes y componentes del

sistema educativo.

VIVENCIAS ACADEMICAS DE LOS ECAES 20

Conocida la intencionalidad de la política, es importante también apreciar la

evolución histórica del examen en Colombia, el cual se remonta a 1966, cuando en el Plan

Nacional para la Educación Superior en Colombia, conocido como “Plan Básico”, se

recomendó la realización de exámenes para profesionales a nivel de graduados, con el fin

de solucionar problemas concretos relacionados con la acreditación académica de las

facultades, la transferencia de estudiantes y la selección de candidatos para estudios de

postgrado o para cargos específicos.

En las décadas de los 80’s y 90’s el ICFES en compañía de otras instituciones

estatales, asociaciones de facultades y universidades desarrollaron proyectos encaminados a

elaborar exámenes para evaluar egresados. En el marco del Plan de Gobierno de 1990 –

1994, el ICFES adelantó un proyecto que contempló el estudio de exámenes de la

educación superior en Medicina, Derecho y Contaduría. Este proceso condujo finalmente a

la definición de las estructuras de los exámenes de Derecho y Medicina, y sentó las bases

para realizar convenios con universidades y asociaciones de profesionales interesadas en

participar en la elaboración de tales exámenes.

Para 1995, el informe de la Comisión Nacional para la Modernización de la

Universidad Pública propuso “establecer la obligatoriedad de los exámenes de Estado para

los egresados de pregrado, como un elemento del Sistema Nacional de Información de la

Educación Superior”. Complementariamente, la comisión recomendó que estos exámenes

no tuviesen implicaciones legales sobre los derechos de las universidades.

En 1998, después de una serie de acercamientos y desarrollo de proyectos conjuntos

con diversas organizaciones de profesionales y facultades, se inició un ambicioso proyecto

para asumir la evaluación de profesionales de todas las especialidades de la ingeniería. Sin

embargo, la proliferación de programas de ingeniería a nivel nacional, hizo necesario

proponer un proyecto en varias etapas, siendo la primera de ellas el diseño y construcción

de pruebas en Ingeniería Mecánica, las cuales fueron experimentadas y ajustadas para ser

aplicadas a egresados y alumnos de último año en este programa en el año 2002.

En este mismo período, el Plan Estratégico de Educación 2000 – 2002, consideró

los Exámenes de Estado de Calidad de la Educación Superior como uno de los programas

orientados al mejoramiento de la calidad y la transparencia en la educación superior, dando

origen al ya mencionado decreto 1781 de 2003, sobre la experiencia del proceso de revisión

VIVENCIAS ACADEMICAS DE LOS ECAES 21 y ajuste de las pruebas de Medicina, Ingeniería Mecánica y Derecho (Decretos 1716, 2233

de 2001 y 1373 de 2002 respectivamente). ICFES, Bogotá 2002

Los exámenes en estos programas se aplicaron en el segundo semestre del 2002 y

los resultados obtenidos sirvieron de base para identificar fortalezas y debilidades en los

diferentes programas de pregrado que participaron en estas aplicaciones. Considerando los

diversos decretos mediante los cuales se establecieron los estándares y marcos básicos de

las áreas del conocimiento y competencias que debían integrar los programas académicos

de pregrado en las diversas áreas del conocimiento, el ICFES abrió una serie de

convocatorias en el 2003 para que las diferentes universidades públicas y privadas,

asociaciones de facultades, de profesionales y otras organizaciones académicas participaran

en la elaboración de propuestas de diseño y construcción de los nuevos ECAES en 27

programas de pregrado agrupados por áreas del conocimiento.

Para la construcción de estas pruebas, las universidades y asociaciones encargadas

del proceso, desarrollaron talleres regionales en los que hubo participación de un porcentaje

significativo de la comunidad educativa universitaria del país. Los ECAES en estos

programas se aplicaron el primero de noviembre de 2003 en todo el país, y los resultados

tanto institucionales como individuales se dieron a conocer el primero de diciembre del

mismo año.

En el año 2004, a los 27 programas ofrecidos en el 2003, se le sumaron 16,

completando la evaluación en 43 programas académicos de pregrado en todo el país. Así

mismo para el año 2.004 se agregó al examen un componente de comprensión lectora, cuyo

propósito era indagar por la capacidad de leer de una manera comprensiva diversos tipos de

textos en los niveles de interpretación local, global e intertextual a partir de tres

dimensiones de la competencia lectora: interpretativa, argumentativa y propositiva. Este

componente no se tuvo en cuenta a la hora de calcular los puntajes del examen (ICFES,

2005. Informe nacional de resultados ECAES 2004).

Entre las asociaciones de facultades convocadas para participar en esta gran tarea, se

deben reseñar las más representativas de la comunidad académica, y que a su vez son

objeto de interés para el presente trabajo. Estas son: La Asociación Colombiana de

facultades de Medicina (ASCOFAME), La Asociación Colombiana de facultades de

Enfermería (ACOFAEN), La Asociación Colombiana de facultades de Ingeniería (ACOFI).

VIVENCIAS ACADEMICAS DE LOS ECAES 22

ASCOFAME, es una entidad sin ánimo de lucro cuya misión es asesorar, coordinar

y promover el intercambio y la acción académica, científica e investigativa entre las

Facultades de Medicina y las Instituciones de Salud Como objetivo establece los estímulos

al progreso de la Educación Médica y las Ciencias de la Salud. Actualmente cuenta con 24

miembros institucionales. (ASCOFAME, 2.005).

En lo referente a los ECAES, ASCOFAME ha desempeñando dos importantes

papeles. El primero, desarrollar las pruebas del año 2001, y segundo, ser representante de

las facultades afiliadas en la planeación, organización, diseño, aplicación y entrega de

resultados en coordinación con el ICFES. Sus aportes se deben gracias a que durante diez

años recopilaron experiencia en la realización de exámenes sumativos en Medicina, a través

del examen al mejor interno.

ACOFAEN, fundada en 1.968, es una entidad sin ánimo de lucro, cuya misión es

consolidar y mantener la comunidad académica de enfermería y propender por el desarrollo

y avance de la profesión en su proceso de construcción disciplinar. (ACOFAEN, 2.005)

ACOFI fue fundada en 1.975 como entidad sin ánimo de lucro. Tiene como

objetivo el propender por el impulso y el mejoramiento de la calidad de las actividades de

docencia, extensión e investigación en Ingeniería que desarrollan las Facultades o

Programas de Ingeniería de Colombia. Actualmente cuenta con 61 miembros

institucionales, entre los que se cuenta la Universidad Javeriana. Ha estado encargada del

diseño y especificaciones de prueba de los ECAES tanto para los años 2.003-2.004 como

para los años 2.005-2.006, y ha representado a las facultades ante el ICFES realizando

reflexiones acerca de los resultados de los exámenes y su divulgación. (ACOFI, 2.005a)

5.3 La evaluación: práctica educativa sujeta a tensiones históricas

En educación, la evaluación es un campo de permanentes tensiones. La más

relevante de ellas es la que se presenta entre la necesidad angustiosa de evaluación de

calidad por parte de una sociedad -para determinar qué tanto se avanza en la consecución

de sus fines- y la dificultad inherente a todo mecanismo evaluativo para ser algo más que

un juicio subjetivo, incompleto y parcial. Esta tensión, a la que están sometidos todos los

participantes del proceso educativo, genera consecuencias en dichos participantes, las

VIVENCIAS ACADEMICAS DE LOS ECAES 23 cuales se traducen en prácticas educativas dirigidas de manera invisible por pedagogías

subyacentes.

Frente a la tensión evaluativa existen dos posiciones principales. Una postura habla

de la posibilidad de una evaluación objetiva, o cuando menos muy cercana a la realidad. En

ella se mencionan objetivos por alcanzar, estándares de calidad y posibilidades de progreso

y desarrollo, todo ello enmarcado en un ideal de sociedad o, aún mejor, de nación guiada

por la razón, como ampliamente lo explican desde una postura crítica (para el caso

mexicano), De Alba, Díaz Barriga y Viviesca (1.984) o desde una postura alineada con esta

visión, Cañón (2.004). Es por ello que esta postura puede ser llamada modernista. Del otro

lado encontramos posiciones que podrían llamarse posmodernistas: Indican que la

educación es dinámica y compleja, y que por lo tanto hay una imposibilidad epistemológica

de evaluación objetiva. A partir de ello, abogan por una visión evaluativa que la considere

como una práctica cultural que debe ser vista desde las interacciones de poder entre las

partes y desde las posibles expresiones pedagógicas que la informan (Torres, 1.997) Su

vertiente radical propugna la práctica eliminación de todo tipo de evaluación fundada en

una pedagogía romántica, como por ejemplo en Rogers (1.978). La vertiente moderada

aboga por mecanismos alternativos de evaluación como la autoevaluación y la

heteroevaluación, sin perder de vista que en la evaluación se trata de juicios subjetivos y

por tanto, nunca concluyentes.

Desde ambas posturas se habla profusamente de los principales efectos que la

evaluación sistemática conllevará: del lado modernista, el progreso de la nación; del lado

posmodernista, el control y la alienación de los sujetos, inmersos en un sistema injusto.

La postura modernista tiene, como consecuencia natural de su origen, gran eco en

las entidades gubernamentales nacionales y mundiales. La generación de sistemas

nacionales e internacionales de evaluación de la calidad ha sido una constante desde la

segunda mitad del siglo XX, y es un constante hoy en día en gran cantidad de países. (Peña

Borrero, 1.999). Dentro de estos sistemas, la realización de exámenes de estado es uno de

los mecanismos utilizados con preferencia.

El punto de vista asumido en esta investigación comprende la evaluación como una

práctica curricular. Se puede definir una práctica como la repetición habitual de una

actividad conforme a reglas (Campo y Restrepo, 2002). Toda evaluación es una práctica,

VIVENCIAS ACADEMICAS DE LOS ECAES 24 sin importar que dicha evaluación sea propuesta y dirigida desde una institución estatal,

pues de cualquier forma hay un grupo de actores educativos que participan en ella

habitualmente dentro de un conjunto de reglas especificadas. Estas prácticas evaluativas, a

su vez, ejercen una poderosa influencia sobre las prácticas docentes de los maestros, las

prácticas curriculares de los directivos y las prácticas de estudio de los aprendices. Sólo la

reflexión permanente de todos los actores sobre estas prácticas puede llevar a su

mejoramiento, puesto que se trata de praxis deliberativas, dónde lo que se busca es la

ejecución de la acción moralmente correcta por encima de la simple efectividad o logro de

un objetivo propuesto (Carr, 1.996 cap. 4)

Las prácticas están profundamente permeadas por los contextos culturales en las

cuales se desenvuelven; por esa razón, para desentrañar su sentido es necesario analizar lo

que ocurre alrededor de ellas, describir las acciones, las vivencias y las creencias

subyacentes de las personas involucradas en la acción. Sólo así se puede intentar abordar la

pregunta del para qué de la evaluación sin dejar de lado la inserción cultural de la misma, y

mejorar la comprensión del fenómeno evaluativo que pueda conducir e iluminar las futuras

acciones de las personas involucradas.

5.3.1 Evolución histórica de las concepciones evaluativas modernas

El concepto de evaluación educativa moderna ha tenido un gran desarrollo en los

últimos cien años. Una de las definiciones más aceptadas indica que la evaluación es el

enjuiciamiento sistemático de la valía o el mérito de un objeto (Stufflebeam y Shinkfield,

1.987)

A principios de siglo, Alfred Binet diseña un test psicométrico a ser aplicado para

detectar niños con problemas de aprendizaje en el sistema escolar, el cual se convierte

posteriormente en un test para medir el coeficiente intelectual. A partir de entonces, la

utilización de pruebas tipo test que combinan los avances de la psicometría y la estadística

se convierten en un paradigma de los sistemas evaluativos occidentales. Este modelo se

conoce como el modelo de pruebas estandarizadas o pruebas objetivas. (Gardner,1.999

cap.10) La posterior evolución de los conceptos de evaluación ha sido investigada y

profusamente detallada por Stufflebeam y Shinkfield (1.987). En particular, durante los

VIVENCIAS ACADEMICAS DE LOS ECAES 25 años 40 y como reacción a las dificultades que la utilización masiva de tests tenía para

verificar la efectividad de programas escolares en diversos contextos, Ralph Tyler diseña la

evaluación basada en objetivos. El modelo de Tyler proponía que se valorara únicamente la

correspondencia entre objetivos y resultados curriculares del programa. Esa valoración se

haría a partir de comportamientos específicos de los aprendices. El modelo tyleriano ha

tenido y sigue teniendo una enorme influencia en la educación colombiana, y es el modelo

sobre el cual se basa la taxonomía de los objetivos educativos de Bloom, que se mencionará

más adelante en la creación de las categorías. (Bloom, 1.973)

Sin embargo, el modelo de Tyler ha sido ampliamente comentado y criticado por

otras propuestas evaluativas. En particular, Schuman indica que es necesario realizar una

mirada sobre la validez misma de los objetivos a la luz de las necesidades educativas,

desenmascarando así las suposiciones subyacentes al momento de declarar dichos

objetivos. Observa también que es necesario recoger información no sólo sobre los

resultados finales, sino también sobre las consecuencias o efectos no planificados y sobre

los procesos de realización del programa, porque saber cómo se llegó al éxito o al fracaso

debe ser útil para otros. Para los propósitos de esta investigación, es de particular relevancia

la idea de observación de los procesos y la posibilidad de que se presenten efectos no

planificados en una práctica educativa de evaluación.

Por su parte, Cronbach aporta la necesidad de una comunicación efectiva y dirigida

específicamente a cada una de las audiencias de la evaluación, definiendo las mismas como

grupos de personas con intereses específicos en los resultados de dicha evaluación. El

concepto de audiencia es de capital importancia, pues resulta fundamental planificar

adecuadamente la comunicación de los resultados de la evaluación de tal forma que se

comunique a las audiencias aquello que ellas quieren saber. Muchas de las audiencias

disponen de tiempo limitado para conocer un informe evaluativo y tienen pocas

posibilidades de comprender un gran cantidad de lenguaje técnico, por lo que recomienda

métodos de comunicación poco convencionales, alejados de un simple resumen técnico.

También considera legítima el derecho de las audiencias a extrapolar los resultados tanto

como les sea posible, por lo que el evaluador debe ofrecer predicciones alternativas y

realizar análisis descriptivos amplios para poder satisfacer este derecho. La idea de

audiencias llevó esta investigación a explorar las voces de grupos específicos afectados por

VIVENCIAS ACADEMICAS DE LOS ECAES 26 la evaluación, a denominarlos con el nombre de audiencias y a tener en cuenta las

consideraciones comunicativas de los resultados de Cronbach para el análisis de resultados.

Daniel Stufflebeam incorpora el enfoque sistémico a la evaluación, resaltando que

ésta debe ser útil para la toma de decisiones y el perfeccionamiento de los programas u

objetos. Define la evaluación como el proceso de delineación, obtención y suministro de

información útil para juzgar alternativas de decisión. A partir de las necesidades de toma

de decisiones, clasifica las evaluaciones en cuatro tipos: evaluaciones de proceso (decidir

sobre cómo hacer las cosas), evaluaciones de producto (decidir sobre continuar, finalizar o

mejorar un programa) evaluaciones de contexto (determinar la valía de las metas a partir

del entorno) y evaluaciones de entrada (decidir sobre cómo planificar un proyecto a partir

de los insumos de los que se dispone). Para Stufflebeam, la retroalimentación de los

resultados es clave para el perfeccionamiento de los programas, y por eso la evaluación

debe ser un proceso permanente e inherente al programa. Esta concepción sistémica

subyace al sistema de acreditación y registro calificado de los programas en Colombia,

puesto que en ellas se juzga la capacidad educativa del programa a partir de los recursos

que posee (insumo), la forma en que realiza sus actividades (proceso) y la reflexión que

lleva a cabo sobre las mismas dentro del ambiente en que se desenvuelve (contexto).

Otros autores, liderados por Robert Stake ampliaron la concepción de evaluación en

pos de miradas holísticas y pluralistas de la misma, que incluyeran como juicios las

posiciones y opiniones de las diferentes audiencias acerca de los resultados del programa,

haciendo de dichos resultados esperados algo flexible a lo largo del proceso. Propuso que

los evaluadores debían buscar la ilustración en todos los aspectos del problema, más que un

juicio definitivo sobre el mismo, atendiendo a los antecedentes, intenciones, normas y

juicios de cada uno de los afectados, y su respectiva congruencia y contingencia lógica. De

ese modo se da origen a la evaluación comprensiva, cuyo interés básico radica en develar y

comprender los sentidos implícitos en la acción educativa. El papel de la evaluación

consiste en entender, desde el ángulo de la valoración, el significado de una determinada

acción educativa. La evaluación como comprensión orienta su mirada especialmente hacia

todo aquello que le ocurre a los diferentes grupos de interés o audiencias, pues ello en

último término da relevancia y significado al quehacer educativo. Opone a las tendencias

evaluativas que enfatizan en los resultados, una posibilidad valoración íntimamente ligada

VIVENCIAS ACADEMICAS DE LOS ECAES 27 a los procesos propios de una actividad educativa, y las vivencias de sus actores sin llegar a

un juicio concluyente.

Scriven hace una distinción entre evaluaciones sumativas (orientadas a dar un juicio

comparativo y final del mérito y valía de un objeto de acuerdo a las necesidades de los

consumidores) y evaluaciones formativas (orientadas al mejoramiento continuo de los

procesos en su contexto), afirmando que es indispensable emitir juicios independientes

sobre los objetos, evitando la fobia a la evaluación, o valorfobia.

Si se mira el fenómeno de los ECAES a partir de las clasificaciones históricas de la

evaluación, se puede decir que los exámenes se inscriben dentro de dos tipos de evaluación

claramente definidos. De un lado, se trata de una evaluación objetiva estandarizada, que se

ayuda de la psicometría para el logro de sus fines, y presenta todas las características de un

test. Así mismo, sería una evaluación sumativa -en el sentido de que se realiza al final de un

proceso (últimos semestres de carrera)- con algunas intencionalidades formativas, pues

pretende dar luces para el mejoramiento de la calidad de la educación superior.

La mayoría de los autores mencionados coinciden en que las evaluaciones también

deben ser evaluadas en sí mismas, proceso conocido como metaevaluación. Desde ese

punto de vista se puede ver la presente investigación como una ampliación de las

posibilidades de metaevaluación comprensiva de los ECAES.

5.4 Dimensiones de las vivencias académicas

Antes de aproximarnos a una concepción de las dimensiones, resulta fundamental

comprender el concepto de vivencias académicas que se adoptó para el desarrollo de la

investigación.

Debido a la limitación conceptual que existe del término completo vivencias

académicas, éste se reconstruyó a partir de la definición de cada una de las palabras que lo

componen, logrando así un sentido preciso de apropiación para efectos de esta

investigación.

Entre las múltiples definiciones del término vivencias, se encontró adecuada la idea

de vivencia como experiencia consciente del sujeto dentro de un contexto vital. En este

caso, el contexto vital son espacios académicos directamente relacionados con procesos de

VIVENCIAS ACADEMICAS DE LOS ECAES 28 enseñanza-aprendizaje referidos a la evaluación; y la experiencia consciente se refiere a la

capacidad de expresar a través del lenguaje aquello que le ha ocurrido.

Por todo lo anterior, se definió vivencia académica en relación con los ECAES

como una experiencia que ocurre en una situación académica específica en la cual se

participa en relación con algún proceso de enseñanza o aprendizaje.

El foco de interés principal de las vivencias académicas se presentó alrededor de

cinco dimensiones de las vivencias sobre los ECAES: las acciones realizadas, los objetos de

evaluación percibidos, las consecuencias presentes o futuras de la aplicación del examen,

las condiciones en las que se llevó a cabo el mismo y las propuestas de mejoramiento que

las audiencias pudieran hacer a los exámenes.

Por acciones se entienden el conjunto de actuaciones que, en el marco de lo

educativo, los diferentes participantes en un proceso (en este caso los ECAES) han llevado

a cabo en relación a él, lo cual incluye: decisiones, formas de organización,

conversaciones, actividades y omisiones.

Por objetos de evaluación se entienden aquellos componentes de un proceso

educativo que:

a) Una evaluación logra reflejar, y son su intencionalidad declarada

b) Una evaluación logra reflejar, aunque no sean su intencionalidad declarada (los

participantes pueden desear o no ese reflejo).

c) Una evaluación no logra reflejar, a pesar de tener esa intencionalidad declarada.

d) Una evaluación no logra reflejar, no son su intencionalidad declarada, pero los

participantes desearían que reflejara.

Por consecuencias se entiende aquello que les ocurre o se prevé que pueda ocurrir

en cualquier plazo a los participantes de un proceso como resultado de un hecho

cumplido(en este caso, la aplicación y resultado de los exámenes) bien sea por acciones

propias o por acciones de otros.

Por condiciones se entienden las circunstancias de tiempo, lugar y modo en que

ocurre un suceso.

Por propuestas de mejoramiento se entienden las ideas que los participantes de un

proceso puedan tener para perfeccionar dicho proceso.

VIVENCIAS ACADEMICAS DE LOS ECAES 29 En cada una de estas cinco dimensiones se trabajaron un conjunto de categorías que se

describen a continuación.

5.5 Categorías

5.5.1 Acciones

En lo referente a las acciones, se trabajaron las siguientes categorías:

5.5.1.1 Frente a la elaboración del examen

Información general: Actividad en el cual el ICFES y las Asociaciones de

Facultades convocaron a las Universidades para que los docentes y directivos asignados

por cada una de ellas recibieran orientación e información básica sobre los ECAES, y

compartieran sus opiniones al respecto del examen.

Elaboración de preguntas: Proceso en el que los docentes representantes de las

diferentes facultades reciben capacitación sobre la estructura de la prueba y participan

como constructores de preguntas en diferentes áreas de formación con el propósito de crear

bancos de preguntas.

Selección de preguntas: Proceso en el que se hace una revisión o tamizaje sobre las

preguntas que entregan los docentes de cada una de las facultades, conforme con las áreas

de formación acordadas, el número de preguntas y el tipo de preguntas.

5.5.1.2 Frente a la preparación para el examen

Realización de cursos por parte de la Facultad: Puesta en marcha de actividades

académicas dirigidas a fortalecer las áreas de mayor dificultad o aquellas en las que se

presentan debilidades o vacíos.

Disposiciones Institucionales: Directrices impartidas y funciones asignadas por las

directivas académicas en relación con la participación del programa en los ECAES.

VIVENCIAS ACADEMICAS DE LOS ECAES 30

Reuniones informativas: Encuentros de socialización con profesores y estudiantes

sobre los ECAES

Entrenamiento en preguntas tipo ECAES: Preparación a los estudiantes en cuanto a

la metodología de la prueba, específicamente en los tipos de pregunta del examen,

realizada por docentes de diferentes áreas, y adopción del modelo de preguntas para aplicar

las evaluaciones de sus asignaturas en algunos casos.

Preparación de los estudiantes: Acciones de los estudiantes encaminadas a fortalecer

sus conocimientos y habilidades para la presentación de los ECAES.

5.5.1.3 Frente a la recepción de resultados

Autoevaluación de fortalezas y debilidades: Revisión y análisis de áreas de

formación de la carrera frente a diversos criterios.

Reforma Curricular: Uso de los resultados de los ECAES como apoyo para

replantear prácticas educativas conducente a reforzar las áreas que presentan falencias.

Organización de grupos críticos: Formación de grupos de personas y universidades

para reflexionar y discutir la forma en que se diseñaron, aplicaron y divulgaron los

resultados de los ECAES

Indagación de acciones de otros programas frente a los ECAES: Preocupación y

averiguación informal de las acciones y decisiones tomadas por otras carreras y otras

universidades frente a los ECAES.

Divulgación de los resultados: Uso discrecional de los resultados por parte de la

carrera.

5.5.2 Objetos de evaluación

Al elaborar las categorías para abordar los objetos de evaluación resultó de gran

utilidad para la construcción de categorías de conocimiento, en consonancia con la

información recopilada, la taxonomía de los objetivos educacionales propuesta por Bloom

(1.973), a partir de las ideas evaluativas de Ralph Tyler.

VIVENCIAS ACADEMICAS DE LOS ECAES 31

La taxonomía de Bloom divide los objetivos educacionales en tres campos: el

cognoscitivo, el afectivo y el psicomotor. Para el campo cognoscitivo, realiza una

clasificación en seis niveles. Estos niveles, de acuerdo con Bloom, implican una jerarquía

en la que los comportamientos observables se organizan de los más simples a los más

complejos, de modo tal que “… los problemas que requieren sólo el comportamiento A

(Más simple) se resolverán correctamente con mayor frecuencia que los que necesitan el

AB (más complejo)” (Ibíd., p. 18)

La versión condensada de la taxonomía de los objetivos de la educación de Bloom

para el campo cognoscitivo establece los siguientes niveles con sus correspondientes

definiciones:

Conocimiento: Capacidad de recordar hechos específicos y universales, métodos y

procesos, o un esquema, estructura, o marco de referencia. Se refiere ante todo, a la

memoria.

Comprensión: Comprende la traducción, la interpretación y la extrapolación. Es la

capacidad por la cual el individuo sabe lo que se le está comunicando y hace uso de los

materiales o ideas que se le transmiten sin tener que relacionarlos necesariamente con otros

materiales o percibir la totalidad de sus implicaciones.

Aplicación: Es el uso de abstracciones en situaciones particulares y concretas.

Análisis: es el fraccionamiento de una comunicación en sus elementos constitutivos

de tal modo que aparezca claramente la jerarquía relativa de las ideas y se exprese

explícitamente la relación existente entre éstas.

Síntesis: Es la reunión de los elementos y las partes para formar un todo. Implica los

procesos de trabajar con elementos aislados, partes, piezas, etc… ordenándolos y

combinándolos de tal manera que constituyan un esquema o estructura que antes no estaba

presente de manera clara.

Evaluación: Es la formulación de juicios sobre el valor de materiales y métodos de

acuerdo con determinados propósitos y criterios.

Es importante anotar, además, que el campo cognoscitivo de la taxonomía de Bloom

sirvió de base para el diseño y especificaciones de prueba de los ECAES de Ingeniería

Industrial, de acuerdo con ACOFI (2.005b)

VIVENCIAS ACADEMICAS DE LOS ECAES 32

Por su parte, al momento de abordar la categorización de las competencias resulta

muy pertinente abordar algunos referentes teóricos al respecto. Es importante recordar que

los exámenes de calidad de la educación superior (ECAES) están concebidos como una

evaluación que pretende medir el grado de desarrollo de las competencias de los estudiantes

de último año de pregrado, de acuerdo con el decreto 1781 (2.003). Sin embargo, la

utilización del término “competencia”, así como sus posibles clasificaciones han resultado

problemáticas y confusas. El primer referente teórico de las competencias se encuentra en

Noam Chomsky. Como lo explican Carlos Hernández y María Cristina torrado en un

documento de la Universidad Nacional de Colombia (2.000), Chomsky define la

competencia lingüística como una capacidad de producir y comprender el habla, por el

manejo de un sistema de reglas que relacionan sonidos y significados. Esa capacidad sólo

puede ser puesta en juego dentro de un contexto. En este sentido es conocido el ejemplo de

una persona capaz de hablar un determinado idioma, pero que al encontrarse inmersa en

una cultura donde no tiene un interlocutor para practicarlo no puede ejercer dicha

capacidad. Se dice de esa persona que posee la competencia para hablar dicho idioma, pero

no podrá ejercerla hasta tanto se encuentre en el contexto adecuado para hacerlo. Otro

ejemplo similar es la competencia para manejar una máquina, competencia que no puede

ejercerse hasta tanto no se disponga del instrumento para hacerlo. En ese sentido, la

competencia sería una capacidad de ejecutar una acción cuando el contexto sea propicio.

Este último acercamiento a la definición de competencia es suscrito por las

instituciones públicas, en particular el Ministerio de Educación Superior y su institución

adscrita -el ICFES-, quienes ven las competencias como “…una convergencia de saberes

que se orientan en un cierto contexto… y que emergen en una tarea específica y concreta”

(Bogoya, 2.003 p.7), o como “una actuación idónea que emerge en una tarea concreta, en

un contexto con sentido” (Bogoya, 2.000 p.179). De lo anterior se desprende que el

concepto de competencia comporta tres elementos fundamentales: los conocimientos (el

saber), la acción práctica (el hacer) y los elementos que rodean esta acción (el contexto).

Desde otro punto de vista, Ronald Barnett (2.001) indica que el surgimiento del

concepto de competencia aparece cuando el paradigma de la búsqueda de conocimiento

deja de ser la verdad del mismo conocimiento, pasando a ser la utilidad práctica el criterio

para valorar el conocimiento y su búsqueda. Anota, adicionalmente, que el concepto de

VIVENCIAS ACADEMICAS DE LOS ECAES 33 competencia está basado en el de habilidad, y para que exista la habilidad se necesita:

“…Una situación de cierta complejidad; un desempeño dirigido a la situación, que debe ser

deliberado y no casual; una evaluación que confirme que el desempeño ha satisfecho las

demandas de la situación; (y) la impresión de que el desempeño ha sido encomiable” (Ibíd.,

p.86), ampliando así las perspectivas de la definición anterior, y poniéndola en la

perspectiva de la evaluación. Por último, Barnett concluye que la competencia es

independiente de cómo se adquirió, por lo que puede resultar independiente de la educación

formal, y rozar sólo tangencialmente el conocimiento.

Si bien el concepto de competencia parece tener claridad desde la perspectiva del

desempeño, el saber que lo informa y el contexto en el que se realiza, aquello que no

parece estar muy claro es qué tipo de competencias existen. En un análisis lúcido dentro de

una compilación, Guillermo Bustamante Zamudio (Torres, Marín, Bustamante. 2.002)

muestra de que manera en la evolución histórica de las competencias se han hecho decenas

de categorizaciones en diversos sentidos que se oponen o traslapan, y que crean un

panorama confuso a la hora de tratar de clasificar las competencias. Por ello se decidió

realizar una categorización que correspondiera de la mejor manera a la información

recogida entre las diferentes audiencias investigadas, esperando con ello no contribuir

demasiado al aumento de la confusión al respecto.

Los conocimientos y las competencias no fueron los únicos objetos de evaluación

trabajados. A continuación se enuncian las categorías construidas con sus respectivas

definiciones.

5.5.2.1 Correspondencia con la calidad de formación profesional del programa

Por características del instrumento: Señalamiento de rasgos en la concepción,

diseño, elaboración y utilización del instrumento mediante el cual se desarrollaría la

evaluación

Por diferencia entre programas: Explicaciones que sustentan la validez o no de las

comparaciones entre programas debido a su diversidad.

VIVENCIAS ACADEMICAS DE LOS ECAES 34 5.5.2.2 Correspondencia con el desempeño individual

Por comparación de ECAES y desempeño del estudiante: Explicación del

desempeño en los ECAES tomando con base en el desempeño del estudiante en el

programa.

Por características del instrumento: Señalamiento de rasgos en la concepción,

diseño, elaboración y utilización del instrumento mediante el cual se desarrollaría la

evaluación.

Por correspondencia con lo esperado: Semejanza entre los resultados obtenidos y la

autovaloración del desempeño esperado por parte del estudiante.

5.5.2.3 Tipo de formación

Formación básica: Se refiere al conocimiento en áreas de fundamentación que

sustentan el saber disciplinar.

Formación especializada: Conocimiento disciplinar que sustenta la formación

profesional.

5.5.2.4 Conocimientos

Conocimientos memorizables: Conocimientos que permiten recordar hechos

específicos y universales, métodos y procesos, o un esquema, estructura, o marco de

referencia.

Conocimientos interpretativos: Conocimientos que permiten al individuo la

traducción, la interpretación y la extrapolación de información con base en conocimiento

previo. Se refiere al conocimiento que requiere análisis e interpretación de resultados

Habilidades prácticas: Es el conocimiento que permite el uso de abstracciones en

situaciones particulares y concretas.

Análisis: es el fraccionamiento de una comunicación en sus elementos constitutivos

de tal modo que aparezca claramente la jerarquía relativa de las ideas y se exprese

explícitamente la relación existente entre éstas.

Síntesis: Es la reunión de los elementos y las partes para formar un todo. Implica los

procesos de trabajar con elementos aislados, partes, piezas, etc… ordenándolos y

VIVENCIAS ACADEMICAS DE LOS ECAES 35 combinándolos de tal manera que constituyan un esquema o estructura que antes no estaba

presente de manera clara.

Evaluación: Es la formulación de juicios sobre el valor de materiales y métodos de

acuerdo con determinados propósitos y criterios.

5.5.2.5 Competencias

Ninguna: Inexistencia de reconocimiento y valoración de las competencias en la

prueba

Cognitivas: Dominio experiencial acumulado de experiencias cotidianas formales e

informales de distinto tipo, que le ayudan al ser humano a desenvolverse en la vida

práctica y a construir un horizonte social-cultural que le permitirá vivir en comunidad.

(Jiménez , 2002).

Socio-afectivas: Desempeños relacionados con la interacción con otras personas y el

adecuado manejo de los sentimientos en las mismas.

Prácticas: Desempeños relacionados con acciones útiles para un profesional en el

campo laboral.

Valorativas: Desempeños relacionados con el correcto juicio de situaciones y su

manejo ético.

5.5.2.6 Comparaciones entre carreras

Por limitaciones de análisis estadístico: Argumentos que se refieren a las

características de diseño y presentación estadística de resultados que limita las

posibilidades de comparación del instrumento.

Por diferencias entre los programas: Explicaciones que sustentan la validez o no de

las comparaciones entre programas debido a su diversidad.

Por deficiencias del instrumento: Fallas propias del instrumento en relación con su

capacidad evaluativa.

VIVENCIAS ACADEMICAS DE LOS ECAES 36

Por el carácter institucional de la prueba: Argumento que valida la comparabilidad

de la prueba basado en la obligatoriedad de la regulación de las instituciones

gubernamentales.

Por correspondencia con una imagen pública de las instituciones: Semejanza entre

las concepciones públicas de diferentes aspectos de las instituciones y sus resultados en los

ECAES.

5.5.3 Consecuencias

5.5.3.1 Beneficios

Aporte a la evaluación interna: Beneficio consistente en la posibilidad de utilizar los

resultados de los ECAES como insumo para el diagnóstico y mejoramiento a nivel del

programa o a nivel individual.

Estímulos a los estudiantes: Beneficios para los estudiantes por la obtención de

buenos resultados en los ECAES

Diferenciación de la calidad de los programas a largo plazo: Posibilidad de

distinguir entre los “buenos” y los “malos” programas con las consecuencias que ello

acarree.

Carreras más especializadas: Creación y división de programas académicos fruto de

la reflexión suscitada por los ECAES.

Internacionalización del programa: Posibilidad de homologación y referenciación

internacional del programa

Conocimiento mutuo: Mayor acercamiento a la propuesta y desarrollo educativo de

otras instituciones y otros programas

Repaso de conocimientos: Posibilidad de revisar el aprendizaje adquirido durante la

carrera

Comparación: Posibilidad de confrontar los resultados frente a los de otra persona,

programa o institución.

VIVENCIAS ACADEMICAS DE LOS ECAES 37

5.5.3.2 Perjuicios

Indebida interpretación y divulgación de los resultados: Perjuicio causado por

erróneas o ligeras interpretaciones por cualquiera de las audiencias de los resultados de los

exámenes

Esta categoría está a su vez clasificada según el tipo de audiencia a que realiza la

interpretación y/o divulgación de resultados. Las audiencias seleccionadas fueron:

• Por parte de los medios de comunicación

• Por parte de los empleadores

• Por parte de las universidades

• Por parte de los estudiantes

• Por parte de los padres de familia

• Por parte del público general

Condicionamiento indebido de los programas: Perjuicio causado si los programas

dirigen la mayor parte de sus esfuerzos al logro de excelentes resultados en los exámenes,

dejando de lado otros aspectos de la formación profesional.

Rivalidad entre Instituciones: Perjuicio relacionado con las condiciones imperfectas de

competencia.

Inocuidad de los resultados: Posible inutilidad de los resultados, lo que conlleva a no

otorgarles ninguna importancia.

Interferencia con actividades académicas: Dificultad para responder simultáneamente a

los ECAES y a las actividades curriculares en el semestre que se está cursando.

5.5.3.3 Incidencia en la autonomía

Por estandarización de programas: Unificación de currículos por las exigencias

hechas por el Estado a través de los ECAES.

Por condicionamiento de la imagen pública: Generación de una imagen pública que

reduce o lesiona la autonomía del programa.

Por regulación: No interferencia entre la regulación y la posibilidad de tener una

propuesta autónoma.

VIVENCIAS ACADEMICAS DE LOS ECAES 38

5.5.4 Condiciones de aplicación

5.5.4.1 Diferencias de la primera a segunda aplicación

En participación: Variación en la intensidad y frecuencia de la contribución de los

participantes en la elaboración de los exámenes.

En el tratamiento que le dieron los medios a los resultados: Variación en el modo,

alcance, difusión e interpretación de los resultados por parte de medios de comunicación

masivos.

En la preocupación por los ECAES: Diferencia en los niveles de atención que

provocaron los resultados de los ECAES.

En los resultados: Variación en los puntajes obtenidos por los estudiantes.

En la información sobre el examen: Variación en la calidad y cantidad de la

información suministrada por el ICFES previa a la realización del examen.

En la divulgación estatal: Diferencias en la publicación de resultados por parte del

ICFES

En la aplicación del examen: Diferencias en aspectos de la presentación del examen

por los estudiantes.

5.5.4.2 Condiciones de información previa

Suficiencia de la información: Cantidad y calidad de la información adecuada a las

necesidades del programa.

Claridad de la información: Utilidad y posibilidad de comprensión de la

información por las diferentes audiencias

Oportunidad de la información: Recepción de la información en el momento

adecuado por las diferentes audiencias.

Confiabilidad de las fuentes: Grado de confianza en las personas e instituciones que

originaron la información.

VIVENCIAS ACADEMICAS DE LOS ECAES 39

5.5.4.3 Condiciones de aplicación

Tiempo: Grado de correspondencia entre el tiempo otorgado por la prueba y las

características de la misma.

Lugar: Sitio apropiado para la presentación de la prueba.

Modo: Organización y logística de la prueba, tanto en los procesos de inscripción

como durante la aplicación de la prueba.

5.5.4.4 Condiciones de divulgación de los resultados

Accesibilidad: Facilidad para obtener información de los resultados de los ECAES.

Oportunidad: Recepción de los resultados en el momento adecuado por las

diferentes audiencias.

Claridad: Utilidad y posibilidad de comprensión de los resultados por las diferentes

audiencias

5.5.5 Propuestas de mejoramiento

5.5.5.1 Para la comparación entre programas

Mejoramiento del instrumento: Perfeccionamiento del instrumento y

replanteamiento de los ECAES

Desempeño profesional: Comparación basada en el éxito profesional del egresado.

Otros procesos de evaluación y acreditación: Otras modalidades de evaluación de

programas.

5.5.5.2 Para la realización de los ECAES

VIVENCIAS ACADEMICAS DE LOS ECAES 40

Mejoramiento del instrumento: Perfeccionamiento del instrumento y

replanteamiento de los ECAES

Realización de pre-ECAES: Solicitud de los estudiantes para la puesta en marcha

de actividades de preparación específica para los ECAES

Adecuada utilización de los resultados: Mejoramiento de la interpretación y divulgación de

resultados por parte de todas las audiencias.

Eliminación de los ECAES: Supresión total de la realización del examen como parte del

sistema de aseguramiento y vigilancia de la calidad.

VIVENCIAS ACADEMICAS DE LOS ECAES 41

6. METODOLOGÍA

El diseño metodológico, es el proceso por el cual se le da orden a los

procedimientos que se deben realizar para llevar a cabo una investigación según el

problema y los objetivos planteados.

6.1 Diseño de la investigación

El presente proyecto corresponde a un diseño de investigación cualitativa, el cual

se caracteriza porque busca especificar las propiedades importantes de personas, grupos,

comunidades o cualquier otro fenómeno que sea sometido a análisis. Desde el modelo

cualitativo, describir es caracterizar. Es por ello que en este tipo de investigación se

reconocen rasgos distintivos de un fenómeno o situación.

A diferencia de la anterior, la investigación cuantitativa es aquella en la que se

recogen y analizan datos cuantitativos o numéricos. La investigación cualitativa no se basa

fundamentalmente en la cuantificación. Los investigadores cualitativos hacen registros

narrativos de los fenómenos que son estudiados mediante técnicas como la observación

participante y las entrevistas no estructuradas. La diferencia fundamental entre ambas

metodologías es que la cuantitativa estudia la asociación o relación entre variables

cuantificadas y la cualitativa lo hace en contextos estructurales y situacionales. La

investigación cualitativa trata de identificar y comprender la naturaleza profunda de las

realidades, su sistema de relaciones, su estructura dinámica. En contraposición, la

investigación cuantitativa trata de determinar la fuerza de asociación o correlación entre

variables, la generalización y objetivación de los resultados a través de una muestra para

hacer inferencia a una población de la cual toda muestra procede. Tras el estudio de la

asociación o correlación se pretende, a su vez, hacer inferencia causal que explique por qué

las cosas suceden o no de una forma determinada.

VIVENCIAS ACADEMICAS DE LOS ECAES 42

6.2 Tipo de investigación

De acuerdo con el objetivo de la investigación, - el cual es describir las vivencias

académicas que estudiantes y directivos de las carreras de Enfermería, Medicina, Ingeniería

Industrial e Ingeniería de Sistemas de la Universidad, han tenido frente a la aplicación de

los ECAES, en lo referente a acciones, consecuencias, objetos de evaluación y condiciones

de aplicación- el tipo de investigación que corresponde llevar a cabo es la etnográfica

porque el interés está centrado en la descripción más que en la formulación o verificación

de hipótesis, o en la elaboración de juicios concluyentes al respecto del fenómeno de

interés.

Etimológicamente, el termino etnográfica significa la descripción del estilo de vida

de un grupo de personas habituadas a vivir juntas (ethnos) (Martínez, 1993), por lo tanto, el

objeto de estudio para el investigador es cualquier grupo humano que constituya una

comunidad, en la cual el etnógrafo identifica costumbres creencias, valores y leyes, de tal

forma que es objeto de estudio de la investigación etnográfica no solo una tribu, un país o

un grupo lingüístico, sino también una institución, una empresa, un gremio, una familia o

un salón de clase. En esta investigación, el grupo humano de interés es una parte de la

comunidad académica conformada por directivas y estudiantes de las facultades en salud

e ingeniería de la Universidad Javeriana, quienes estuvieron directamente implicados con la

experiencia de los ECAES.

6.3 Enfoque

Dentro de las técnicas de investigación etnográfica, se optó por el estudio de caso,

el cual implica una investigación en profundidad de las situaciones consideradas. Aunque a

veces se denomina como método, es más un enfoque investigativo ya que lo que se busca

es reconstruir y analizar un caso desde múltiples perspectivas. El estudio de caso puede

emplear varios procesos metodológicos que incluye entre otros, los cuestionarios, las

entrevistas, la observación participante y el trabajo de campo.

De acuerdo con Bravo (1.995), el estudio de caso puede definirse por tres

características: por ser particularista, descriptivo y heurístico. Particularista, quiere decir

que los estudios de caso se enfocan en una situación, un hecho, un programa o fenómeno

VIVENCIAS ACADEMICAS DE LOS ECAES 43 singular, que para esta situación en especial correspondería a las vivencias académicas de

las facultades en salud (enfermería y medicina) e ingeniería (industrial y sistemas) con

respecto a los ECAES, del cual se deben detallar las diferentes dimensiones de esas

vivencias. El caso en sí mismo es importante por lo que revela sobre el fenómeno y lo que

este representa. Descriptivo quiere decir que el producto final es una ‘descripción densa’

del fenómeno estudiado que incluya situaciones presenciadas por las diferentes audiencias

(estudiantes, docentes y directivos) en un ambiente académico acerca de los ECAES, tales

como la organización, la preparación, las expectativas e incertidumbres generadas

alrededor de los resultados y el impacto de los mismos para la comunidad y para la

sociedad en general. Heurístico significa que ilumina la comprensión del lector sobre el

fenómeno en estudio, por lo que puede producir el descubrimiento de nuevas

significaciones, ampliar la experiencia del lector, y también reconfirmar lo sabido. La

investigación se corresponde con el carácter heurístico del estudio de caso ya que se

describen experiencias académicas a partir de la prueba de ECAES, presentando a los

lectores una mirada mas cercana al significado de la prueba, su metodología, sus

consecuencias y el punto de vista de quienes vivenciaron esta situación.

6.4 Procedimientos de recolección de la información

La investigación se desarrolló entre el mes de marzo de 2004 y Noviembre de 2.005,

tal como se puede visualizar en el cronograma del Anexo A.

Se inició con el planteamiento del tema de investigación: los ECAES. A partir de

ello se revisó la teoría sobre los modelos de evaluación existente durante el primer semestre

de 2.004. Durante el segundo semestre de 2.004 se precisó el objeto de la investigación y

los elementos constitutivos de la misma, y se elaboraron los instrumentos para la

recolección de la información.

En el transcurso del primer semestre de 2005 se aplicaron y transcribieron tanto las

encuestas como las entrevistas realizadas en la Pontificia Universidad Javeriana. Desde

Junio de 2.005 se procedió al análisis y obtención de resultados de la investigación. Para

una mayor ilustración.

VIVENCIAS ACADEMICAS DE LOS ECAES 44

6.4.1 Planteamiento del problema o fenómeno a estudiar

La pregunta que dio la pauta para la investigación fue: ¿Cuáles son las vivencias

académicas que estudiantes y directivos de las carreras de Enfermería, Medicina, Ingeniería

Industrial e Ingeniería de Sistemas en la Pontificia Universidad Javeriana, han tenido frente

a la aplicación de los ECAES?. Esta pregunta fue tomando forma a lo largo de sucesivos

refinamientos en torno a la preocupación del grupo sobre lo que estaba sucediendo con los

ECAES en las comunidades académicas.

La pregunta se fue desarrollando a partir del reconocimiento de dimensiones

importantes para el análisis. Estas son: Las acciones generadas por los ECAES, las

consecuencias de los mismos, sus condiciones de aplicación, los objetos de evaluación y las

propuestas de mejoramiento. El criterio de selección de las dimensiones resultó de un

concienzudo análisis de las prácticas de los investigadores y de los aspectos más relevantes

mencionados en los antecedentes, que orientaron la investigación hacia los tópicos más

sensibles percibidos actualmente dentro del fenómeno de interés.

6.4.2 Selección de las audiencias

Se trabajó en las carreras de Enfermería, Medicina, Ingeniería Industrial e Ingeniería

de Sistemas, selección motivada por cuatro razones básicamente: el interés específico de

los investigadores – todos profesionales de las áreas de Ingeniería y Salud-; la

representatividad de las carreras frente al examen, por haber sido precisamente las áreas de

Ingeniería y Salud quienes fueron las primeras en ser evaluadas por los ECAES; el

reconocimiento y tradición de dichas carreras en Colombia; y la posibilidad de contraste

entre las mismas. Entre las carreras de Ingeniería seleccionadas se escogieron las dos más

representativas en Colombia, puesto que son las carreras con mayor número de programas

vigentes actualmente. El criterio para seleccionar las dos carreras en Salud fue por su

tradición formativa, número de estudiantes y por la fortaleza y liderazgo de las asociaciones

de facultades.

Una de las audiencias escogidas fue la de estudiantes. Se eligieron estudiantes con

perspectiva de graduación en el segundo semestre de 2.005 que ya hubieran presentado la

VIVENCIAS ACADEMICAS DE LOS ECAES 45 prueba, por su reciente experiencia con los ECAES y su facilidad de ubicación dentro del

campus universitario.

La segunda audiencia elegida fue la de directivos y profesores directamente

implicados en el proceso de los ECAES. Para su escogencia, inicialmente se seleccionó al

director de carrera, máxima autoridad académica relacionada con el programa y

responsable del proceso de los ECAES en el mismo. Al director de carrera se le solicitó el

nombre de dos directivos o profesores que él considerara que habían tomado parte activa en

el proceso de los ECAES durante los años de 2.003 y 2.004.

Las personas escogidas fueron:

6.4.2.1 Enfermería

Profesora Hilda Maria Cañón Abuchar. Licenciada en Enfermería. Especialista en

Enfermería Oncológica Pontificia Universidad Javeriana. Directora de la oficina de

educación continua. Coordinadora del comité de promoción de la facultad y representante

en el comité regional centro para los ECAES 2003. Profesora asistente hace 18 años.

Martha López, Licenciada en Enfermería. Pontificia Universidad Javeriana.

Psicóloga. Maestría en educación universitaria. Profesor asistente hace 14 años.

Coordinadora de ECAES a nivel Nacional.

Rosaura Cortes de Téllez. Enfermera Profesional de la Pontificia Universidad

Javeriana. Magíster en Administración en salud. Profesora asistente y Decana del

programa hace 4 años.

6.4.2.2 Medicina

Dra. Mary Bermúdez Gómez, Médico especialista en Neumología PUJ. Se

desempeña como Directora de carrera de Medicina desde hace dos años.

Dra. Lilian Torregrosa Almonacid, Médico cirujano. Se desempeña como directora

de la secretaría académica de la Facultad de medicina.

VIVENCIAS ACADEMICAS DE LOS ECAES 46

Dr. Luis Enrique Morillo Zarate, Neurólogo, neurofisiólogo, master en

epidemiología, profesor asociado de la Facultad de Medicina. Actualmente es Jefe de la

Unidad de Neurología Hospital San Ignacio.

6.4.2.3 Ingeniería de Sistemas

Ingeniero Germán Alberto Chavarro Flórez. Director del departamento de Ingeniería

de Sistemas desde principios del año 2.004. Ingeniero de Sistemas y Computación

Universidad de Los Andes; Master of Computer Science - State University of New York

(Stony Brook). Especialista en Software para Redes - Universidad de los Andes.

Ingeniera Hilda Cristina Chaparro López. Directora de Carrera de Ingeniería de

Sistemas. Ingeniera de Sistemas y Computación de la Universidad de Los Andes,

especialista en Sistemas de Información en la Organización de la Universidad de los Andes

y Magíster en Ingeniería de Sistemas y Computación de la Universidad de Los Andes

Ingeniero Enrique González Guerrero. Profesor Investigador del departamento de

Ingeniería de Sistemas. Ingeniero Eléctrico de la Universidad de Los Andes y Magister en

Ingeniería Eléctrica de la Universidad de Los Andes. D.E.A. Robotique - Université Pierre

et Marie Curie Paris 6 – Francia. Doctorat en Informatique Industrielle et Robotique-

Université d'Evry Val d'Essonne -Francia

6.4.2.4 Ingeniería Industrial

Ingeniera Marcela Cuevas Garavito. Directora de Carrera de Ingeniería Industrial

desde 2.002 hasta Noviembre de 2.005. Profesora asistente. Ingeniera industrial de la

Pontificia Universidad Javeriana. Especialista en Sistemas de Información en la

VIVENCIAS ACADEMICAS DE LOS ECAES 47 Organización, Universidad de los Andes. Especialista en Gestión de Recursos Humanos,

Convenio EAN-ESAP.

Ingeniero Yezid Orlando Pérez Aleman. Director del Departamento de Procesos

Productivos desde junio del año 2.000. Profesor Titular. Ingeniero Industrial, Pontificia

Universidad Javeriana. Especialista en Finanzas, Universidad de los Andes. Doctor en

Economía, Technische Universität Darmstadt. Vinculado a la Universidad Javeriana desde

1.996.

Ingeniero Juan José Obagi Araújo. Profesor asociado y jefe de la sección de

Métodos Cuantitativos hasta Junio de 2.005. Ingeniero Industrial de la Universidad

Tecnológica de Pereira. Especialista en Métodos de Encuestas por Muestreo, Bureau of the

Census (U.S.A.). Master of Science in Social and Economic Statistics, George Washington

University. Magister en Ingeniería de Sistemas, Universidad Nacional de Colombia

6.4.3 Recolección de la información

Se diseñó un guión con 23 preguntas para la aplicación de la entrevista en

profundidad dirigida a los directivos y profesores, a partir de las dimensiones de las

vivencias previamente establecidas. (Ver Anexo B). Como todo guión, este se caracterizo

por ser flexible para su posterior utilización dentro del contexto de la entrevista.

La entrevista en profundidad contó con la amable colaboración de las directivas y

se desarrolló mediante una cita previa en un espacio y tiempo fijado por cada uno de los

representantes en los diferentes programas fue realizada por dos integrantes del grupo, uno

de los cuales actuó como entrevistador y el otro como observador y apoyo. Para cada

entrevista se destinaron 2 horas y ésta fue grabada en su totalidad en medios magnéticos

para su posterior trascripción y análisis.

Para la recolección de información con estudiantes se diseño una encuesta con 11

preguntas en el marco de las dimensiones especificadas. El tipo de pregunta fue de carácter

abierto permitiendo así tomar los comentarios y expresiones muy propias de este tipo de

audiencia. (Ver Anexo C). La encuesta se realizo de manera anónima y voluntaria, gracias a

la colaboración de estudiantes, profesores y directivos. Algunas se llevaron a cabo en

espacios programados para tal fin, y otras durante las clases del semestre.

VIVENCIAS ACADEMICAS DE LOS ECAES 48 La recolección de la información se realizo entre febrero y abril de 2005 con los 12

representantes de las diferentes facultades y programas entre directivos y profesores, y con

111 estudiantes discriminados de la siguiente manera: 44 de Ingeniería Industrial, 23 de

Ingeniería de Sistemas, 23 de Medicina y 21 de Enfermería.

6.4.4 Sistematización y análisis de la información

La información recopilada se analizó siguiendo los siguientes pasos:

1. Se transcribió literalmente en medios electrónicos con el objeto de presentar los

datos de una forma clara que facilitara el desarrollo del análisis.

2. Se organizaron las respuestas de todos los entrevistados de un mismo programa

de acuerdo a la pregunta establecida en el guión y se leyeron completamente.

3. Se reorganizaron las respuestas de todos los entrevistados de un mismo programa

de acuerdo a la relación que tuvieran con la pregunta específica del guión sin importar el

lugar de la entrevista en que se hubieran producido, tomando los fragmentos pertinentes y

reubicándolos en la pregunta adecuada.

4. Se elaboró una síntesis de lo esencial de las respuestas por programa.

5. A partir de una confrontación de las síntesis entre diferentes programas,

emergieron posibles categorías de análisis para la investigación.

6. Se establecieron definiciones para cada una de esas categorías, precisando su

sentido.

7. Retomando la síntesis, se ubicó la información dentro de cada una de las

categorías para las áreas de Salud e Ingeniería.

8. Se refinaron las categorías para incluir todos los aspectos esenciales arrojados por

las entrevistas.

9. Se clasificaron las categorías de acuerdo a las dimensiones de análisis.

10. Se cruzó la información de Salud e Ingeniería para observar similitudes y

diferencias entre programas y áreas de conocimiento.

11. A partir de estos resultados, se retomaron las encuestas, las cuales también se

transcribieron literalmente y se organizaron en torno a la pregunta del cuestionario.

12. Se elaboró una síntesis de lo esencial de las respuestas por programa.

VIVENCIAS ACADEMICAS DE LOS ECAES 49

13. A partir de una confrontación de las síntesis entre diferentes programas,

emergieron posibles categorías de análisis, la mayoría de las cuales ya habían sido definidas

con ayuda de las entrevistas.

14. Se realizó un conteo de ocurrencias por categoría, para una mejor confrontación

de los resultados entre carreras.

15. Se cruzaron los resultados obtenidos de encuestas y entrevistas para los dos

áreas de conocimiento, encontrando conexiones, similitudes y diferencias, completando así

la descripción de las vivencias.

16. Esta descripción nos permitió realizar una primera aproximación a la

interpretación cualitativa de la información, con el fin de dar origen a posibles conclusiones

y prospectivas.

VIVENCIAS ACADEMICAS DE LOS ECAES 50

7. RESULTADOS

7.1 Directivos

7.1.1 Acciones

7.1.1.1 Frente a la elaboración del examen

Información general: Los entrevistados con cargos directivos participaron de

reuniones para la definición del marco conceptual y las especificaciones de prueba,

realizadas en el año 2.003, lo que les permitió expresar sus opiniones y aportes acerca de lo

que debería contener la pruebas de los años 2.003 y 2.004, en lo relativo a áreas del

conocimiento y peso relativo de cada una de ellas.

Todos los entrevistados, además, participaron de las reuniones- talleres convocadas

por ACOFI en el año 2.003. Los talleres estaban dirigidos a explicar el sentido y estructura

de la prueba y también a explicar cómo se elaboraban las preguntas. Algunos de ellos

replicaron esta información entre sus colegas, con relativo éxito.

En el caso de los programas de Salud, tanto Medicina como Enfermería participaron

desde un comienzo con la asistencia de docentes y directivos en las diversas reuniones

programadas por las Asociaciones de facultad -ASCOFAME Y ACOFAEN

respectivamente-, con el fin de dar a conocer el proceso de la evaluación y asignar

responsabilidades a los programas.

Elaboración de preguntas: Todos los profesores de los programas de estudio de

Ingeniería, hubieran sido capacitados directamente por ACOFI o no, fueron invitados a

enviar preguntas. Las preguntas elaboradas por programa se consolidaron y se entregaron a

ACOFI. En cuanto a los programas de salud, la participación más activa por parte de los

programas de Medicina y Enfermería se dio en la primera versión de los exámenes, con la

construcción de preguntas para el año 2003. En este sentido, docentes y directivos

recibieron capacitación técnica sobre la estructura de la prueba por parte de ASCOFAME y

VIVENCIAS ACADEMICAS DE LOS ECAES 51 ACOFAEN con el apoyo del ICFES, cuyo interés era generar un banco de preguntas según

las diferentes áreas de formación.

Selección de preguntas: Una vez creado el banco de preguntas se designaron

expertos para la selección según criterios acordados por las Asociaciones. Sólo algunos de

los entrevistados en Ingeniería participaron en este proceso. Para ello, eran escogidos e

invitados por ACOFI según fueran considerados o no expertos en determinada área del

examen. Es importante anotar que el programa de Enfermería de la Universidad -como

miembro de ACOFAEN en la coordinación nacional de los ECAES-, participó activamente

tanto en la construcción como en la revisión general de las preguntas por grupos de

expertos.

La Directora del Programa de Medicina, quién también participó de la selección de

preguntas, refiere una cierta dificultad en este proceso, señalando que en su mayoría las

preguntas estaban dirigidas a la evaluación de conocimientos de las diferentes áreas de

formación más que a las competencias, aspecto que no se exploró ampliamente en la

capacitación.

7.1.1.2 Frente a la preparación para el examen

Realización de cursos por parte de la Facultad: Para el 2.003 se contrataron

monitores en el área de ciencias básicas (matemática y física) con el fin de resolver dudas y

llenar vacíos. La asistencia por parte de los estudiantes ha dichos eventos fue mínima, por

lo que no se repitieron en el 2.004. Todos los entrevistados fueron enfáticos en aclarar que

ese tipo de cursos no estaban dirigidas exclusivamente a un mejor desempeño en los

ECAES: “no eran algo obligatorio, o sea, no era en el sentido de que <<vamos a hacer un

pre-ECAES>> o algo así”.

En Salud los programas también ofrecieron espacios académicos de apoyo a los

estudiantes para la presentación de la prueba. Tanto para la primera como para la segunda

versión se ofrecieron cursos de repaso para los estudiantes de último semestre. El resultado

fue que los estudiantes no iban y los profesores decían estar perdiendo el tiempo. Sin

embargo, los entrevistados están de acuerdo en que el estudiante, futuro profesional de la

VIVENCIAS ACADEMICAS DE LOS ECAES 52 salud, debe asumir su responsabilidad ante una evaluación externa de acuerdo con las

actuales disposiciones de la Vicerrectoría académica.

Disposiciones Institucionales: La Vicerrectoría académica emitió una comunicación

impartiendo directrices con respecto a los ECAES. El aspecto destacado por los

entrevistados acerca de esta disposición se refería a la imposibilidad de utilizar el tiempo o

los recursos académicos de la universidad o de los estudiantes para realizar preparaciones

del examen, lo cual fue interpretado como una prohibición de los pre-ECAES. De esa

manera lo expresa uno de los entrevistados: “…pues la directiva que al menos conocemos

nosotros es que no hay que hacer nada. Que si uno sabe, sabe y punto. Que no hay que

hacer pre-ECAES ni nada de ese tipo”. Esta disposición fue bien recibida, pero con algunas

reservas porque, de acuerdo con otro entrevistado, “Entonces, como que le echan la

bendición y vaya mijo a ver que pasa... más o menos termina siendo la cosa”.

Otros aspectos señalados de esa disposición en Ingeniería Industrial fueron: la

división administrativa de funciones entre carrera y departamento; difundir el alcance y

naturaleza de la prueba entre los estudiantes; analizar concienzudamente los resultados; la

inscripción obligatoria de estudiantes por parte del programa, y la generación de debate

académico alrededor de los ECAES.

Por su parte, a partir de esta disposición, los programas de salud actualmente no

ofrecen ningún curso preparatorio para ECAES. La Vicerrectoría, las Decanaturas y las

Direcciones de programa, no pueden proponer estrategias, ni actividades, ni recursos para

la preparación de los estudiantes frente a la presentación de los ECAES. Se trata de

promover la responsabilidad individual del estudiante, para que cada uno asuma la

responsabilidad ante la aplicación, el desempeño y los resultados del ECAES.

Reuniones informativas: En Ingeniería, las reuniones informativas fueron realizadas

por la dirección de carrera. En ellas se comunicó a los estudiantes la información básica

sobre el examen, la estructura del mismo en términos de tiempo y áreas evaluadas, se les

informó sobre los tipos de preguntas a responder y sobre los asuntos logísticos de

inscripción y presentación; adicionalmente, se les motivó para la presentación del examen.

Adicionalmente, se realizaron reuniones informativas con los profesores por parte del

departamento de procesos productivos (Ingeniería Industrial), en las que se explicaba la

VIVENCIAS ACADEMICAS DE LOS ECAES 53 naturaleza del examen y los tipos de preguntas; a partir de ello se invitó a los profesores a

utilizar los tipos de preguntas como parte de las evaluaciones corrientes.

En este aspecto, los dos programas de salud generaron actividades para informar

sobre las últimas disposiciones del ICFES, de las Asociaciones y de la Universidad frente al

proceso de evaluación ECAES. Esta actividad se llevó a cabo básicamente en dos

momentos: En un primer momento se realizaron reuniones informativas acerca de los

objetivos y estructura de la prueba, y en un segundo momento se socializaron los

resultados. Un espacio de socialización en Medicina, por ejemplo, fue el Consejo de

Facultad, porque allí asisten representantes de los estudiantes de pregrado y de postgrado

que conocieron aspectos alrededor del tema. Otra fuente de información fue el material

disponible en la página web del ICFES, pues allí se encuentran los exámenes que permitían

a profesores y estudiantes familiarizarse con el tipo de prueba.

Entrenamiento en preguntas tipo ECAES: En el caso de Ingeniería de Sistemas

surgió la idea de realizar el tipo de preguntas en un par de asignaturas, pero se desconocen

los resultados que tuvo esa iniciativa.

Ingeniería Industrial, en contraste, fue más activa en este ítem. Docentes de

diferentes áreas, orientaron y prepararon a los estudiantes en cuanto a la metodología de la

prueba (tipos de pregunta) y algunos adoptaron este modelo para aplicar las evaluaciones

de sus asignaturas; sin embargo, el resultado de la utilización de este tipo de preguntas llevó

a comprender que no es posible hacer toda la evaluación de una asignatura de esta manera.

Dentro de las formas de entrenamiento, estuvo la de realizar ejercicios o evaluaciones tipo

ECAES desde el desarrollo de algunas asignaturas, como es el caso de la carrera de

Enfermería, mientras que en Medicina los preparatorios brindaron un modelo muy similar a

los exámenes de los ECAES, por lo que se piensa que los estudiantes desarrollan cierta

habilidad para este tipo de evaluación.

7.1.1.3 Frente a la recepción de resultados

Autoevaluación de fortalezas y debilidades: En Ingeniería, se compararon los

resultados obtenidos por áreas con las preconcepciones que se tenían acerca de la fortaleza

o debilidad del área y el perfil profesional propuesto. También se generaron rankings por

VIVENCIAS ACADEMICAS DE LOS ECAES 54 iniciativa propia de algunos profesores, y se esbozaron algunos rankings desde las

direcciones de carrera. En palabras de los entrevistados, el examen “sí nos dio luces a

nosotros, que es lo que nos interesa”; esas luces fueron para “poder ver dónde de verdad

tenemos que fortalecer, que nos estaba haciendo falta”. Sin embargo, es claro que la

autoevaluación no fue únicamente iluminación porque, como bien lo expresa un

entrevistado, “todos llegamos a la misma cosa que es el ranking, que es lo que se supone

que no se quiere, pero todos llegamos por el ranking, ¿sí?”

En salud los entrevistados coincidieron en afirmar que la prueba es un insumo más

para la autoevaluación. En este sentido, Enfermería consideró la información derivada de

los resultados poco clara o insuficiente para realizar modificaciones curriculares en el corto

y mediano plazo. Por su parte Medicina, señaló que independientemente del resultado de

los ECAES, se tienen ya identificadas las áreas débiles en el programa, como son las de

salud pública, salud comunitaria, administración y gestión, y coincidieron en que dentro de

los ECAES estas áreas representan mucho peso.

Reforma Curricular: En Ingeniería de Sistemas, la aplicación de los ECAES

coincidió con una revisión curricular que se venía adelantando. Dicha reflexión curricular

se lleva a cabo desde la dirección de la carrera, e incluyó los resultados de los ECAES

como un insumo más de la misma, sobre todo para ciertas áreas del conocimiento. En

ingeniería industrial, en cambio, las entrevistas no dejan en claro la existencia de una

reforma curricular utilizando como insumo los ECAES.

En general en salud, el análisis y la reflexión de los resultados de los ECAES se

constituyó en un elemento más en los procesos curriculares. Entre las acciones que se

tomaron en Medicina esta el aumento de la intensidad en las áreas que presentaron

falencias, áreas en las que ya se venía trabajando. Es claro para todos los entrevistados, que

impactan más en los currículos y en los planes de estudio los procesos de auto evaluación y

de acreditación que el resultado mismo de los ECAES.

Organización de grupos críticos: Se conformaron frentes críticos interuniversitarios,

a través de REDIS (Red de decanos y directores de Ingeniería de Sistemas) y REDIN (Red

de directores de Ingeniería Industrial), aunque la actividad de estos frentes es más patente

en las entrevistas de Ingeniería Industrial.

VIVENCIAS ACADEMICAS DE LOS ECAES 55

En salud se puede deducir que, si bien se presentaron algunas dificultades en el

proceso del diseño de las pruebas, se resalta la importancia de la interacción académica que

se ha generado entre los docentes de las diferentes instituciones. Aún así falta la

conformación de grupos críticos para analizar de manera sistemática los efectos e impactos

de los ECAES en la comunidad académica.

Indagación de acciones de otros programas frente a los ECAES: A través de

diferentes fuentes, y en ocasiones por iniciativa propia de los entrevistados, se accedió a

información acerca de las acciones de otras universidades con respecto a los ECAES. En

particular se menciona la utilización de los resultados como medio de propaganda y la

realización de pre-ECAES o preparaciones. Como bien lo expresa uno de los entrevistados,

“muchas universidades sabemos que si lo hicieron: hicieron exámenes de prueba, hicieron

pre-ECAES, un montón de cosas, casi que como los cursos del TOEFL, que hacen para el

Inglés… más o menos lo mismo”.

A pesar de las recomendaciones y directrices impartidas desde las Asociaciones

respecto a no realizar cursos preparatorios para ECAES (pre-ECAES), en general se sabe

de otras facultades de salud y otras universidades que prepararon con anticipación a los

estudiantes para los exámenes, que organizaron cursos y asignaron tiempo y profesores

para repasar los temas.

Divulgación de los resultados: Los resultados fueron entregados personalmente a

los estudiantes, y en lo posible su divulgación se hizo de manera restringida con los

docentes al interior de los programas. A los estudiantes no se les informó de resultados

globales. Por ello algunos profesores entrevistados dicen que “la persona, realmente, que

más tiene que ver con los resultados es el director de carrera” y, por lo tanto, “por eso digo

que no los conozco (los resultados)… mejor dicho…sé el chisme”, mientras los directivos

opinan que “… eso es nuestro, eso es nuestro, eso no sale, eso no llega a los chinos”, y que

por lo tanto”…nosotros no hemos hecho ni la mas mínima divulgación de si nos fue bien si

nos fue mal si estamos en el 4 o en el 5 no nosotros no hemos querido dar el juego de estar

en ranking y aquí hay personas en la facultad, que nos dicen, es que el periódico los saca y

nosotros no”.

Los programas de salud recibieron información de los resultados por parte del

ICFES y de las Asociaciones (ASCOFAME y ACOFAEN). Estos resultados estaban

VIVENCIAS ACADEMICAS DE LOS ECAES 56 relacionados con los lugares ocupados por los estudiantes, por la facultad, y con el

desempeño del programa por áreas de formación. Estos informes fueron presentados en los

Consejos de facultad, con participación de directivos, profesores y estudiantes. Cabe

señalar que durante este proceso se vivió cierta tensión y expectativa por conocer

públicamente los puntajes obtenidos.

7.1.2 Objetos de evaluación

7.1.2.1 Correspondencia con la calidad de formación profesional del programa

No hubo acuerdo en las respuestas en esta categoría. Se generó una ambivalencia

entre la negación de la posibilidad de correspondencia y el reconocimiento de que en

muchas áreas se presentó el resultado esperado de acuerdo a conceptos subjetivos previos

de los entrevistados sobre las mismas, fuera este resultado esperado alto o bajo. Lo anterior

se hace evidente en la voz de los entrevistados, que oscilan entre la que afirma: “pretender

evaluar una carrera en cien preguntas, eso es una Utopía” hasta quienes apuntan: “Hay

ciertas áreas que uno sabe que … posiblemente van a tener problemas porque en tal área,

sabemos que tomaron con tal profesor que la cosa no estuvo tan bien. <<Mire, a tales les

fue mal>>, << Sí,no están...era hasta de esperarse>>”

En salud, se consideró que no eran determinantes los resultados obtenidos y su

correspondencia con la calidad, ya que la Javeriana tiene tradición en la preparación

óptima y calificada de sus estudiantes, y aunque los resultados no fueron los mejores no es

un parámetro definitivo para establecer la calidad de los programas. Los entrevistados

coinciden en que definitivamente los resultados se aíslan de la calidad en la formación, y

que interfieren variados factores del instrumento que influyen en el resultado.

Por características del instrumento: Los entrevistados en Ingeniería afirmaron que la

metodología de filtro de las preguntas no fue transparente; que los exámenes de por sí

tienen dificultades para saber lo que un estudiante ha aprendido; que es imposible evaluar

un área con unas pocas preguntas, y que el examen es inmaduro, pues los resultados de un

año frente al siguiente son muy diferentes. También afirman que es lamentable la

VIVENCIAS ACADEMICAS DE LOS ECAES 57 inexistencia de un modelo de interpretación de resultados, lo que imposibilita hacer

correspondencias de los resultados con la calidad del programa. Así mismo expresan que la

significancia y validez estadística de la prueba alcanza solamente para hacer grupos de

universidades, pero nada más.

En general los entrevistados en los programas de salud consideran que el examen es

bueno pero no perfecto; que se encuentra en fase de maduración y de perfeccionamiento y

que por lo tanto presenta inconsistencias; y que no es confiable ciento por ciento. Muestra

de ello es que se pretende medir con el mismo instrumento las diferentes orientaciones y

perfiles de las universidades. Sin embargo, se admitió que el examen puede exponer

falencias y fortalezas del nivel de formación profesional en los diferentes programas.

Por diferencia entre programas: Se afirmó que el enfoque del examen estaba

dirigido hacia el perfil de la Universidad Nacional. De acuerdo con los entrevistados, no

existe un núcleo común de todos los programas de Ingeniería, y los diferentes perfiles y

énfasis de los programas varían de universidad en universidad, haciendo imposible la

correspondencia entre resultados y calidad de formación.

En medicina, a través del desarrollo de las entrevistas, las personas coincidieron en

señalar que el contenido del examen está más enfocado hacia la parte de atención básica

primaria, área en la que el programa no es fuerte, pues el perfil de la Javeriana tiene una

alta tendencia a la especialización. Prácticamente toda la carrera se desarrolla en sitios de

atención de alta complejidad, razón por la cual se pueden tener dificultades en el

desempeño del examen. Esto puede significar que la representatividad de las diferentes

áreas de formación no permite que los resultados sean equiparables, lo que conlleva a

situaciones de ventaja o desventaja entre instituciones. Sin embargo, en todas las versiones

la facultad se ha mantenido en el grupo de nivel alto, permaneciendo entre los mejores. En

enfermería por su parte, los análisis muestran que las orientaciones en la formación son

diferentes, y que tal diversidad dificulta evaluar de manera masiva y homogénea. Por ende,

las comparaciones entre programas no serían validas.

7.1.2.2 Correspondencia con el desempeño individual

VIVENCIAS ACADEMICAS DE LOS ECAES 58 Comparación de ECAES y desempeño del estudiante: Sobre este tema se expresaron muy

poco los directivos y los profesores en Ingeniería. Un entrevistado en Ingeniería Industrial

afirmó que el resultado no corresponde con el desempeño individual. El argumento

esgrimido fue el siguiente: Al no tener medidas de significancia estadística, no se puede

conocer el poder discriminatorio de la prueba.

Los ECAES de alguna manera reflejan el nivel individual de rendimiento de los

estudiantes de acuerdo con los programas de Salud. En este sentido se hizo una

comparación entre el resultado obtenido en el ECAES y el promedio ponderado en las

carreras de salud y se observó una correlación directa: Los estudiantes con buenos

resultados durante la carrera, los mantuvieron en los ECAES.

7.1.2.3 Tipo de formación

Formación básica: Todos los directivos y profesores de Ingeniería coincidieron en

reconocer que el examen alcanza a evaluar aspectos de la formación básica: En palabras de

ellos, “Algunas áreas mínimas”, por ejemplo, “... la parte matemática, La física también”,

aspectos que hacen parte de la “fundamentación básica de conocimientos”.

“Se trata de una evaluación parcial de contenidos- afirmaron los entrevistados de

Medicina-, donde se da más peso a algunas áreas disciplinares y se dejan de lado las

ciencias básicas fundamentales en la formación del profesional”. Consideraron que el

componente de ciencias básicas en estas ultimas versiones prácticamente desapareció, lo

cual tiene sus ventajas y desventajas, “por que si se compara con exámenes en el exterior,

básicas es un área que tiene un peso muy grande, pero aquí en este examen si tiene dos

preguntas de básicas no hay mas”

Formación especializada: Los directivos en Ingeniería de Sistemas mencionaron en

particular el tema de la ingeniería de software como evaluado correctamente. Por lo demás

no se mencionan ítems de formación especializada que se consideren evaluados por los

exámenes. Para las áreas de Salud es claro que se evalúan algunos conocimientos y

aspectos teóricos de la formación, pero el examen no mide niveles altos de desempeño de la

práctica profesional. Como bien lo menciona uno de los entrevistados en Medicina: “Las

diferentes denominaciones para las asignaturas no facilitan la unidad o identidad en las

VIVENCIAS ACADEMICAS DE LOS ECAES 59 áreas y asignaturas, unas se evalúan y otras no. ¿Cómo llegaron a asignar un porcentaje a

cada área?, no se sabe, por ejemplo la parte de medicina familiar, administración, salud

pública, salud comunitaria, son áreas en las cuales hay unas facultades que no hacen tanto

énfasis, y otras que hacen mucho mas”.Los entrevistados agregaron que hay mas preguntas

en las áreas de medicina familiar o en administración y en consecuencia los puntajes no

van a ser equiparables. Pareciera que hay una tendencia a evaluar de acuerdo con cierto

perfil del médico general y no hay claridad en el tipo de médico que requiere el país o el

mundo.

7.1.2.4 Conocimientos

Conocimientos memorizables: Directivos y profesores entrevistados reconocieron la

capacidad de la prueba para evaluar conocimientos memorizables e ítems de recordación.

De ello se lamenta un entrevistado: “Se suponía, digamos, de acuerdo a la teoría, que se

iban a hacer preguntas con unos esquemas muy particulares para tratar de que no fueran por

ejemplo de memoria y… ese tipo de cosas. Pero al final yo creo que muchas preguntas

caían en eso”.

En general los entrevistados de salud, afirmaron que efectivamente se evalúa

memoria y conocimientos teóricos; para medicina se trató de una evaluación parcial por

que evalúa muchos aspectos teóricos y de memoria, lamentando que si bien son importantes

los conceptos, lo es mucho más la integración, la interpretación y la aplicación de

conocimientos.

Conocimientos interpretativos:Básicamente ningún entrevistado lo incluye, excepto

uno que indica que la prueba evalúo aspectos de “interpretación y análisis”

En este punto, la interpretación de conocimientos para salud se constituye en un aspecto

fundamental para poder responder a preguntas clínicas, sin embargo, es pobre su

representación en la prueba.

Habilidades prácticas:

Los entrevistados coincidieron en que no se evalúo ningún tipo de habilidad práctica. No

se midieron destrezas o habilidades, ni solución de problemas. “Ese saber hacer, nosotros

consideramos que no fue evaluado en el examen, porque no había cómo evaluarlo.

VIVENCIAS ACADEMICAS DE LOS ECAES 60 Simplemente se evaluó el saber”, acota uno de los entrevistados. Una de las razones de ello

se relaciona con las preguntas: “Incluso en las mismas preguntas, pues había casos que no

son con los que uno se enfrenta en las empresas, había los típicos casos de termodinámica

del libro, no que entro uno a la fábrica y se encontró la caldera”. Otra razón queda

excelentemente plasmada en la siguiente respuesta: “No te evaluaban alternativas de

procedimientos para solucionar un problema, no, sino resuélvalo y de el resultado mijito y

si no le dio de malas pero, el proceso mismo de como lo haces no, y la efectividad de

nosotros en una organización es la iniciativa para dar mas de una alternativa para solucionar

un problema”

En este aspecto los programas de salud por ser carreras eminentemente prácticas

expresaron su preocupación, ya que la parte de destrezas y habilidades son fundamentales

en medicina y enfermería y no se tocan por ningún lado. De manera escrita no se puede

mostrar como es la interacción con los pacientes, por ejemplo, que tan acertado es un

diagnóstico: “una cosa es en el papel y otra cosa es con el paciente”. Así que la prueba no

está directamente relacionada con el resultado de lo que se espera, porque hay otra cantidad

de esferas que no se tocan, convirtiéndose en una evaluación parcial de poca utilidad. Para

enfermería los eventos asistenciales no están realmente evaluados en el examen, cuando el

90% de las actividades en enfermería corresponden al trabajo con paciente y las

habilidades predominan con respecto al plano teórico.

Análisis: Algunos entrevistados incluyen tímidamente la posibilidad de que ciertas

preguntas evaluaran algunos aspectos del análisis.

En enfermería consideran que un porcentaje de las preguntas plantea un componente de

análisis.

Síntesis: No se considera evaluado, en particular desde la perspectiva integradora

de las profesiones de ingeniería: “la solución de un problema de nosotros en una

optimización es mirar gente, tiempo, y materiales, absolutamente todo, y aquí (en los

ECAES) en muy pocos casos se puede analizar esa integración, que es lo mas valioso que

nosotros aportamos cuando salimos a actuar”

Evaluación: Ningún entrevistado lo menciona como algo que se evaluó o dejó de

evaluar.

VIVENCIAS ACADEMICAS DE LOS ECAES 61

7.1.2.5 Competencias

Ninguna: Algunos entrevistados afirman que ninguna competencia fue evaluada, si se

miran las competencias desde las ópticas del saber hacer. “Cómo evalúo yo competencias

cuando no tengo formación por competencias. Ahí sí uh-uh, no”, menciona un entrevistado.

Resulta notable que no se hable de las competencias en lectura, supuestamente incluidas en

el segundo examen, y que no exista claridad en el concepto de competencias. Tanto en

medicina como en enfermería, todos los entrevistados afirmaron que la prueba ECAES no

esta evaluando competencias, por dos razones básicamente: Primero, existe confusión en la

comprensión del concepto para la formación y para la evaluación, lo que impidió reflejar lo

expuesto en la norma; y segundo, no se capacitó a los docentes para elaborar preguntas que

evaluaran competencias.

Cognoscitivas: Directivos y profesores indicaron que las competencias

cognoscitivas lograron ser evaluadas parcialmente. Uno de ellos explicó que eso se lograba

a lo largo de las preguntas, de manera transversal, en sus propias palabras, el examen “

…no tiene una pregunta como qué... venga, con ésta le voy a evaluar el nivel de abstracción

¿sí? Si no como que va un poquito implícito en todo”

Los entrevistados de Medicina y Enfermería identificados como carreras

eminentemente prácticas, coincidieron al referirse al ECAES como una evaluación escrita

que no está evaluando habilidades, actitudes o destrezas: “se están evaluando

conocimientos, y se pueden tener muchos conocimientos pero ser muy deficiente en la

práctica, en el desempeño profesional”

Socio-afectivas: Los entrevistados en Ingeniería no lo consideraron evaluado por el

examen. Entre las competencias socio-afectivas no evaluadas se mencionan: habilidades

sociales, contextualización, formación integral y trabajo en equipo. Para salud es claro que

dentro de las competencias del profesional están los conocimientos y su aplicabilidad, pero

no todas las competencias se evalúan con un examen escrito: en este tipo de exámenes el

componente humano del profesional de la salud queda por fuera.

En general, los entrevistados consideran que no fueron evaluadas las competencias

prácticas de la profesión. En salud, en especial para el médico, la habilidad diagnostica

está pobremente representada en los ECAES, la habilidad quirúrgica no se evalúa, como

VIVENCIAS ACADEMICAS DE LOS ECAES 62 tampoco la capacidad investigativa ni la capacidad deductiva. No se evalúan tal vez por

tratarse de escalas de conocimiento muy altas, de complejidad de síntesis, de apreciación,

de creatividad. Reiteran los entrevistados: “esto no se evalúa con estos exámenes”.

Valorativas: Quienes mencionaron estas competencias, lo hacen de manera muy

tangencial, indicando que el examen no se acerca a ellas desde ningún ángulo. Entre esos

aspectos mencionaron los valores, la parte humana y la formación integral. En salud

consideraron que las preguntas no están dirigidas a evaluar la parte ética y los valores

humanos fundamentales en su desempeño.

7.1.2.6 Comparaciones entre carreras

Directivos y profesores tuvieron posiciones diferentes frente a esta posibilidad. La

mayoría estuvieron de acuerdo en que los ECAES no permiten la comparación carrera por

carrera; (“¿Para rankearse? No, yo no creo”). algunos matizaron indicando la validez de las

comparaciones al realizar agrupamientos de carreras en niveles (“pues realmente te podría

decir en un momento dado los que están entre el tercero y el décimo puesto todos están

igual pero por una décima en la varianza entonces le pusieron eso en la fila, pero no es

representativa la diferencia”); y otro entrevistado estuvo de acuerdo con la validez de estas

comparaciones ( “hay un denominador común, fue … el instrumento de medición digamos

así, sI el instrumento de medición fue el mismo ¿no? y ellos están por encima de nosotros,

hombre eso quiere decir… bueno hay una cantidad de causas que se deben dar ahí ¿no?”)

Para los directivos en salud, en particular para medicina, persiste la preocupación de la

comparación entre carreras como indicador de calidad, pues trae consigo malas

interpretaciones y manipulaciones. Desde la construcción del examen se presentaron

algunas inconsistencias por la dificultad misma de unificar contenidos y objetivos de

formación entre facultades, lo que no permite fácilmente hacer comparaciones entre

programas. Por otra parte, es clara la posición en salud que independiente de los puntajes

obtenidos y las comparaciones que de allí se deriven, se están formando profesionales

integrales en correspondencia con el proyecto educativo de la Institución y las necesidades

de la sociedad; si además de esto a los estudiantes les va bien en el examen es algo

adicional. Pero en general se considera que la prueba de todas maneras es una forma de

VIVENCIAS ACADEMICAS DE LOS ECAES 63 validar los resultados para ir mejorando y no deja de ser un estímulo el estar entre los

mejores, lo que los compromete a seguir así.

Por limitaciones de análisis estadístico: Entre las limitaciones se subrayaron las diferencias

en la cantidad de estudiantes presentados por diferentes universidades y las diferencias en

los rankings elaborados por diferentes personas; se expresó, además, que la significancia y

validez estadística de la prueba alcanza solamente para distinguir entre grupos de

universidades o para hacer comparaciones por áreas, pero nada más.

En cuanto a las comparaciones y su validez, los entrevistados de la carreras de

salud, muestran inquietudes respecto a la confiabilidad de los resultados dada la

representatividad de las áreas de formación, la participación de las instituciones, el

número de estudiantes que se presentaron y la selección de grupos de estudiantes,

situaciones éstas que pueden generar ventajas y desventajas entre los programas y las

instituciones.

Por diferencias entre los programas: Se subrayan diferencias en cantidad de

personas y diferencia de perfiles y enfoques profesionales. Así lo expresan los

entrevistados: “y fíjate que nos meten a todos en el mismo saco y revuelven y todos somos

iguales y eso no es cierto”. Directivos y profesores señalaron que la diferencia de perfiles y

enfoques profesionales no hace posible la comparación; desde ese mismo argumento, se

afirmó que la comparación pudiera ser válida pero sólo entre universidades similares.

En salud, no es fácil hacer comparaciones por la gran cantidad de escuelas de

medicina y enfermería, dados sus diferentes énfasis que de alguna manera define las áreas

y los contenidos. “Ahora sí se garantiza que los ECAES se hacen con base en objetivos de

formación comunes a las facultades, podría ser una prueba confiable, pero se sabe que la

representatividad por áreas no es clara en este momento”. Aunque enfermería no se aparta

de lo dicho, se muestra más optimista y considera que el instrumento puede ser útil a futuro

para los programas y para el proceso de acreditación al unificar la multiplicidad de

criterios.

Por deficiencias del instrumento: En Ingeniería, tan sólo se anotó que el instrumento

puede llegar a tener una mayor comparabilidad a largo plazo, cuando se tengan sucesivas

mediciones de todas las universidades, sin embargo se fue claro al expresar que el tipo de

instrumento no es el adecuado para las comparaciones, como lo explica un entrevistado:

VIVENCIAS ACADEMICAS DE LOS ECAES 64 “No puede ser que el Gobierno salga y diga: por estos resultados ésta institución es mejor

que ésta. Porque son proyectos educativos institucionales diferentes, paradigmas de

formación diferentes, y eso no lo recoge un examen como éstos”.

En salud se piensa que el instrumento es débil aún para tomar decisiones, pero en si mismo

el instrumento es valioso.

Por el carácter institucional de la prueba: El entrevistado consideró que las

instituciones gubernamentales tienen suficiente capacidad para definir los criterios de

medición, y deben hacerlo. Es necesario someterse a las reglas del juego. “Particularmente

el Ministerio de educación y el ICFES son entes reguladores de de ese servicio de la

educación que esta prestando el país y al gobierno le compete regular ese servicio no?,

como los servicios de salud no?”

En Medicina, se sabe que hay exigencias por parte del Ministerio de requisitos

mínimos que son obligatorios para otorgar el título de medico. También es claro que como

programa se debe participar en los procesos de auto-evaluación, de certificación, de

ECAES y se debe cumplir con los requisitos mínimos para formar un médico o para

formar un especialista. De otra parte, se debe reportar al ICFES el listado de estudiantes

que presentan el examen, y luego se pueden conocer los resultados, pero

independientemente de esta obligatoriedad la Universidad y la Facultad conservan su

identidad y su autonomía.

Por correspondencia con una imagen pública de las instituciones: Algunos

entrevistados indicaron que hubo una coincidencia entre la calidad de los docentes, el

reconocimiento previo de la institución y los resultados obtenidos, luego de alguna manera

la evaluación reflejo la posición relativa de las universidades. Obsérvese esta respuesta:

“Nosotros tenemos un concepto de ese programa, tenemos un concepto en el sentido de que

la falta de exigencia en la selección de los estudiantes, la falta de exigencia en el desarrollo

de programa de estudio, esta haciendo que se produzcan egresados de una calidad que no

es competitiva con la que están produciendo los programas de otras universidades como los

Andes por ejemplo, entonces, el examen esta realmente midiendo de forma aproximada lo

que esta ocurriendo”

En el caso de Medicina, consideraron que la buena imagen institucional y del

programa no es gratuita. Los resultados muestran en todas las versiones que la facultad esta

VIVENCIAS ACADEMICAS DE LOS ECAES 65 en los primeros lugares, y se quiera o no hay una mirada de la opinión pública y de las otras

instituciones, y en este sentido expresaron su deseo de ocupar los primeros lugares en los

resultados de la evaluación; así lo dijo la directora Dra. Mary Bermúdez: “nuestra idea era

estar en el grupo de arriba siempre, cosa que lo hemos logrado y ojala siga así”

7.1.3 Consecuencias

7.1.3.1 Beneficios

Aporte a la evaluación interna: Los ECAES permiten realizar cuestionamientos de

calidad internos en los programas y entre los profesores, aunque no alcanza a medir otros

factores de calidad que podrían ser objeto de cuestionamiento, como el beneficio social. El

principal beneficio lo explica claramente esta respuesta recibida: “Creo que es bueno que sí

se tenga en cuenta que debe haber calidad, que de pronto eso sea una presión para que... se

pongan todos los programas las pilas, para de pronto detectar un poco algunas debilidades”.

Se configura entonces un elemento más de autoevaluación que permite ser consciente de

aspectos a reforzar y mejorar al nivel de la carrera, de los profesores, y de los estudiantes,

así como saber si las debilidades que se esperaban se presentan. En el corto plazo permite

una posible revisión curricular con referencia a estándares internacionales, y también

permite mejorar estilos internos de evaluación, pues las competencias llevan a mirar el

proceso.

En Salud en general se considera que la prueba es una forma de mirarse y

compararse, de validar los resultados de las diferentes pruebas para ir mejorando; también

es un estímulo por ser mejores, lo que compromete a alcanzar los mayores puntajes. Como

instrumento se configura en una medida de control, de autoevaluación, de diagnóstico

cualitativo, de graduación entre alto y bajo desempeño, y en una herramienta para tomar

decisiones para el Estado, las instituciones y los programas. En Medicina uno de los

entrevistados se refería así en este punto: “El examen trata de poner en cintura todas las

carreras, porque antes se daba el cartón y listo, no se tenía que hacer nada para certificar el

desempeño, esto no se resuelve del todo con los ECAES, pero le da cierto perfil al

profesional, mide por lo menos los conocimientos hasta ahora, ……”

VIVENCIAS ACADEMICAS DE LOS ECAES 66 Lo que se destaca aquí es la importancia de cuestionar y reflexionar sobre el uso que se le

dan a los resultados dentro de un sistema educativo, para evolucionar y mejorar los

procesos de formación.

Estímulos a los estudiantes: Para los estudiantes, los entrevistados señalan la

posibilidad de recibir becas estatales, los beneficios académicos- como ingreso preferencial

a posgrados- y el posible logro de una buena vinculación laboral, incluido el acceso a

cargos públicos.

En salud, especialmente en enfermería, se da un reconocimiento público a los

estudiantes que obtienen mayor puntaje; en medicina los estímulos son más significativos

para los estudiantes: se les da prelación para escoger la residencia, se los exime del

preparatorio y se les facilita el acceso al postgrado.

Diferenciación de la calidad de los programas a largo plazo: En general directivos y

docentes entrevistados esperan que los ECAES permitan medir la calidad de los programas,

cuando menos para detectar los “malos” programas en el mediano plazo, disminuyendo así

la proliferación de los mismos o generando mayores esfuerzos en ellos para alcanzar

excelentes niveles. Los entrevistados esperan que “De pronto el gobierno tome medidas

serias y cierre muchos programas que lo que le hacen daño es a la calidad y a la imagen de

los programas de Ingeniería … del país, a los buenos”. En concordancia con lo dicho, se

espera que entre las universidades “que las que estén bien traten de mantenerse a su nivel,

y las que no lo están o desaparecen o traten de mejorar ¿no?, Una de las dos cosas, si no

mejoran el programa tiende a desaparecer”

Carreras más especializadas: En Ingeniería de Sistemas se especificó que la

comprensión de las diferencias de enfoques y perfiles entre programas podría llevar a la

apertura de nuevos programas o la división de los existentes. Por ejemplo, se especificó la

posibilidad de la Ingeniería de Software. En salud, la prueba por ahora arrojó elementos

clave para apoyar los procesos de acreditación, de mejoramiento del programa, para evaluar

el currículo y los planes de aula, por ahora no existen divisiones ni intención de crear

nuevos programas o sub-especializaciones.

Internacionalización del programa: En todas las carreras se considera que se pueden

lograr convenios internacionales e interinstitucionales y, en el largo plazo, la homologación

de carreras internacionalmente. Es una forma de internacionalizar el currículo al tratar de

VIVENCIAS ACADEMICAS DE LOS ECAES 67 homologar los programas en sus áreas de formación, esto facilita al estudiante que presente

pruebas en el exterior para continuar sus estudios de postgrado, para certificarse ante un

organismo internacional o para brindar mayores oportunidades laborales.

Conocimiento mutuo: Los directores de carrera señalaron que fue posible un

acercamiento a otros programas, inclusive con la posibilidad de conocer lo que ellos están

haciendo bien. También la formación de frentes críticos ha fortalecido el conocimiento y

unión entre universidades. En Salud el proceso de los ECAES se convirtió en una

oportunidad de reconocimiento de la propia identidad curricular al conocer la oferta

académica de otras escuelas. Ha permitido la comparación con otros: las propuestas

curriculares, de los perfiles, de las tendencias de la disciplina, las áreas con mayores

fortalezas y debilidades. Esto ha permitido generar espacios de reflexión y de reforzamiento

de los procesos de acreditación.

7.1..3.2 Perjuicios

Indebida interpretación y divulgación de los resultados:

Por parte de los medios de comunicación, los entrevistados consideraron peligrosos los

rankings sin contexto explotados por los medios de comunicación, porque pueden lesionar

a las universidades- llevando inclusive a su cierre- así como generando desorientación entre

el público en general y los potenciales estudiantes en particular. El perjuicio más marcado

en Salud definitivamente es el manejo de la información, la forma como se han interpretado

y presentado los resultados ante el público en general. Ello puede desfavorecer la demanda

de los programas y desprestigia de alguna manera a la institución y la imagen de la

profesión. En el caso de la medicina, el manejo de la información en las primeras versiones

fue absolutamente destructivo para el médico, “en manos de quien estamos, si todos son

una partida de mediocres que no saben nada”. Los entrevistados lamentan que una única

prueba como esta no puede juzgar y rotular a los programas en buenos y malos, sin

embargo, sí trae consecuencias sociales.

Por parte de los empleadores, los entrevistados consideraron un uso indebido de los

resultados la solicitud de los mismos por parte de los empleadores en el futuro como

criterio de selección de personal, pues un examen como el ECAES no mide todo el

VIVENCIAS ACADEMICAS DE LOS ECAES 68 potencial de una persona laboralmente hablando. En palabras de los entrevistados: “Otro

problema que yo puedo ver al futuro: así como ahorita para entrar a la universidad pedimos

el ICFES de pronto hacia el futuro para conseguir un trabajo le van a pedir el ECAES. La

verdad yo no creo que sea como lo más bueno”. En Salud también surgió la preocupación

del uso del resultado del examen como requisito para admisión a especializaciones o

mayores y mejores oportunidades laborales.

Por parte de las universidades, se lamenta que muchas universidades generan y

divulgan rankings, o promocionan sus carreras a partir de los resultados de los ECAES.

Escúchese a los entrevistados:“Yo fui a presentaciones en otras universidades, y se suponía

que había una especie de acuerdo en el cual los ECAES no se iban a usar para rankearse,

pero yo fui a presentaciones de otras universidades en que: <<Primero, segundo,

tercero…>>”; “Si tú escuchas un anuncio como el de la Nacional cuando llamas por

teléfono… y lo que te dice el contestador allí atrás es: <<Universidad Nacional, los

primeros en los ECAES a nivel nacional>> entonces…”

Internamente en la asociación de facultades de Enfermería se fijaron posiciones

más en términos de lo que estaba pasando en enfermería para establecer debilidades y

fortalezas que en el interés por hacer publicidad con los puntajes. A este respecto la

Coordinadora de los ECAES a nivel nacional, se refirió: “no queríamos que se nos

rankiara, no queríamos señalar quien había quedado de primero y quien había quedado de

ultimo”. En el caso de Medicina los entrevistados consideraron que el efecto más

perjudicial del examen es el uso irresponsable que se le de a los resultados en materia de

marcar a las instituciones por los puntajes obtenidos.

Por parte de los estudiantes, los entrevistados consideraron que los estudiantes

pueden desorientarse al momento de escoger la universidad, castigando injustamente

algunas instituciones sin reparar en sus propuestas educativas. También los estudiantes de

las carreras, así como de carreras afines, pueden estigmatizar programas o procesos

educativos a partir de una interpretación ligera de los resultados y un fomento a la cultura

del ranking. En salud, se cree que las comparaciones entre los resultados obtenidos sin la

presentación adecuada podrían generar confusión y malas interpretaciones entre los

alumnos al pensar que están en ventaja o desventaja frente a otras instituciones.

VIVENCIAS ACADEMICAS DE LOS ECAES 69

Directivos y profesores observaron que los padres de familia pueden desorientar a

sus hijos al momento de escoger la universidad, mediante una interpretación indebida de

resultados en los ECAES, castigando injustamente algunas instituciones sin reparar en sus

propuestas educativas. El resultado de los ECAES podría constituirse en un elemento de

juicio de decisión para elegir carrera o profesión, tal como lo pensaron directivos y

profesores en Salud.

Por parte del público general, algunos entrevistados se mostraron preocupados por la

generación de críticas anónimas e imágenes públicas de las instituciones que no

corresponden con la realidad ni conllevan un análisis juicioso de los resultados. La calidad

diferencial entre escuelas según los ECAES puede tener impacto en las matrículas, cuando

se trata de elegir carrera e institución. De hecho, en los programas de salud, en las

entrevistas de ingreso ya se escucharon comentarios que tiene que ver con reconocimiento

institucional de acreditación y de puntaje en ECAES. El ranking efectivamente generó

perjuicios en el reconocimiento social de unas universidades y el desprestigio de otras, de

acuerdo con los entrevistados en Enfermería.

Condicionamiento indebido de los programas: Estudiantes y directivos vieron con

preocupación la posibilidad de que una institución dirija todos sus esfuerzos a los buenos

resultados en la prueba y se especialice en la presentación los ECAES porque así se deja de

lado su proyecto educativo y la obtención de buenos profesionales. Como bien lo dicen los

entrevistados: “Entonces ese es un gran peligro: cuando la institución o un programa dirige

todos sus esfuerzos a obtener un buen resultado en la prueba porque entonces ahí se están

desvirtuando los objetivos de formación”

Rivalidad entre Instituciones: Algunos entrevistados previeron una posible

disociación entre universidades debida a una competencia mal entendida, a la utilización de

rankings y al incumplimiento de compromisos pactados entre ellas. En voz de un

entrevistado, “Creo que no tiene mucho sentido hacer esas comparaciones. Eso…lo que

hace es de pronto disociar más, en vez de unirnos para hacer las cosas mejor.” Para los

entrevistados en salud, fueron más los aspectos constructivos alrededor de los ECAES, ya

que a partir del reconocimiento de la identidad curricular de las instituciones y de la oferta

académica se puede hacer un diagnóstico cualitativo de los programas.

VIVENCIAS ACADEMICAS DE LOS ECAES 70

Inocuidad de los resultados: Un entrevistado conjeturó la posibilidad de que poco a

poco los resultados cada vez sean más inútiles, según su observación de lo ocurrido en el

2.003 en contraste con lo ocurrido en el 2.004.

Para enfermería los resultados en si mismos no son inútiles, ni la evaluación tampoco; por

el contrario ha sido valedera la prueba para el proceso de acreditación que se adelanto en el

programa y es un elemento más de reflexión en el análisis de currículo.

Interferencia con actividades académicas: Un entrevistado en Ingeniería indicó que

las fechas de realización de los exámenes coincidían con una fuerte carga académica que

era necesario suspender para atender el requerimiento legal. Para enfermería en ningún

momento afecto el proceso del examen en la actividad académica de rutina, ya que los

cursos de preparación son extracurriculares y no tienen implicación sobre las actividades de

aula. Medicina no se refirió a este punto.

7.1.3.3 Incidencia en la autonomía

Por estandarización de programas: Si bien el establecimiento de mínimos es

necesario, directivos y profesores de Ingeniería temen que la autonomía se vea afectada si

los ECAES cobran gran relevancia, pues se corre el riesgo de sacrificar el proyecto

educativo y organizarse en torno a los ECAES. Ellos lo expresan con claridad: “ Cuando tú

te metes como lo está haciendo el ICFES a tratar de ponerlos a todos medidos con el mismo

rasero sí estás de alguna forma lesionando la autonomía universitaria” Así mismo la

existencia de algunas voces que abogan por la exigencia de cierto nivel en los ECAES

como requisito de grado preocupa a algunos de los entrevistados.

En salud, en general se consideró el ECAES como un instrumento o una

herramienta útil para los programas y para el proceso de acreditación que a futuro ayudaría

a la unificación de multiplicidad de criterios de la formación, pero conservando la identidad

y sello particular del programa.

Por condicionamiento de la imagen pública: Los entrevistados consideran que el

impacto sobre la autonomía puede ser indirecto, a través de una menor demanda del

programa por parte de los estudiantes que lleve a modificar las políticas internas. Se lesiona

la imagen pública de la universidad en la medida en que los resultados sean objeto de

ranking y de malas interpretaciones, lo que puede afectar la autonomía.

VIVENCIAS ACADEMICAS DE LOS ECAES 71

Por Regulación: Un entrevistado en Ingeniería indicó que la autonomía no se ve

afectada porque la regulación del servicio por parte del Estado no tiene relación con la

autonomía del mismo. Obsérvese esta comparación hecha por el entrevistado: “Entonces el

hecho de que la DIAN mande un requerimiento a la institución por algo que deba hacer o

alguna omisión o algo mal hecho no quiere decir que este violando la autonomía

universitaria, igualmente también se puede hablar de mecanismos como los ECAES”.

7.1.4 Condiciones de aplicación

7.1.4.1 Diferencias de la primera a segunda aplicación

En participación: Los entrevistados indicaron que no participaron en el proceso del

año 2.004, puesto que el trabajo hecho para el año 2.003 se utilizó para el siguiente año.

Igualmente en Salud, los entrevistados hicieron referencia a que la participación de 2004

fue igual a 2003.

En la preocupación por los ECAES: La diferencia expresada por directivos y

docentes en Ingeniería, radica en que para la segunda aplicación no se intentaron realizar

las monitorías que sí se hicieron para el primer año. Así mismo ha habido menos interés por

analizar los resultados. Por el contrario, en salud el tratamiento de los resultados fue mejor

en la versión del 2.004, los resultados son mejor comprendidos y los medios de

comunicación fueron más responsables y sutiles en su divulgación.

En los resultados: Las direcciones de carrera indican que hubo diferencias de

resultados, algunas áreas disminuyeron sus puntajes y otras aumentaron. Los resultados

fueron mejores para esta versión en las carreras de Salud.

Tratamiento que le dieron los medios a los resultados: En Enfermería hubo bastante

cuidado con el manejo de la información para el 2003 y 2004, situación clara desde el

comienzo como parte de la negociación que se hizo entre ACOFAE y el ICFES para evitar

el ranking entre programas y entre instituciones. En Medicina es conocido el efecto

negativo que generó la divulgación de los resultados por los medios en la primera prueba a

VIVENCIAS ACADEMICAS DE LOS ECAES 72 finales de 2002, para el 2003 y 2004 el manejo fue mucho más prudente y responsable de

los medios.

En la divulgación estatal: En Ingeniería hubo una divulgación más demorada y poco

transparente; los entrevistados desconocen parte de los resultados. En cambio en salud, para

esta versión 2004, se divulgaron los resultados a tiempo y sin complicaciones.

En la aplicación del examen: En la aplicación del examen, en Ingeniería se pasó de

una ordenación de las preguntas por temas a un manejo no ordenado de las preguntas;

también hubo más claridad en la posibilidad de utilizar calculadoras y/o equipos de

cómputo. Para Salud, la prueba en general para el 2004 estuvo bien construida y sin

complicaciones en la lectura.

7.1.4.2 Condiciones de información previa

Suficiencia de la información : Directivos y docentes de ingeniería indicaron que la

información básica y sobre el tipo de preguntas fue suficiente, pero no así la información

sobre porqué se utilizó ese tipo de preguntas. Algunos matizan agregando que hubo

apresuramiento en la información por la magnitud de la tarea y el poco tiempo para

elaborarla, lo que la hizo insuficiente. En salud, en general la información fue detallada y

suficiente tanto para el proceso de construcción de las preguntas como para la aplicabilidad

de los exámenes, según los entrevistados.

Claridad de la información: En Ingeniería de Sistemas, la claridad aportada por el

líder de REDIS dio transparencia al proceso. Por el contrario, en Ingeniería Industrial, se

indicó que hubo apresuramiento y poca claridad en el manejo de la información por parte

de las instituciones encargadas. En salud, para los ECAES de 2003 hubo algunos casos de

confusión en la recepción de la información para todas las audiencias, que dificultó de

alguna manera la convocatoria por la premura para generar los bancos de preguntas.

Oportunidad de la información : De nuevo se presenta el contraste entre Ingeniería

de Sistemas e Ingeniería Industrial. Mientras los entrevistados de la primera carrera

comentan que la información fue oportuna, los de la segunda informan que hubo

apresuramiento y trabajo a marchas forzadas. En salud, se contó oportunamente con la

VIVENCIAS ACADEMICAS DE LOS ECAES 73 información, la cual se socializó con los estudiantes en dos momentos, uno en el proceso

de construcción y en un segundo momento los aspectos de la aplicación.

Confiabilidad de las fuentes: En Ingeniería de Sistemas los entrevistados consideran

que como ACOFI tenía en sus manos el proceso, y el líder del proyecto era una persona con

claridad, la información que recibieron fue buena. Para Enfermería, la fuente de la

información es ciento por ciento confiable porque el coordinador general para el país era un

docente de la Facultad, así que no había lugar a inexactitud y alteraciones de la

información.

7.1.4.3 Condiciones de aplicación

Tiempo: Sólo algunos entrevistados respondieron esta pregunta, e indicaron que el

tiempo fue suficiente en la mañana, donde se trataron temas de ciencias básicas; en

Ingeniería de Sistemas la información recopilada indica que el tiempo fue insuficiente en la

tarde, cuando se trataron los temas propios de la disciplina. En Salud, los entrevistados

presentaron una misma versión acerca del tiempo, el cual fue suficiente para el desarrollo

de la prueba.

Lugar: Docentes y directivos de Ingeniería que conocieron los lugares de aplicación

indican que éstos no son los mejores, por las distancias y el frío de los salones. Se

mencionó que algunos estudiantes al llegar al sitio asignado, no lo encontraron habilitado

para el examen y tuvieron que ser reasignados. En enfermería, los entrevistados revelaron

que para el ECAES de 2003 se reportaron casos en los cuales el examen no correspondía

entre esa sede y las pruebas fuera de Bogotá, y que las condiciones físicas no eran las

mejores, sobre todo de iluminación.

Modo: En la inscripción, la dirección de carrera de Ingeniería de Sistemas reportó

problemas de retrasos en las inscripciones y lentitud en el sistema. En Salud no hubo

problemas en el momento de la inscripción que hubieran reportado o expuesto los

estudiantes a los programas.

Durante la aplicación del examen, los entrevistados en Ingeniería reportaron tres

situaciones: la combinación de preguntas de diferentes temas en la misma sesión durante

2.004 (“Venía una de matemáticas y después saltaba a una comprensión de lectura, y

VIVENCIAS ACADEMICAS DE LOS ECAES 74 después saltaba a una de Ingeniería, ¿sí?”); la falta de claridad en el posible uso de

herramientas tecnológicas como calculadoras y computadores de mano durante el 2.003

(“Sin embargo aquí la gente vino a quejarse que nosotros los habíamos dejado en

desventaja porque la gente había llegado con calculadoras y los habían dejado entrar”); y la

inclusión de preguntas con respuestas erradas, y mal formuladas a pesar de los filtros. De

resto, consideran que la realización se llevó de forma adecuada. Para salud, en general

fueron apropiadas las condiciones en las cuales se llevaron a cabo los exámenes para la

versión 2004.

7.1.4.4 Condiciones de divulgación de los resultados

Accesibilidad: En Ingeniería, los entrevistados indican que la información es de baja

accesibilidad. Dada la dificultad del análisis, algunos consideran que la restricción a la

información es necesaria, llegando incluso a la preocupación por el acceso de personas no

autorizadas oficialmente a la información restringida. Otros, por su parte, quisieran que

hubiera una mayor divulgación porque el proceso debe ser transparente y los resultados

divulgados son muy parciales. En el programa de enfermería consideran que si hubo acceso

a los resultados desde las regionales a cada una de las instituciones, lo que permitió su

posterior presentación a los profesores y estudiantes. Por su parte Medicina fue más

discreta en la presentación de los resultados y no hubo el interés de una amplia divulgación

de los resultados. Inclusive uno de los profesores entrevistados manifiesta que le hubiera

gustado conocer y analizar los resultados.

Oportunidad: En ingeniería de Sistemas, se considera que la oportunidad es buena,

porque los resultados llegan rápido a los estudiantes. En Ingeniería Industrial no se

considera oportuna en la medida en que aún no se ha podido interpretar la información.

Los programas de salud señalaron que la información de los resultados de la prueba de

2003, se comunico de manera oportuna.

Claridad : En Ingeniería Industrial se mencionó que los resultados no son claros,

pues no existe la posibilidad de hacer un análisis pormenorizado ni existe un modelo de

interpretación de los resultados. En este aspecto Salud manifestó que los resultados son

VIVENCIAS ACADEMICAS DE LOS ECAES 75 presentados por las asociaciones bajo criterios acordados previamente en cuanto a

participación, metodología empleada y manejo prudente de la información.

7.1.5 Propuestas de mejoramiento

7.1.5.1 Para la comparación entre programas

Mejoramiento del instrumento: Según algunos entrevistados, es posible que los ECAES

puedan llegar a establecer comparaciones de calidad en el largo plazo, a medida que el

instrumento se perfeccione. La utilización de metodologías más perfeccionadas como la de

respuesta al ítem es mencionada como posible alternativa.

Uno de los entrevistado de medicina propuso un examen con un mayor número de

preguntas, para lo cual agrega: ”tiene que ser tan súper bien hecho para decir que esta

evaluando toda la medicina, en otras partes del mundo lo que hacen es que dividen las

clínicas de las básicas con exámenes de 1000 preguntas cada uno y ahí sigue habiendo

falencias pero de pronto es un mejor instrumento”; En cuanto a la comparación se refirió

así: “siempre y cuando los ECAES se hayan hecho con base en los contenidos o los

objetivos comunes a las facultades sería válido para comparar, pero sabemos que eso no es

así, entonces mientras eso no se haga….. eso es un trabajo monumental, eso es dificilísimo

de hacer y requiere mucho tiempo lograr hacerlo bien y con gente que tenga la experticia en

las diferentes áreas”.

Desempeño profesional: Ningún entrevistado en Sistemas indicó que éste pudiera

ser un método mejor de realizar comparaciones; por su parte, en Ingeniería Industrial se

mencionaron los resultados de los egresados y la valoración por parte del sector empresarial

de los profesionales como posibles mecanismos para mejorar las comparaciones entre

carreras. Como lo explica un entrevistado: “A ese respecto lo que nosotros creemos es que

nuestros estudiantes salen formados para muchas más cosas que obtener un resultado

satisfactorio en un examen como esos. Y que eso, pues está plenamente evidenciado en el

desempeño profesional de nuestros egresados”.

En Salud existió un interés mayor en otro tipo de evaluaciones, más conceptuales o

cualitativas, aspecto que expresan de la siguiente manera: “Para nosotros es más

VIVENCIAS ACADEMICAS DE LOS ECAES 76 importante lo que se piensa de los egresados en los sitios donde trabajan, porque este tipo

de valoraciones nos retroalimentan con mucha mas fuerza, y son mas útiles para formar

directrices en la formación del profesional”.

Otros procesos de evaluación y acreditación: Los entrevistados indicaron como otra

posible manera de evaluar la utilización del proceso de acreditación nacional e

internacional; la planta de docentes en su preparación y dedicación a la universidad;

métodos usados por otros países como México (CENEVAL); y la evaluación frente a

perfiles profesionales o frente a objetivos.

En salud expresaron que, adicional al apoyo y refuerzo de los procesos de estándares de

calidad y de acreditación en los programas, podría pensarse en internacionalizar el

currículo, lo que favorecería la homologación de títulos, los intercambios de profesores y

estudiantes y los proyectos de investigación en un ámbito interdisciplinario.

7.2 Estudiantes

7.2.1 Acciones

En lo referente a las acciones, los estudiantes fueron preguntados por su preparación

frente a los ECAES. Una gran mayoría no se preparó para el examen (81.8% en ingeniería

industrial, 73.9% en ingeniería de Sistemas). Las razones principalmente esgrimidas son la

falta de tiempo (de los encuestados: 34.1% en industrial, 26.1% en sistemas) y, en

consonancia con la directiva institucional, el hecho de que la preparación recibida durante

la carrera debía ser suficiente (20.5% en industrial, 17.4% en sistemas). En palabras de los

estudiantes, “Lo que no aprendí en 10 semestres no lo aprenderé en un mes”. Respecto a la

falta de tiempo, se menciona la carga académica: “En el momento de presentar el ECAES

estaba trabajando, preparando tesis y viendo materias”. Otras razones para no prepararse

invocan la poca importancia dada a los ECAES y la falta de apoyo de la carrera para esa

preparación (“…No le di importancia, ya que la universidad tampoco le dio importancia”).

Quienes sí se prepararon para los ECAES (de los encuestados: 18.2% en Industrial y 26.1%

en Sistemas) en general resolvieron las cartillas previas o realizaron un repaso por su cuenta

en los días previos al examen.

VIVENCIAS ACADEMICAS DE LOS ECAES 77 En cuanto a las acciones en salud, los estudiantes respondieron a la pregunta acerca de la

preparación para la prueba así: En un 39,1% de medicina y en un 81% de enfermería que

no se prepararon. La principal razón señalada por los encuestados fue la falta de tiempo

(enfermería, 71,4%, medicina 17,4%.). La otra razón por la cual no se prepararon para la

prueba está asociada con la preparación durante la carrera (21,7% en medicina y 9,5% en

enfermería). Los estudiantes piensan que es suficiente con los temas enseñados en clases y

que no ameritan otra preparación extra. Los estudiantes de Medicina fueron quienes más se

prepararon (60.9%) para la prueba, principalmente en actualización de leyes y normas

técnicas expedidas por el Ministerio de Protección Social. En contraste, solo 19% de los

estudiantes de enfermería se prepararon, y lo hicieron repasando apuntes de clase y

resolviendo algunos cuestionarios.

7.2.2 Objetos de conocimiento

Al preguntar a los estudiantes de Ingeniería lo que los ECAES lograron valorar, se

presentaron algunos resultados dispares en porcentaje, pero alineados de manera global.

Así, los estudiantes de Ingeniería Industrial indican que los ECAES lograron valorar

conocimientos (63.6% de los encuestados), aunque señalan que los conocimientos

valorados son incompletos, teóricos y superficiales. En segundo lugar mencionan la

memoria (25% de los encuestados); en tercer lugar está la formación básica (18.2% de los

entrevistados) -haciendo énfasis en los conocimientos de áreas básicas como matemáticas y

física-; en cuarto lugar se señala que los ECAES no valoran nada (13.6 % de los

encuestados) y por último se menciona la formación especializada (9.1% de los

entrevistados), refiriéndose en particular a conocimientos adquiridos en los últimos

semestres de carrera. En contraste, Ingeniería de Sistemas tiene en primer lugar la

formación básica (43.5% de los entrevistados), en segundo lugar mencionan que los

ECAES no miden nada (30.4%) – reclamando una baja validez del instrumento-, en tercer

lugar ubican a los conocimientos (26.1%) –aclarando también que son sólo algunos

conocimientos puntuales-, y en cuarto lugar indican la valoración de memoria (17.4% de

los entrevistados). También están incluidos, en bajo porcentaje, el análisis (8.7%) y la

formación especializada (4.3%).

VIVENCIAS ACADEMICAS DE LOS ECAES 78

En referencia a lo que no logran valorar los ECAES, ambas carreras ponen en

primer lugar, y como lo más importante, las habilidades prácticas (De los encuestados:

54.5% en Industrial y 34.8% en Sistemas). Recalcan que no se puede saber con el examen

como será su desempeño profesional, y que no era posible valorar la manera en que se

enfrentarían a la solución de problemas reales. En sus palabras, los ECAES no evalúan “El

verdadero conocimiento, la forma de cómo enfrentase con problemas reales, como

conseguir ayuda para solucionarlos, qué libros buscar” ni “la capacidad personal para

solucionar situaciones laborales y problemas de ingeniería aplicados a casos reales”. La

formación especializada está en el segundo lugar (31.8% en Industrial, 26.1% en Sistemas),

refiriéndola a conocimientos específicos de la carrera que son útiles para el desempeño

profesional. Ingeniería Industrial destaca como no valorados los conocimientos (20.5% de

los encuestados). Los demás ítems que fueron señalados por menos del 15% de los

encuestados, son el análisis, y en menor medida las competencias socio-afectivas y

valorativas.

36.4% de los entrevistados en ingeniería industrial y 43.5% de los entrevistados en

Ingeniería de Sistemas opinaron que sus resultados estuvieron acordes con lo merecido por

ellos. Quienes dijeron estar de acuerdo, en general no ponían sobre la mesa ninguna razón

específica adicional al hecho de haber satisfecho sus propias expectativas. Quienes no

consideraron sus resultados acordes con su formación profesional realizaron críticas al

instrumento como tal, tales como su enfoque teórico, el número de preguntas y la calidad

de preguntas: “Evaluaron temas muy puntuales e inútiles”, “Muchas preguntas no tenían

sentido, o no había respuesta”

En salud, con respecto a que logran valorar los ECAES, sorprendieron los

señalamientos de los estudiantes en donde se reconfirma que el examen valora

conocimientos en un 69,6% según estudiantes de medicina y 90,5% para estudiantes de

enfermería, a pesar de que según las informaciones recibidas se evaluaría competencias, y

así lo comentan en las encuestas. Esos conocimientos evaluados son de carácter básico,

superfluo y poco fundamentado, no valoran habilidades practicas en un 26,1%, según

refiere medicina y en un 47,6%, según enfermería. Asociado a lo anterior, la prueba no

cuestiona, ni profundiza en formación especializada (26,1% medicina y 19% enfermería),

siendo coincidente este apartado con las respuestas de las directivas entrevistadas al

VIVENCIAS ACADEMICAS DE LOS ECAES 79 referirse a las áreas o núcleos de evaluación específicos de la carrera. De otro lado, el 8,7%

de los estudiantes en medicina y el 9,5% de enfermería, afirman que la prueba en si misma

no mide nada. Finalmente, convergen las respuestas de los estudiantes en que la prueba es

psicométrica, poco profunda, que no valora habilidades ni conocimientos prácticos ni

permite la posibilidad de analizar porque no predomina el estudio de caso que en ciencias

de la salud es relevante.

El balance obtenido de respuestas a la pregunta sobre si los resultados están acordes

con lo merecido, el 43,5% de los estudiantes de medicina afirma que sus esfuerzos y

dedicación corresponden a los resultados obtenidos, a diferencia de enfermería en la que en

un 23,85% los resultados son paralelos a la preparación y a la dedicación. A pesar de esto,

muchos de ellos escribieron literalmente “una prueba o un examen no me mide”, “un

examen no valora mis conocimientos”. Con respecto a las características del instrumento a

un 76,2% de los estudiantes de enfermería señalan que no cumple con los objetos de

evaluación según la metodología planteada y éste es un factor negativo para la obtención

de resultados adecuados y congruentes. Los estudiantes de medicina en un 52,2% están de

acuerdo con el apartado anterior, donde encuentran falencias significativas de presentación

y organización de las preguntas lo cual limita su lectura y en consecuencia alteró los

resultados. Solamente un 13% de los encuestados de la carrera de medicina se refiere en

buenos términos al instrumento evaluativo, en relación con la correspondencia de los

resultados con lo esperado.

7.2.3 Consecuencias Preguntados por la importancia que para ellos tienen los ECAES, el 75% de los

entrevistados en Ingeniería Industrial y el 65.2% de los entrevistados en Ingeniería de

Sistemas no le encuentran ninguna importancia. Señalan que la misma universidad no les

da mayor importancia a los exámenes, que han demostrado buenos desempeños en sus

prácticas profesionales, y que los resultados- hasta ahora- no han sido tenidos en cuenta

para nada. Como los entrevistados lo expresan: “Al no ser requisito para nada y no estar de

acuerdo con los resultados no tienen ninguna relevancia”. Un menor porcentaje (20.5% e

industrial y 17.4% en Sistemas) creen que los resultados del examen les permitieron

VIVENCIAS ACADEMICAS DE LOS ECAES 80 reconocer sus fortalezas y debilidades mediante una autoevaluación; y sólo algunos señalan

la posibilidad de compararse contra un estándar, un promedio nacional, u otras

universidades (6.8% en Industrial, 17.4% en Sistemas): “Pues es un resultado que uno

utiliza para medirse con respecto a un promedio, pero no es algo que no me deje dormir.”

En cuánto a la contribución de los exámenes para el mejoramiento de la carrera, el 38.6%

de los encuestados en Ingeniería Industrial y el 21.7% en Ingeniería de Sistemas consideran

que esto es posible, bien sea mediante una autoevaluación institucional (22.7% y 17.4% de

los encuestados respectivamente), o mediante una reforma curricular (13.6% y 17.4% de

los encuestados). Ante todo proponen que “Se toman medidas en las áreas que menores

puntajes presenten”. Entre quienes no consideran posible una mejora del programa con los

ECAES hay dos posiciones dominantes: quienes vuelven a insistir en las dificultades y

limitaciones del examen como tal “Porque no evalúan nada” (20.5% en Industrial y 30.4%

en sistemas) y los que no lo ven viable por el poco interés generado por la carrera al

respecto (”Porque a la U no le importa”) o la imposibilidad de hacer autoevaluación sin

saber interpretar los resultados (11.3% y 30.4%)

A la pregunta acerca de la importancia de los ECAES, enfermería presenta una

tendencia contraria a la de las demás carreras, las cuales, en general, no le dan ninguna

importancia al examen. En particular, el 43,5% de los estudiantes de medicina y el 14,3%

de los estudiantes de enfermería no le dan ninguna importancia. Para los enfermeros es

relevante el examen ya que en un 71,4% les permite repasar conocimientos de la carrera,

mientras que para los médicos solo posibilita la comparación en un 13% y genera

beneficios a los estudiantes en una proporción porcentual del 13%, describiendo esos

beneficios en términos de becas, intercambios internacionales y obtención de la residencia

en cualquier especialidad. Los estudiantes de enfermería ven el examen como una

obligatoriedad en un 14,3%, mientras que Medicina lo ve como una oportunidad de auto

evaluación de fortalezas y debilidades, en una proporción porcentual de 30,4%.

Los estudiantes en enfermería consideran que los exámenes contribuyen a la calidad de la

educación reformando el currículo (52,4%) y permiten una autoevaluación institucional

(23.8%). Simultáneamente, un 23,8% de ellos considera que la prueba no contribuye a la

VIVENCIAS ACADEMICAS DE LOS ECAES 81 calidad en el contexto educativo. Por su parte en Medicina, el 47.8% de los estudiantes no

creen que el examen contribuya al mejoramiento de la calidad. Entre los que sí consideran

la existencia de aportes, se encuentra un 13% de autoevaluación institucional, y un 8.7% en

reforma curricular. En conclusión, los estudiantes de los programas de salud son

reiterativos en señalar que los aportes de los ECAES se dirigen al mejoramiento curricular,

y a la reflexión sobre las formas y estilos de estudiar. A pesar de ello, la prueba aun esta en

proceso de construcción y reforma, por ende sus resultados pueden dar mayores luces de

cambio sólo a largo plazo.

7.2.4 Condiciones de aplicación

La información recibida antes de realizar el examen también fue valorada por los

estudiantes. 45.5% de los estudiantes encuestados en Ingeniería Industrial y 56.5% de los

estudiantes encuestados en Ingeniería de Sistemas la consideraron adecuada. Quienes no la

consideraron adecuada, destacaron ante todo la insuficiencia de la información recibida, y

no tanto su claridad u oportunidad. Resulta evidente que hubieran querido una participación

más activa e informada de sus carreras: “No sabia que tipo de preguntas, materias,

duración, todo lo que sabia eran habladurías”, “No dicen para que sirve ese examen”, “La

única información que se dio fue la de pagar el recibo para poder presentarlo”.

El lugar de aplicación de los ECAES fue considerado adecuado por una mayoría (52.3% en

Industrial y 69.6% en Sistemas). Al respecto, quienes lo consideraron inadecuado casi

siempre señalaron la distancia del mismo de su lugar de residencia.

Muy pocos entrevistados consideraron el tiempo para la presentación de la prueba

insuficiente (6.8% en Ingeniería Industrial y 8.7% en Ingeniería de Sistemas). La mayoría

lo consideró suficiente para los requerimientos de la prueba (63.6% y 65.2%) e inclusive

hubo un porcentaje destacable que declaró como más que suficiente el tiempo otorgado,

indicando que les sobró tiempo: “Generalmente terminaba antes”, “Uno tiene mas tiempo

del que necesita” (29.5% y 21.7%)

La organización en general, también se vio como adecuada (75% en Industrial y 65.2% en

Sistemas). Quienes así no lo consideraron, señalaron las dos razones exhibidas por los

directivos: el aparente desorden de las preguntas y la poca claridad sobre el uso de

calculadoras.

VIVENCIAS ACADEMICAS DE LOS ECAES 82

Los estudiantes de enfermería valoraron la información como suficiente en un

57,1%, mientras el 42,9% no la considera clara. Todos los estudiantes afirman que los

medios de comunicación por los cuales fueron informados fueron: a través de la facultad,

página Web y carteles. Los estudiantes de Medicina en alto porcentaje (82.6%)

consideraron suficiente y clara la información. El 60.9% de los estudiantes de medicina y

el 81% de enfermería señalan que las condiciones de instalación para el examen fueron

adecuadas, solo el 39.1% de los estudiantes de medicina y el 19 % de los de enfermería

aseguran lo contrario, ya que se reportaron algunos casos fuera de Bogotá en donde los

lugares indicados no correspondían al estudiante. Debido a ello, terminaban presentándolo

de forma improvisada en otros sitios donde la infraestructura era limitada tanto en

ventilación como en iluminación.

Las condiciones de tiempo para la prueba en un 91,3% para los médicos y para los

enfermeros en un 76,2% fueron suficientes. El alto porcentaje presentado en Medicina es

debido principalmente a que los estudiantes presentan pruebas similares al interior del

programa. Para ninguna carrera de Salud el tiempo fue más que suficiente. Entre los que

consideran el tiempo insuficiente (23,8% para los enfermeros y 8.7% para los médicos) se

señala sobre todo dificultad en aquellas preguntas de comprensión de lectura, que al ser

demasiado largas e ininteligibles consumían la mayor cantidad de tiempo.

Los detalles de organización para la aplicación de la prueba en general fueron

adecuados para el 90,5% de los estudiantes de enfermería y para el 73,9% de medicina.

7.2.5 Propuestas de mejoramiento

Hubo dos sugerencias que se hicieron con mayor frecuencia para el mejoramiento de los

ECAES. La primera de ellas es el mejoramiento del instrumento (50% en Industrial y

43.5% en Sistemas). Allí se mencionan tres aspectos fundamentales: el ajuste de la prueba a

diferentes perfiles profesionales (“Las preguntas no pueden ser iguales para todas las

universidades ya que los enfoques son muy diferentes”); la orientación de la prueba hacia

habilidades prácticas (“Que haya preguntas con más visión empresarial”, “debe ser mas

sobre los temas de un profesional y no sobre el ciclo básico”); y el mejoramiento de las

preguntas (“Que evalúe competencias y no memoria”, “Tratar de hacer preguntas que

VIVENCIAS ACADEMICAS DE LOS ECAES 83 midan en verdad la recursividad e ingenio que deben tener los estudiantes”). La segunda

sugerencia más frecuente es la realización de preparaciones, simulacros o pre-ECAES con

miras a la presentación del examen (27.3% en industrial y 34.8% en sistemas). En esta

sugerencia se evidencia cierto reclamo hacia profesores y directivos por el sentimiento de

abandono para la presentación del examen que se generó en los estudiantes: “Que la

universidad tenga la gentileza de apoyar a los estudiantes en la preparación”, “Que hicieran

un Pre- ECAES”, “!simulacros¡” Otras sugerencias incluyen la adecuada utilización de

resultados por parte de los programas, y la sugerencia de eliminar el examen.

En salud se expusieron multiplicidad de sugerencias en pro del mejoramiento de la

prueba. El 82,6% de los médicos y el 28,6 de los enfermeros aseguran que se debe perfilar

el instrumento en dos dimensiones: debe evaluar conocimientos básicos de la carrera

(farmacología, física, química, etc.) y debe calificar la formación especializada en áreas de

la práctica clínica (administración en salud, ginecoobstetricia, pediatría, gerontologia,

cuidado critico, etc). El 9,5% de los enfermeros sugirieron la realización de pre-ECAES

con el objeto de mejorar el rendimiento en la prueba y obtener mejor resultado.

Finalmente, el 33,3% de los estudiantes de enfermería, señala como sugerencia la no

realización del examen, ya que no aporta nada y solo es una obligación estatal presentarlo.

7.3 Relaciones entre las carreras y entre las audiencias

7.3.1 Acciones

En lo referente a la elaboración del examen la participación es muy similar, tanto en

las carreras de Ingeniería como en las carreras de Salud. Las diferencias entre programas se

debieron a personas líderes de la Universidad en cada programa que se involucraron

directamente con las asociaciones de facultades en mayor o menor cantidad, o por la

cercanía que las personas entrevistadas tuvieran con alguno de los líderes del proceso en las

asociaciones de facultad.

En cuanto a las acciones dirigidas por los programas para la preparación por parte

de los estudiantes, se presentaron diferentes grados de acuerdo al programa de estudios

VIVENCIAS ACADEMICAS DE LOS ECAES 84 teniendo en cuenta la existencia de las directrices institucionales al respecto. Enfermería

fue más cuidadosa en la realización de acciones preparatorias como cursos y divulgación de

información, lo cual es confirmado tanto por directivos y profesores como por estudiantes.

Los programas de Ingeniería están a un segundo nivel de preocupación por la preparación,

porque intentaron algunas tímidas acciones que los estudiantes consideraron insuficientes.

En un tercer nivel, se encuentra el caso de Medicina, cuyos directivos y profesores fueron

los menos interesados en realizar actividades de preparación asumiendo que era necesario

el compromiso personal del estudiante frente a la preparación. Por ello mismo, son sus

estudiantes quienes más informaron haberse preparado por su cuenta para la prueba.

De cualquier modo, la mayor parte de los estudiantes de todas las carreras no realizó

una preparación específica para los ECAES. Los aspectos destacados para explicar esa

escasa preparación son: el hecho de que la preparación se ha dado ya durante la carrera, la

falta de tiempo y la poca importancia dada a los exámenes.

En las acciones frente a la recepción de resultados, todos los programas utilizaron la

información para detectar o confirmar sus fortalezas y debilidades y como un insumo más

para las posibles reformas curriculares – sin ser el único ni el más importante-. Así mismo,

todas las carreras se enteraron, generalmente de manera informal, de las acciones llevadas a

cabo por otras instituciones frente a los ECAES. Entre los contrastes más destacados, las

ingenierías han realizado más acciones de conformación de grupos críticos a los ECAES

que las carreras de Salud, y la divulgación selectiva de la información de acuerdo con las

audiencias no fue tan marcada en la carrera de Enfermería.

7.3.2 Objetos de conocimiento

Ninguno de los directivos de las carreras ni las audiencias reconocen la validez de

la correspondencia de los resultados de los exámenes con la formación profesional, aunque

todas- excepto Enfermería- terminan aceptando que los resultados obtenidos corresponden

de una manera aproximada a los conceptos previos que se tenían del desempeño de las

personas o las instituciones. Medicina señala la correlación entre desempeño individual y el

resultado de los ECAES, lo que no ocurre en las demás carreras. Entre los estudiantes, las

opiniones están repartidas, estando aproximadamente la mitad de los estudiantes de acuerdo

VIVENCIAS ACADEMICAS DE LOS ECAES 85 y la otra en mitad en desacuerdo con la correspondencia de los resultados del examen y la

formación profesional; los estudiantes de enfermería destacan en el desacuerdo, recalcando

en particular características del instrumento.

En lo referente a la validez de las comparaciones entre carreras hechas a partir de

los resultados, hay posiciones encontradas dentro de los programas y entre programas.

Todas las carreras y audiencias, incluidos los estudiantes, coinciden en que las diferencias

de enfoques, perfiles y número de personas entre las instituciones limitan o impiden las

posibilidades de comparación.

A pesar de ello, hay diferencias en el grado de limitación de las comparaciones.

Ingeniería admite que sería posible formar grupos o niveles de instituciones, lo que no

ocurre en las carreras de Salud. Medicina e Ingeniería Industrial encuentran

correspondencias entre los resultados y la imagen pública de las instituciones; Enfermería e

Ingeniería de Sistemas no. Todas las carreras, excepto enfermería, le dan alguna validez a

las comparaciones a partir del carácter institucional de la prueba, el cual, de alguna manera,

las avala.

Otra coincidencia general frente a las limitaciones del instrumento es la necesidad

de mejorar el instrumento, y su falta de madurez por llevar hasta ahora dos o tres

aplicaciones por carrera. Al señalar las deficiencias por mejorar del instrumento, Ingeniería

centra sus argumentos en el punto de vista estadístico, mientras Salud lo hace en el proceso

de elaboración de la prueba.

En cuanto al tipo de formación, todas las carreras excepto Medicina, indican que

los exámenes apuntan a revisar la formación básica y no la formación especializada. En

Ingeniería, ello se refleja en la ponderación alta que reciben la física y el cálculo,

consideradas como básicas en la formación del Ingeniero. En Medicina, en cambio,

encuentran un vacío en la valoración de formación básica en áreas como morfofisiología y

química, las cuales son plataforma del conocimiento disciplinar.

En todas las carreras, tanto estudiantes como directivos, reconocen la valoración de

conocimientos por parte de la prueba. Entre los conocimientos valorados, todas las carreras

y audiencias coinciden en la memoria. Sin embargo, las áreas de salud admiten algo de

interpretación que no es admitido en Ingeniería; en contraste, Ingeniería admite algo de

análisis que no admite Salud. Es probable que esta diferencia se deba a los paradigmas

VIVENCIAS ACADEMICAS DE LOS ECAES 86 disciplinares, puesto que la interpretación es un factor clave en las ciencias de la salud,

mientras el análisis lo es en las ingenierías.

Todas las carreras y audiencias coinciden en señalar que los ECAES no reconocen

la presencia de competencias ni de habilidades prácticas para la vida profesional del

estudiante. Si bien son poco mencionadas, tampoco se considera que los ECAES evalúen

elementos de síntesis o evaluación, ni elementos socio-afectivos o valorativos.

7.3.3 Consecuencias

Entre los beneficios generables por los ECAES y reconocidos por los directivos hay

un núcleo común: el aporte a la evaluación interna, la posibilidad de estímulos a los

estudiantes, la diferenciación de la calidad de los programas en el largo plazo y el mayor

conocimiento mutuo entre instituciones. Ingeniería le ve otros beneficios a los ECAES,

entre ellos la internacionalización de la carrera y la posible creación de carreras más

especializadas.

Los estudiantes por su parte, son bastante escépticos frente a posibles beneficios de

los exámenes. Enfermería destaca, ante todo, el repaso de conocimientos. Otro aspecto

destacado por varios encuestados -pero no por la mayoría- en todas las carreras es la

autoevaluación de fortalezas y debilidades personales e institucionales. Por último, aunque

con pequeños porcentajes en todas las carreras, aparece la posibilidad de comparación

frente a un promedio o frente a otra persona o institución. Los estímulos para los

estudiantes aparecen únicamente en medicina.

Entre los perjuicios, el más importante y comúnmente señalado por los directivos es

el del uso e interpretación indebida de los resultados. Uno de los temores más grandes es la

posibilidad de una estigmatización de las carreras que conlleve una selección adversa de la

institución por parte de futuros estudiantes, o una escogencia inadecuada de carrera o

institución. El otro gran temor es la utilización del resultado del examen como criterio para

el acceso al mundo laboral.

La mayoría de los estudiantes de todas las carreras no le ven mayor importancia a

los resultados de los ECAES. En cuanto a la contribución a la calidad de la carrera, hay un

VIVENCIAS ACADEMICAS DE LOS ECAES 87 fuerte porcentaje de estudiantes que consideran que no hay tales contribuciones. El aporte

más aceptado entre quienes responden positivamente es la autoevaluación y la reforma

curricular. Por lo tanto, la inutilidad del examen y la poca importancia dada por la carrera a

los resultados son los principales perjuicios de una actividad que les hace “perder el

tiempo” sin tener mayores consecuencias. Esa inocuidad de resultados, en contraste, es

poco destacada entre los directivos.

El conocimiento mutuo entre instituciones es visto por muchos de los directivos y

profesores como un beneficio que tiene su contraparte en la generación de rivalidades entre

instituciones, debida principalmente a la competencia desleal por abuso en la interpretación

de los resultados o utilización de posiciones dominantes sobre el examen.

En referencia a la autonomía, las carreras de salud no consideran que se vea

afectada por los ECAES. En Ingenierías algunos directivos consideran que, si bien no ha

ocurrido, existe el riesgo de que llegue a ser así, de manera directa o indirecta a través de

una presión del mercado que los obligue a sacrificar parte de su proyecto institucional.

7.3.4 Condiciones de aplicación

En las diferencias entre la primera y la segunda aplicación, cabe destacar que existe un alto

contraste entre Ingeniería y Salud. Ingeniería se preocupó menos por la preparación y los

resultados que Salud en la segunda aplicación; así mismo la divulgación estatal y la

aplicación del examen mejoraron de una versión a la otra de acuerdo a las carreras del área

de la Salud, mientras que en Ingeniería se considera que esos aspectos empeoraron o

incluyeron nuevos elementos perturbadores como el aparente desorden de las preguntas.

En cuanto a la calidad de la información previa, directivos de todas las carreras coinciden

en que fue suficiente y clara, pero en Ingeniería se considera que no fue oportuna, y se

presentó apresuramiento. Por su parte, los estudiantes no consideraron adecuada la

información recibida, excepto en Medicina. Ingeniería destaca que la información no fue

suficiente y se limitó a la inscripción para la prueba.

Las condiciones de aplicación en tiempo, lugar y modo se consideraron adecuadas y

similares a las del examen del ICFES, tanto por estudiantes como por directivos, aunque en

las carreras de Ingeniería hay reparos a los procesos de inscripción y a ciertos aspectos de la

VIVENCIAS ACADEMICAS DE LOS ECAES 88 realización como el orden de las preguntas y el uso de calculadoras. Los estudiantes de

enfermería destacan como muy buenas las condiciones de aplicación, y un porcentaje

significativo de estudiantes de Ingeniería indican que el tiempo para la prueba fue más que

suficiente.

En cuanto a las condiciones de divulgación de resultados, hay variedad sobre el deseo de

acceso. Para unos directivos el acceso es adecuado, para otros debería haber un mayor

acceso a la información y para un tercer grupo el acceso a la información debería ser más

restringido. La claridad y la oportunidad de esta divulgación es bien valorada por todas las

carreras, excepto por Ingeniería Industrial.

7.3.5 Propuestas de mejoramiento

Entre los procesos mencionados para ampliar las posibilidades de comparación entre

carreras, particularmente se mencionan tres: los procesos de acreditación, el mismo

instrumento pero con reformas, y el desempeño profesional.

Entre las sugerencias hechas para la realización de los ECAES por los estudiantes,

las principales son el mejoramiento del instrumento, la comparación con el desempeño

profesional y una mejor y mayor utilización de los resultados. Vale la pena destacar que

en Medicina los estudiantes no solicitaron la realización de pre-ECAES, lo que si ocurrió

para todas las demás carreras. También resulta importante resaltar que en enfermería, la

sugerencia más notable por parte de los estudiantes es la eliminación completa del examen.

VIVENCIAS ACADEMICAS DE LOS ECAES 89

8. CONCLUSIONES

El principal perjuicio potencial de los ECAES detectado por la investigación es la

indebida interpretación y divulgación de resultados. Este perjuicio se agrava ante la

inexistencia de un modelo real y operativo de interpretación de los resultados que las

audiencias investigadas conozcan, lo que abre grandes espacios para la manipulación y la

ligereza interpretativa por parte de ellas. Existen una gran cantidad de audiencias

interesadas en los resultados de los exámenes, y por ello es preciso definir cuanto antes los

alcances, limitaciones y posibles lecturas de los resultados. Sin esta definición, se corre el

riesgo de que, al ser interpretados de formas muy diversas, los resultados sean inútiles,

tergiversados, o se les de poca importancia dentro de las facultades de la Universidad.

Como consecuencia de lo anterior, otro importante suceso que está ocurriendo

alrededor de los ECAES en las facultades de Salud e Ingeniería se refiere a la generación y

uso de rankings entre instituciones a partir de los resultados. Este elemento es permanente

campo de tensiones al interior de la universidad, entre universidades y en las relaciones de

las universidad con las instituciones estatales. A pesar de que las clasificaciones han

favorecido a las carreras de Salud e Ingeniería investigadas dentro de la Pontificia

Universidad Javeriana, se tiene la percepción de que ello podría cambiar en cualquier

momento por las características del instrumento de evaluación. Debido a estas buenas

clasificaciones logradas, de manera velada hay una aceptación tácita de los resultados

obtenidos, porque hasta ahora han confirmado el status de las carreras en el concierto

nacional.

A pesar de que se trataba de evitar la realización de rankings, parecía inevitable

llevar a generar ese tipo de clasificaciones, como si de una impronta cultural de

competitividad se tratase. Como bien lo expresa uno de los entrevistados: “Todos llegamos

a la misma cosa que es el ranking -que es lo que se supone que no se quiere-, pero todos

llegamos por el ranking. ¿sí?”. Además del direccionamiento cultural, los rankings, como

datos cuantitativos expresados en estadísticas, pueden llevar a la toma de decisiones por

parte del Estado para regular la educación, amparados bajo la supuesta objetividad de los

VIVENCIAS ACADEMICAS DE LOS ECAES 90 instrumentos, tal como lo expresaron los investigados. Algunas de estas decisiones podrían

estar dirigidas a disminuir la proliferación de programas que se consideran de baja calidad,

y por ello hubo interés por parte de algunas de las carreras en seguir manteniendo las

clasificaciones. La tensión más visible con respecto al ranking es la tentación de

estigmatizar, y el temor a ser estigmatizado.

Existe una gran confusión sobre los posibles objetos de evaluación hacia los que

está dirigido el examen, en particular en lo referente a las competencias. En las carreras

investigadas, hay un acuerdo acerca de que las competencias son un saber hacer en un

contexto, lo cual se aproxima a las definiciones mencionadas en el marco teórico. Desde

ese punto de vista, ellos concluyeron que un examen como los ECAES no puede valorar el

hacer -porque este sólo es posible en la práctica- y tampoco puede ubicar el contexto

adecuadamente mediante una descripción escrita del mismo. Sin embargo, a la hora de

clasificar las posibles competencias existentes, la confusión es general, en las carreras y la

universidad investigadas. Desde la posición que indica que las competencias están incluidas

transversalmente a lo largo de las preguntas, hasta la que confunde competencias con

conocimientos- lo que llevó a la creación de una categoría de competencia cognoscitiva-

hay una variedad demasiado amplia en lo referente al tema de las competencias. Esta

confusión puede tener sus orígenes en la definición de la calidad de la educación como

formación de competencias frente a la formación real impartida en la universidad, a la falta

de comprensión y de unidad de lenguaje sobre formación por competencias, y más aún a la

incapacidad de los docentes de formular preguntas conducentes a la evaluación por

competencias.

Si bien la construcción del examen convocó a equipos académicos

interdisciplinarios, con la participación de las asociaciones académicas y profesionales

como entes autorizados para legitimar la evaluación y para otorgar validez y confiabilidad a

la prueba, se aprecia la dificultad percibida por directivos y profesores de mantener una

integración conceptual y metodológica dada la heterogeneidad natural de las opciones de

formación. A pesar de la intencionalidad de la política y de los esfuerzos de los gremios, se

observa en la práctica la dificultad de evaluar la calidad a través de un único tipo de

instrumento de medición, de una prueba estandarizada que pretende definir criterios

unificados y que de alguna manera está forzando la homogenización de la diversidad de

VIVENCIAS ACADEMICAS DE LOS ECAES 91 áreas de formación, perfiles profesionales, modelos, identidades y énfasis profesionales que

son propios de la autonomía universitaria. Surge entonces el cuestionamiento del test en

cuanto a su incapacidad de medir el desempeño, ya que las pruebas se efectúan en un

contexto diferente al de la complejidad intelectual, práctica y contextual del ejercicio

profesional, aspecto muy marcado en carreras eminentemente prácticas como todas las

investigadas. Como bien lo expresa un entrevistado, “El papel es muy diferente a la

realidad, al manejo del paciente, de la enfermedad”.

La realización de pre-ECAES, - preparaciones específicamente dirigidas a un mejor

desempeño en los exámenes- es una tentación que se puede observar en las facultades de

Salud e Ingeniería de la Universidad Javeriana. Si bien la comunidad universitaria, a través

de la vicerrectoría académica, formalizó su intención de no llevarlos a cabo, algunos

profesores no se muestran muy satisfechos con esa decisión. Así mismo, muchos

estudiantes en diversas carreras quisieran acceder a simulacros y preparaciones específicas

para el desempeño en el examen. Los directivos no escapan del todo al embrujo tentador de

la realización de los pre-ECAES, aunque tienen un mayor alineamiento con la política

general; en particular, algunos se sienten en desventaja frente a las universidades que sí

llevan a cabo estas preparaciones, y realizan esfuerzos, aunque tímidos, por reforzar

aquellos conocimientos que puedan llevar a un bajo desempeño en los exámenes.

La función crítica de la Universidad frente a los ECAES, en las carreras de Salud e

Ingeniería de la Universidad Javeriana, se está llevando a cabo a medias. Aunque en

Ingeniería se han dirigido esfuerzos a la realización de documentos críticos y a la formación

de grupos interinstitucionales críticos frente a los ECAES, se privilegia el mejoramiento

técnico del instrumento por encima de su posible reorientación hacia una evaluación más

dirigida hacia la formación integral. No se presentan propuestas evaluativas diferentes a las

existentes: nada más allá de la evaluación tipo test, la acreditación institucional o el

observatorio laboral. Se menciona con insistencia por parte de directivos y estudiantes que

los ECAES no logran valorar el desempeño profesional del estudiante en el mundo laboral,

privilegiando así una mirada profesionalizante de la educación universitaria, dirigida

únicamente a la consecución de un empleo y no a la generación de riqueza, investigación,

ciudadanía, valores o formación integral, aspectos que son ignorados o escasamente

mencionados. Se pone como posible rasero para comparar la calidad de los programas el

VIVENCIAS ACADEMICAS DE LOS ECAES 92 desempeño profesional en la solución de problemas y los buenos resultados en el mundo

laboral; así mismo los estudiantes ponen de presente que están teniendo éxitos

profesionales. No es casualidad que entre los perjuicios se mencione con insistencia la

utilización de los resultados del examen para la selección laboral. Es probable que la falta

de fundamentos teóricos sobre evaluación y educación de las audiencias investigadas sea

una limitante para la realización de esa crítica.

Las sugerencias de mejoramiento de la evaluación se circunscribieron a los

elementos planteados en la política de aseguramiento de la calidad, probablemente debido a

que se trata de procesos nuevos en Colombia que han consumido gran cantidad de tiempo y

recursos, y se encuentran ya instalados en el imaginario de las personas investigadas.

La aceptación de la logística del examen refleja una experiencia ganada por el

estado con la aplicación de exámenes similares en otros niveles educativos, pero también se

debe a un hábito adquirido por estudiantes y directivos frente a este tipo de evaluaciones.

Entre lo que no surgió dentro del desarrollo de la investigación referido a objetos de

evaluación, dos elementos son significativos. El primero, la inexistencia de menciones al

componente de comprensión lectora que incluyó el segundo examen. Quizás el hecho de no

haber sido incluido dentro del cálculo final del número contribuyó a esta omisión. En

segundo lugar, se encuentra la escasa mención de componentes socio-afectivos, valorativos,

éticos, evaluativos y de formación integral dentro de la discusión de lo evaluado y lo

evaluable por el examen. El punto cobra mayor importancia si se recuerda que el proyecto

educativo javeriano está altamente dirigido hacia esos aspectos. Se puede pensar que esta

omisión se deba a un sobreentendido acerca de la evaluación: no se mencionan estos

aspectos porque tradicionalmente la evaluación nunca se ha dirigido hacia esos objetivos, y

por lo tanto, era tan evidente la imposibilidad de los ECAES para abordarlos que no era

digno de mención.

Si se comparan las áreas de conocimiento (Salud e Ingeniería), se encuentran

grandes parecidos en la mayor parte de las dimensiones. Puede decirse que hay similitudes

frente a la evaluación, la problemática de los objetos de conocimiento, las consecuencias,

las condiciones de aplicación y la mayor parte de las acciones. La única gran diferencia

encontrada se refiere a las posiciones en relación con los efectos de los resultados y la

importancia del examen. Mientras Ingeniería es más crítica e incisiva frente a la forma en

VIVENCIAS ACADEMICAS DE LOS ECAES 93 que se ha venido desarrollando el proceso de los ECAES en su elaboración y divulgación

de resultados, en los programas de Salud se encontraron dos posiciones que contrastan: en

enfermería hay una orientación a estar conforme con las disposiciones y orientaciones

gubernamentales e institucionales; Por su parte Medicina tiende a ser más displicente y

autosuficiente en su mirada a los ECAES.

Detrás de las potencialidades benéficas o perjudiciales de los ECAES, está el dilema

vivido por directivos, profesores y estudiantes entre la evaluación dirigida al

perfeccionamiento frente a la evaluación interesada por el alineamiento. En efecto, el

examen fue percibido de manera benéfica en la medida en que cada carrera, de acuerdo a

su perfil del egresado y a su intencionalidad formativa, rescató los elementos que pueden

permitir el cumplimiento de sus propios propósitos; de ese modo, se intentó lograr un

mayor desarrollo de proyectos educativos diversos dentro de sus posibilidades. Los

resultados se tomaron como insumo de autoevaluación de los programas para identificar y

valorar las propuestas curriculares y pedagógicas y proponer reformas a partir de su

análisis. Pero los ECAES también se vieron como potencialmente perjudiciales en la

medida que pretendan condensar, definir, y señalar una manera única de ser buen

profesional en determinada carrera, estableciendo un estándar en medio de una loca carrera

por ser el mejor. La resistencia a la utilización de componentes electivos dentro del examen

en Ingeniería, criticada por directivos y profesores, no es una buena señal al respecto, como

tampoco lo es la manera en que han sido divulgados los resultados por los medios de

comunicación y por las mismas universidades, encabezadas por las universidades públicas.

VIVENCIAS ACADEMICAS DE LOS ECAES 94

9. LISTA DE REFERENCIAS

ACOFAEN. (2.005). Acofaen: Asociación colombiana de facultades de Enfermería.

Recuperado el 26 de Agosto de 2.005 del sitio web de ACOFAEN en

http://www.acofaen.org.co/.

ACOFI. (2.005a) ACOFI: ¿Quiénes somos?. Recuperado el 26 de Agosto de 2.005 del sitio

web de ACOFI en http://www.acofi.edu.co/quienessomosmision.htm

(ACOFI, 2.005b) Exámenes de calidad de la educación superior – ECAES- para

Ingeniería. Recuperado el 26 de Agosto de 2.005 del sitio web de ACOFI en

http://www.acofi.edu.co/ecaesobjetivo.htm

ASCOFAME. (2.005). Ascofame: Asociación colombiana de facultades de Medicina.

Recuperado el 26 de Agosto de 2.005 del sitio web de ASCOFAME en

http://www.ascofame.org.co/portal/

Atkinson, E., Satterthwaite, J. y Gale, K. (Eds.). (2.002). Discourse, power, and resistance:

challenging the rhetoric of contemporary education. Conference discourse, power

and resistance in post-compulsory education and training. Stoke-on-Trent, UK:

Trentham.

Bakker, S. (1.999). Educational assessment in the Russian federation:assessment in

education. Proquest education journals. Vol. 6 No. 2 pp. 291-309. Recuperado el 18

de Octubre de 2.004 en la base de datos Proquest.

Barnett, R. (2.001). Los límites de la competencia. El conocimiento, la educación superior

y la sociedad. Barcelona, España: Gedisa.

Bloom, B. (1.973). Taxonomía de la educación: la clasificación de las metas

educacionales. Buenos Aires, Argentina: El ateneo.

Bravo, E. (1.995). La investigación: Apuntes teóricos y metodológicos para su desarrollo.

Bogotá, Colombia: Tecnigraficas

Bogoya, D. (2.000). “Evaluación de competencias”. En: Revista Javeriana. Abril de 2.000.

Vol. 134, No. 663, pp.177-186.

VIVENCIAS ACADEMICAS DE LOS ECAES 95 Bogoya, D. (2.003). “Del director del ICFES”. En: El malpensante. Marzo 16- abril 30 de

2.003, No. 45, p.7

Campo, R., Restrepo, M. La docencia como práctica: el concepto, un estilo, un modelo.

Bogotá, Colombia: Pontificia Universidad Javeriana (Eds.).

Carr, W. (1.996). “¿En qué consiste una práctica educativa?” En: Una teoría para la

educación. Madrid, España: Morata.

Cañón Rodríguez, J. (2.004). Retrato hablado de la evaluación externa. Bogotá, Colombia:

Asibet (Eds.).

De Alba, A., Díaz Barriga, A., y Viviesca, M. (1.984). “Evaluación, análisis de una

noción”. En: Revista mexicana de sociología.Vol.46, No. 1 pp. 1-12.

Facultad de enfermería de la Pontificia Universidad Javeriana. (2.005). Facultad de

Enfermería. Recuperado el 19 de Agosto de 2.005 del sitio web de la Pontificia

Universidad Javeriana en

http://www.javeriana.edu.co/Facultades/Enfermeria/Inicio.html.

Facultad de Ingeniería de la Pontificia Universidad Javeriana. (2.005). Noticias Facultad de

Ingeniería. Recuperado el 19 de Agosto de 2.005 del sitio web de la Pontificia

Universidad Javeriana en http://fing.javeriana.edu.co/ingenieria/noticias/

Facultad de Medicina de la Pontificia Universidad Javeriana. (2.005). Facultad de

Medicina. Recuperado el 19 de Agosto de 2.005 del sitio web de la Pontificia

Universidad Javeriana en http://med.javeriana.edu.co/.

Gardner, H. (1.999). Inteligencias múltiples: la teoría en la práctica. Barcelona, España:

Paidós.

Grobe, W. y Mc Call. D. (2.004) Valid uses of student testing as part of authentic and

comprehensive student assessment, school reports and school system accountability.

Educational horizons. Vol. 82 No 2. Winter 2004. Recuperado el 7 de Marzo de

2.005 en la base de datos Wilson Web.

ICFES. (2.003). Exámenes de calidad de la educación superior ECAES: Antecedentes y

marco legal. Recuperado el 23 de Septiembre de 2.004 del sitio web del ICFES link

Evaluación de la educación superior ECAES en http://www.icfes.gov.co/

VIVENCIAS ACADEMICAS DE LOS ECAES 96 ICFES. (2.004). Impacto de los resultados de los exámenes de educación superior- ECAES:

informe de las instituciones de educación superior. Bogotá, Colombia: ICFES

(Eds.).

ICFES. (2005). Informe nacional de resultados ECAES 2004. Recuperado el 19 de Agosto

de 2.005 del sitio web del ICFES link Evaluación de la educación superior ECAES

pestaña “resultados” en http://www.icfes.gov.co/

Jiménez, C. (2005) Competencias cognitivas y las nuevas pruebas de Estado. Recuperado

el 20 de Septiembre de 2.005 del sitio web

www.geocities.com/ludico_pei/competencias_cognitivas_y_pruebas_del_icfes.htm

Martínez, D. (1.990) Estado del desarrollo e inserción social de ingeniería electrónica e

informática. Bogotá, Colombia: Universidad Nacional de Colombia (Eds.).

Otálvaro Castro, G., Jácome Liévano, S., Bustamante Zamudio, G. “El tránsito de los

propósitos a los efectos en la evaluación masiva de la educación superior”. En:

Pedagogía y saberes. Revista de la facultad de educación- universidad pedagógica

nacional. Diciembre de 2003. No. 19. pp. 95-104

Peña Borrero, M. (1.999). “Los sistemas de evaluación de calidad: un vistazo al panorama

internacional”. En: La alegría de enseñar. Enero- marzo de 1.999. No. 38 pp. 25-

29.

Pérez Abril, M., Bustamante Zamudio, G. ¿Es posible evaluar objetivamente? En:

Evaluación escolar: ¿resultados o procesos? Investigación, reflexión y análisis

crítico. Bogotá, Colombia: Editorial magisterio.

Pontificia Universidad Javeriana. (2.004). Memorias del segundo encuentro nacional de

vicerrectores académicos. Apartes de la reflexión alrededor de los exámenes de la

calidad de la educación superior – ecaes realizada en el marco del segundo

encuentro de vicerrectores académicos en pereira los dìas 19 y 20 de agosto.

Bogotá, Colombia: Vicerrectoría académica PUJ.

Pontificia Universidad Javeriana. (2.005a). Acerca de la universidad. Recuperado el 19 de

Agosto de 2.005 del sitio web de la Pontificia Universidad Javeriana en

http://www.javeriana.edu.co/puj/acerca/.

VIVENCIAS ACADEMICAS DE LOS ECAES 97 Pontificia Universidad Javeriana. (2.005b) ¿Porqué estudiar en la Pontificia Universidad

Javeriana? Recuperado el 19 de Agosto de 2.005 del sitio web de la Pontificia

Universidad Javeriana en http://www.javeriana.edu.co/puj/ventajas.htm.

Pontificia Universidad Javeriana. (2.005c). Acerca de la universidad: Misión. Recuperado

el 19 de Agosto de 2.005 del sitio web de la Pontificia Universidad Javeriana en

http://www.javeriana.edu.co/puj/acerca/mision.html.

Rogers, C. (1.978). Libertad y creatividad en la educación. El sistema “no directivo”.

Buenos Aires, Argentina: Paidós.

Stufflebeam. D y Shinkfield A. (1.987). Evaluación sistemática: guía teórica y práctica.

México D.F, México: Paidós.

Torres E.,Marín L.,Bustamante Zamudio G. El concepto de competencia. Bogotá,

Colombia: Sociedad Colombiana de Pedagogía (Eds.).

Torres Zambrano, G. (1.997). “Otra evaluación, otra educación”. En: Revista docencia

universitaria. Centro para el desarrollo universitario CEDEDUIS. Universidad

industrial de Santander, Bucaramanga. Vol. 1, No. 2, pp. 3-14.

Universidad Nacional de Colombia (2.000) Competencias y proyecto pedagógico. Bogotá,

Colombia: Universidad Nacional de Colombia (Eds.).

ANEXO A ACTIVIDAD FEB MAR ABRIL MAY JUN JUL AGOST SEPT OCT NOV DIC

Construcción de la propuesta Anteproyecto Aceptación por parte de la facultad. Revisión teórica modelos de evaluación.

Planteamiento del problema Búsqueda de audiencias Construcción marco conceptual preliminar.

Construcción de entrevista a profundidad.

Construcción de encuestas a estudiantes.

Aplicación de formatos. Recolección de la información Trascripción de los datos. Clasificación de la información Selección de la información Categorización Síntesis Comparación de información entre audiencias y programas.

Análisis de resultados. Conclusiones Sustentación del informe de investigación

Entrega del informe de Investigación

ANEXO B

GUION DE LA ENTREVISTA Buenos días (tardes) señor XXXX. El motivo por el que hemos concertado esta entrevista es la realización de un trabajo de investigación alrededor de los exámenes de calidad de la educación superior (ECAES), que tres estudiantes de la Maestría en educación de la Facultad de Educación hemos venido adelantando bajo la tutoría del Dr. Rafael Campo. La información que personas como usted, involucradas en la vida académica universitaria nos pueda brindar resulta de suma importancia para aprender y descubrir aspectos de nuestro problema de investigación. Lo que requerimos de usted es de un corto tiempo y la mayor claridad y profundidad en sus respuestas. Lo que hablemos será confidencial y sus propósitos serán académicos para esta investigación. Muchas gracias por su disposición.

1. ¿Ha participado el programa en el proceso de elaboración de los ECAES de la carrera? Si/no cómo? Qué piensa del proceso?

2. ¿Cómo se ha organizado en la carrera lo referente a los ECAES? Posible explique 3. ¿Qué se ha hecho en su programa en relación con los ECAES? Posible explique. Ej.

en relación con los resultados, su uso, importancia, etc? 4. ¿Cree usted que los resultados obtenidos por los estudiantes en los ECAES

corresponden a la calidad de la formación profesional recibida en su programa? ¿Por qué?

5. ¿Qué conocimientos esenciales de la formación profesional de los estudiantes de la carrera han evaluado mejor los ECAES aplicadas hasta ahora? Por qué?

6. ¿Qué conocimientos esenciales de la formación profesional de los estudiantes han dejado de evaluar los ECAES o no han evaluado bien? ¿Por que?

7. ¿Qué competencias de la formación profesional de los estudiantes de la carrera han evaluado mejor los ECAES aplicados hasta ahora? ¿Por que?

8. ¿Qué competencias de la formación profesional de los estudiantes de la carrera no han evaluado bien los ECAES? ¿Por que?

9. ¿Qué otros aspectos valiosos de la formación profesional de los estudiantes de la carrera han evaluado los ECAES aplicados hasta ahora? ¿Por qué?

10. ¿Qué aspectos valiosos de la formación profesional de los estudiantes de la carrera han dejado de evaluar los ECAES? ¿Por que?

11. ¿Considera que son válidas las comparaciones de calidad que se hacen entre las carreras con base en los puntajes obtenidos por los ECAES? ¿Por qué?

12. ¿Cree que hay una mejor forma de establecer comparaciones de calidad de las diferentes carreras? ¿Cuál? ¿Por qué?

13. ¿Ha habido alguna diferencia etre la primera y la segunda aplicación de los ECAES en su programa? Si/No ¿Cuál?

14. ¿Ha tenido algún beneficio para la carrera la aplicación de los ECAES? Si, no, ¿Cuál?, ¿por qué?

15. ¿Cree que pueda tener algún beneficio al futuro, si- no, cual? Por qué? 16. ¿Ha tenido algún perjuicio para la carrera la aplicación de los ECAES? Si, no, ¿cuál?,

¿por qué? 17. ¿Cree que pueda tener alguno en el futuro, si- no , ¿cuál? Por qué? 18. ¿Ha recibido el programa información clara y oportuna sobre los ECAES antes de su

aplicación?, si-no ¿por qué? 19. ¿Han sido adecuadas las condiciones de tiempo en que se ha aplicado la prueba para

su carrera? si-no ¿por qué? 20. ¿Han sido adecuadas las condiciones de lugar en que se ha aplicado la prueba para su

carrera? si-no ¿por qué? 21. ¿Ha sido adecuada la forma cómo se ha organizado la presentación de la prueba para

su carrera? si-no ¿por qué? 22. ¿Le parece adecuada la forma cómo se divulgan los resultados de los ECAES? si-no

¿por qué? 23. ¿Finalmente, cree usted que los ECAES lesionan, fomentan, o tienen incidencia sobre

la autonomía universitaria? Si-no ¿Cómo? Por qué?

ANEXO C

PONTIFICIA UNIVERSIDAD JAVERIANA CARRERA: __________________________________________ SEMESTRE : ___________________________ FECHA PRESENTACIÓN DE ECAES: ____________________ El propósito de la aplicación de esta encuesta es contribuir a la realización de un trabajo de investigación alrededor de los exámenes de calidad de la educación superior (ECAES), que tres estudiantes de la Maestría en educación de la Facultad de Educación estamos realizando bajo la tutoría del Dr. Rafael Campo. Esta encuesta es confidencial y anónima. Lo que requerimos de usted es de un corto tiempo y la mayor claridad y precisión en sus respuestas. Gracias.

1. Se preparó para la presentación de los ECAES, SI NO Si se preparó, por favor indique cómo: ______________________________________________________________________________________________________________________________________ ___________________________________________________________________ Si no se preparó, indique por qué: ______________________________________________________________________________________________________________________________________ ___________________________________________________________________ 2. ¿Qué logran medir o valorar los ECAES que presentó? ______________________________________________________________________________________________________________________________________ ___________________________________________________________________ 3. ¿Qué no logran medir o valorar los ECAES que presentó? ______________________________________________________________________________________________________________________________________ ___________________________________________________________________ 4. ¿Están acordes los resultados obtenidos con los que usted merece? Explique. ______________________________________________________________________________________________________________________________________ ___________________________________________________________________

5. ¿Qué valor tiene para usted el resultado obtenido en los ECAES? ______________________________________________________________________________________________________________________________________ ___________________________________________________________________ 6. ¿Contribuyen los resultados de los ECAES a mejorar la calidad de la formación

en su carrera? Explique. ______________________________________________________________________________________________________________________________________ ___________________________________________________________________

7. ¿Considera adecuada la información que recibió antes de la realización del

examen? ______________________________________________________________________________________________________________________________________ ___________________________________________________________________ 8. ¿Considera adecuado el tiempo que se le dio para la realización del examen? ______________________________________________________________________________________________________________________________________ ___________________________________________________________________ 9. ¿Considera adecuado el lugar en donde presentó el examen? ______________________________________________________________________________________________________________________________________ ___________________________________________________________________ 10. ¿Considera adecuada la forma cómo se organizó la presentación del examen? ______________________________________________________________________________________________________________________________________ ___________________________________________________________________ 11. ¿Qué sugerencias tiene para mejorar los ECAES en su carrera? ______________________________________________________________________________________________________________________________________ ___________________________________________________________________