Evaluación diagnóstica de las habilidades matemáticas...
25
Evaluación diagnóstica de las habilidades matemáticas al ingreso en las Facultades del Área Científico-Tecnológica Informe presentado a la Comisión Sectorial de Enseñanza, Universidad de la República. Heber Enrich 1, Marina Míguez 1 , Maria Noel Rodriguez Ayán 2 y Julia Leymonié 3 . Julio, 2006. 1 Facultad de Ingeniería 2 Facutlad de Química 3 Facultad de Ciencias 1
Transcript of Evaluación diagnóstica de las habilidades matemáticas...
Evaluación diagnóstica de las habilidades
matemáticas al ingreso en las Facultades del Área
Científico-Tecnológica
Informe presentado a la Comisión Sectorial de Enseñanza,
Universidad de la República.
Heber Enrich1, Marina Míguez1, Maria Noel Rodriguez Ayán2 y Julia Leymonié3.
Julio, 2006.
1 Facultad de Ingeniería2 Facutlad de Química3 Facultad de Ciencias
1
Título del proyecto
“Evaluación diagnóstica de las habilidades matemáticas al ingreso
en las Facultades del Área Científico Tecnológica”
Informe final
Introducción
Los antecedentes de Facultades del área Científico-Tecnológica (CT) en
pruebas diagnósticas, así como los informes de "Características deseables" en el
marco del proyecto de actividades conjuntas con ANEP de la CSE fueron los insumos
para diseñar un diagnóstico comparado para el área, mostrando el interés de los
Servicios por conocer al estudiante ingresante y sus aptitudes, habilidades y
conocimientos adquiridos en el sub-sistema educativo anterior.
La Facultad de Ciencias (FC) recibe actualmente 800 estudiantes por año, las
Facultades de Ingeniería (FI) y Química (FQ) han recibido respectivamente, en estos
últimos años, unos 1100 y 600 nuevos estudiantes por año. La Facultad de
Arquitectura (FA) cuenta con 621 estudiantes matriculados en 2003 y 650 en 2004.
Por otra parte, se han detectado en los últimos años graves deficiencias de
formación en un grupo importante de los estudiantes que ingresan a la Universidad,
que compromete seriamente el avance de los mismos en las diferentes Carreras. Las
inequidades geográficas y sociales que se han profundizado en nuestro país en los
últimos tiempos han llevado, por ejemplo, a carencias graves de formación, que hacen
de la inserción de los jóvenes en la Universidad una experiencia injustamente
dificultosa.
A comienzos de la década de los 90 comenzó a incursionarse en el estudio de
la población estudiantil ingresante al primer año de diversas Facultades. Los distintos
Servicios han llevado a cabo diversos trabajos de indagación y relevamiento de
información sobre los estudiantes que ingresan. La experiencia en el área CT indica
que la asignatura en la que se hace más evidente la necesidad de un apoyo adicional
al curricular es Matemática.
Todo lo anterior conduce a la necesidad de efectuar un diagnóstico de
conocimientos de los estudiantes, al momento de ingresar a la Facultad, de modo de
diseñar adecuadamente las acciones correctivas, dirigidas a la población estudiantil en
2
riesgo de fracaso académico. La búsqueda de soluciones en este sentido bajaría
niveles de frustración y descontento entre los estudiantes que se encuentran en
posición desventajosa.
Desde el año 1992 la FC aplica, al comienzo del curso lectivo, una evaluación
diagnóstica, de carácter obligatorio, pero no eliminatorio. La prueba consta de una
serie de preguntas sobre conocimientos específicos para cada Licenciatura (Física,
Matemáticas, Química, Biología, etc.) estando diseñada por docentes de cada
Licenciatura. El Consejo de la FC valoró, en el año 2003, la importancia de continuar
aplicando esta evaluación y encomendó a la Unidad de Enseñanza (UE) la
implementación de la misma para el año 2004. Con ese fin la UE realizó un
relevamiento de pruebas y resultados anteriores, así como de opiniones de los
distintos actores de la institución. A partir de estas informaciones se elaboró una
propuesta en conjunto con la Facultad de Ingeniería en los casos correspondientes, de
evaluación diagnóstica fundamentada en el marco teórico de los enfoques de la
evaluación de sistema. Para la elaboración de las pruebas la UE contó con la
colaboración de las Comisiones Coordinadoras Docentes de las distintas Licenciaturas
y para su aplicación contó con la participación estudiantil.
En el proceso de elaboración de las pruebas para el año 2005 también
participaron los Coordinadores Docentes de las distintas licenciaturas y otros docentes
de la Facultad interesados en los temas de ingreso. Al igual que en el año 2004, se
trabajó conjuntamente con las Facultades de Ingeniería y Medicina.
En la FQ, además de las carencias diagnosticadas en Matemática, se ha
detectado que muchos estudiantes no están familiarizados con los recursos
tecnológicos propios de la modalidad de enseñanza flexible. Esto dificulta el
aprovechamiento de muchas asignaturas, especialmente de primer año, que ofrecen
dicha modalidad de cursado para facilitar los estudios de aquellos alumnos que
trabajan, que están radicados en el interior, etc.
En dicha Facultad en el año 2004 se realizó la experiencia de un curso de
nivelación de Matemática que resultó breve en el tiempo y de baja frecuencia, en los
dos semestres del año. Se propone darle continuidad a esta iniciativa, procurando una
optimización de la oferta de nivelación, en términos de tiempo, ubicación en el
semestre, contenidos a abordar, etc.
En 2006 se propuso una prueba diagnóstica inicial en FQ para evaluar nivel de
conocimientos especialmente en Matemática y familiarización con el uso de la
3
tecnología educativa. Posteriormente se dictó un curso de nivelación, inmediatamente
previo al comienzo del primer semestre lectivo, con el objetivo de actuar en favor de la
adquisición de conocimientos y destrezas aconsejables para cursar la Facultad, pero
también como etapa de adaptación de los estudiantes al ámbito universitario, a su
ritmo, sus tiempos y sus características. Actualmente los resultados del curso de
nivelación están siendo evaluados.
La FI comenzó a realizar pruebas diagnósticas al ingreso en 1992, con carácter
obligatorio desde 1995 para todos los estudiantes ingresantes a FI. La Prueba
Diagnóstica (PD), desde 1995 a 2002, constó de una serie de preguntas sobre
conocimientos específicos de Física y Matemática, estando diseñada por docentes
designados por los Institutos de Física y Matemática, respectivamente.
A partir de 2002, a iniciativa de la UEFI, se incorporó a la PD una prueba de
Lengua (PL). La misma tuvo como objetivo diagnosticar el manejo de los instrumentos
básicos de comunicación escrita de los alumnos.
En la edición 2003, por primera vez se buscó componer conjuntamente la PD,
así la prueba 2003 constó de preguntas de Física, de Matemática y de preguntas que
conjugaban conocimientos de ambas asignaturas.
En un proceso de desarrollo y mejora del diagnóstico, la PD 2004 tuvo entre
sus objetivos comparar resultados en Facultad de Ingeniería con estudiantes
ingresantes de las Licenciaturas de Matemática y Física de la FC.
Profundizando en la línea de investigación de diagnóstico de las características
de la población ingresante a FI, en marzo de 2005 se aplicó una herramienta
diagnóstica al ingreso (HDI) más completa, con carácter obligatorio para la totalidad de
los estudiantes ingresantes a FI. El grupo que diseñó la prueba estuvo integrado por
docentes de diferentes Institutos de Facultad de Ingeniería, docentes de la UE,
contando con colaboración de docentes de Enseñanza Media.
Se ha detectado que muchos fracasos académicos universitarios no se deben
exclusivamente a la falta de conocimientos disciplinares específicos de la carrera que
han elegido sino a problemas de comprensión lectora, de expresión escrita, o a las
actitudes y estrategias que los estudiantes disponen para afrontar sus estudios
universitarios. Sobre la base de estos antecedentes, la HDI 2005 estuvo integrada por
diversos componentes que valoraron las diferentes competencias que se entendieron
básicas por los especialistas de las diferentes áreas a evaluar, buscando mejorar la
4
comprensión del complejo fenómeno de la transición enseñanza media–universidad.
Por último, se realizó una devolución global de los resultados de la HDI 2005 a los
estudiantes ingresantes. El objetivo central de esta actividad fue que los ingresantes
contaran con un panorama global de la significación de los resultados de toda la
prueba a 15 días de iniciado el semestre, teniendo así más elementos a la hora de
tomar decisiones. Se realizó un análisis en profundidad de los resultados el cual fue
discutido por diversos actores de la Institución así como en órganos de cogobierno.
La FA posee algunos antecedentes de los cuales se informó en el estudio
sobre características deseables realizado para CSE en 2004, pruebas cuyos
resultados intentaban conocer las habilidades de los estudiantes en la lecto-escritura.
(Trabajo realizado por la Cátedra de Teoría).
Se realiza también un cuestionario que se procesa de forma cualitativa en la
Unidad de Asesoramiento Pedagógico (UAP) y allí se responde a los principales
aspectos que hacen a la vida de los estudiantes en lo que respecta a: su relación con
internet y herramientas virtuales, actividades que más lo motivan, barreras que podrían
existir para el buen desarrollo de su Carrera, motivo para inscribirse en la FA. Dicho
formulario se aplica en el contexto del Seminario inicial y el informe se devuelve a los
docentes y se difunde en la página Web de Facultad. Los antecedentes antes
mencionados y las opiniones vertidas en los informes citados si bien son intentos que
no se encuentran centralizados están mostrando el interés de la Institución por
conocer al estudiante ingresante y sus aptitudes, habilidades y conocimientos
adquiridos en el sub-sistema educativo anterior.
El presente trabajo
En lo que respecta a Matemática, se retomaron los aportes realizados por los
docentes de los 4 Servicios del área CT, interesando gran familiaridad con contenidos
de la materia como conjuntos, relaciones, funciones, ecuaciones, inecuaciones,
sistemas de ecuaciones lineales, entre otros (para más información puede verse el
informe del área CT acerca de las características deseables), determinadas
competencias como reconocer y formular problemas, desarrollar el lenguaje y
simbolismo para comunicar ideas matemáticas, desarrollar habilidades lógicas y
comprender la estructura de la teoría matemática.
5
La realización de la prueba de Matemática con 8 preguntas comunes a todas
las Facultades del área Científico-Tecnológica (CT) así como la implementación
simultánea de la misma, al ingreso, en tres de las Facultades, permite realizar por
primera vez una aproximación a la identificación de rasgos comunes de los perfiles de
los estudiantes al comienzo de sus carreras, en cuanto a conocimientos y habilidades.
Esto posibilita la descripción de un panorama general del Área CT. También es
interesante el avance realizado respecto a la elaboración de instrumentos que
permitan predecir el desempeño estudiantil futuro.
Objetivo general
Diseñar herramientas diagnósticas equivalentes, con poder predictivo sobre el
rendimiento académico en matemática, al ingreso en la Universidad para el área
Científico-Tecnológica (CT).
Objetivos específicos
1. Validar la herramienta diagnóstica con valor predictivo de rendimiento
académico en matemática en la Universidad para el área CT.
2. Realizar una primera aproximación en conjunto del área CT a la valoración de
la formación académica en matemática de la población de ingreso 2006, a
través de la determinación de sus niveles de suficiencia.
3. Analizar y comparar los resultados obtenidos por los estudiantes entre las
Facultades del área CT.
4. Conocer, a través de los docentes, la pertinencia de una prueba que brindará
información para el desempeño en los cursos de matemática.
Metodología de trabajo
Fase 1: diseño de la prueba de Matemática
Se realizaron dos reuniones entre integrantes de las UE de las Facultades y el
responsable del proyecto, cuyo objetivo fue establecer los grandes lineamientos de
trabajo. Luego se realizaron otras reuniones complementarias, previas a la aplicación
de las pruebas, a las cuales asistieron integrantes de las Unidades de Enseñanza de
las Facultades de Ciencias, Química e Ingeniería y especialistas en la disciplina
Matemática de Química e Ingeniería, así como también una profesora de Matemática
6
de Enseñanza Media, colaboradora de la Unidad de Enseñanza de la Facultad de
Ciencias.
Los temas tratados en estas reuniones fueron el ajuste de criterios de
pertinencia, de relevancia de contenidos y de nivel de dificultad del núcleo común de la
prueba. En virtud de las gestiones del responsable de este proyecto ante el CODICEN,
se incluyeron 2 preguntas que fueron aplicadas en el Censo Nacional de Aprendizajes
en 6º año de Bachillerato de Enseñanza Media (ANEP, 2003).
A fin de poder identificar fácilmente las preguntas a comparar entre las distintas
Facultades del área participantes del proyecto, se identificó cada una de las preguntas
comunes con un código que permite ubicarlas independientemente del lugar de orden
que ocupen en la prueba de cada Facultad. Este código se muestra en la tabla 1.
Tabla 1PREGUNTA CÓDIGO
1 Conjuntos2 Regla de la cadena3 Rectas paralelas4 Límite5 Función derivada6 Extremos7 Trigonometría8 Porcentajes
El núcleo común de la prueba fue elaborado tomando en cuenta los criterios
mencionados.
Fase 2: implementación de la prueba
La prueba se aplicó en la FQ el 25 de febrero, en la FI el 4 de marzo y en la FC
el 8 de marzo, antes del inicio del semestre lectivo. En la FA se implementó luego de
avanzado el semestre.
Fase 3: análisis de resultados
En primer lugar, en cada Facultad se analizaron los resultados de la prueba, en
el marco de cooperación entre las UE y las Cátedras de Matemática correspondientes.
Cabe mencionar que en el caso de la FC, se aplicaron dos pruebas diferentes que
incluían las preguntas comunes de Matemática, una para las licenciaturas en
Matemática y Física (prueba de Matemática y Física) y otra para las licenciaturas en
Biología, Bioquímica, Geología y Geografía (prueba de Matemática, Física y Química).
7
En segundo lugar se procedió al intercambio de ideas entre las UE de las
Facultades, a fin de establecer la modalidad de trabajo conjunto con fines
comparativos, así como la definición de los parámetros que se emplearían para tal
comparación. Éstos fueron:
En relación con el resultado general:
• Porcentaje de resultados, en relación con la suficiencia mínima requerida en
cada Servicio.
En relación con las 8 preguntas comunes:
• Porcentaje de preguntas correctas
• Proporción de distractores más seleccionados
• Poder discriminante de cada pregunta, en relación con el puntaje total de la prueba (Idis basado en correlaciones, clásico)
• Índice de dificultad de cada pregunta (Idif )
El índice Idis correlaciones se estimó según la teoría clásica de los tests (Muñiz,
1994):
Idis, j (basado en correlaciones) = ρ ítem j – puntaje total (corregido)
siendo:
ρ: coeficiente de correlación de Pearson entre las dos variables
puntaje total (corregido): puntaje total – puntaje en el ítem j
Dado que el puntaje total resulta de la suma de todos los puntajes parciales,
dentro de los cuales se encuentra el ítem cuyo poder de discriminación se desea
analizar, es necesario corregir el total, de modo de evitar sesgos en el resultado. Con
esta corrección se analiza el grado de asociación lineal entre el ítem y el resto de la
prueba. Así calculado, el Idis es una medida de la capacidad del ítem para discriminar
entre el resultado de los alumnos en las demás preguntas, o lo que es lo mismo, en
qué grado el ítem y el resto de la prueba miden lo mismo. Puesto que se trata de un
índice de correlación, el rango de valores teóricamente está comprendido entre –1 y
+1. Una categorización de los valores del índice se muestra en la Tabla 2, adaptada
de Cohen y Manion (1994), Muñiz, (1994):
8
Tabla 2Poder discriminante Idis
(a)
bajo [0 – 0,2)moderado [0,2 – 0,4)
alto [0,4 – 0,6) muy alto ≥ 0,6
(a) Valores negativos de este índice indican que la pregunta debe eliminarse, puesto que implicaría que no mide lo mismo que el resto del test.
Coeficientes de correlación bivariada superiores a 0,6 - valor que significaría
que las dos variables comparten el 36 % (ρ2) de la varianza - son poco frecuentes en
las Ciencias Sociales. Ello se debe a que las variables que se suelen medir (en este
caso el rendimiento en Matemática) son sumamente complejas, pues resultan
influenciadas por una multiplicidad de factores – los cuales contribuyen a explicar parte
de la varianza – pero que por diversos motivos no son tenidos en cuenta: porque su
medida excede los propósitos de los estudios, porque resultan difíciles de cuantificar,
porque su existencia se desconoce, etc. Así es como en las investigaciones sobre
rendimiento académico no se logran porcentajes de varianza explicada elevados, aún
en los estudios multivariados que incluyen factores psicosociales (véase p.e. Clifton,
Perry, Adams y Roberts, 2004; McKenzie y Schweitzer, 2001; Zeegers, 2004).
El cálculo del Idif se indica en la parte de resultados, específicamente para cada
Facultad.
En resumen, de las actividades planteadas en el proyecto han sido realizadas
las siguientes:
1. Reuniones entre el equipo participante
2. Reuniones con docentes de Matemática del área CT
3. Reuniones con docentes de Enseñanza Media
4. Diseño de pruebas
5. Aplicación de las pruebas
6. Corrección de las pruebas
7. Devolución de resultados a estudiantes
9
8. Análisis y comparación de los resultados entre las Facultades de Ciencias,
Ingeniería y Química
9. Elaboración de informes internos en las Facultades de Ciencias, Ingeniería y
Química
10
RESULTADOS
Participantes
El número de estudiantes que participaron de este diagnóstico se muestra en la
Tabla 3:
Tabla 3Participantes por Servicio
Facultad Nº de estudiantes que realizaron la prueba
Ciencias 830(a)
Ingeniería 903 (b)
Química 1188 (c)
Arquitectura 345 (a)el número total de inscriptos fue de 903 estudiantes, pero algunos no realizaron la prueba(b) el número total de inscriptos 2006 fue de 1200 estudiantes, pero algunos no realizaron la
prueba (debidamente certificados).(c) se aplicó también a estudiantes rezagados de generaciones anteriores a 2006
Rendimiento en Matemática
En la Tabla 4 se muestran los porcentajes de aprobación de la parte de
Matemática de la prueba, en relación con el nivel de suficiencia mínimo establecido
por las respectivas Facultades (aún no se ha procesado los resultados de
Arquitectura) para la prueba global de la componente matemática (en el caso de haber
más).
Tabla 4Porcentaje de suficiencia por Servicio
FacultadEstudiantes que lograron la suficiencia
mínima requerida en la prueba de Matemática (%)
Ciencias 12,0
Ingeniería 11,8(a)
Química 11,5 (b)
(a) además de las preguntas de respuesta múltiple opción se consideran las preguntas de respuesta abierta.
(b) generación 2006 solamente
11
Análisis comparativo inter- Facultades
Dado que la prueba de Matemática contiene 8 preguntas comunes y que en las
Facultades de Ciencias, Ingeniería y Química fue implementada al inicio de los cursos
(período comprendido entre el 25 de febrero y el 8 de marzo), resulta pertinente
comparar los resultados obtenidos en estos tres Servicios.
Los parámetros de comparación seleccionados son los indicados en
Metodología. Las Tablas 5, 6 y 7 resumen la comparación.
Tabla 5Porcentaje de respuestas correctas por Servicio
Facultad
PREGUNTA CódigoCiencias
(a) (b)Ingeniería Química
1 Conjuntos 77,9 53,3 79,8 65,4
2 Regla de la cadena 30,6 10,4 24,0 20,8
3 Rectas paralelas 62,7 29,3 65,7 50,9
4 Límite 29,5 8,6 23,7 19,3
5 Función derivada 51,3 25,6 63,1 54,6
6 Extremos 42,8 18,1 41,8 34,6
7 Trigonometría 43,9 15,4 42,3 29,3
8 Porcentajes 54,6 43,1 59,7 49,4(a) Matemática-Física, (b) Matemática-Física-Química
12
Tabla 6Distractores más seleccionados por Servicio (*)
Facultad
PREGUNTA CódigoCiencias
(a) (b)Ingeniería Química
1 Conjuntos C (10,3)
C (22,9)
C(10,8)
C (17,4)
2 Regla de la cadena
D (22,9)
B (19,7)
D(38,6)
D(32,2)
3 Rectas paralelas
B (19,2)
B (28,1)
B(16,9)
B(25,3)
4 Límite D (30,6)
D(36,9)
D(44,7)
D(42,7)
5 Función derivada
B (19,9)
B (23,1)
B(23,7)
B(25,3)
6 Extremos A (22,1)
A (13,4)
A(35,4)
A(26,7)
7 Trigonometría B (13,3)
A (19,7)
B(22,8)
B(25,0)
8 Porcentajes C (32,5)
C (41,3)
C(37,1)
C(40,8)
(*) Valores entre paréntesis indican porcentaje(a) Matemática-Física, (b) Matemática-Física-Química
Tabla 7Poder discriminante del rendimiento total en Matemática por
Servicio (*)
Facultad
PREGUNTA CódigoCiencias
(a) (b)Ingeniería Química
1 Conjuntos 0,262 0,266 0,232 0,318
2 Regla de la cadena 0,423 0,13 0,163 0,161
3 Rectas paralelas 0,284 0,321 0,302 0,393
4 Límite 0,422 0,129 0,188 0,336
5 Función derivada 0,388 0,174 0,289 0,307
6 Extremos 0,326 0,159 0,149 0,117
7 Trigonometría 0,400 0,202 0,305 0,450
8 Porcentajes 0,268 0,232 0,167 0,215(*) Idis, j (basado en correlaciones) = ρ ítem j – puntaje total (corregido)
(a) Matemática-Física, (b) Matemática-Física-Química
13
Los valores de la Tabla 7 son más bien bajos o moderados, lo cual sugiere que las
pruebas de Matemática de estos tres Servicios no son unidimensionales, sino que
están midiendo más de un constructo.
A continuación se presentan datos descriptivos para las poblaciones
ingresantes a las Facultades de Ingeniería y Química (Figuras 1, 2, 3 y 4)
14
Figura 1
FI FQ
MujeresVarones
Sexo
800
600
400
200
0
Frec
uenc
ia
19,08%
80,92%
Sexo
VaronesMujeresFr
ecue
ncia
400
300
200
100
0
66,6%
33,4%
15
Figura 2
FI FQ
InteriorMontevideo
Lugar donde cursó 6º año
600
500
400
300
200
100
0
Frec
uenc
ia
43,07%
56,93%
Lugar donde cursó 6º año
InteriorMontevideo
Frec
uenc
ia
300
200
100
0
49,9% 50,1%
Figura 3
16
FI FQ
UTUPrivadoPublico
Instituto donde cursó 6º año
500
400
300
200
100
0
Frec
uenc
ia
9,42%
32,59%
57,99%
Instituto donde cursó 6º año
PrivadoPúblico
Frec
uenc
ia
500
400
300
200
100
0
68,8%
31,2%
Figura 4
FI FQ
17
15,0010,005,000,00
Puntaje prueba Matemática
150
120
90
60
30
0
Frec
uenc
ia
Media =6,44Desviación típica =2,52017N =900
Puntaje en la prueba de Matemática
40,030,020,010,00,0
Frec
uenc
ia
80
60
40
20
0
Desv. típ. = 7,28
Media = 18,3
N = 581,00
18
DISCUSIÓN
Las dificultades para consensuar contenidos y habilidades comunes que
colmaran las expectativas de las 4 Facultades del Área, solo permitieron establecer 8
preguntas en común. Por esta razón se dificultó el logro del primer objetivo específico
del proyecto, si bien se realizaron importantes avances en el ensayo de algunos
procedimientos útiles para la elaboración de un instrumento diagnóstico con valor de
predicción de desempeños.
Rendimiento en Matemática
Los resultados de la Tabla 4 muestran que la gran mayoría de los estudiantes
que ingresa al área CT de la UdelaR (88%) no muestran el nivel de desempeño en
Matemática que las Facultades consideran mínimo, imprescindible para aprovechar las
asignaturas que se imparten en el 1er semestre.
En particular en la FQ los estudiantes que no alcanzaron la suficiencia mínima
(88,5%) se dividen en dos grupos: vulnerables (46,6%) y críticos (41,8%). El primero
contiene a aquellos estudiantes que podrían nivelar su nivel de conocimientos en
Matemática haciendo los esfuerzos necesarios. El grupo denominado crítico tiene muy
baja probabilidad de alcanzar el nivel de Matemática exigido por la Facultad.
En la FI se realiza una devolución a los estudiantes por parte del equipo
docente que trabaja en la herramienta diagnóstica al ingreso, en una instancia
realizada unos 15 días después del inicio del semestre lectivo. En la misma se realiza
una presentación de los resultados de la prueba en sus distintas componentes,
reflexionando con ellos sobre los aciertos y errores encontrados, las características de
la población de ingreso y se realizan recomendaciones para mejorar sus estrategias
de aprendizaje y adaptación a la Universidad.
En la FC los estudiantes recibieron la información correspondiente a su
desempeño en las pruebas diagnósticas en la primer semana de abril. Los resultados
de la evaluación diagnóstica al ingreso se presentaron en sala de docentes de primer
año, a los efectos de su discusión y toma de decisiones futura. Los resultados de las
pruebas de matemática se presentaron según tres grupos de desempeño: bajo (entre
0 y 27 % de respuestas correctas) medio (entre 28 % y 72 %) y alto (entre 73 % y 100
%). La suficiencia mínima indispensable para cursar adecuadamente primer año es
del 73 % de respuestas correctas, o sea los estudiantes del grupo alto. Estos
representan el 24 % de la población en las Licenciaturas en Matemática y Física, y el
19
6,3 % en las Licenciaturas en Biología, Bioquímica, Geología y Geografía. En las
Licenciaturas en Matemática y Física el grupo medio lo constituye la gran mayoría de
la población (61,6 %) y en las Licenciaturas en Biología, Bioquímica, Geología y
Geografía, el grupo medio es solo del 34, 2 %.
Comportamiento de las preguntas comunes de Matemática en los diferentes Servicios
Dificultad de las preguntas
a) En la FQ se estimó la dificultad de cada ítem en el marco de la teoría
clásica de los tests (véase p.e. Muñiz, 1994).
Idif, j = Nº de aciertos en el ítem j / Nº de estudiantes que contestaron el ítem
Este índice representa la fracción (o proporción) de aciertos en la pregunta, de modo
que cuanto más elevado, más fácil resulta el ítem. Existen distintos criterios para
categorizar los niveles de dificultad de los ítems. Uno de los más usados es considerar
a un ítem con dificultad < 0,2 como muy difícil y uno con dificultad > 0,8 muy fácil,
situando el nivel medio de dificultad en un entorno de 0,5. La Tabla 8 muestra los Idif, j
de los ítems para FQ.
Tabla 8Índices de dificultad en FQ (a)
Nº Código Índice de Dificultad
1 Conjuntos 0,67
2 Regla de la cadena 0,25
3 Rectas paralelas 0,53
4 Límite 0,2
5 Función derivada 0,6
6 Extremos 0,39
7 Trigonometría 0,33
8 Porcentajes 0,5(*) Idif, j = Nº de aciertos en el ítem j / Nº total de estudiantes que contestaron
De acuerdo con los resultados de la Tabla 8 los ítems en FQ se pueden agrupar en:
20
• Preguntas difíciles: Extremos, Trigonometría, Regla de la cadena y Límite
(20-39% acierto). La pregunta de extremos (39%) podría ser considerada de
dificultad media.
• Preguntas de dificultad media: Función derivada, Rectas paralelas y Porcentaje
(50-55% acierto)
• Preguntas más bien fáciles: Conjuntos (67% acierto, también podría
considerarse de dificultad media.
b) En la FI se utilizó el Índice de dificultad de acuerdo a (Míguez et al,
2000)
Este define a la dificultad de una pregunta como :
Id = E / n
E = nº de errores en la pregunta, n = nº total de estudiantes. Esta medida resulta ser
complementaria del Idif adoptado por la FQ, ya que ambos suman 1.
En general se considera que si Id >0,85, el ítem es muy difícil; y si Id < 0,15-0,20, el
ítem es muy fácil, recomendándose presentar ítems en toda la escala de acuerdo a los
objetivos de las pruebas (ANEP,CDC, 1997)).
Los resultados obtenidos para cada pregunta en la FI se muestran en la Tabla 9:
Tabla 9Índices de dificultad en FI (a)
Nº Código Índice de Dificultad
1 Conjuntos 0,20
2 Regla de la cadena 0,76
3 Rectas paralelas 0,34
4 Límite 0,76
5 Función derivada 0,37
6 Extremos 0,58
7 Trigonometría 0,58
8 Porcentajes 0,40(a) Id = E / n
21
c) En FC se estimó la dificultad de cada ítem en el marco de la teoría
clásica de los tests como
Idif, j = Nº de aciertos en el ítem i / N
siendo N el número de estudiantes que respondieron la prueba (Leymonié y
Czerwonogora, 2004).
Tabla 10Índices de dificultad en FC
Nº Código Índice de Dificultad(a) (b)
1 Conjuntos 0,79 0,582 Regla de la cadena 0,38 0,163 Rectas paralelas 0,69 0,364 Límite 0,34 0,15 Función derivada 0,65 0,46 Extremos 0,54 0,337 Trigonometría 0,59 0,278 Porcentajes 0,57 0,46
(a) Matemática-Física, (b) Matemática-Física-Química
Para valorar la dificultad de las preguntas se usó el mismo criterio que el
empleado en FQ. En el análisis de las 8 preguntas comunes, en FC se observan
algunas diferencias en cuanto a la dificultad de las preguntas según la población a la
que fueron aplicadas. En la prueba de Matemática, Física y Química aplicada a los
estudiantes que ingresaron a las licenciaturas en Biología, Bioquímica, Geología y
Geografía, todas las preguntas comunes resultaron difíciles (preguntas 2, 3, 4, 6 y 7) o
de dificultad media (preguntas 1 y 8). En la prueba de Matemática y Física, aplicada a
los estudiantes que ingresaron en las licenciaturas en Matemática y Física, se puede
considerar la pregunta 1 como fácil, mientras que el resto de las preguntas comunes
resultaron de dificultad media, excepto la 4, que podría considerarse la más difícil.
Con respecto a la pregunta número 8 (porcentajes) que fue aplicada en el
Censo Nacional de Aprendizajes en 6º año de Bachillerato de Enseñanza Media del
año 2003, cabe destacar que el índice de dificultad, expresado como porcentaje de
aciertos, fue del 22% considerando en conjunto, todas las orientaciones de
bachilleratos.
22
Distractores más seleccionados
En primer lugar, cabe señalar que los distractores más seleccionados por los
estudiantes en las 8 preguntas son los mismos, con algunas variaciones en la prueba
de Matemática, Física y Química de la FC (preguntas 2 y 7).
En la Pregunta 1, elegir el distractor C implica conocer la relación entre la unión
y la “o” pero no reconocer el condicional en el enunciado “Cualquier estudiante de
ingeniería o de economía es estudiante universitario”
El distractor D en la pregunta 2, es elegido por aquellos estudiantes que
conocen el concepto de composición pero no de su derivada, derivan
independientemente cada una de las funciones que se componen. En la prueba de
Matemática, Física y Química de la FC el distractor más elegido fue el B. Quienes
eligieron este distractor confunden la derivada de la composición con la derivada del
producto.
En la pregunta 3, la elección del distractor B indica que el estudiante invierte el
cociente en el momento de calcular la tangente del ángulo que determina la recta con
el eje de abscisas.
En la pregunta 4, el distractor más elegido es el D, lo que sugiere que los
estudiantes piensan que los infinitésimos se comportan como infinitos.
En la pregunta 5, el distractor más elegido fue el B. Quienes eligen esta opción
demuestran tener presente la relación entre los extremos relativos y las raíces de la
función derivada, pero no la que existe entre el signo de ésta y el crecimiento de la
función.
El distractor A elegido en la pregunta 6 evidencia reconocer la diferencia entre
máximo y mínimo pero no diferenciar entre extremo relativo y absoluto.
En la pregunta 7, el distractor B indica la elección de un intervalo que contiene
estrictamente puntos solución; quienes lo eligen consideran el seno y el coseno de un
ángulo con signos opuestos en el tercer cuadrante. En las Licenciaturas de Biología,
Bioquímica, Geografía y Geografía seleccionan como distractor más frecuente el A, lo
que estaría indicando que no comprenden que una proposición para ser verdadera
debe cumplirse siempre.
23
La elección del distractor C en la pregunta 8 parece estar relacionado con la
falta de atención al leer la letra, pues el estudiante calcula bien el porcentaje, pero
incluye en su respuesta el precio con la seña incluida cuando se le pide “cuál es el
monto que queda para pagar”, es decir, sin incluir la seña. En el Censo aplicado por la
ANEP en el 2003, el distractor más elegido también fue el C.
Poder discriminante de las preguntas
En primer lugar cabe destacar que la mayoría de las preguntas en todas las
pruebas (FC, FI y FQ) son de baja discriminación.
Hay que considerar que el cálculo del índice de discriminación se realizó en FC
en base a un número escaso de preguntas 20 preguntas en una de las pruebas y 14
en la otra.
De acuerdo con la clasificación de la Tabla 2, los resultados de la Tabla 7
sitúan a las preguntas comunes en los siguientes niveles para las tres Facultades:
Regla de la cadena, Extremos y Porcentaje: bajo poder discriminante. Para FC en la
prueba de Matemática y Física se observan algunas variaciones: la pregunta Regla de
la Cadena presenta un poder discriminante alto y las preguntas Extremos y
Porcentajes presentan un valor moderado. La pregunta Porcentaje en el Censo de
ANEP 2003, presenta un poder discriminante moderado (0,40).
Conjuntos y Función derivada: poder discriminante moderado. En la prueba de
Matemática , Física y Química de FC la pregunta Función derivada presenta un poder
de discriminación bajo.
Las preguntas sobre Límite, Rectas Paralelas y Trigonometría tienen un
comportamiento diferente en los Servicios: en la prueba de Matemática y Física de FC
Límite tiene poder de discriminación alto, en la FQ tiene un poder moderado, en tanto
que en FI y en la prueba de Matemática, Física y Química de FC es bajo. Rectas
Paralelas y Trigonometría tienen poder discriminantes más bien alto en FQ, y
moderado en FI. En FC el poder de discriminación es moderado en Rectas paralelas y
en Trigonometría es alto en la prueba de Matemática y Física y moderado en la
prueba de Matemática , Física y Química.
Estos resultados son razonables, habida cuenta de que tanto los índices de
dificultad como los de discriminación dependen del conjunto de preguntas de la prueba
24
considerada, así como de las características de la población de estudiantes donde se
aplicó.
La variabilidad de los resultados también puede deberse a que si bien muchos
de los alumnos que ingresan a FC, FQ y FI tienen un perfil educativo previo similar
(Bachillerato orientación Ingeniería), también pueden ingresar a FQ y a FC con el
Bachillerato orientación Biológica. Por lo tanto es esperable que el comportamiento de
algunas preguntas pueda ser similar, en tanto que se observen diferencias en otras.
Referencias
ANEP (1997) La reforma de la Educación. Documento VI.
ANEP (2003) Resultados del Censo Nacional de Aprendizajes en 6º año de Bachillerato de Enseñanza Media.
Clifton, R., Perry, R., Adams, C. y Roberts, LW (2004). Faculty environments, psychological dispositions and the academic achievement of college students. Research in Higher Education, 45(8), 801-829.
Cohen, L. y Manion, L. (1994). Research Methods in Education. London: Ed. Routledge.
Leymonié, J. y Czerwonogora, A. La Evaluación Diagnóstica de Conocimientos y Habilidades la Facultad de Ciencias – 2004. CD del II Congreso de Enseñanza de la Facultad de Ingeniería, octubre 2004.
McKenzie, K. y Schweitzer, R. (2001). Who Succeeds at University? Factors predicting academic performance in first year Australian university students. Higher Education Research & Development, 20(1), 21-33.
Míguez, M.; Loureiro, s. y Rodríguez-Ayán, M. (2000-2001). Análisis y calificación de evaluaciones de múltiple opción. ALDEQ N XIV, 2000-2001.
Muñiz, J. (1994). Teoría clásica de los Tests. Madrid: Ediciones Pirámide.
Zeegers, P. (2004). Student learning in higher education: a path analysis of academic achievement in science. Higher Education Research & Development, 23(1), 35-56.
25
