Los resultados de Uruguay en la evaluación internacional PISA 2003

Dr. Tabaré FernándezLic. Cecilia Pereda

Jornadas de Formación Permanente Montevideo, febrero de 2005

Colegio Sagrada Familia

Preguntas que inquietan ¿Están bien preparados los jóvenes para afrontar los

desafíos del futuro? ¿Son capaces de analizar, razonar y comunicar sus ideas? ¿Tienen la capacidad de continuar aprendiendo a lo largo de

sus vidas? ¿Podrán integrarse con éxito a la sociedad del conocimiento? ¿Son capaces de comprender los complejos problemas que

se presentan a los ciudadanos para que tomen decisiones libres y responsables?

¿Tienen las competencias que requieren los puestos de trabajo calificados o por el contrario estarán confinados a empleos precarios, descalificados, con bajas remuneraciones aquí y también en otras partes del mundo?

Los objetivos de PISA El Programa Internacional de Evaluación de Estudiantes (cuya sigla

en inglés es PISA) de la Organización para la Cooperación y el Desarrollo Económico OCDE- proporciona algunas respuestas a estas preguntas en una perspectiva comparativa mundial hasta ahora jamás alcanzada en otros programas de evaluación que se han realizado desde principios de los años 70.

PISA evalúa en qué medida los estudiantes que se encuentran al final de la educación obligatoria, han adquirido algunos de los conocimientos y aptitudes que son esenciales para una participación plena en la sociedad.

Presenta evidencias sobre el desempeño de los estudiantes en lectura, matemática y ciencias; revela factores que influyen en el desarrollo de estas aptitudes en el hogar y en el centro educativo y examina las implicancias para el desarrollo de políticas educativas.

La utilidad inmediata de PISA para Uruguay

Uruguay podrá comparar la calidad y equidad de la educación con:

la mayor parte de los países de Europa, con Estados Unidos y Canadá con Argentina, Chile, Brasil, México, Perú y en 2006 también con

Colombia Asia-Pacífico y Oceanía

Un proceso de evaluación externo a la propia ANEP y a los colegios privados.

Es la segunda evaluación externa que hace la ANEP, siendo la primera aquella que hiciera la CEPAL entre 1990 y 1993.

Una de las principales razones para ingresar al programa PISA: la congruencia entre el marco teórico-pedagógico que ha desarrollado y

el enfoque de la evaluación que en el Uruguay se ha desarrollado desde 1996.

¿Qué es PISA? Es un programa de la Organización para la Cooperación y el

Desarrollo Económico (OCDE) lanzado en 1997 para complementar el sistema de indicadores educativos de los países miembros.

Se aplica a jóvenes de 15 años escolarizados en la educación media, sin importar en qué tipo de escuela están.

Diagnostica cuál es el nivel de competencias que han alcanzado en Lengua, Matemática, Ciencias y Resolución de Problemas

Evalúa competencias para la vida, no programas vigentes las competencias son definidas universalmente por los países pero no se trata de un “mínimo común” sentido global, propio de la sociedad del conocimiento

Los Ciclos de PISA Se realiza en “Ciclos”, cada tres años,

enfatizando un área como central en cada ocasión: 2000: lengua 2003: matemática 2006: ciencias

Uruguay se incorporó al Programa en la evaluación de 2003 y se ha comprometido a participar en el 2006.

¿Por qué PISA?

Está fundamentado teóricamente en un modelo dinámico de largo plazo de aprendizaje a lo largo de la vida.

Centralidad del concepto de alfabetización Competencias instrumentales y transversales Prioridad de las competencias de reflexión y de crítica

Riguroso desarrollo metodológico que aseguran la validez La evaluación comienza a prepararse 3 años antes Publica un marco teórico-pedagógico detallado Esfuerzo cooperativo por desarrollar actividades no sesgadas por

área geográfica, género o étnica. Las pruebas no se limitan a la “respuestas de múltiple

opción”. Evalúa: procesos y creatividad a través de actividades que requieren la construcción de la

respuesta

¿Por qué PISA? (II) Desde el punto de vista sociológico, se destaca el amplio

relevamiento de teorías sobre cuáles son los factores familiares y escolares que inciden en la calidad y la igualdad

Contextualizan los resultados según nivel socioeconómico y capital cultural

Se hacen estudios específicos que innovan la agenda de la investigación:

En 2000: “Estrategias de aprendizaje” y “Compromiso con la escuela”, En 2003: TIC y Expectativas educacionales.

Una evaluación con absoluta transparencia y rigor metodológicos Amplia y detallada documentación técnica de todas las etapas del

proyecto Controles múltiples de la calidad de los registros hechos por auditorías

externas Libre acceso a todas las bases de datos y las actividades de

evaluación

Países participantes en 2003 Europa:

Alemania, Austria, Bélgica, Dinamarca, España, Finlandia, Francia, Grecia, Holanda, Irlanda, Islandia, Italia, Latvia, Liechtenstein, Luxemburgo, Noruega, Polonia, Portugal, Rusia, República Checa, República Eslovaca, Serbia y Montenegro, Suecia y Suiza

América: Brasil, Canadá, Estados Unidos, México y Uruguay. En 2000: Argentina, Chile y Perú

Asia y Oceanía: Australia, China (Hong-Kong y Macao), Corea del sur,

Indonesia, Japón, Nueva Zelandia y Tailandia África:

Túnez

Marco Teórico de Referencia para Matemática y Lectura

Matemática: un cambio necesario

El concepto de OCDE/PISA se relaciona con el grado en el que los jóvenes de 15 años pueden ser considerados ciudadanos reflexivos, informados y consumidores inteligentes, que realizan análisis matemáticos necesarios para vida cotidiana.

Todas las personas se ven enfrentadas cada vez más con una variedad de situaciones que involucran conceptos matemáticos en lo cuantitativo, espacial o de las probabilidades (ANEP/GIE, 2005)

Sin embargo, durante casi todo el siglo XX los curricula escolares estaban principalmente orientados a formar una elite de matemáticos, ingenieros y científicos.

El fracaso de grandes masas de estudiantes en matemática fue interpretado como algo natural que estaba relacionado con la falta de vocación de los alumnos o el carácter especializado de la disciplina. (OECD/PISA, 2004: 37).

Concepto de alfabetización matemática

La capacidad individual de: identificar y comprender el rol que la

matemática juega en la sociedad; de hacer juicios fundamentados y de usar la matemática para el logro

de las metas y necesidades personales propias de un ciudadano reflexivo,

comprometido y constructivo.

Dimensiones de la evaluación El contenido lógico-matemático que es

abordado por las actividades Los procesos y las competencias que

requieren ser activadas para observar, modelizar y darle sentido a los problemas que enfrentan

Las situaciones y los contextos en que las personas deberán utilizar sus conocimientos.

Contenidos

PISA definió 4 áreas de contenidos lógicos con raíces

las sub-disciplinas matemáticas clásicas: Espacio y forma : geometría

Cambio y relaciones: álgebra

Cantidades: aritmética

Incertidumbre: estadística y probabilidad

Reconociendo el distinto énfasis con que estas áreas

aparecen en los curricula nacionales, PISA optó por

informar también resultados por contenidos.

Usos y contextos

Situaciones personales Situaciones ocupacionales o

educativas Situaciones públicas

en el ámbito local a nivel nacional

Contextos científicos y/o tecnológicos especializados

Proceso de matematización

Comprensión de una situación problemática en la vida cotidiana

Re-organización de la información en términos matemáticos, “activando” los conceptos apropiados y verificando cuáles supuestos del modelo son aceptables.

Resolución del problema utilizando los conocimientos matemáticos personales

Re-traducción de la solución formal al contexto y características de la vida cotidiana

Competencias

Para realizar con éxito este proceso de matematización se requieren de varias competencias, que empíricamente fueron agrupadas en tres: Reproducción (rutinas operatorias) Conexión (secuencias, funciones, etc) Reflexión (conceptos, creatividad,

crítica)

Concepto de alfabetización lectora La habilidad de entender, usar y

reflexionar sobre distintos textos para alcanzar objetivos propios, desarrollar el conocimiento y potencional personal y participar eficazmente en la sociedad.

Esta definción va más llá de la noción de decodificación de material escrito

Incorpora la comprensión y la reflexión sobre el texto.

Dimensiones de la evaluación en lengua La forma o tipo de texto El uso para el cual el texto fue construido Competencias que requiere la tarea Estas tres dimensiones se operacionalizan

hasta el diseño de cada una las actividades PISA clasifica cada actividad según el tipo de

texto, el uso y la competencia predominantemente exigida para desarrollar la tarea

Competencias En el proceso de lectura se requieren

activar las siguientes competencias: Búsqueda de información Interpretación global y específica del texto Reflexión, evaluación y toma de postura

frente al texto Se parte del supuesto que en cada una de

las competencias, los alumnos han alcanzado diferentes “niveles de dominio”

PISA 2003 en Uruguay

Una primera aproximación

Universo del estudio El universo definido por PISA fueron jóvenes de

15 años, nacidos entre el 1º abril de 1987 y el 31 de marzo de 1988.

Debían estar cursando educación post-primaria en cualquier modalidad, tanto pública como privada.

Estos jóvenes según distintas fuentes, serían alrededor de 40 mil de los 54 mil jóvenes que conforman la cohorte.

Los resultados de PISA representan por lo tanto los conocimientos del 74% de los jóvenes de 15 años

Muestra y requisitos de cobertura La muestra es aleatoria, representativa de las

escuelas y alumnos en relación a la distribución de la matrícula

Para que PISA acepte la participación de un país debe alcanzar a evaluar efectivamente:

el 80% de los alumnos inicialmente muestreados el 85% de las escuelas seleccionadas

En total se seleccionaron 5835 alumnos y 243 centros.

En 2003 el Reino Unido no cumplió estos requisitos y sus resultados no fueron considerados. En el año 2000, Holanda no alcanzó estos requisitos.

Muestra de UruguayTipo de Centro

% s/ alumnos evaluados

Liceos Públicos del Area Metrop. Montevideo

31,1

Liceos Públicos Capitales Deptales. 24,4

Liceos Públicos de ciudades menores

16,8

Sub-total Liceos Públicos 72,3

Escuelas Técnicas Área Met. Montevideo

5,1

Escuelas Técnicas del Interior 7,6

Sub-total Escuelas Técnicas 12,7

Liceos Privados 14,1

Otros – esc. rurales, Lic. Militar 1,0

TOTAL 100,0

Aplicación de las pruebas Se realizó en el mes de agosto de 2003

Cada centro educativo estableció la fecha de conveniencia

La prueba tuvo una duración de 2 horas cada alumno respondió uno de los librillos

de prueba con 4 partes cada uno cada librillo contenía actividades de las

cuatro áreas

Informes A nivel mundial, los resultados de PISA

2003 fueron hechos público el 7 de diciembre de 2004.

Se presentaron dos libros: Learning for the world of tomorrow Problem - solving

Se liberaron todas las base de datos en el sitio web

Se liberaron actividades de la evaluación

Los resultados 2003 se informan:

Por área para Lengua y Ciencias Un resultado general para

Matemática y por cada una de las cuatro áreas de contenidos

En forma de “puntajes” En forma de “niveles de dominio”

Resultados por puntajes Un puntaje en escala general para cada

área: Referencia a los alumnos de los países de la

OCDE El promedio de la OCDE es de 500

El “error estadístico” es vital para comparar Para cada país se informa un promedio y el error

estándar de la media Se genera un “intervalo de confianza” dentro del

cual es más probable que se ubique el verdadero resultado para cada país

Resultados mundiales en matemática:

Uruguay 422 puntos Peor que Serbia y Turquía Mejor que Thailandia y México

En primer lugar se ubican: Hong-Kong 550 Finlandia 544 puntos Corea del Sur 542 puntos

Los tres peores: Indonesia 360 puntos Brasil 356 puntos Túnez 359 puntos

Matemática en América Latina

280

300

320

340

360

380

400

420

440

460

480

500

Resultados mundiales en Lectura

Uruguay: 434 puntos

El mejor país fue Finlandia 543 puntos

El peor país fue Túnez 375 puntos

Lectura en América Latina

320

330

340

350

360

370

380

390

400

410

420

430

440

450

460

470

480

490

500

Lectura: niveles de dominio en América Latina

19.1

51.5

29.6

39.8

43.7

16.5

43.9

45.8

10.3

48.2

46.6

5.3

50

41.7

8.2

52

43.1

4.8

79.6

19.41.1

0%

20%

40%

60%

80%

100%

OCDE

Urugu

ay

Argen

tina

Chile

Brasil

México

Perú

Niveles4 y 5

Niveles2 y 3

HastaNivel 1

Hipótesis sobre la estructura social del país Por lo general, se ha acentuado la idea

de que existe una relación directa entre el nivel de ingreso y los resultados educativos.

Existe evidencia que la respalda a nivel mundial desde un estudio publicado en 1982.

Sin embargo, recientemente, se explora una hipótesis más sofisticada:

La distribución del conocimiento escolar es un efecto de la estructura de cómo la sociedad distribuye el bienestar material que genera.

Índice de Desigualdad de Gini y promedio en Matemática

Resultados dentro de Uruguay

Por grado Según contexto social de la escuelaSegún subsistema Según Plan 86 y 96

Resultados por grado en Lectura

Cursos Básicos UTU

296

Primero CB 296

Segundo CB 338

Tercero CB 375

Promedio Uruguay 434

Cuarto 474

Quinto 499

Promedio OCDE 500

Relación entre el contexto socio-cultural de la escuela y los niveles de matemática

La necesaria contextualización socio-cultural: Público / Privado

Resultados en Matemática para 4tos y 5tos

0%

20%

40%

60%

80%

100%U

TU

Int.

Lic

. Peq

. Ciu

d.

Lic

. Cap

. Dep

.

UT

U a

mm

Lic

. am

m

Lic

. Pri

v.

Nivel 4y 5

Nivel 2y 3

Hastanivel 1

Resultados según Plan de CB

Prom. Lim. Inf.Lim. Sup.

CB Plan 86 445 437 454

CB Plan 96 453 446 460

CB Tecnológico

414 401 428

¿Qué podemos aprender de estos resultados ? En promedio, nuestros alumnos tendrán

grandes problemas para integrarse a la sociedad del conocimiento.

Sus competencias son básicas y elementales en el mejor de los casos

No son capaces de alcanzar los niveles más exigentes de reflexión y crítica.

Los alumnos han pasado entre 9 y 12 años de sus vidas en la educación formal pero expuestos a curricula que no les proporcionan oportunidades de aprendizaje adecuadas a las exigencias contemporáneas

¿Qué podemos aprender de estos resultados ? El sistema educativo permanece

segmentado social e institucionalmente

Contamos con una elite académica que tiene un desempeño similar al promedio de OCDE y que asiste al sector privado

Una muy importante masa de alumnos con un nivel rudimentario que asiste a los liceos y escuelas técnicas

Además, una cuarta parte de los jóvenes de 15 años no está en el sistema educativo

El problema había sido ya detectado en el diagnóstico de CEPAL 1990=1993.

¿Qué podemos aprender de estos resultados ? Una oportunidad única para acordar

una agenda de políticas educativas Curriculares Lineamientos didácticos Equidad social

Una oportunidad para profundizar la reflexión pedagógico-didáctica .

Un diagnóstico sólidamente fundamentado en una investigación de gran calidad.

¿Preguntas?¿Comentarios?

Muchas gracias por la atención

Dirección mundial en Internet:www.pisa.oecd.org

Dirección de correo para materiales de la ANEPpisauruguay@adinet.com.uy

Dirección de correo Depto de Sociología de la UDELAR

tabaref@fcs.edu.uy