Bloque 4. Análisis de resultados: contexto social, económico y cultural; otros factores

Autores

David Cervera Olivares Paloma González Chasco José Mª Sánchez Echave INEE

Todo el documento está sujeto a los siguientes términos de la licencia Creative Commons Reconocimiento-CompartirIgual 4.0 Internacional

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 1

Índice Análisis de resultados: contexto social, económico y cultural; otros factores ................ 2

ISEC ............................................................................................................................. 2

ISEC: máximo nivel de estudios alcanzado por los padres ........................................... 4

Nota .......................................................................................................................... 4

ISEC: recursos domésticos ........................................................................................... 5

Nota .......................................................................................................................... 5

Líneas de regresión del rendimiento en función del ISEC ............................................. 5

Relación entre el rendimiento y el ISEC de los países .................................................. 6

Otras variables de carácter individual ........................................................................... 8

Diferencias en el rendimiento de alumnos y alumnas (matemáticas PISA 2012) .......... 8

Diferencias en el rendimiento de alumnos y alumnas (lectura y ciencias PISA 2012) . 10

Titularidad de los centros educativos .......................................................................... 12

Más información ...................................................................................................... 13

Otros factores ............................................................................................................. 13

Informe para un centro ................................................................................................ 15

Promedio de rendimiento en lectura en un contexto nacional .......................... 15

Relación entre el rendimiento y el índice socio-económico y cultural de los centros ............................................................................................................ 16

Promedio de rendimiento en lectura en un contexto internacional ................... 17

Niveles de rendimiento .................................................................................... 17

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 2

Análisis de resultados: contexto social, económico y cultural; otros factores Los valores promedio responden a comportamientos, a veces muy diferentes, del rendimiento de los alumnos y de los centros. El rendimiento está influido por las circunstancias en las que se desarrollan los aprendizajes, la habilidad de cada alumno, los condicionantes de partida, los entornos sociales, económicos y culturales de los alumnos y centros educativos considerados u otros factores cuya posible asociación con los resultados se analizan en diversos gráficos que veremos a continuación.

Por tanto, nos queda por ver:

• resultados teniendo en cuenta el contexto social, económico y cultural de los estudiantes,

• otros factores sobre los que ampliar la investigación.

ISEC ISEC son las siglas del índice socioeconómico y cultural. En PISA este índice lo llaman ESCS (Economic, Social and Cultural Status). Se calcula a partir de algunas de las respuestas de los alumnos y de sus familias en los cuestionarios de contexto, las cuales están sometidas a subjetividad y, por tanto, hay una componente de error debida al instrumento de recogida de información. Por tanto, el ISEC resume diversa información sobre el contexto social y familiar del alumnado y se elabora a partir de los siguientes datos:

• El nivel de estudios de la madre y del padre (se toma como valor el más alto de los dos).

• La profesión de la madre y del padre (se asigna el valor de mayor nivel de ambos).

• Nivel de recursos domésticos (por ejemplo, en PIRLS-TIMSS, son el ordenador, escritorio o mesa para uso personal, libros propios, habitación propia, conexión a Internet, reproductor de CD o DVD).

• El número de libros que el alumno tiene en su casa.

El valor se expresa como una variable continua tipificada para cada país, con media 0 y desviación típica 1. El ISEC de cada país se obtiene realizando la media de los índices de los alumnos de ese país, con la correspondiente ponderación de forma que cada alumno tiene un peso equivalente al número de individuos de la población a los que representa.

En el gráfico se representan los valores promedio del índice calculado para un conjunto de países en PIRLS-TIMSS 2011. Los valores promedio negativos corresponden a países en los que el ISEC es inferior al promedio. El índice asignado a España es prácticamente igual a la media 0.

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 3

Si no ves correctamente la imagen, puedes descargarte este PDF.

En las siguientes secciones se analiza la relación entre el rendimiento promedio de los alumnos y las distintas variables que intervienen en el cálculo del ISEC. Solo vamos a describir en este curso dos de las cuatro. Para consultar el resto se remite al capítulo 3 del informe:

PIRLS - TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA.Volumen I: Informe español. o en este enlace alternativo.

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 4

ISEC: máximo nivel de estudios alcanzado por los padres En la siguiente figura se representa la puntuación media del alumnado según el máximo nivel de estudios de los padres en PIRLS 2011.

Si no ves correctamente la imagen, puedes descargarte este PDF.

En el eje horizontal tenemos los cinco niveles establecidos por nivel de estudios de los padres, para España, internacional, Andalucía y Canarias. Además se tiene el dato del tanto por ciento de alumnos que hay en cada nivel. En el vertical se establecen los rendimientos promedio (puntuación) en cada uno de estos niveles de estudio.

Dos de las conclusiones que se extraen en el informe PIRLS-TIMSS 2011 son:

• Las diferencias entre los resultados de los alumnos cuyos padres tienen estudios básicos a lo sumo y los de aquellos con estudios universitarios superiores es, en España, más de 70 puntos en PIRLS. Estas diferencias son todavía más acusadas en la muestrainternacional donde se llega a alcanzar una diferencia en torno a 100 puntos en ambos estudios.

• Los alumnos españoles cuyos padres tienen un nivel educativo superior tienen un rendimiento inferior al de los alumnos extranjeros del mismo grupo. Por el contrario, los españoles que son hijos de padres con escaso nivel educativo logran un rendimiento superior a sus homólogos extranjeros.

Nota

En el gráfico anterior aparecen Andalucía y Canarias porque ambas comunidades autónomas ampliaron su muestra y se tienen datos representativos de ellas.

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 5

ISEC: recursos domésticos La variable recursos domésticos es un indicador de la capacidad económica de las familias. Los artículos que recoge el cuestionario de contexto en PIRLS 2011 son: ordenador, escritorio o mesa para uso personal, libros propios, habitación propia, conexión a Internet y reproductor de CD o DVD.

Si no ves correctamente la imagen, puedes descargarte este PDF.

En el eje horizontal tenemos los cuatro niveles establecidos por número de artículos que el alumno tiene en casa, para España, internacional, Andalucía y Canarias. Además se tiene el dato del tanto por ciento de alumnos que hay en cada nivel. En el vertical se establecen los rendimientos promedio (puntuación) en cada uno de estos niveles.

Una conclusión que se extrae en el informe PIRLS-TIMSS 2011 es: los alumnos con mayor número de artículos obtienen mejores resultados. Se observa un escalón muy pronunciado entre el primer nivel y los siguientes, disminuyendo la pendiente al aumentar el número de artículos. Este hecho indica que el aumento en el rendimiento no es proporcional al incremento de los artículos.

Nota

En el gráfico anterior aparecen Andalucía y Canarias porque ambas comunidades autónomas ampliaron su muestra y se tienen datos representativos de ellas.

Líneas de regresión del rendimiento en función del ISEC Mediante gráficos con líneas de regresión se representa la relación entre las puntuaciones en los diversos estudios y el índice socioeconómico y cultural (ISEC).

Los gráficos y el valor de R2 (coeficiente de determinación) permiten conocer y cuantificar la influencia del ISEC en los resultados. Por otro lado, también puede observarse si los resultados

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 6

obtenidos por los países, centros o alumnos son superiores, inferiores o iguales a los esperados según su índice, observando si el punto correspondiente se sitúa por arriba, por debajo o sobre la curva de regresión estimada.

Cada curva de regresión representada ofrece tres informaciones (ver gráfico del siguiente apartado: relación entre rendimiento e ISEC de los países):

• Primero, el punto de corte de la curva con el eje vertical corresponde a la estimación del rendimiento promedio, descontando el ISEC.

• Segundo, la pendiente de la línea de regresión muestra la relación entre el ISEC y el rendimiento: cuanto menor es la inclinación de la curva, menos diferencias en el rendimiento se producen al variar el ISEC.

• Tercero, la curvatura de la línea de regresión indica si el efecto del nivel socioeconómico y cultural es de la misma magnitud para los diferentes valores de este índice a lo largo de la escala. Por ejemplo, una línea de regresión con una pendiente alta en el tramo inferior de la escala del ISEC y en la que disminuye gradualmente la pendiente según se asciende en esta escala, implicaría que el efecto del estatus socioeconómico sobre el rendimiento es superior para valores bajos del índice.

El análisis se suele realizar por países, por centros educativos y por alumnos. Para no extendernos demasiado, en este curso comentaremos el análisis por países.

Relación entre el rendimiento y el ISEC de los países En este gráfico se relacionan las puntuaciones medias de los países (rendimientos) con su índice socioeconómico y cultural medio en PIRLS 2011.

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 7

Si no ves correctamente la imagen, puedes descargarte este PDF.

En el eje horizontal tenemos la media del ISEC para cada país. En el vertical se establecen los rendimientos promedio (puntuación) de cada país en comprensión lectora.

Conclusiones que se extraen en el informe PIRLS-TIMSS 2011 son:

• En general, países con mayor índice obtienen mejor resultado promedio en las pruebas. Sin embargo, no siempre esto es así: existen grandes diferencias en los resultados obtenidos en países con ISEC similares (por ejemplo entre Finlandia -568 puntos- o Noruega -507 puntos-, ambos con valores elevados del índice, o Malta -477 puntos- y Portugal -541 puntos-, entre los de índice con valores intermedios).

• Los resultados de los alumnos españoles son inferiores a los valores esperados para su índice. No obstante se debe tener en cuenta que la capacidad explicativa de los modelos ajustados es escasa, dado que el valor R2 no es elevado.

• Se estima que el efecto de incrementar en un punto el ISEC medio del país supondría un aumento de 27 puntos en los promedios PIRLS.

Otro de los gráficos típicos que se utilizan es el siguiente, que pone en relación cuál sería la puntuación que correspondería a cada país si todos tuvieran un ISEC similar. En el gráfico, la barra de color representa la puntuación que ha obtenido el país en el estudio, y el rombo la puntuación si se descuenta el ISEC. Países con ISEC positivo bajan su puntuación y los que tienen ISEC negativo suben su puntuación.

Si no ves correctamente la imagen, puedes descargarte este PDF.

Una conclusión del informe PIRLS 2011 es que al descontar el ISEC las puntuaciones promedio en comprensión lectora se aproximan. Por ejemplo, se acortan las distancias entre Australia, España, Irlanda, Noruega, Polonia y Suecia en mayor o menor medida en función del estudio.

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 8

Otras variables de carácter individual En estos estudios se suele analizar otro tipo de factores tanto de alumnos como de centros educativos extrayendo datos objetivos de los cuestionarios de contexto como pueden ser los siguientes:

• Alumnos: diferencias en el rendimiento entre alumnos y alumnas; resultados en función de la repetición de curso; resultados en función de la condición de inmigrante.

• Centros: titularidad de los centros educativos; clima disciplinar; área de localización del centro; autonomía y gestión

Nos vamos a centrar en comentar un factor relativo a alumnos y otro a los centros de PISA 2012.

Diferencias en el rendimiento de alumnos y alumnas (matemáticas PISA 2012) Diferentes estudios de evaluación educativa vienen confirmando diferencias en rendimiento asociadas al sexo del alumnado. El análisis de la relación entre esta variable y los resultados es importante, porque permite constatar el posible efecto de las diferentes políticas de igualdad que deben poner en práctica los países y las escuelas a fin de garantizar el máximo desarrollo educativo de todas las personas, independientemente de cuáles sean su sexo, o cualesquiera otras circunstancias personales o sociales.

En el gráfico siguiente se representa, en PISA 2012, la diferencia de puntuación en matemátcas según sexo, en los países OCDE y las comunidades autónomas.

En la columna de la izquierda tenemos una barra de color azul por cada país que establece la diferencia de puntuación entre chicos y chicas. Si la barra está a la derecha del punto central, significa que los chicos de ese país han logrado un mejor resultado, y si está a la izquierda son las chicas las que alcanzaron mejor puntuación. Además, si la barra tiene un color azul oscuro es poque la diferencia de puntuación es estadísticamente significativa, y si es azul claro no es estadísticamente significativa.

En la columna de la derecha se representa la puntuación total en casa país de los chicos con un círculo verde y la de las chicas con un triángulo azul.

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 9

Algunas conclusiones del informe PISA 2012 son: en la mayoría de los países, los chicos obtienen mejores resultados que las chicas. La diferencia alcanza, a favor de los chicos, 11 puntos en el promedio de los países de la OCDE, 8 en la UE y 16 puntos en España.

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 10

Diferencias en el rendimiento de alumnos y alumnas (lectura y ciencias PISA 2012) Siguiendo con PISA 2012, vemos a continuación la diferencia de puntuación en lectura según sexo. A diferencia de lo que ocurre en matemáticas, en lectura las chicas logran mejores resultados que los chicos. En el conjunto de los países de la OCDE, estas llegan a alcanzar los 38 puntos a favor de las chicas y los 43 puntos en la UE. En España, esta diferencia se sitúa en 29 puntos.

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 11

Y, por último, en ciencias. En esta competencia no se observa relación entre los resultados y el sexo de los alumnos. En algunos países, las chicas obtienen mejores resultados, mientras que en otros son los chicos los que consiguen mejores puntuaciones. El promedio del conjunto de los países de la OCDE es de 1 punto a favor de los chicos, en la UE de 2 puntos a favor de las chicas y en España de 7 puntos a favor de los chicos.

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 12

Titularidad de los centros educativos La titularidad del centro educativo es uno de los factores a tener en cuenta al analizar el rendimiento del alumnado. La distribución varía notablemente de unos países a otros como podemos ver en la columna de la izquierda de la siguiente figura. La barra verde representa el tanto por ciento de centros de titularidad pública y la barra azul el tanto por ciento de titularidad privada.

El alumnado en España se escolariza en centros de titularidad pública y de titularidad privada, la mayoría de estos últimos concertados. En el estudio PISA 2012, España cuenta con un 32% de alumnos en centros privados. En la OCDE el 18% son de titularidad privada y en la UE el 14%.

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 13

En la columna a la derecha de los países tenemos la puntuación media de los centros públicos con un triángulo verde, y la de los centros privados con un círculo azul.

Algunas conclusiones reflejadas en el informe PISA 2012 fueron: en la mayoría de países los alumnos de centros privados obtienen puntuación media en matemáticas superior a la de los centros públicos. En España, la puntuación media de alumnos escolarizados en centros públicos es de 471 puntos y en centros privados es de 510 puntos, habiendo una diferencia de 39 puntos.

Más información

Si se quiere ampliar información al respecto, en el apartado "Rendimiento del alumnado en función de la titularidad de los centros educativos" del infome español PISA 2012, encontramos las diferencias en los resultados descontando el índice socioeconómico y cultural.

Allí se concluye que la diferencia de 39 puntos a favor de los centros privados se reduce a 10 puntos al detraer el ESCS de las familias y de los centros. Lo cual indica que si los niveles sociales, económicos y culturales de los centros públicos y privados en España fueran similares, las diferencias entre los centros de distinta titularidad se reducirían considerablemente.

Otros factores Además de todo lo analizado anteriormente, se puede estudiar el efecto que algunos índices de contexto, relacionados con los alumnos y su familia, el profesor y el centro educativo, tienen sobre el rendimiento de los alumnos en cada una de las competencias evaluadas.

Estos índices se distancian de aspectos económicos y centran su atención en temas como los hábitos lectores, el disfrute y consideración de las competencias evaluadas, la ayuda de los padres en las tareas, la valoración del centro educativo por los alumnos, los recursos de los que dispone el profesor, el leer por placer, etc.

Los estudios internacionales de evaluación recogen, junto con la información del rendimiento de los alumnos, datos sobre algunas características del contexto educativo que pueden explicar parte de la varianza de los resultados de rendimiento.

Toda esta información se extrae de los cuestionarios de contexto, de los que ya hablamos en el bloque II de este curso. El número de variables que incluyen es muy alto y, para resumir la información se realiza una agrupación en índices siguiendo la estructura interna de los propios cuestionarios.

Se realiza en primer lugar un análisis factorial que consiste en:

• tomar un conjunto de ítems del cuestionario de contexto (que tengan que ver entre sí),

• unirlos en un solo índice que representará una variable continua,

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 14

• estudiar mediante métodos estadísticos el % de varianza explicada por dicho índice, es decir, en qué medida representan al conjunto de ítems del cuestionario de contexto que componen al índice.

Por ejemplo, nos vamos a centrar en el índice “Valoración centro” del informe PIRLS-TIMSS 2011. Dicho índice, para TIMSS-ciencias, recoge de la pregunta 12 “¿Cómo valoraría cada uno de los siguientes aspectos de su centro?” las opciones A, D, E, F, G y H del cuestionario de contexto del centro porque tienen que ver entre sí, puesto que intentan explicar si el colegio es valorado positivamente por el docente, los padres y alumnos, y se pretende investigar si esto influye de forma favorable en el rendimiento en ciencias de los alumnos. Podemos volver a descargar el cuestionario de contexto desde este enlace.

Se ha calculado que este índice explica un 52,6% de la varianza recogida por el conjunto de opciones A, D, E, F, G y H. Al haberlos unido en una sola variable, se pierde parte de la información aportada por cada una de las opciones por separado, por lo que se considera interesante continuar con el estudio del mismo.

Una vez obtenidos los índices que nos resultan más interesantes mediante el análisis factorial, se realiza un análisis de regresión multinivel, mediante el cual se observa la influencia del índice construido sobre el rendimiento en los alumnos.

Continuando con el índice “Valoración centro”, hemos dicho que incluye ítems que informan sobre la satisfacción y expectativas del docente, el apoyo e implicación de los padres y el comportamiento de los alumnos. Con este índice pretendemos ver si la escuela es valorada positivamente por el docente, los padres y alumnos, si esto influye de forma favorable en el rendimiento en ciencias de los alumnos.

En el gráfico, para el índice “Valoración centro” observamos lo siguiente:

• % de varianza explicada en el rendimiento de los alumnos para España (4%) y para los países de la OCDE (8%). Este dato nos informa de cuánta información aporta

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 15

este índice en concreto sobre el rendimiento que el alumno obtiene en ciencias. Dicho de otra manera, cuánto depende el rendimiento del alumno del índice “Valoración centro”. Como vemos, un 4% no es una cantidad muy elevada para España, aunque para la OCDE es más alto.

• Además, se separan todos los alumnos que intervienen en el estudio en cuatro cuartos para este índice según la valoración que otorgan al centro:

o el primer 25% de alumnos, los que menos valoran el centro, obtienemn un rendimiento medio de 474,72 puntos (representado con un segmento vertical),

o el segundo 25% de alumnos, los que valoran algo más el centro, consiguen un rendimiento medio de 501,16 puntos (representado con un rombo),

o el tercer 25% de alumnos, los que valoran todavía más el centro que los anteriores, obtienen un rendimiento medio de 513,14 puntos (representado con un cuadrado),

o el cuarto 25% de alumnos que valoran todavía más el centro, obtienen un rendimiento medio de 523,46 puntos (representado con un aspa).

Informe para un centro Con los datos de PIRLS 2011 de 4º curso de Educación Primaria, se pueden hacer análisis para presentar un resumen de los resultados de uno de los centros educativos de la muestra. Los datos están anonimizados.

En el estudio PIRLS participaron en este centro 51 alumnos.

Promedio de rendimiento en lectura en un contexto nacional

A continuación se presentan las puntuaciones medias obtenidas por el centro educativo en lectura, en comparación con las de la comunidad autónoma a la que pertenece el centro y el conjunto del Estado.

Puntuación en

comprensión lectora

Centro educativo 494

Comunidad Autónoma 457

España 513

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 16

La puntuación del centro educativo en lectura con respecto a los percentiles 5, 10, 25, 50, 75, 90 y 95 de rendimiento de España, puede observarse en el siguiente gráfico.

Si no ves correctamente la anterior imagen, puedes descargarte este PDF.

Relación entre el rendimiento y el índice socio-económico y cultural de los centros

A cada centro educativo se le asigna el valor medio del índice que se asigna a sus alumnos. Este índice es un dato que permite describir el nivel social, económico y cultural del conjunto de las familias de cada centro educativo.

El siguiente gráfico relaciona el rendimiento de los centros educativos de la muestra española, con su índice socio-económico y cultural. Para mayor claridad comparativa, los valores del centro educativo se muestran resaltados con respecto al resto de centros.

Si no ves correctamente la anterior imagen, puedes descargarte este PDF.

Evaluaciones externas Internacionales del Sistema Educativo

INTEF 2014 Pág. 17

Promedio de rendimiento en lectura en un contexto internacional

Se compara el rendimiento del centro educativo en PIRLS con el rendimiento de algunos de los países participantes en dicho estudio y la media de la OCDE. Los países que se han utilizado en la comparativa son: España, Estados Unidos, Finlandia, Francia, Inglaterra y Portugal.

Si no ves correctamente la anterior imagen, puedes descargarte este PDF.

Niveles de rendimiento

El estudio PIRLS establece 5 niveles de rendimiento. Estos niveles son delimitados por unos puntos de referencia internacionales fijados en 400, 475, 550 y 625. La distribución de las preguntas de las pruebas a los alumnos en los distintos niveles, según su dificultad, permite describir el grado de adquisición de comprensión lectora. Los niveles de rendimiento son los siguientes:

Si no ves correctamente la anterior imagen, puedes descargarte este PDF.

INEE - Formación en Red del INTEF

Licencia Creative Commons Atribución-CompartirIgual 4.0 Internacional.