Post on 23-Jul-2020
.
PISA deflactado por nivelsocioeconomico: Para que usarlo y
para que no
Ximena DuenasJorge Duarte
.
.
.
.
Motivacion. La influencia de la composicion socioeconomica.
Dividimos el mundo en cuartiles del Indice Socioeconomico y Cultural y vimoscomo quedan distribuidos los estudiante dentro de cada paıs.
.
.
.
Motivacion. La influencia de la composicion socioeconomica.
Supongamos que todos tienen la composicion socioeconomica de Colombia:
.
.
.
Esta presentacion discute el uso de los resultados.
I Las pruebas estandarizadas son una herramienta importante que sirvepara mejorar la calidad de la educacion y para hallar la influencia dealgunos factores asociados al aprendizaje.
I El uso responsable e informado juega un papel importante.I Causalidad: no es posible saber a que se deben los cambios o por que
se generan las brechas.I Tener en cuenta otras variables: en ocasiones, caracterısticas
contextuales y medidas de nivel socioeconomico pueden ayudar aentender los resultados.
I Resiliencia: Medida imperfecta de identificacion de estudiantes pobresde alto desempeno, que de otra forman no podrıan ser destacados.
.
.
.
Los factores que componen el resultado
Supongamos que la prueba se puede expresar como una funcion de dosgrandes grupos de factores:
Prueba = f (Endogenos, Exogenos)
I Endogeno: depende del colegio o de la polıtica educativa o esdeseable por la sociedad para castigar o premiar (por ejemplo, eldesempeno de los profesores, los materiales educativos).
I Exogeno: fuera del alcance del colegio o de la polıtica educativa o nodeseable por la sociedad para castigar o premiar (por ejemplo, lascondiciones socioeconomicas de los estudiantes y sus familias).
.
.
.
La naturaleza observacional de la informacion
Prueba = f (Endogenos, Exogenos)
Solamente se podrıan diferenciar los factores endogenos o exogenos:
I Si se pudieran medir todos y se conociera la forma funcional.I Si no estuvieran relacionados entre ellos.
.
.
.
PISA deflactado por nivel socioeconomico
PISAi = β0 + β1NSEi + β2NSE2 + εi
PISAi = ˆPISAi + εi
I Cov( ˆPISAi , εi ) = 0I εi es la parte del puntaje que no esta correlacionada con el nivel
socioeconomico. No es un error que cumpla los supuestos de la regresionlineal.
I Definimos εi como el puntaje deflactado por nivel socioeconomico.I Con el puntaje deflactado, PISA calcula la resiliencia.
.
.
.
PISA deflactado por nivel socioeconomico
ARE
AUS
AUTBEL
BGR
BRA
CAN
CHE
CHL
CRI
CZE
DEUDNK
DOM
DZA
ESP
EST FIN
FRAGBR
GEO
GRC
HKG
HRVHUN
IDN
IRL
ISLISR
ITA
JOR
JPN
KOR
KSVLBN
LTULUX
LVA
MAC
MDAMEX
MLT
MNE
NLDNOR
NZL
PER
POLPRT
QAT
QES
ROU
RUS
SGP
SVK
SVN
SWE
TAP
THA TTO
TUN
TURURY
USA
VNM
COL
Lo países ubicados muy por encimade la diagonal, obtienen una puntuaciónmedia considerablemente mejor de la que seesperaría en función del nivel socioeconómicoy cultural de los estudiantes
Los países ubicados muy por debajode la diagonal, obtienen una puntuación
media considerablemente peor de la que seesperaría en función del nivel socioeconómico
y cultural de los estudiantes300
350
400
450
500
550
600
Pun
taje
en
prue
ba d
e C
ienc
ias
-2 -1 0 1 2Índice socioeconómico y cultural
Países no miembros de la OECD Países miembros de la OECD
.
.
.
PISA deflactado por nivel socioeconomico
ARE
AUSAUTBEL
BGRBRA
CANCHE
CHL
CRI
CZEDEU
DNK
DOM
DZA
ESP
EST
FIN
FRA GBR
GEO
GRC
HKG
HRVHUN
IDN
IRL
ISL
ISR
ITA
JOR
JPN
KOR
KSV
LBN
LTULUX
LVA
MAC
MDAMEX MLT
MNE
NLD
NOR
NZL
PER
POLPRT
QAT
QES
ROU
RUS
SGP
SVK
SVN
SWE
TAP
THA
TTO
TUN
TUR
URY
USA
VNM
COL
-125
-100
-75
-50
-25
0
25
50
75
100
125
Pun
taje
def
lact
ado
en la
pru
eba
de C
ienc
ias
-2 -1 0 1 2Índice socioeconómico y cultural
Países no miembros de la OECD Países miembros de la OECD
.
.
.
Resiliencia: Colombia
0
100
200
300
400
500
600
700
800
Pun
taje
en
Cie
ncia
s
-5 -4 -3 -2 -1 0 1 2 3 4 5Índice socioeconómico y cultural
Resilientes Aventajados con rendimiento bajo
.
.
.
Resiliencia: Colombia
-300
-200
-100
0
100
200
300
Pun
taje
def
lact
ado
en C
ienc
ias
-5 -4 -3 -2 -1 0 1 2 3 4 5Índice socioeconómico y cultural
Resilientes Aventajados con rendimiento bajo
.
Porcentaje de resilientes y estudiantes aventajados que obtuvieron un puntaje en Ciencias ubicado en el cuartil más bajo
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Rep. Dominicana
Perú
Túnez
Argelia
Jordán
Costa Rica
Brasil
Colombia
Indonesia
México
Uruguay
Israel
Chile
Islandia
Tailandia
Grecia
Turquía
Rusia
Francia
Italia
Suiza
Países Bajos
Estados Unidos
Australia
Alemania
Reino Unido
Portugal
Canadá
Corea del Sur
España
Finlandia
Japón
Singapur
Macao
Vietnam
Resilientes
Aventajadosque obtienenun puntajeubicado en elcuartil más bajoen ciencias
.
0 100 200 300 400 500 600
Rep. Dominicana
Argelia
Túnez
Perú
Brasil
Indonesia
Jordán
México
Colombia
Costa Rica
Tailandia
Turquía
Uruguay
Chile
Grecia
Israel
Italia
Rusia
España
Francia
Estados Unidos
Suiza
Países Bajos
Alemania
Reino Unido
Australia
Coreal del Sur
Hong Kong
Vietnam
Canadá
Macao
Finlandia
Japón
Singapur
-120 -90 -60 -30 0 30 60 90 120
Rep. Dominicana
Túnez
Argelia
Jordán
Perú
Brasil
Costa Rica
Colombia
México
Grecia
Uruguay
Tailandia
Israel
Indonesia
Chile
Turquía
Italia
Rusia
Estados Unidos
Suiza
Francia
Australia
Países Bajos
Reino Unido
Canadá
España
Alemania
Finlandia
Coreal del Sur
Hong Kong
Japón
Macao
Singapur
Vietnam
Puntaje en Ciencias PISA 2015 Puntaje deflactado de Ciencias PISA 2015
.
.
.
Una solucion imperfecta: PISA deflactado por nivel socioeconomico
No es una medida que aısle apropiadamente el puntaje de las condicionessocioeconomicas por dos razones principales:
I Esta medida podrıa subestimar el efecto del nivel socioeconomico si lavariable NSE no esta incluyendo todas las caracterısticas observables yno observables que hacen parte de las caracterısticas sociales yeconomicas de los estudiantes.
I El efecto del NSE podrıa estar sobreestimado por las caracterısticas de lacalidad de la educacion que se correlacionan con el NSE. En este casono solo se esta deflactando por el NSE, sino por caracterısticas delproceso educativo.
.
.
.
Uso apropiado de la prueba como unico criterio
Deberıamos usar la prueba sin ninguna otra consideracion cuando en el usono es importante diferenciar entre los factores que la componen:
I Informar a los tomadores de decisiones (o profesores o padres de familia)sobre el desempeno relativo de sus colegios (o de sus estudiantes o hijos).
I Seleccionar estudiantes para programas especiales.I Asignar recursos o focalizar colegios.
.
.
.
Uso apropiado de la prueba teniendo en cuenta otros criterios
Deberıamos considerar otros criterios al usar la prueba cuando es importantediferenciar entre los factores que la componen
I Premiar o castigar colegiosI Evaluar el impacto de programas, colegios o profesores
.
.
.
Aprendizaje 1. Mejoramos en el ISCE.
.
.
.
Aprendizaje 1. Mejoramos en el ISCE.
I Sin embargo, este hecho no nos dice el porque. Conocer el hecho esdiferente de conocer la razon.
I Puede ser por las polıticas del MEN, o por las de las secretarıas deeducacion, o por eventos tan alejados de la educacion como el clima.
I Ademas, no sabemos si es preparacion artificial para la prueba o es unmejoramiento sostenible en el tiempo.
Por lo tanto:
I Cuantificar los cambios en las brechas es en sı mismo importante porquenos permite conocer prioridades, pero no implica saber las razones.
I Una evaluacion de impacto es saber la razon que causo un cambio enlas brechas: es diferente de solamente conocer los cambios en lasbrechas.
.
.
.
Aprendizaje 2. ¿La solucion es que lo ninos tengan computador?
¿Tienes computador en la casa?
.
.
.
Aprendizaje 2. ¿La solucion es que lo ninos tengan computador?
I La grafica muestra que los estudiantes que tienen computador obtienen,en promedio, puntajes mas altos en la prueba.
I Aunque es indiscutible la relacion entre desempeno y tenencia decomputador, no podemos decir que tener computador es lo que hace(lo que implica, lo que causa) una mejora en los resultados.
I Y por lo tanto, lo mas importante, la implicacion de polıtica publica nopuede ser solamente darles computador a todos los estudiantes.
Este hecho es consistente con diferentes hipotesis:
I Los ninos que tienen compudador son los ninos que tienen padres mascomprometidos con la educacion.
I Los ninos que tienen compudador son los que tienen padres de mayornivel socioconomico.
I Los ninos que tienen computador no usan computadores tanto tiempoen el colegio.
.
.
.
Aprendizaje 3. Una evaluacion de impacto.
I Supongamos que en el mundo solo hay dos profesores (uno rojo y unoverde) y cada uno solo tiene dos estudiantes (rojos o verdes).
I Los estudiantes verdes (independientemente del profesor) obtienen 2puntos en la prueba y los rojos, 1 punto.
I Los profesores verdes (independientemente del estudiante) le aportan 2puntos extras a sus estudiantes y los rojos, 1 punto.
I Sin embargo, supongamos que el tomador de polıticas publicas no sabecual profesor o estudiante es verde o rojo.
I Objetivo: El tomador de decisiones quisiera saber cual profesor es mejor(nosotros sabemos que es el verde porque aporta un punto de mas a susestudiantes).
I Supongamos tres escenarios en el que cambia la distribucion de losestudiantes para cada profesor.
.
.
.
Escenario 1. Subestimacion del efecto del profesor.
I El colegio del profesor verde obtiene 3 puntos y el del rojo tambien 3.I Parace que el profesor verde es igual que el rojo.I Pero sabemos que el profesor verde es mejor en 1 punto.I Esto pasa porque al profe verde, le tocaron los dos estudiantes rojos.
.
.
.
Escenario 2. Sobreestimacion del efecto del profesor.
I El colegio del profesor verde obtiene 4 puntos y el del rojo obtiene 2.I Parace que el profesor verde es mejor que el rojo en 2 puntos.I Pero el profesor verde es mejor solamente en 1 punto.I Esto pasa porque al profe verde, tambien le tocaron los dos estudiantes
verdes.
.
.
.
Escenario 3. Efecto del profesor insesgado.
I El colegio del profesor verde obtiene 3.5 y el del rojo obtiene 2.5.I Recuperamos la verdadera diferencia: el profesor verde es mejor que el
rojo en 1 puntos.I Esto pasa porque los estudiantes se distribuyeron uniformemente entre
colegios.
.
.
.
Aprendizaje 3. Una evaluacion de impacto.
I La verdad: En la vida real no hay solamente profesores y estudiantes rojoso verdes: hay infinidad de caracterısticas e infinidad de variacion en esascaracterısticas.
I El problema: Muchas de las caracerısticas no son observables o no sonmedibles.
I Una posible solucion: Escoger aleatoriamente los grupos que reciben yno reciben una intervencion.
I Por que: Aleatorizar garantiza que todas las caracterısticas (incluso las noobservables) se distribuyen uniformemente entre los grupos.
I Conclusion: La prueba da la informacion necesaria, pero el uso debe serresponsable.
¡Gracias!