LACALIDADDELAEDUCACIÓNENPAÍSESENDESARROLLO:LOQUEAPRENDEMOSDELASEVALUACIONESEDUCATIVAS

INTERNACIONALES

SimposiodelIns-tutoNacionalparalaEvaluacióndelaEducación(INEE)ylaAcademiaInternacionaldelaEducación

“Temasclaveenlaevaluacióndelaeducaciónbásica”CiudaddeMéxico

ReSEP,

DepartmentodeEconomía,UniversidadofStellenbosch

1-2desepKember2016

Introducción

Lasevaluacioneseduca-vasinternacionalessonobjetodemuchascalumniasEstetrabajoargumentaque(i)laslagunasdeinformaciónsobrelacalidadeduca-vaenpaísesendesarrollocreaunamayornecesidaddemásevaluaciones(ii)lacomparabilidadinternacionalentredis-ntasevaluacionesdebemejorarse(iii)lasevaluacionescontribuyenmásanuestracomprensióndedéficitseduca-vosenpaísesendesarrollocuandosecombinancondatossobreelaccesoescolarolacobertura(iv)lasevaluacioneseduca-vasnospuedendecirmássobrelasgradientessocialesyotrasdesigualdades(e.g.degénero)enpaísesendesarrollo.U-lizarédatosdeunavariedaddefuentesyaplicadosadis-ntoscontextos,peroponiendoenfoqueespecialenSudáfrica,mypaís,natal,yMéxico

2

Expansióndelaccesoalaeducación

Lospaísesendesarrollolograronbuenosavancesenlasúl-masdécadasenmejorarelaccesoalaeducación&manteneralosniñosenlaescuelapormás-empo

EducaciónparatodoshizounaaportaciónimportanteAceleraciónenelaccesoalasescuelasprimariasPorlotanto,haymenosniñosenpaísesendesarrolloquejamásvanalaescuela

Inclusoenpaísesdebajosingresos,laproporcióndeniñosquenuncahanasis-doalaescueladisminuyóde32%en1992a23%en1999,yluegoa14%n2008

3

%niñosde9-11añosdeedadenpaísesdeingresosbajosymediosquenuncahanasisKdoalaescuela

4

AccesoalaescuelaprimariaElaccesoalaescuelaprimariatambiénsehavueltomáscomúnenpaísesendesarrolloLogrodeprimaria:•  paísesdebajosingresos:43%en1992→57%en2008

•  paísesdeingresosbajos+medios:70%→81%(LaUNESCOusaeltérmino“logro”enrelaciónconlaeducaciónprimariaparaindicarqueseinicialaeducaciónprimaria)

5

%deniñosde9-11añosdeedadenpaísesdeingresosbajosymediosquehanlogradoeducaciónprimaria

6

%decohortesdenacimientoquehanterminadoelGr7

Lafiguramuestra,paracincopaísesenlaUniónAduaneradeÁfricaAustral,el%dediferentescohortesdenacimientoquehanterminadoelGrado7(finaldelaescuelaprimaria)•  Basadoencensosoencuestasdepoblación•  Muestranotableavancealolargode6décadas

7

%cohortesdenacimientoqueterminaronelGrado8

8

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

1930 1935 1940 1945 1950 1955 1960 1965 1970 1975 1980 1985 1990Birthyear

Botswana Lesotho Namibia SouthAfrica Swaziland

“Escolaridadnoesaprendizaje”:elimperaKvodelacalidad

Apesardelprogresoenescolaridad(añosdeeducación),lospaísesendesarrollosesiguenenfrentandoaungrandéficitenaprendizaje(habilidadescogni-vas)•  dis-nciónquehizomuyenérgicamenteLantPritchee(2013)ensulibroTherebirthof

educa:on:Schoolingain’tlearning

LaspruebasinternacionalesclaramentemuestranestoSilacan-daddeeducaciónmejora,perolacalidadsiguesiendodébil,losavancesencan-daddeeducacióntalveznosetraduzcanenavancesenresultadoscogni-vosLaeducacióndemalacalidadquizátambiénlimiteeldesarrolloeconómicoAsí,elInformedeMonitoreode2005deEducaciónparaTodosllevabaelsubgtulo:“Elimpera:vodelacalidad”•  Entenderquemejorarlacan-daderaapenasunapartedelreto•  Enconsecuencia,elenfoquehacambiadoacalidaddeeducación(también

cambiosdeMDGsalosSGDs)

9

IlustracióndelrezagocogniKvodepaísesendesarrollo

LaFigura4muestralacurvadedensidadacumula-vadecalificacionesenlaspruebasPIRLSde2006paraniñosdeSudáfricaeInglaterra•  PIRLSesunapruebadelecturayalfabe-smoAunquealosniñossudafricanoslesaplicaronlapruebaenelGrado5yalosinglesesenelGrado4,losniñossudafricanosestánmuyrezagados:•  sólo8%delosniñosinglesesnolograronalcanzarelbajopunto

dereferenciainternacionalde400•  78%delosniñossudafricanosnolograronalcanzarlo•  70%delosniñosinglesesalcanzaronlacalificaciónpromediode

500•  Sólo9%delosniñossudafricanosalcanzaronestacalificación

10

PorcentajeacumulaKvodeniñosdeSudáfricaeInglaterraenPIRLS2006quecalificaronpordebajodecadanivelde

calificaciónmostrado

11

0

10

20

30

40

50

60

70

80

90

100

0 100 200 300 400 500 600 700 800

Cumulative%ofstude

nts

ScoreinPIRLS2006

Evaluacionesinternacionales:coberturaylagunasenlacobertura

•  Muchospaísesendesarrollonoconocenlacalidadderesultadoscogni-voscomparadosconotrospaíses,niloscambiosconelpasodel-empo

•  Lamayoríadelospaísesahora-enencuandomenosunagranevaluaciónnacionalparamedirelcambioconelpasodel-empo(aunqueaveceshaydificultadesdecalibración)–  segúnlaUNESCO,sólo34%depaísesteníanporlomenosunaevaluaciónnacionalen2000;estohaaumentadoa69%en2013

•  Unproblemamayoresmedirlosresultadoscontraunestándarexterno–  Enlosmásde50paísesdeÁfrica,sólocuatro(Botsuana,Sudáfrica,

MarruecosyGhana)hanpar-cipadoengrandesevaluacionesinternacionales,comoTIMSSoPIRLS,yningunoenPISA

–  Afortunadamente,existenimportantesevaluacionesregionales:SACMEQenelSuryelEstedeÁfrica,PASECenlafrancófonaÁfricadelOeste,SERCEenAméricaLa-na

12

Perolasevaluacionesregionalesaúndejandosgrandeslagunasdeconocimientos

1.Muchospaísesno-enenlacoberturadeningunaevaluaciónregionalointernacional•  Áfricacuentaconalrededorde20paísesenesta

situación;haymuchostambiénenAsia•  Porlotanto,losplanificadoreseduca-vosyelpúblico

no-enenideadelacalidaddelaeducaciónqueproporcionaelsistemaescolar

•  Enpotencia,laintroducciónPISAparaelDesarrollo(PISA-D)puedellenarestalaguna

2.Inclusopaísesquesípar-cipanenevaluacionesregionalsiguendesconociendocómosecomparalacalidaddesueducaciónconelrestodelmundo

13

Llenandounalagunadeconocimiento:lacalibracióndelascalificacionesentretodaslasevaluacionesinternacionales•  Actualmente,laúnicamaneradeevitarestoesusando

coincidenciasentrepaísesquepar-cipanendis-ntasevaluacionesinternacionalesparaconver-reldesempeñoenunamedicióncomún–  Muynecesario,peroimperfecto–  Variosintentos(Gustafsson2012,2014;Hanushek&Woessmann2008,2009;Hanushek&Zhang2009)proporcionanes-macionesdediferenciasenlacalidadeduca-vaentrepaíses

–  LaFigure5muestracalificacionesenunamediciónPISAcomúnconrespectoalPIBpercápita•  Entérminosgenerales,unPIBpercápitamásaltoseasociaconunmejordesempeñoeduca-vo

•  Méxicoseencuentraunpocopordebajodelalínea,i.e.sucalificaciónPISAesalgopeordeloqueesperaríaunoconbaseenelestatuseconómicodelpaís

•  Lacalidadeduca-vadeSudáfricaseencuentrainclusomuchomásabajodelasexpecta-vas

•  Keniasedesempeñamuyporencimadelaexpecta-vas

14

DesempeñodepaísesenevaluacioneseducaKvasinternacionalesenmediciónPISAporPIBpercápita(PPP$),alrededorde2011

15

BrazilKenyaMexico

Peru

South Africa

Uruguay

200

300

400

500

600

PISA

-metr

ic sc

ore

6 8 10 12Log of GDP per capita, 2011 PPP$

Education quality by level of development

CombinacióndemedicionesdelogroscogniKvosconmedicionesdecoberturaparaobtenerunavisiónmás

completaSinembargo,estonoreflejaladiferenciacompletaentrepaísesdesarrolladosypaísesendesarrollo•  Lamayoríadelosniñosenpaísesdesarrolladosestánenlaescuela,peroenlospaísesendesarrollo,muchosestánfuera

•  Ejemplo:PISAcalificaaniñosde15añosqueestánenlaescuelayporlomenosenelgrado7–  Así,91%delosniñosjaponeseshacenlaprueba,perosólo63%delosmexicanos•  másdeunterciodelosniñosmexicanosde15añosdeedadnohanllegadoalgrado7(porquealgunosjamásiniciaronlaescuela,algunosdesertaron,yalgunostalveznoalcanzaronelGrade7debidoarepe-cionesfrecuentesyporhaberingresadotardealaescuela)

–  EnTurquíasólo68%delosniñosde15añoshicieronlaprueba,enVietnamsólo56%

16

IlustracióndelefectodecombinarmedicionescualitaKvasycuanKtaKvas

LafiguramuestraparatodoslospaísesenPISAlaproporcióndetodoslosjóvenesde15añosdeedadquehanalcanzadolahabilidadbásicaenmatemá-cas

Talhabilidad,elnivel2enPISA,esmuybásica:“EnelNivel2losestudiantespuedeninterpretaryreconocersituacionesencontextosquenorequieranmásqueunainferenciadirecta.Puedenextraerinformaciónrelevantedeunasolafuenteyhacerusodeunsolomodofigura-vo.Losestudiantesenestenivelpuedenemplearalgoritmos,formulas,procedimientosoconvencionesbásicaspararesolverproblemasconnúmerosenteros.Soncapacesdehacerinterpretacionesliteralesdelosresultados(OCDE2014a:297).

17

IlustracióndelefectodecombinarmedicionescualitaKvasycuanKtaKvas(conKnúa)

Juntandoalos“noexitosos”(abajodelnivel2)yelÍndicedeCobertura3nosdalosdatosparalasiguientefiguraÉstamuestramejorlasgrandesdiferenciasentrelospaísesmásdesarrolladosylospocospaísesendesarrollodentrodePISA•  Delos65paísespar-cipantes,en7másde80%delosquinceañerosse

desempeñaronenelnivelbásicooporencima,yenotros16lolograronmásdel70%

•  Porlotanto,grandesproporcionesdejóvenesde15años,inclusoenmuchospaísesdesarrolladosdelaOCDE,seestándesempeñandopordebajodeunnivelbásicoenmatemá-cas

•  Lapresunciónimplícitaesquelosjóvenesde15añosquenoestánenlaescuelaenelgrado7omássedesempeñanpordebajodelnivel2

•  Doscolegas(véanseSpaull&Taylor2015yTaylorandSpaull2015)hanemprendidounanálisismásrefinadodeeste-poparaSACMEQ

18

DesempeñoPISAenmatemáKcasentrepaíses,2012:%conhabilidadbásica(nivel2omás),abajodenivelbásico,yquenohaalcanzadoel

grado7

19

29%

34%

37%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Singap

ore

Nethe

rland

sFinlan

dEstonia

Japa

nKo

rea

Switzerland

German

yCh

ineseTaipei

Belgium

HongKon

g,China

Poland

Shan

ghai-China

Denm

ark

Ireland

Sloven

iaIcelan

dUnitedKingdo

mMacao

-China

Cana

daAu

stria

Norway

RussianFede

ratio

nAu

stralia

Fran

ceNew

Zealand

Latvia

Swed

enSpain

CzechRe

public

Portugal

UnitedStates

SlovakRep

ublic

Croa

tiaIta

lyLiechten

stein

Luxembo

urg

Lithua

nia

Israel

Hungary

Roman

iaCyprus

Greece

Serbia

VietNam

UnitedArab

Emira

tes

Kazakh

stan

Bulgaria

Chile

Turkey

Mon

tene

gro

Malaysia

Thailand

Uruguay

Tunisia

Qatar

Mexico

Jordan

Argentina

Brazil

Alba

nia

CostaRica

Peru

Colombia

Indo

nesia

Basicnumeracy Belowbasicnumeracy Havenotreachedhighschool

Unproblemamás:desigualdaddentrodepaíses(“gradientessociales”)

Dentrodelamayoríadelospaísesendesarrollohaypronunciadasgradientessocialesenresultadosdeaprendizaje(i.e.losniñosconantecedentesdeestatussocioeconómicomásaltosedesempeñanmuchomejorquelosniñosmáspobres)–  Sólounpequeñosegmentodelapoblaciónob-eneunaeducaciónde

calidad–  Enmuchasevaluacioneseduca-vasinternacionales,seob-eneuna

medicióndeestatussocioeconómico(ESE)basadaenlosbienesdentrodelhogar

•  AsociaciónentreESEyresultadoeduca-voconocidocomogradientesocial

•  Sudáfrica-eneunagradientesocialpronunciada,quereflejasulegadodedesigualdad:–  lasescuelasconalumnosdeESEmásaltosedesempeñaronmucho

mejorqueaquellasconniñospobres–  lasgradientesseencuentranentodoelmundo,peroraraveztan

pronunciadascomoenSudáfrica

20

GradientesocialenSudáfricaenSACMEQIII:calificaciónenmatemáKcasdeescuelasporESEpromediodelosalumnos

21

400

500

600

700

800

Maths

Sco

re

-1 0 1 2 3School SES

South Africa Individual SA schools

Individual schools and SA trendlineMaths Score and School SES

Haciendocomparableslasgradientessociales

•  Kotzé(2016)tratadeaumentarlacomparabilidadinternacionalentrepaísesyencuestasparaSACMEQySERCE–  Usaclasificacionesderiquezadeevaluacionesinternacionalescombinadasconlasclasificacionesdeconsumopercápitadeencuestasdehogares

–  CompensaelquealgunosniñosnoesténenlaescuelaenelGrado6otorgándolesunacalificaciónbaja

•  Estolepermitetrazargradientessocialesconelregistrodeconsumopercápitaenelejehorizontal

•  U-lizandolasmedicionesPISAdeGustafsson(2012,2014)logróconver-rlascalificacionesentreSACMEQySERCE

•  Obtuvodosgráficasinteresantesdeestosdatosquemuestranseispaísesconmenordesempeñoyseisconmayor

22

Haciendocomparableslasgradientessociales(conKnúa)

LafiguradedesempeñomásbajomuestraqueMozambique,unodelospaísesmáspobresdelmundo,sedesempeñamejorentreestosseispaísesentodoslosnivelesdeconsumopercápita

Comohaypocaspersonasricasenestepaís,lagráficanoseex-endemuchohacialaderecha

Abajodelasdoslíneasdepobreza($2dólaresporpersonaaldía$3.10dólaresporpersonaaldía),Sudáfrica-enepeordesempeñoqueUgandaylaRepúblicaDominicana

perolamuypronunciadagradientesocialdeSudáfricasignificaqueeldesempeñodelossudafricanosmásricosesmejorqueeldelosniñosdehogaresmásacaudaladosenotrospaísesquesemuestranaquí.

23

Haciendocomparableslasgradientessociales(conKnúa)

Entrelos6quesedesempeñanmejor,MéxicoyArgen-na-eneneldesempeñomásbajoentrelosniñospobres

peroestedéficitsereduceengranmedidaentrelosniñosdehogaresmásricos

Keniasedesempeñademaneraexcelente:•  apenaspordebajodeCostaRicaentrelospobres•  sindudaelmejorentrelosniñosdehogaresmásricos

24

Gradientesocioeconómico6para6paísesdedesempeñomásdébilyseisdemejordesempeñoenSACMEQySERCE

25

250

300

350

400

450

500

Nume

racyS

core

4 6 8 10LogofConsumptionperCapita

Mozambique UgandaSouthAfrica NamibiaR.Dominica Malawi

Gradientesocioeconómico6para6paísesdedesempeñomásdébilyseisdemejordesempeñoenSACMEQySER

26

250

300

350

400

450

500

Nume

racy S

core

4 6 8 10Log of Consumption per Capita

Uruguay Costa RicaChile MexicoArgentina Kenya

Conclusion:elreto

CómomejorarlacalidaddelaeducaciónparaniñospobresenpaísesendesarrollosiguesiendounaimportanteasignaturapendienteLasrestriccionesderecursosquizáavecesjueganunpapel•  perolaspolí-castambiéndebenasegurarunusomáseficientedelosrecursos

des-nadosaescuelasquea-endenalospobresElusoeficienteydirigidoderecursosypolí-casrequieredeinformación:

sobreeldesempeñodelsistema,desigualdades,avancesyestancamientoEstohacenecesariosprocesosderecoleccióndedatosydeinterpretacióndeampliosalcancesLasevaluacionesinternacionalesyajueganunpapelimportante,pero:•  hayqueextenderlasamáspaíses•  debenfundamentarsemejoryhacersemáscomparables•  hayquedesmi-ficarlas

Enmuchospaísesendesarrollo,laescasezdeevaluacionesinternacionaleseselenemigodelprogresoeduca-vo

27