Metodología de Construcción Indicadores Puntaje Simce y Progreso Simcediciembre 2016

AntecedentesElpuntajeSimceysuprogresoenlosúltimosañospermitenalosestablecimientosconocereldesempeñodesusestudiantes,yvercómohanvariadosusresultados.

ParaelprocesodeCategoríadeDesempeñoseconstruyeunindicadordePuntajeSimce,yotrodeProgresoSimce,quepuedenvariarentre0y100puntos.Enesteapartadosedescribelaconstruccióndeambos.

¿CómosecalculaelindicadorPuntajeSimce?ElindicadorPuntajeSimcetransformaelpuntajeSimcedelestablecimientoenunpuntajequevade0a100,paraquepuedaserutilizadoenlaCategoríadeDesempeño.Paraestoseutilizaunprocesodeestandarizaciónqueserádescritomásabajo.ElindicadorPuntajeSimceseelaboraentresetapas.Primero,seestandarizanlosresultadosdelospuntajesindividualesdelosestudiantesdelestablecimiento.Segundo,sereescalanlospuntajesde0a100.Porúltimo,secalculaelpromedioporestablecimiento.Elindicadorsecomputaparacadapruebayparacadagradoporseparado.

1) Estandarizacióndelosresultadosdelospuntajesindividuales

ParaestandarizarlospuntajesSimcedelosestudiantes,serestaalPuntajeSimcedecadaunolamedianacionaldelaasignatura,ysedivideporladesviaciónestándarnacionaldelamisma.

Puntaje estudiante estandarizado =Puntaje estudiante−media

desviación estándar

Lasmediasylasdesviacionesestándaresutilizadasenesteprocedimientocumplencontresrequisitos:

• Secomputanunasolavez.LamediaydesviaciónestándarqueseutilizansonlascalculadasporlaAgenciadeCalidaddelaEducaciónenlaprimeraCategoríadeDesempeñoenrégimen.Estassereutilizanenañosposteriores.Enelcasodeeducación básica esto corresponde a la Categoría de Desempeño de básicapublicadaelaño2016.

• Consideranvariosaños.Paracadaasignaturaycadagrado, lospromediosydesviaciones estándares toman en cuenta las tres últimas mediciones depruebas anuales y las últimas dos de pruebas que se rinden cada dos años omás.

• Se utilizan medias ponderadas y desviaciones estándares ponderadas.

Tantoenelcálculode lamediacomoenelde ladesviaciónestándar, losañosmásrecientespesanmásquelosmenosrecientes.

ElobjetivodelaestandarizacióneslograrquetodoslospuntajesSimceesténenlamismaescala.CaberecordarquenosepuedenpromediarpuntajesSimcededistintosgradosoasignaturassinpasarantesporunprocedimientodeestanaturaleza.

2) Reescalamientoalrango0a100

UnavezquesecuentaconpuntajesSimceindividualesestandarizados,sereescalanparaquevayande0a100puntos.Paraesto,acadapuntajesesuma2.5ysedividelasumapor5.Luegosemultiplicatodoelresultadopor1001.

Puntaje re− escalado =Puntaje estudiante estandarizado+ 2.5

5

3) Promedioporestablecimiento

Sepromedianlospuntajesreescalados,paraobtenerelindicadorPuntajeSimcedelestablecimientoencadaasignaturaygrado.

¿CómosecalculaelindicadorProgresoSimce?

ElindicadorProgresoSimcemidelaevolucióndelestablecimientoenlospuntajesSimce.EstesecalculaenbasealatrayectoriadelosresultadosdelaspruebasdeLecturayMatemáticayconsideratantoelcambiodelosresultadosentreperiodosconsecutivos,comosuevoluciónduranteunperíodomáslargo.

ElindicadorsecalculaencadaunodelosgradosquerindenlapruebaSimcedeLecturayMatemática,segúnel“progresoparcial”enlasúltimascuatromediciones1Estoesprácticamentelomismoqueelpuntajedelestudiantemenoselmínimoanivelnacional,divididoporladiferenciaentreelmáximomenoselmínimoanivelnacional,todomultiplicadopor100.

yel“delta”encadaasignatura.Luego,secomputaelProgresoSimceporasignatura.Finalmente,secalculaelProgresoSimceporgrado.

1)Cálculodelprogresoparcialyeldeltaencadaasignatura

ElindicadorProgresoSimceseconstruyeapartirdelprogresoparcialyeldelta.Acontinuación,seexplicaquésonycómoseconstruyen.

Cálculodelprogresoparcial

Elprogresoparcialeslasumadelpuntajeasignadoacadaunadelasvariacionesanuales,porloquedependedeellasydesupuntajeasignado.LasvariacionesanualessonladiferenciadelpromedioSimceendosevaluacionesconsecutivas.Unejemplodevariaciónanualseríalavariación2014-2015delectura4°básico.Acadavariaciónanualseleasignaunpuntajede-1,0o1dependiendodesumagnitud.LaasignacióndeestepuntajeseexplicaenlaTabla1.Paradefinirsielpuntajesube,bajaosemantiene,seconsideratantosielcambioesestadísticamentesignificativocomosumagnitud.Porejemplo,lavariación2014-2015deLectura4°básicodeunestablecimientopodríaserunaumentoimportantedepuntaje,loqueasignaríaelvalor1alavariación.

Porúltimo,unejemplodeprogresoparcialseríaeldeLecturaen4°básico.Caberecordarqueelprogresoparcialeslasumadelpuntajeasignadoacadaunadelasvariacionesanualesobservadas.SiseconsideranlasvariacionesdeLectura4°básico2012-2013,2013-2014y2014-2015,yentodasesasvariacioneselestablecimientosubiósupuntajedeacuerdoalaTabla1,entoncesacadavariaciónseleasignaríaelvalor1.ElprogresoparcialdeLectura4°básicoseríaiguala1+1+1=3.

Cálculodelta

EldeltaeselpuntajequeseleasignaaladiferenciaentreelpromedioSimcedelúltimoañoydelprimerañodelperíodo,consideradoenelindicadorProgresoSimceparalaasignatura.Eldeltapuedetomarlosvalores-1,0o1dependiendodelamagnituddeladiferenciadelPuntajeSimce.LaasignacióndeestepuntajeseexplicaapartirdelaTabla1.

Tabla1.Criteriosdeasignacióndepuntajesdevariaciónanualydelta(*)

Valoresasignados Criterios

-1Caso1:siexisteunadisminuciónestadísticamentesignificativadelpromedioyesmayora5.

Caso2:siladisminuciónesmayoroiguala30.

0Caso1:sinohayunadiferenciaestadísticamentesignificativaentrelospromediosyes,entérminosabsolutos,menora30.Caso2:siladiferenciaes,entérminosabsolutos,menora5.

1

Caso1:sihayunaumentoestadísticamentesignificativodelpromedioyesmayora5.

Caso2:sielaumentoesmayoroiguala30.

Nota(*):Enlatabla,sepresentanlospuntajesasociadosalosresultadosdecálculodevariaciónanualydelta.Paraelcálculodeambasmedidas,operandoscriterios;laeleccióndeunouotro,dependedelamagnituddelasdiferenciasinteranuales,enelcasodelcálculodevariaciónanual,ydelasdiferenciasdesituaciónfinaleinicial,enelcasodedelta.Silasdiferenciasdepuntajeseencuentranenelrangode5a30puntos(entérminosabsolutos),seusaelcriteriodediferenciasestadísticamentesignificativasdenominado“caso1”enlatabla(lafórmuladecálculodelasignificanciadelasdiferenciasseencuentradisponibleen:http://www.agenciaeducacion.cl/wp-content/uploads/2013/02/Calculo_de_Significancia_Estadistica.pdf).Sielresultadodevariaciónodedeltaestáfueradeesterangoderesultados(envalorabsoluto),seusaelcriteriode“caso2”definidoenlaTabla1.Enestesegundocaso,sedefinenvalorespositivosonegativosdelasmedidassegúnelrangodeloscambiosresultantes.

Elcálculodelasvariacionesanualesydeldeltanecesitalossiguientesrequisitos:

• Mínimodosalumnoscadaaño.ParaqueelpromedioSimcedelapruebadeunaasignatura en un año sea considerado, debe haber al menos dos alumnos delestablecimientoquerindieronlapruebadeesaasignatura.Sinosecumpleconesterequisito,esequivalenteaqueelestablecimientonohubieserendidoesapruebadelgradoparaefectosdeesteindicador.

• Sumadealumnosmayoraseis.Parapodercalcularlavariaciónanualoeldeltaesnecesarioque lasumade losalumnosquerindieron lapruebade laasignaturaenlosdos años considerados, tengaque ser igual o superior a seis, y que además secumpla la restricción anterior para cada uno de los dos años contemplados en lavariaciónanualoeldelta.

o Sinosecumpleesterequisitoparaunavariaciónanual,elestablecimientonotienepuntajeparaesavariación.

o Sinosecumpleesterequisitoparaeldelta2,seasignaunvalor“0”ysecalculalatendenciasegúnsusresultadosenelprogresoparcial.

2 Esposiblequeenunestablecimientohayadosalumnoselprimerañoydosalumnoselúltimoy,porlotanto,notenga

delta,yaunasípresentedosotresvariaciones,porquetienecuatroalumnosenlosañosintermedios.

2)DeterminacióndelProgresoSimceporprueba

LaTabla2establececómosedeterminasiunestablecimiento,dadossusvaloresenelprogresoparcialyeneldelta,seráclasificadoen“alza”,en“baja”osise“mantiene”enesaprueba.AestaclasificaciónseledenominaProgresoSimceporprueba.

Esnecesariorecordarqueelprogresoparcialcorrespondealasumadelasvariacionesanualesy,porlotanto,tomavaloresquevanentre-3y3(dadoqueseconsideran,comomáximo,tresvariaciones).

UnavezquesecomputaelprogresoparcialyeldeltadecadapruebaSimce,secomputalatendenciaparalaprueba.

Tabla2.CriteriosdeclasificacióndeProgresoSimceporprueba

Cantidaddevariaciones

Progresoparcial(sumadelasvariaciones)

Delta

-1 0* 1

3

-3 Baja - -

-2 Baja Baja Mantiene

-1 Baja Mantiene Mantiene

0 Mantiene Mantiene Mantiene

1 Mantiene Mantiene Alza

2 Mantiene Alza Alza

3 - - Alza

2

-2 Baja Baja Mantiene

-1 Baja Mantiene Mantiene

0 Mantiene Mantiene Mantiene

1 Mantiene Mantiene Alza

2 Mantiene Alza Alza

1 SinProgreso

0 SinProgresoNota(*):Sielestablecimientonotienevaloresparacalculareldelta,porquelasumadelosalumnosentreelañoinicialy

finalesinferioraseis,seasignaunvalor“0”ysecalculaelprogresosegúnsusresultadosenelprogresoparcial.

3)CálculodeProgresoSimce

Unavezquesedeterminasiesqueelestablecimientosubió,mantuvooempeorósusresultadosencadaprueba,seprocedeacomputarelindicadorProgresoSimceparaelgrado.EnlaTabla3sepresentalaregladedecisiónquepermitedeterminarsielestablecimientomejoró,mantuvooempeorósusresultadosenelgrado.LaTabla4muestracómoseasignaelpuntajealosresultadosdelestablecimiento.

Tabla3.RegladedecisiónparadeterminarProgresoSimce

RegladedecisiónparadeterminarelProgresoSimceporgrado

ProgresoenMatemática

Alza Baja Mantiene SinProgreso

ProgresoenLectura

Alza + = = +

Baja = - = -

Mantiene = = = =

Sintendencia + - = =

Tabla4.PuntajesProgresoSimce

Situacióndetendencia Puntajeasignado

+ 100

= 50

- 0

LaTabla5presentaunejemplodecómoseríaelcómputodelindicadorProgresoSimceparaunestablecimiento

Tabla5.EjemplofuncionamientoreglasdedecisiónyasignacióndepuntajeindicadorProgresoSimce

Lenguaje Matemática

2011-2012 1 12012-2013 1 02013-2014 0 -12014-2015 0 0a

Total(Progresoparcial) 2b 0

Conclusiónporasignatura Alzac Mantiene

Valordelindicador 50Notas: a 1+0-1+0=0

b 1+1+0+0=2c Total=2,3o4—>Alza

Total=-1,0o1—>MantieneTotal=-2,-3o-4—>Baja—>Comolatendenciaparciales2,setratadeunalza.

d Alzaenambos:100Bajaenambos:0Todaslasotrasopciones:50—>Comohayunalzayunmantiene,entoncesseasocia50.

600 600 2626, opción 7 @agenciaeducafacebook/Agenciaeducacioncontacto@agenciaeducacion.clwww.agenciaeducacion.cl