Evaluaciones del Sistema Educativo Carmen Maestro
XXVII Congreso de la Asociación Nacional de Inspectores de Educación.
Palma de Mallorca Mayo, 2006
1. Importancia de la evaluación externa.
2. Las evaluaciones en España:
Nacionales
Internacionales
Diagnóstico
3. Resultados españoles en perspectiva
Índice:
Un sistema educativo con autonomía territorial y de centros
EXIGE
Definición coordinada
de objetivos(Estado, CCAA,
centros
Recursos suficientes Evaluación de
los procesos y los resultados
Corresponsabilidad y compromiso de
todos
Evaluar ¿para qué?
Conocer el grado de cumplimiento de los objetivos
Diagnóstico de los aprendizajes en relación con los
contextos socioeconómico y
cultural de ls alumnos
Rendir cuentas a familias, sociedad,
Parlamento
Diagnóstico de las políticas educativas
Toma de decisiones de mejora de la
educación
Mejorar resultados:
éxito de todos
• Los alumnos puedan recibir un apoyo más eficaz• El profesorado y los centros tengan referencias
externas de su trabajo y sus resultados.• Las familias conozcan mejor los logros y dificultades del
aprendizaje de sus hijos• La sociedad adquiera el conocimiento indispensable
para promover el compromiso con la educación• Las políticas educativas estén sustentadas en una
información seria y sistemática.
La evaluación como instrumento de información para que:
– Los indicadores dan información cuantitativa sobre la realidad educativa
– Las evaluaciones externas permiten hacer visibles los resultados de las políticas y los procesos de enseñanza y aprendizaje.
Rendir cuentas = responsabilidad
Dos lógicas posibles:
Rendición de cuentas a la sociedad:
Lógica de enfrentamiento
Lógica de colaboración
• El profesor: responsabiliza al alumno (no estudia), a la familia (no apoya) y a las autoridades educativas (no facilitan medios).
• La familia: responsabiliza al docente, a los centros y a la Administración.
• Las autoridades educativas: responsabilizan a docentes, centros y familias.
• Los partidos políticos se culpan entre sí.
Lógica de enfrentamiento:
RESULTADO: Guerra de “todos contra todos”. Los protagonistas se desligan de su responsabilidad y la atribuyen a otros. Los sistemas no cambian ni mejoran.
• Los centros y los docentes buscan las mejores estrategias de enseñanza-aprendizaje, formación y actualización permanente.
• Las familias se implican y apoyan la labor de docentes y centros.• Los alumnos realizan el esfuerzo ineludible que requiere el
aprender.• La sociedad valora la educación y a sus profesionales
(consideración social y prioridad económica).• El poder político facilita un marco legal eficaz y los recursos
necesarios.• Las autoridades rinden cuentas, corrigen las políticas y ofrecen
compromiso, competencia técnica, apoyo y confianza a los centros y al profesorado.
Lógica de colaboración:
RESULTADO: Transparencia del sistema educativo. Identificación de puntos débiles y de propuestas de mejora. Estrategias de colaboración y cambio.
• Evaluaciones nacionales
• Evaluaciones internacionales
• Sistema estatal de indicadores de la educación
Las evaluaciones en España
CCAA
LGE CENIDE (1969)
INCIE(1974)
CIDE (1983)
LOGSE
INCE (1993) Evaluación de primaria
1995: sexto EGB
1995-1999-2003: sexto de primaria
La evaluación en España
Evaluación de secundaria
1997: diagnóstico
2000: cuarto de ESO
Evaluación de centros: EVA
Evaluación de primaria 2007
Evaluación de infantil 2008
Evaluaciones internacionales
Desde los años 60 (Siglo XX):• IEA:
– 1964 FIMS (Primer estudio internacional, matemáticas)– 1982 SIMS (Segundo estudio internacional, matemáticas)– 1991 RLS (Comprensión lectora)– 1995, 2003 TIMSS (Tercer estudio internacional, matemáticas)– 2006 PIRLS
• IAEP, ETS: 1988, 1991 (Estudio internacional, matemáticas y ciencias)
Desde 1994:• OCDE: irrupción en la evaluación internacional
– 2000, 2003 PISA (Programa internacional de evaluación de los estudiantes: comprensión lectora, matemáticas y ciencias)
– 2006
• PIRLS 2006 (IEA):– Sobre compresión lectora ( 9 años)– Prueba piloto 2005– Aplicación abril 2006
• PISA 2006 (OCDE):– Materia principal ciencias– Prueba piloto 2005– Aplicación mayo 2006
Participación española actual en las evaluaciones internacionales
• Unión Europea:– Indicadores y benchmarcks 2010– Banco de Items en lengua inglesa y francesa (2006)– Aprender a aprender (2007)– Modelo de evaluación de la educación infantil
• OCDE:– Liderazgo en los centros (2007)– Educación no formal e informal (2006)
Participación española actual en estudios internacionales
Evaluaciones generales de diagnóstico
Ley Orgánica de Educación 20 de abril de 2006
¿BOE 4 de mayo?
• Pruebas en 4º de Primaria y 2º de la E.S.O.
• Finalidad: conocer en qué medida están siendo alcanzadas las
competencias fijadas en el currículo
• Se tendrán en cuenta los contextos socioeconómicos y culturales
de alumnos, familias y centros.
• Objetivo para el Estado y las AAEE: evaluar el sistema y las
políticas educativas.
• Objetivo para los centros: detectar necesidades de refuerzo del
alumnado y valorar la eficacia de sus decisiones y actuaciones y
proponer medidas de mejora.
Evaluaciones de diagnóstico:
• Finalidad compartida por todos los implicados
• Preocupación por la mejora de la práctica profesional
• Coordinación entre CC.AA. y Ministerio
• Evaluación formativa y orientadora para los centros.
• Confidencialidad. • Informes a las familias
(censal)y al sociedad (muestral)
• Evaluación centrada en competencias básicas y niveles de rendimiento.
• Evaluación sensible a la complejidad del proceso de enseñanza-aprendizaje
• Atender no sólo a resultados, sino a causas que los explican. Contextos
• Compromiso de mejora a partir de los resultados (centros, administraciones)
• Metaevaluación: evaluar la propia evaluación
Principios de la la Evaluación General de Diagnóstico:
ÁREAS COMPETENCIAS BÁSICAS
Desde los contenidos de las distintas
áreas se trabajan las
competencias básicas
L. extranjera
E. plástica y v.
E. ciudadanía
Música
Lengua c. y l.
C. sociales
E. física
C. naturalezaComunicación lingüística
Matemática
Conocimiento e interacción con el mundo físico
Información y competencia digital
Social y ciudadana
Cultural y artística
Aprender a aprender
Iniciativa personal
Tecnologías…
Las evaluaciones internacionales: PISA
Poderoso instrumento para conocer el funcionamiento del sistema educativo
en comparación con los de otros países
Media E.T. S. Media E.T. S.
1 Hong Kong-China* 550 (4,5) ^ 21 Eslovaquia 498 (3,3) -
2 Finlandia 544 (1,9) ^ 22 Noruega 495 (2,4) -
3 Corea 542 (3,2) ^ Cataluña 494 (4,7) -
4 Holanda 538 (3,1) ^ 23 Luxemburgo 493 (1,0) -
5 Liechtenstein* 536 (4,1) ^ 24 Polonia 490 (2,5) -
6 Japón 534 (4,0) ^ 25 Hungría 490 (2,8) -
7 Canadá 532 (1,8) ^ 26 España 485 (2,4) -
8 Bélgica 529 (2,3) ^ 27 Letonia* 483 (3,7) -
9 Macao-China* 527 (2,9) ^ 28 Estados Unidos 483 (2,9) -
10 Suiza 527 (3,4) ^ 29 Rusia* 468 (4,2) v
11 Australia 524 (2,1) ^ 30 Portugal 466 (3,4) v
12 Nueva Zelanda 523 (2,3) ^ 31 Italia 466 (3,1) v
13 República Checa 516 (3,5) ^ 32 Grecia 445 (3,9) v
14 Islandia 515 (1,4) ^ 33 Serbia* 437 (3,8) v
15 Dinamarca 514 (2,7) ^ 34 Turquía 423 (6,7) v
16 Francia 511 (2,5) ^ 35 Uruguay* 422 (3,3) v
17 Suecia 509 (2,6) ^ 36 Tailandia* 417 (3,0) v
18 Austria 506 (3,3) ^ 37 México 385 (3,6) v
Castilla y León 503 (4,0) ^ 38 Indonesia* 360 (3,9) v
19 Alemania 503 (3,3) ^ 39 Túnez* 359 (2,5) v
20 Irlanda 503 (2,4) ^ 40 Brasil* 356 (4,8) v
País Vasco 502 (2,8) ^ Promedio OCDE 500 (0,6)
E.T. Error típico
S. Significatividad de la diferencia con España ^ más alta
v más baja
Los países con asterisco no son miembros de la OCDE
Matemáticas
Resultados españoles:
• Por debajo de la media y de países como Francia y Alemania
• A la altura de Noruega y Estados Unidos
• Por encima de Italia
Grecia y Portugal
Resultados PISA en matemáticas
300
350
400
450
500
550
600
Hon
g Ko
ng-C
hina
*Fi
nlan
dia
Cor
eaH
olan
daLi
echt
enst
ein*
Japó
nC
anad
áBé
lgic
aM
acao
-Chi
na*
Suiz
aAu
stra
liaN
ueva
Zel
anda
Rep
úblic
a C
heca
Isla
ndia
Din
amar
caFr
anci
aSu
ecia
Aust
riaC
astill
a y
León
Alem
ania
Irlan
daPa
ís V
asco
Eslo
vaqu
iaN
orue
gaC
atal
uña
Luxe
mbu
rgo
Polo
nia
Hun
gría
Espa
ñaLe
toni
a*Es
tado
s U
nido
sR
usia
*Po
rtuga
lIta
liaG
reci
aSe
rbia
*Tu
rquí
aU
rugu
ay*
Taila
ndia
*M
éxic
oIn
done
sia*
Túne
z*Br
asil*
Hong Kong: 550
Media OCDE :500
España :485
1 2 3
Resultados en matemáticas
0
5
10
15
20
25
30
<0 1 2 3 4 5 6
Niveles de competencia
Po
rce
nta
jes
España
Finlandia
0
5
10
15
20
25
30
<0 1 2 3 4 5 6
Niveles de competencia
Por
cent
ajes
España
Finlandia
Situación real Situación figurada: (se realiza una traslación a la derecha equivalente a un nivel)
Porcentajes por niveles de competencia: comparación con Finlandia
Diferencia de los centros privados frente a los públicos
32
26
10
10
20
30
40
sin detracción detracción del nivel socio-económico y cultural del alumno
detracción adicional del nivelsocio-económico y cultural
promedio del centro
Si se detrae el efecto del nivel
socio-económico y cultural de
estudiantes y centros,
los resultados son muy parecidos
Diferencias por titularidad de los centros
HolandaBélgicaPaís VascoIrlandaCoreaCataluñaCastilla y LeónEspañaJapónDinamarcaLuxemburgoMéxicoEslovaquiaHungríaAustriaAlemaniaRep. ChecaFinlandiaPortugalCanadáEstados UnidosSuizaNueva ZelandaSueciaItaliaGreciaTurquíaNoruegaPoloniaIslandia
Promedio OCDE
77%
68%
60%
58%
58%
48%
42%
38%
27%
22%
14%
13%
13%
11%
8%
8%
7%
7%
6%
6%
6%
5%
5%
4%
4%
3%
1%
1%
1%
0%
20%
Porcentaje de estudiantes que asisten a centros privados en
países de la OCDE
Proporción pública /privada:
El sistema educativo español
produce una buena tasa de equidad, pero
resultados pobres
Brasil
Uruguay
Finlandia
España
Canadá
País VascoIrlanda
Castilla y León
Cataluña
CoreaHolanda
Turquía
México
Grecia
Italia
Bélgica
Alemania OCDE
EEUU
Portugal
Hungría
IslandiaAustralia
Japón
350
400
450
500
550
600
650
151617181920212223242526272829
Coeficiente de variación en Matemáticas
Pun
tuac
ión
med
ia e
n M
atem
átic
as
M ayor equidad
Ma
yo
r e
xc
ele
nc
ia
Relación entre resultados en matemáticas y equidad:
350
400
450
500
550
600
0 10.000 20.000 30.000 40.000 50.000 60.000 70.000 80.000 90.000 100.000
Mexico
Greece
Portugal Italy
Spain
GermanyAustria
Ireland
United States
Norway
Korea
Czech republic
Slovak republicPoland
Hungary
Finland
NetherlandsCanada Switzerland
IcelandDenmark
FranceSweden
BelgiumAustralia
Japan
R2 = 0.28
Gasto acumulado (US$)
Resu
ltad
os
en
Mate
máti
cas
Gasto por estudiante y resultados:
Resultados en matemáticas en relación con el nivel socioeconómico y cultural:
300
400
500
600
-1,5 -1,0 -0,5 0,0 0,5 1,0
Indice PISA de estatus socio-económico y cultural
Pun
tuac
ión
en M
atem
átic
as
España
Portugal
Uruguay
Serbia y M.
Grecia
Italia
Islandia
Noruega
Canadá
FinlandiaHong-Kong
Macao
Corea
Japón
Suiza
Francia
Polonia
Tailandia Turquía
México
BrasilIndonesiaTúnez
Letonia Estados Unidos
Luxemburgo
Suecia
Holanda
Alemania
Los resultados obtenidos por España superan ligeramente a los esperados en un país con
nuestro nivelsocioeconómico y cultural
471
489
514
458
508
532
400 500 600
Estudiosobligatorios
Bachillerato
Universidad
OCDE
España
Resultados en función del mayor nivel educativo alcanzado por las madres
Influencia del entorno socioeconómico y cultural en los resultados:
573 Profesor de universidad 549 Profesora de secundaria
551 Ingeniero 547 Profesora de universidad
551 Oficinista 546 Maestra de preescolar
549 Profesor de secundaria 543 Farmacéutica
540 Arquitecto 543 Médico
537 Militar (Suboficial) 531 Oficinista
532 Médico 530 Maestra primaria
529 Militar (Oficial) 530 Maestra educación especial
527 Maestro de primaria 524 Contable
526 Abogado 520 Ayudante Técnico Sanitario· · · ·· · · ·· · · ·
462 Zapatero 465 Cocinera
458 Mecánico 463 Limpiadora
457 Peón 460 Zapatera
454 Cocinero 460 No sé
454 Carpintero 453 Obrera de la industria
452 Marinero 453 Agricultora cualificada
447 Empleado de limpieza 453 Directora de ventas
443 Pintor 452 Servicio doméstico
437 Albañil 442 Panadera
428 Trabajador no cualificado 429 Labradora
Padres Madres
Resultadospor profesionesde los padres
Repetición de curso: ninguno
100
200
300
400
500
600
700
800
-4 -3 -2 -1 0 1 2 3
Índice socio-económ ico y cultural
Pu
ntu
ació
n e
n M
atem
átic
as
100
200
300
400
500
600
700
800
-4 -3 -2 -1 0 1 2 3
Índice socio-económ ico y cultural
Pu
ntu
ació
n e
n M
atem
átic
as
Repetición de curso: uno
100
200
300
400
500
600
700
800
-4 -3 -2 -1 0 1 2 3
Índice socio-económ ico y cultural
Pu
ntu
ació
n e
n M
atem
átic
as
Repetición de curso: dos
Resultados en función de la repetición de curso:
512
433
391
355
300
350
400
450
500
550
No Sólo enSecundaria
Sólo enPrimaria
En Primaria yen
Secundaria
Influencia de la historia académica
Resultados según los estudiantes hayan cursado educación infantil:
458
491
450
500
550
Un año omenos
Más de un año
Influencia de la historia académica
Los centros eficaces (PISA)
Dan respuesta a un alumnado cada vez más
diverso
Predisponen al alumnado al
esfuerzo, a la disciplina y a disfrutar en el aprendizaje
Buenas relaciones: profesor / alumno
Tienen altas expectativas para todos
sus alumnos
Los resultados españoles en perspectiva
¿de dónde venimos?
Política educativa desde 1970: más y mejor educación
1970. Educación y desarrollo económicoEscolarización de 6 a 14 años:
1990. La educación como derecho.
1991. Equidad y calidad• Escolarización de 6 a 16 años • Equidad: educación para todos• Educación de calidad.
Preocupación por los resultados:Indicadores educativos y evaluaciones internacionales: IEA, OCDE, UE.
2000. Los objetivos educativos europeos.
Los indicadores educativos en el siglo XIX y la primera mitad del XX. Escolarización y alfabetización
AÑO Tasa escolarización
5-14 años
Tasa alfabetización
1860 < 25% < 30%
1910 36.2 49.7
1940 54.7 76.8
1970 76.2 91.2
1980 100.0 93.6
Los resultados españoles en perspectiva:
Grupos de edad 25-34 35-44 45-54 55-64
España 60 48 33 19
Media OCDE 75 70 62 51
Población que ha completado al menos la educación secundaria superior (bach + FP) %
(Indicadores OCDE 2003)
Aumento del periodo de escolarización
España Media OCDE
Enseñanza formal recibida por la población de 25 a 64 años (2003)
10,5 12,0
Esperanza de escolarización (en años) (2001) 17,3 16,9
La formación de los ocupados
2000 2001 2002 2003 2004
Analfabetos 0,5 0,5 0,4 0,4 0,4
Estudios primarios 25,2 23,5 22,2 20,4 18,9
Estudios secundarios 46,5 47,4 48,1 49,5 49,9
Estudios universitarios 27,8 28,7 29,3 29,7 30,8
Gasto público en educación en porcentaje del PIB
1970 1975 1980 1985 1990 1995 2000 2004
España 1.7 1.8 2.5 3.7 4.4 4.7 4.4 4.4
Media UE 5.1 5.4 5.4 5.3 5.6 5.0
Media OCDE 5.2 5.6 5.5 5.3 5.4 4.8
– Competencias clave (PISA): mejorar resultados (<15% / >25%).
– Titulados en secundaria postobligatoria: 80-85%.
– Graduados en matemáticas ciencias y tecnología (en el objetivo).
– Abandono escolar prematuro: <10%.
– Porcentaje de adultos que participa en formación: 12%.
– Gasto público en educación igual a la media de la Unión Europea.
El éxito de todos los alumnos como objetivo: puntos de referencia europeos
Compromisos de toda la sociedad
Esfuerzo inversorEsfuerzo inversor
Apoyo al profesorado
Apoyo al profesorado
El éxito de todos los alumnosEl éxito de todos los alumnos
AutonomíaAutonomíaEvaluaciónEvaluación
Gráficos puntos de referencia 2010
COMPETENCIAS CLAVE (UE)
Gráfico 5: Porcentaje de alumnos de 15 años en cada nivel de competencia en la escala de Matemáticas de Pisa 2003 .
Punto de referencia España Fecha Dato 2012 12 años C. lectora Matemáticas Inglés
2003 2003 2003
2501
2501
2501
2571
2571
2571
Promedio
15 años C. lectora Matemáticas
2003 2003
21,1%2
23,0%2
?16,0%2
?17,0%2
Niveles
inferiores C. lectora Matemáticas
2003 2003
23,2%3
25,6%3 29,0%3
32,0%3 Niveles
Superiores Inglés 2001 2504 2574 Promedio
9 6 7 5 81 6
18
513
7 311
6
1213 9 11
15
5
11
21
12
19
14
8
19
12
19 2216 21
25
16
20
26
24
25
23
18
27
22
23 25
20
26
27
28
26
20
28
23
26
23
24
25
21 20
21
22
18
26
22
11
20
13
19
23
13
20
12 11
17
127
1712
39 5 8
18
5
12
4 4 9 4 1 7 3 1 2 2 2 71 4
0
10
20
30
40
50
60
70
80
90
100
Aleman
ia
Austri
a
Dinam
arca
Finlan
dia
Franc
ia
Gre
cia
Irlan
daIta
lia
Luxe
mbu
rgo
Paises
Bajo
s
Portu
gal
Suecia
Nivel <1 Nivel 1 Nivel 2 Nivel 3 Nivel 4 Nivel 5 Nivel 6
ABANDONO ESCOLAR PREMATURO (UE)
Fecha Dato Anual 2010 UE (25) UE (15)
2004 2004
15,9 18,0
10%
España 2004 30,4
Porcentaje de población de 18 a 24 años que ha completado como máximo la primera etapa de educación secundaria (CINE 2) y no sigue ningún estudio o formación. Unión Europea. Año 2004
.
18,0
15,9
30,4
0
20
40
60
UE
(25)
UE
(15)
Ale
man
ia (1
)A
ustri
a
Chi
pre
Din
amar
caE
slov
enia
(2)
Est
onia
Finl
andi
aFr
anci
aG
reci
a (1
)
Irlan
da (1
)Ita
lia (1
)Le
toni
aLi
tuan
iaM
alta
Pol
onia
Por
tuga
lR
. Che
caR
. Esl
ovac
aR
eino
Uni
do (1
)S
ueci
a
%
TITULADOS EN EDUCACIÓN SECUNDARIA SEGUNDA ETAPA (UE)
Porcentaje de población de 20 a 24 años que al menos ha alcanzado el nivel de la segunda etapa de educación secundaria (CINE 3). Unión Europea. Año 2004
76,4
73,5
62,5
0
20
40
60
80
100
UE (25)
(1)
UE (15)
(1)
Aleman
ia(1)
Austri
a
Chipre
Dinam
arca
Eslove
nia
Eston
ia
Finlan
dia
Franc
ia
Gre
cia(1
)
Irlan
da(1
)
Italia
(1)
Leto
nia
Litua
niaM
alta
Polonia
Portu
gal
R. Che
ca
R.Eslo
vaca
Reino
Unido
Suecia
Fecha Dato Anual 2010UE (25) 2004 76,4% 85%España 2004 62,5% 3% 80%
PARTICIPACIÓN EN EL APRENDIZAJE PERMANENTE (UE)
Porcentaje de población de 25 a 64 años que participa en una acción de educación o formación en las cuatro semanas previas a la encuesta. Unión Europea. Año 2004
Fecha Dato Anual 2010UE(25)UE (15)
20042004
9,4%10,1% 12,5%
España 2004 5,2% 1% ?11%
10,19,4
5,2
0
5
10
15
20
25
30
35
40
UE (25)
UE (15)
Aleman
ia
Austri
a
Chipre
Dinam
arca
Eslove
nia
Eston
ia
Finlan
dia
Franc
ia
Gre
cia
Irlan
daIta
lia
Leto
nia
Litua
nia
Luxe
mbu
rgoM
alta
Polonia
Portu
gal
R. Che
ca
R. Eslo
vaca
Reino
Unido
Suecia
%
Top Related