Post on 26-Mar-2020
PONENCIAS
Seminario Reflexiones sobre la eficiencia
de los sistemas educativos: el caso de Andalucía:
Peter DoltonJorge Calero
Javier Gil Flores
PN02/11
El Centro de Estudios Andaluces es una entidad de carácter científico y cultural, sin ánimo de lucro, adscrita a la Consejería de la Presidencia de la Junta de Andalucía. El objetivo esencial de esta institución es fomentar cuantitativa y cualitativamente una línea de estudios e investigaciones científicas que contribuyan a un más preciso y detallado conocimiento de Andalucía, y difundir sus resultados a través de varias líneas estratégicas. El Centro de Estudios Andaluces desea generar un marco estable de relaciones con la comunidad científica e intelectual y con movimientos culturales en Andalucía desde el que crear verdaderos canales de comunicación para dar cobertura a las inquietudes intelectuales y culturales. Ninguna parte ni la totalidad de este documento puede ser reproducida, grabada o transmitida en forma alguna ni por cualquier procedimiento, ya sea electrónico, mecánico, reprografito, magnética o cualquier otro, sin autorización previa y por escrito de la Fundación Pública Andaluza Centro de Estudios Andaluces. Las opiniones publicadas por los autores en esta colección son de su exclusiva responsabilidad © De los textos: sus autores. © 2011. Fundación Pública Andaluza Centro de Estudios Andaluces. Consejería de la Presidencia. Junta de Andalucía http://www.centrodeestudiosandaluces.es Prohibida su venta.
ÍNDICE
1 Reflexiones sobre el funcionamiento del sistema educativo
Peter Dolton
Catedrático de Economía en Royal Holloway e Investigador Asociado a la London School of Economics
31 El riesgo de fracaso escolar analizado por medio de las
evaluaciones de competencias
Jorge Calero
Catedrático de Catedrático de Economía Aplicada Universidad de Barcelona
40 Construcción de pruebas de evaluación de diagnóstico en
competencias básicas del alumnado de educación primaria y educación secundaria
obligatoria
Javier Gil Flores
Universidad de Sevilla
Conferencia: Reflexiones sobre el funcionamiento del
sistema educativo Peter Dolton
Catedrático de Economía en Royal Holloway e Investigador Asociado a la London School of Economics.
1
Diapositiva 1
1
Education: What works and what doesn't?
Professor Peter DoltonRoyal Holloway College, University of London
and CEE, LSE
Diapositiva 2
2
Education: What works and what doesn't?
LESSONS FOR SPAIN FROM THE UK AND THE US
Professor Peter DoltonRoyal Holloway College, University of London
and CEE, LSE
2
Education: What works and what doesn't?
LESSONS FOR SPAIN FROM THE UK AND THE US
Professor Peter DoltonRoyal Holloway College, University of London
and CEE, LSE
2
Diapositiva 3
Diapositiva 4
PUTTING SPAIN’S EDUCATION SYSTEM INTO CONTEXT.
4
Plan of Talk
• What does Spain look like compared to other countries.
• Mechanisms for Change:– More Education Spending – ASSUME NOT POSSIBLE– Pupil‐Teacher Ratios– Quasi Markets & Accountability– PRP for Teachers– Teachers Pay– Do Better Paid Teachers have an effect on Pupil Scores?
3
Plan of Talk
• What does Spain look like compared to other countries.
• Mechanisms for Change:– More Education Spending – ASSUME NOT POSSIBLE– Pupil‐Teacher Ratios– Quasi Markets & Accountability– PRP for Teachers– Teachers Pay– Do Better Paid Teachers have an effect on Pupil Scores?
3
3
Diapositiva 5
Measures of educational outcomes
Source: OECD
0%
20%
40%
60%
80%
100%
8.0 9.4 10.310.5 10.9 11.2 11.3 11.511.9 12.4 12.4 12.4 12.512.7 12.7 13.3 13.4 13.413.5 13.8
477 476 466 470 475 487 480 496 488 544 513 466 491 502 493 486 492 497 498
PRT ITA ESPGRCFRA BEL AUTHUNPOL CZE FIN SWESLV IRL GBRDNKDEU ISL NLDNOR
Pre-primary and primary education Lower Secondary educationUpper Secondary and post-secondary Tertiary education
Years of schooling
PISA scores
Diapositiva 6
Measures of educational outcomes
Source: OECD
0%
20%
40%
60%
80%
100%
8.0 9.4 10.310.5 10.9 11.2 11.3 11.511.9 12.4 12.4 12.4 12.512.7 12.7 13.3 13.4 13.413.5 13.8
477 476 466 470 475 487 480 496 488 544 513 466 491 502 493 486 492 497 498
PRT ITA ESPGRCFRA BEL AUTHUNPOL CZE FIN SWESLV IRL GBRDNKDEU ISL NLDNOR
Pre-primary and primary education Lower Secondary educationUpper Secondary and post-secondary Tertiary education
Years of schooling
PISA scores
4
Diapositiva 7
Putting Spain Into Context
• A high fraction of population with low levels of education.
7
Diapositiva 8
Figure 3.a. Standardised Average Scores (8th grade students) by country (2006)
-2
-1
0
1
2
Tunisi
a
Argen
tina
Brazil
Indon
esia
Mex
ico
Thaila
nd
Urugua
y
TurkeyChil
eIsr
ael
GreeceIta
ly
Portu
gal
SpainUSA
Norway
Hunga
ry
Fran
ce
Icelan
d
DenmarkUK
Czech
Rep
ublic
Austria
Swed
en
German
y
Irelan
d
Belgium
Switz
erlan
d
Slove
niaJap
an
Austra
lia
Netherl
ands
New Zea
landKore
a
Finlan
d
5
Diapositiva 9
Figure 3.a. Standardised Average Scores (8th grade students) by country (2006)
-2
-1
0
1
2
Tunisi
a
Argen
tina
Brazil
Indon
esia
Mex
ico
Thaila
nd
Urugu
ay
TurkeyChil
eIsr
ael
GreeceIta
ly
Portu
gal
SpainUSA
Norway
Hunga
ry
Fran
ce
Icelan
d
DenmarkUK
Czech
Rep
ublic
Austria
Swed
en
German
y
Irelan
d
Belgium
Switz
erlan
d
Slove
niaJap
an
Austra
lia
Netherl
ands
New Zea
landKore
a
Finlan
d
Diapositiva 10
Putting Spain Into Context
• A high fraction of population with low levels of education.
• PISA scores below average.
10
6
Diapositiva 11
ResourcesAnnual expenditure per student versus PISA scores, 2000
Source: OECD (2004)
AUT
BEL
CHE
CZE
DEU
DNK
ESP
FIN
FRA
GBR
GRC
HUN
IRL
ISL
ITA
NOR
PRTSWE
USA
3000
5000
7000
9000
11000
equi
vale
nt U
S $
460 480 500 520 540PISA reading score
Diapositiva 12
Putting Spain Into Context
• A high fraction of population with low levels of education.
• PISA scores about below average.
• Lower than average Expenditure per pupil.
12
7
Diapositiva 13
Figure 5. Standardised Scores as a function of Student’s teacher ratio
Brazil
Mex
ico
Turkey Chil
eIsrae
lGree
ce ItalyPo
rtuga
lSp
ain USAHun
gary
Fran
ce
Icelan
d Denmark
UK Czech
Rep
ublic
Austri
aSw
eden
German
y
Irelan
dBelg
iumSw
itzerl
and
Slov
enia
Japan Aus
tralia
Netherl
and
New Z
ealan
d Korea
Finla
nd
-2-1
01
2St
anda
rdis
ed S
core
s 8th
gra
de st
uden
ts
10 15 20 25 30Students/Teacher ratio
Diapositiva 14
Figure 5. Standardised Scores as a function of Student’s teacher ratio
Brazil
Mex
ico
Turkey Chil
eIsrae
lGree
ce ItalyPo
rtuga
lSp
ain USAHun
gary
Fran
ce
Icelan
d Denmark
UK Czech
Rep
ublic
Austri
aSw
eden
German
y
Irelan
dBelg
iumSw
itzerl
and
Slov
enia
Japan Aus
tralia
Netherl
and
New Z
ealan
d Korea
Finla
nd
-2-1
01
2St
anda
rdis
ed S
core
s 8th
gra
de st
uden
ts
10 15 20 25 30Students/Teacher ratio
8
Diapositiva 15
Putting Spain Into Context
• A high fraction of population with low levels of education.
• PISA scores about below average.
• Lower than average Expenditure per pupil.
• Low Pupil‐Teacher Ratios
15
Diapositiva 16
9
Diapositiva 17
Diapositiva 18
Putting Spain Into Context
• A high fraction of population with low levels of education.
• PISA scores about below average.
• Lower than average Expenditure per pupil.
• Low Pupil‐Teacher Ratios
• Low Efficiency.
18
10
Diapositiva 19
PUPIL – TEACHER RATIOS??
19
Diapositiva 20
Evidence
• Important work by Hanushek JEL suggested that P/T ratios did not matter.
• This – I think – is now discredited – we have evidence from – Tennessee STAR experiment– Angrist and Lavy – Miamonides Rule– My own work with Marcenaro
• All suggests that P/T ratios matter.
20
11
Diapositiva 21
ACCOUNTABILITY AND QUASI MARKETS
21
Diapositiva 22
22
What Do We Mean by Accountability?
Fearon suggests … one person, A, is accountable to another B, if two conditions are met:
1. that there is an understanding that A is obliged to act in some way on behalf of B.
2. B is empowered by some formal institution or perhaps informal rules to sanction or reward A for her activities or performance in this capacity.
12
Diapositiva 23
23
What Do We Mean by Accountability?
Effective Accountability requires:
1. System provides full information to consumers.
2. Consumers have influence over priorities and goals of educational provision.
3. Consumers have choice of providers in a competitive environment.
4. No distortionary incentives.
Diapositiva 24
24
What Do We Mean by Accountability?
• Expenditure in education is a social choice problem.
• Are parents the customers?
• Does competition work?
• ‘Exit and Voice’ issue.
13
Diapositiva 25
25
How Can Educational Output and Efficiency be Measured and What is the Effect of
Accountability.
• Inputs and Outputs difficult to Observe
• Peer Effects (Lazear)
• Learning may yield fruit after many years.
• Geographical Mobility
• Wider Benefits of Learning.
Diapositiva 26
26
Incentives and Quasi‐Markets in UK Schools.
UK 1988 Education Reform Act
• Parental Choice of School
• Devolved budgets to schools based on pupil numbers.
• School League tables published of tests at 7,11,14,16,18.
14
Diapositiva 27
27
Incentives and Quasi‐Markets in UK Schools.
UK National Level 3, aged 14, % Reaching Expected Levels
1995 1998 2001Reading 49 71 81Maths 45 58 70Science 70 69 87
Diapositiva 28
28
Incentives and Quasi‐Markets in UK Schools.
• Absolute Standards?
• Focus on Marginal/Median child
• Diverts resources from less and most able
• Is the Quasi‐market doing the improving?
• Narrow tests ‐ citizenship & other skills.• Other evidence ‐ Gundlach.
15
Diapositiva 29
PRP for TEACHERS
29
Diapositiva 30
Experiences in the UK & US
• Reform in 2001 in the UK had very limited impact
• Huge problems of implementation.
• But some evidence that Incentive pay can work for teachers.
• But it costs – I would link it to a career pay structure.
30
16
Diapositiva 31
31
What are the Problems with the Incentives Structures in the Public
Provision of Education?
Basically because:
• Multitasking Environment
• Incentives can induce counterproductive effects
• Multiple Principals
Diapositiva 32
32
i) Education has Multiple Goals
• Dixit (2000) lists: basic skills, vocational skills, citizenship etc H&R view educational production in narrower terms.
• Holmstrom and Milgrom (1991)‐ agent diverts effort from less well measured activity.
17
Diapositiva 33
33
ii) Education has Multiple Principals
• These include: pupils, parents, teachers, governors, unions, LEAs, taxpayers, employers, pressure groups etc
• Dixit (1997) shows how the presence of multiple principals makes overall incentives much weaker.
Diapositiva 34
34
Postscript: A Lesson from History.
• 1860‐1890 An incentive system operated in the UK.
• Payment by results based on HMI inspectors.
• Incentives went wrong.
• Gaming was the order of the day.
18
Diapositiva 35
35
Postscript: A Lesson from History.
Matthew Arnold:
‘ as a game of mechanical contrivance in which the teachers will and must more and more learn how to beat us.’
Diapositiva 36
What About Teachers in Spain?
36
19
Diapositiva 37
Figure 4. Score’s percentile at 8th grade students as a function of teachers’salaries after 15 years experience.
TurkeyIsrael
GreeceItaly
PortugalSpain
USANorway
HungaryFrance
IcelandDenmark
UKCzech Republic
AustriaSweden
GermanyIreland
BelgiumSwitzerland
JapanAustralia
NetherlandsNew Zealand
KoreaFinland
020
4060
8010
0Sc
ore's
Per
cent
ile 8
th g
rade
stu
dent
s
10000 20000 30000 40000 50000 60000Teachers' salaries (2007 USA$ PPP)
Diapositiva 38
Figure 4. Score’s percentile at 8th grade students as a function of teachers’salaries after 15 years experience.
TurkeyIsrael
GreeceItaly
PortugalSpain
USANorway
HungaryFrance
IcelandDenmark
UKCzech Republic
AustriaSweden
GermanyIreland
BelgiumSwitzerland
JapanAustralia
NetherlandsNew Zealand
KoreaFinland
020
4060
8010
0Sc
ore's
Per
cent
ile 8
th g
rade
stu
dent
s
10000 20000 30000 40000 50000 60000Teachers' salaries (2007 USA$ PPP)
20
Diapositiva 39
What About Teachers in Spain?
• Paid at about average compared to other countries.
39
Diapositiva 40
Figure 2. Relative position (percentile) of teachers’ salaries in the earnings
distribution of the pop’n (Upper Secondary Education)
0.25.5.
751
0.25.5.
751
0.25.5.
751
0.25
.5.75
10.2
5.5.7
510.2
5.5.75
1
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
Argentina Australia Austria Belgium Brazil Chile
Czech Republic Denmark Finland France Germany Greece
Hungary Indonesia Ireland Italy Japan Korea
Malaysia Netherlands New Zealand Norway Peru Philippines
Portugal Spain Sweden Switzerland Thailand Tunisia
Turkey UK USA Uruguay
Percentile position of teachers (starting wages) in the earnings distributionPercentile position of teachers (after 15 years) in the earnings distribution
Percentile position of teachers (top wages) in the earnings distribution
Year
G h b C t
21
Diapositiva 41
Figure 2. Relative position (percentile) of teachers’ salaries in the earnings
distribution of the pop’n (Upper Secondary Education)
0.25.5.
751
0.25.5.
751
0.25.5.
751
0.25
.5.75
10.2
5.5.7
510.2
5.5.75
1
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
Argentina Australia Austria Belgium Brazil Chile
Czech Republic Denmark Finland France Germany Greece
Hungary Indonesia Ireland Italy Japan Korea
Malaysia Netherlands New Zealand Norway Peru Philippines
Portugal Spain Sweden Switzerland Thailand Tunisia
Turkey UK USA Uruguay
Percentile position of teachers (starting wages) in the earnings distribution
Percentile position of teachers (after 15 years) in the earnings distribution
Percentile position of teachers (top wages) in the earnings distribution
Year
G h b C t
Diapositiva 42
What About Teachers in Spain?
• Paid at about average compared to other countries.
• Paid at around 60‐70%ile in wage distribution.
42
22
Diapositiva 43
Growth in Teacher wages across countries
020
4060
800
2040
6080
020
4060
800
2040
6080
020
4060
800
2040
6080
0 15 30 0 15 30 0 15 30 0 15 30
0 15 30 0 15 30 0 15 30
Argentina Australia Austria Belgium Brazil Chile Czech Republic
Denmark Finland France Germany Greece Hungary Iceland
Indonesia Ireland Israel Italy Japan Jordan Korea
Malaysia Mexico Netherlands New Zealand Norway Peru Philippines
Portugal Spain Sweden Switzerland Thailand Tunisia Turkey
UK USA Uruguay
Mea
n W
age
(100
0$; 2
007
PPP)
Experience (years)Graphs by Country
Diapositiva 44
Growth in Teacher wages across countries
020
4060
800
2040
6080
020
4060
800
2040
6080
020
4060
800
2040
6080
0 15 30 0 15 30 0 15 30 0 15 30
0 15 30 0 15 30 0 15 30
Argentina Australia Austria Belgium Brazil Chile Czech Republic
Denmark Finland France Germany Greece Hungary Iceland
Indonesia Ireland Israel Italy Japan Jordan Korea
Malaysia Mexico Netherlands New Zealand Norway Peru Philippines
Portugal Spain Sweden Switzerland Thailand Tunisia Turkey
UK USA Uruguay
Mea
n W
age
(100
0$; 2
007
PPP)
Experience (years)Graphs by Country
23
Diapositiva 45
What About Teachers in Spain?
• Paid at about average compared to other countries.
• Paid at around 60‐70%ile in wage distribution.
• Have a fairly flat wage progression – i.e. Very generous to new teachers.
45
Diapositiva 46
What About Teachers in Spain?
• Paid at about average compared to other countries.
• Paid at around 60‐70%ile in wage distribution.
• Have a fairly flat wage progression – i.e. Very generous to new teachers.
• So would increasing teacher pay improve pupil performance?
46
24
Diapositiva 47
THE LINK BETWEEN TEACHER PAY AND PUPIL PERFORMANCE
47
Diapositiva 48
McKinsey Report 2007• ‘…. The quality of an education system cannot exceed the quality of its teachers’
Diane Ravitch
New York Times 3 March 2010 (pA22)• “Nations like Finland and Japan seek out the best college graduates for teaching positions, pay them well and treat them with respect. … They do this because this is the way to ensure good education. We’re on the wrong track”
25
Diapositiva 49
My Main Research Questions
• Does Relative Teacher Pay effect pupil performance?
Diapositiva 50
ONE LINE MESSAGEs!
• Recruiting teachers from higher in the wage distribution will lead to better academic outcomes for children.
26
Diapositiva 51
My new research.
• Dolton and Marcenaro (2011) ‘If you Pay Peanuts do you get Monkeys?’, Economic Policy vol 65.– 39 Countries OECD data over 1995‐2009 using PISA and TIMSS
• Dolton and Lehmann (2011) ‘Does Higher Teacher Pay Improve Pupil Performance?’– 50 US state data over 1990‐2009 period using NAEP scores.
51
Diapositiva 52
So what do we need to answer this question?
• Good comparable cross state panel data on education scores.
• Good data on teachers salaries.
• VARIATION in these data – this is why within country or with State data rarely shows the link!!!!
• The necessary controls – on pupil teacher ratios, education spending etc
27
Diapositiva 53
Table 3.a. Determinants of Standardised Pupil Scores across Countries 1995-2006 (Each type of As
Specification I Specification II OLS Panel Simultan. OLS Panel Simultan.
Teaching hours per year (100s)
-0.027 0.093 -0.094** 0.102*** 0.089 0.049
(0.030) (0.066) (0.038) (0.035) (0.072) (0.040) Pupil/Teacher ratio
-0.066***
0.037*
-0.057***
-0.082***
0.041*
-0.075***
(0.009) (0.022) (0.010) (0.012) (0.022) (0.010) Women fraction of teaching staff (%)
0.004
0.014**
0.004
-0.017***
0.014**
-0.010
(0.005) (0.006) (0.007) (0.005) (0.007) (0.006) Teachers' salaries after 15 years in 1000$
0.052***
0.030**
0.044*** (0.006) (0.015) (0.011) Percentile position of teachers (after 15 years)
2.559***
1.496*
4.947** (0.687) (0.895) (2.150) GDP growth (%) 0.145*** -0.062** 0.184*** 0.108*** -0.073*** 0.171*** (0.024) (0.025) (0.027) (0.028) (0.028) (0.028) Year dummies: (reference year 1995)
√ √ √ √ √ √
Constant -2.063*** -3.470*** -0.967 -1.959*** -3.712*** -3.175* (0.475) (0.723) (0.603) (0.702) (0.832) (1.788) Observations 205 205 192 194 194 192 F-statistic 26.20*** 18.15*** 0.490 13.79*** 17.30*** 17.46*** R-squared Within 0.50 0.49 R-squared Between 0.19 0.49
R-squared Overall 0.54 0.01 0.44 0.37 0.05 0.44
Diapositiva 54
Marginal Effects from Cross Country Study
• $5000 or 15 % rise in teachers earnings
OR
• 5% shift up the wage distribution for teachers
• Will mean a .20 of a SD rise in test score hence about 8% rise in the test score.
28
Diapositiva 55
Marginal Effects from US State Study
• $7k (15%) rise in earnings => 6% rise
• 15% increase in relative wage => 6% rise
• 5% shift up the income distribution =>7% rise in pupil scores.
Diapositiva 56
Marginal Effects from US State Study
• $7k (15%) rise in earnings => 6% rise
• 15% increase in relative wage => 6% rise
• 5% shift up the income distribution =>7% rise in pupil scores.
• Double fraction of pay incentives to 30% => 3% rise in scores
29
Diapositiva 57
Policy Implications of Results
If we wish to improve pupil scores we need to:• Recruit teachers from further up income and ability distribution
• Make teacher a high status profession with high quality recruits.
• Accountability may not be the way to go.• However Efficiency Analysis is a different question.
Diapositiva 58
MAJOR POLICY PROBLEM
• Its not the present teachers who need to be paid more – its how do we get the more able people into teaching.
• We may need to remove some existing teachers and then up wages to encourage better people into the profession – cant be done overnight.
30
Diapositiva 59
SO WHAT TO DO IN SPAIN??That would be cost neutral??
• Increase pupil/teacher ratios
• Recruit higher quality teachers
• Have higher wages for teachers at the top end for high quality teachers.
• Progressively ease out of the profession lower quality teachers.
59
Ponencia: El riesgo de fracaso escolar analizado por
medio de las evaluaciones de competencias. Jorge Calero
Catedrático de Economía Aplicada de la Universidad de Barcelona y Presidente del Consejo Superior del Sistema Educativo de Cataluña.
31
El riesgo de fracaso escolar analizado por medio de las evaluaciones de competencias
Jorge Calero
Catedrático de Catedrático de Economía Aplicada
Universidad de Barcelona
1. La evaluación de competencias. Aspectos generales y riesgos
Abordaremos el análisis utilizando los datos correspondientes a PISA-2009, programa de evaluación externa de competencias de la OCDE y, en concreto, los relativos a las competencias de lectura. Algunas cuestiones previas y riesgos de la evaluación de competencias.
• Concepto (problemático) de competencias. Instrumental. • Evaluación y ránkings. Evaluación “neta” y evaluación “bruta”: ránkings de valor
añadido • “Colonización” del sistema educativo por la evaluación de competencias • Comportamientos estratégicos de los centros. Ejemplo: Estados Unidos después
de No Child Left Behind. • Necesidad de independencia de las agencias
2. El concepto de “riesgo de fracaso escolar” Los niveles de competencias de PISA permiten establecer un umbral, situado entre el nivel 1 y el nivel 2, que diferencia a los alumnos en función de su riesgo de fracaso escolar (véase OCDE, 2007). Asumimos, así, que los alumnos que no alcanzan el nivel 2 de PISA en la prueba de lectura carecen de las competencias suficientes para participar activamente en situaciones de la vida cotidiana o laboral. Obviamente, este umbral tiene un cierto componente arbitrario y, en todo caso, resulta discutible su adecuación a la diversidad de realidades educativas y laborales de los países de la OCDE. Sin embargo, aceptando su carácter convencional, lo consideramos un buen punto de partida instrumental para nuestro análisis. Schleicher (2007) expone que PISA no recoge todas las competencias relevantes para predecir el éxito futuro de un alumno pero sí recopila algunas de las más importantes. En palabras de Knighton y Bussière (2006:18), tener “competencias efectivas en lectura y credenciales en educación no garantizan el éxito en el futuro pero, sin ellas, (las personas) afrontan mayores riesgos de encontrarse barreras en el empleo, de tener una seguridad financiera reducida y una peor situación social”.
32
Diversos estudios longitudinales como Bushnik, Telford y Bussière (2004), Knighton y Bussière (2006) o Hillman y Thomson (2006), respaldan a Schleicher (2007), demostrando que la obtención de un nivel 1 o inferior reduce drásticamente las probabilidades de que un alumno concluya sus estudios de educación secundaria y de que continúe estudiando con 19 años de edad. Esta situación resulta grave, ya que las personas que no completan estudios de educación secundaria se enfrentan a peores perspectivas laborales (OCDE, 2008b). Una cuestión que empeora todavía más la situación de las personas que no completan estudios obligatorios es el hecho de que los trabajadores cualificados reciben más horas de formación en su puesto de trabajo que los no cualificados. Además, la brecha en las tasas de participación laboral por género es más amplia cuanto menor el nivel educativo. Para analizar el ajuste (o desajuste) del “fracaso PISA”, con respecto a otros indicadores vinculados al fracaso escolar, nos referimos, en concreto, a dos de ellos: por una parte, al “fracaso acreditación”, es decir, el referido a la falta de obtención de la titulación correspondiente a la educación obligatoria (graduado en Educación Secundaria Obligatoria (ESO); por otra parte, al abandono escolar prematuro (falta de continuidad de los estudios después de la educación obligatoria). El cuadro 1 permite una primera aproximación a los valores comparados de estos indicadores, referidos a España y la media de la Unión Europea.
Cuadro 1. Indicadores básicos vinculados al fracaso escolar. Porcentajes.
España UE-15 UE-27 1) "Fracaso PISA" (competencias de lectura 19,6 18,6 20,6 en niveles inferiores a 2). Edad: 15 años 2) Abandono escolar prematuro (titulación máxima educación secundaria obligatoria y 28,4 15,5 14,1 no participa en formación adicional). Edad: 18-24 años. 3) "Fracaso acreditación" (no obtención de 30,7 n.d. n.d. titulación al finalizar educación secundaria inferior).
Fuente: 1) OECD (2010), datos referidos a 2009; 2) EUROSTAT, base de datos on-line; 3) Instituto de Evaluación (2010), datos
referidos a 2007.
La distribución de competencias de lectura de los alumnos españoles deja un grupo cercano al 20% en situación de riesgo de fracaso escolar. Esta cifra es ligeramente mayor a la de los países de la U.E.-15, si bien es casi idéntica a la de los países que componen actualmente la Unión Europea. El riesgo de fracaso escolar tiene continuidad en cifras de abandono escolar prematuro que se encuentran por encima de la media de la Unión Europea y, a su vez, considerablemente
33
alejadas del objetivo fijado por el Consejo de la Unión Europea (2009) para los estados miembros, establecido en el 10% para el año 2020. El abandono escolar prematuro tiene una prevalencia muy importante en España, donde se dobla el valor correspondiente a la media europea. La relación entre el “fracaso PISA” y el “fracaso acreditación” no es, como se observa en el cuadro, ni mucho menos directa: en España un 28,4% de los alumnos no obtienen el título de Graduado en ESO, cuando únicamente el 19,6% incurre en “fracaso PISA”: al medir el nivel de competencias con instrumentos homologables internacionalmente encontramos que la situación de los alumnos españoles con más problemas de aprendizaje no se diferencia de la situación media de la Unión Europea; en cambio, al medir en función de procesos de evaluación internos al centro las diferencias son muy importantes. El “fracaso acreditado” español, por tanto, parece estar parcialmente motivado por niveles de exigencias de los profesores y centros españoles que no se corresponden con los aplicados en otros países de nuestro entorno. 3. El riesgo de fracaso escolar: descripción y consecuencias El riesgo de fracaso escolar al que accedemos a través de la información de PISA es, como hemos dicho, ligeramente mayor en España al de los países “centrales” de la Unión Europea. En el cuadro 2, donde pueden encontrarse detalles de la situación comparada referida a 2009, se observa que la acumulación de alumnos en las franjas más bajas de competencias va acompañada de valores medios de la distribución por debajo de la media de la OCDE. En realidad, la reducida dispersión de la distribución de competencias en el caso español (véase también el gráfico 1) está explicada en buena medida por su bajo nivel de sensibilidad ante cambios en la categoría socio-económica y cultural de la familia. La correlación entre el índice de Estatus Social, Económico y Cultural (ESCS, elaborado a partir de las características de la familia de cada alumno y que se agrega después también en el nivel de cada centro educativo) y el nivel de competencias proporciona una primera aproximación a cómo reacciona el sistema educativo ante las desigualdades sociales. Las correlaciones elevadas indican que las desigualdades sociales previas se traducen en desigualdades importantes en la adquisición de competencias, mientras que una correlación reducida nos indica que el sistema educativo en cuestión, o bien es más igualitario en sus resultados, o bien responde a desigualdades que no están incorporadas al índice ESCS. En el gráfico 2 puede observarse cómo España es uno de los países donde se da una reproducción más atenuada en el sistema educativo de las desigualdades sociales previas: por cada punto que varía el índice ESCS el nivel de competencias cambia en 29 puntos (esta cifra es mucho mayor, 38, para la media de los países de la OCDE).
34
Cuadro 2. Proporción de la población con una puntuación inferior al nivel 2 en la prueba de lectura de PISA-2009. Países de la Unión Europea.1
País % País % Finlandia 8,1 (536) Alemania 18,5 (497)Estonia 13,3 (501) España 19,6 (481)Países Bajos 14,3 (508) Francia 19,8 (496)Polonia 15,0 (500) Italia 21,0 (486)Dinamarca 15,2 (495) Grecia 21,3 (483)Irlanda 17,2 (496) República Eslovaca 22,2 (477)Suecia 17,4 (497) República Checa 23,1 (478)Letonia 17,6 (484) Lituania 24,4 (468)Portugal 17,6 (489) Luxemburgo 26,0 (472)Hungría 17,6 (494) Austria 27,6 (470)Bélgica 17,7 (506) Rumanía 40,4 (424)Reino Unido 18,4 (494) Bulgaria 41,0 (429)
Fuente: OECD (2010).
Gráfico 1. Distribución de los alumnos en función de los niveles de competencia en lectura. PISA-2009.
Fuente: Elaborado a partir de datos de OECD (2010). 1 Nota: Entre paréntesis la puntuación media.
35
Gráfico 2. Efectos de la categoría socioeconómica: Puntos de variación en la competencia de lectura por cada punto que varía ESCS. PISA-2009. Países OCDE.
Fuente: Elaborado a partir de datos de OECD (2010).
36
Gráfico 3. Efectos de la categoría socioeconómica: Puntos de variación en la competencia de lectura por cada punto que varía ESCS. PISA-2009. Comunidades Autónomas.
20 25 30 35 40
La Rioja Asturias
AndalucíaMadrid
Navarra España
Castilla y LeónCantabriaBaleares
AragónCataluña
MurciaCanarias
País VascoGalicia
Fuente: Elaborado a partir de datos de OECD (2010). La titularidad del centro educativo es una de las variables claves al analizar el riesgo de fracaso escolar en España. Una primera aproximación bivariante la encontramos en el cuadro 3. Otra variable sobre la que quisiéramos llamar la atención en esta primera aproximación, previa al análisis multivariable, es la relativa a la repetición de curso. En España la repetición de curso es mucho más frecuente que en el resto de países que participan en PISA (véase cuadro 4). La repetición constituye en España un tratamiento “estándar” y muy extendido, tanto en primaria como en secundaria, supuestamente orientado a reducir el fracaso escolar; sus efectos reales en tal sentido son probablemente nulos o negativos.2
2 Una discusión acerca de los efectos de la repetición sobre la eficacia de los sistemas educativos y su equidad puede encontrarse en Field et al. (2007).
37
Cuadro 3. Porcentaje de alumnos con “fracaso PISA” en función de la titularidad del centro educativo. Valores muestrales.
Privados independientes 7,8Concertados 11,59Públicos 23,75 Total 19,6
Fuente: Elaboración propia a partir de microdatos de PISA.
Cuadro 4. Incidencia de la repetición de curso en España a los 15 años. Porcentajes.
Repetición de un curso en secundaria 18,00 Repetición de un curso en primaria 4,74 Italia: repetición de más de un curso España: repetición de más de un curso, en secundaria 2,94 España: repetición de más de un curso, alguno de ellos antes de secundaria 5,72
Total 31,4
Fuente: Elaboración propia a partir de microdatos de PISA. Concluiremos este apartado haciendo referencia a algunas de las consecuencias que el fracaso escolar y el abandono escolar prematuro (de forma más general, un nivel reducido de cualificaciones) tienen sobre la participación de los individuos en el mercado de trabajo y, de forma más general, sobre la capacidad productiva de la economía. Nos centraremos, en concreto, en dos variables, la tasa de actividad y la tasa de ocupación. El cuadro 5 presenta los valores de ambas variables, desglosados en función del sexo y el nivel educativo. Las tasas de actividad y ocupación crecen a medida que se incrementa el nivel educativo. Esa relación se mantiene para ambos sexos, si bien, como es lógico, es más acusada para las mujeres debido a la muy reducida participación de las mujeres con bajo nivel educativo en el mercado de trabajo. Queda como elemento a retener la situación muy desventajosa en la que quedan las personas adultas que han sufrido fracaso escolar o abandono escolar prematuro.
38
Cuadro 5. Tasa de actividad y tasa de ocupación de la población entre 25 y 64 años en función del nivel educativo y el sexo. España, 2009.
Máximo secund.
inferior Secund. superior Superior Total
Tasa de actividad Hombres 83,3 90,51 92,3 87,47Mujeres 54,5 76,78 86,21 69,02 Total 69,3 83,75 89,18 78,33Tasa de ocupación Hombres 66,3 77,54 84,59 74,02Mujeres 41,6 64,03 78,07 57,66 Total 54,3 70,89 81,26 65,92
Fuente: Elaboración propia a partir de microdatos de la Encuesta de Población Activa, 2009, segundo trimestre.
4. Determinantes del riesgo de fracaso escolar en España La metodología que empleamos se basa en un modelo logístico multinivel aplicado a los datos de PISA-2009 en España (competencia de comprensión lectora). Las variables independientes del modelo pertenece a los ámbitos personal, familiar (características socio-culturales y económicas, junto con los recursos del hogar y su utilización) y escolar (características del centro y su alumnado, recursos personales y humanos y variables del proceso de enseñanza-aprendizaje). Apuntamos a continuación las variables que inciden más intensamente en el proceso. 4.1 Variables de ámbito personal
• Sexo: mayor riesgo en el caso de los chicos. • Repetición de curso. • Importancia de la asistencia a educación infantil
4.2 Variables de ámbito familiar Las variables del ámbito familiar se dividen en dos bloques: por un lado, las variables que aluden a las características socio-culturales y económicas y, por otro, las que se refieren a los recursos educativos del hogar y el modo en el que éstos son utilizados.
39
Características socio-culturales y económicas del hogar
• Origen inmigrante. Sólo en el caso de primera generación. • Categoría socioeconómica del hogar: Más riesgo en hogares de cuello azul y
cuello blanco no cualificado. Recursos del hogar y su utilización
• Importancia de recursos culturales: libros en el hogar. • Leer por placer: reduce el riesgo de fracaso escolar. • Lectura de cómics y revistas: reduce el riesgo de fracaso escolar.
4.3. Variables del ámbito escolar Las variables del ámbito escolar se dividen en cuatro bloques: características de la escuela, características del alumnado, recursos de los que dispone el centro y procesos educativos dentro del centro. Características de la escuela
• Titularidad de la escuela: no significativo (ni concertadas ni privadas independientes). Efecto composición.
Características del alumnado
• Falta de significatividad del porcentaje de alumnos inmigrantes. • Proporción de chicas en el centro (reducción del riesgo). • Nivel socioeconómico de los padres (a través de peer effects): incremento del
riesgo en el cado de dominancia de cuello azul en el centro. Recursos del centro
• Ratio alumno-profesor: peores ratios asociados a menores riesgos. Problema de causalidad inversa (centros con más necesidades previas tienen mejores ratios).
• Ratio alumnos-ordenadores: mejores ratios asociados a menores riesgos. Dificultades en aislar el efecto causal de los recursos físicos y humanos.
Procesos educativos en la escuela
• Variables de autonomía no significativas. • Variables de agrupación no significativas (probablemente, cancelación de efectos
opuestos). • Falta de significatividad de variables relativas a la disciplina y la metodología
docente.
Ponencia: Construcción de pruebas de evaluación de diagnóstico en competencias básicas del alumnado de
educación primaria y educación secundaria obligatoria Javier Gil Flores
Universidad de Sevilla
40
Construcción de pruebas de evaluación de diagnóstico en competencias básicas del alumnado de educación primaria y educación secundaria obligatoria
Javier Gil Flores
Universidad de Sevilla
INTRODUCCIÓN Las Evaluaciones de Diagnóstico constituyen uno de los elementos novedosos que introdujo la Ley Orgánica 2/2006 de 3 de mayo, de Educación (LOE) en nuestro sistema educativo. Su implementación supone el desarrollo de procedimientos de evaluación estandarizados para medir el nivel alcanzado por los escolares en relación a las competencias básicas del currículum. El objeto de las Evaluaciones de Diagnóstico son las competencias básicas alcanzadas por el alumnado al término del segundo ciclo de Educación Primaria (EP) y el segundo curso de la Educación Secundaria Obligatoria (ESO). Los resultados de estas evaluaciones habrán de proporcionar información sobre la situación del alumnado, de los centros y del propio sistema educativo, traduciéndose en la adopción de medidas por parte de los centros y por parte de las Administraciones educativas, dirigidas a la mejora de las deficiencias que pudieran detectarse. A partir de lo previsto en el articulado de la LOE se establece una diferenciación entre dos tipos de Evaluaciones de Diagnóstico, teniendo en cuenta la cobertura y el ámbito de responsabilidad desde el que se desarrollan:
• Las denominadas evaluaciones generales de diagnóstico tienen lugar en el marco de la evaluación general plurianual del sistema educativo, que es competencia de la Administración central. Se realizan sobre una muestra de centros, de tal manera que “permitan obtener datos representativos, tanto de los alumnos y centros de las Comunidades Autónomas como del conjunto del Estado” (art. 144). La responsabilidad de las mismas recae sobre el Instituto de Evaluación, dependiente del Ministerio de Educación.
• Las Evaluaciones de Diagnóstico previstas en los artículos 21 y 29 que, con
carácter censal, se realizarán en todos los centros y tendrán un “carácter formativo y orientador para los centros e informativo para las familias y para el conjunto de la comunidad educativa”. La realización de este segundo tipo de evaluaciones corresponde a las Administraciones educativas, que han de “proporcionar los modelos y apoyos pertinentes a fin de que todos los centros puedan realizar de modo adecuado estas evaluaciones” (artículo 144.2), y
41
“regular la forma en que los resultados de estas Evaluaciones de Diagnóstico que realizan los centros, así como los planes de actuación que se deriven de las mismas, deban ser puestos en conocimiento de la comunidad educativa” (artículo 144.3).
En nuestro país, el Instituto de Evaluación ha venido desarrollando estudios generales sobre los resultados del sistema educativo en los últimos años. Y además, se cuenta con la experiencia de participación en programas internacionales de evaluación como TIMMS, PIRLS o PISA. Sin embargo, este tipo de evaluaciones se han apoyado en la aplicación de pruebas en muestras de centros convenientemente seleccionadas. La diferencia fundamental con las Evaluaciones de Diagnóstico que establece la LOE radica en que éstas suponen aplicar la evaluación en la totalidad de los centros de nuestro sistema educativo. Este planteamiento supone equiparar nuestro sistema educativo con el de otros países del ámbito anglosajón, en los que tradicionalmente se han realizado de manera periódica evaluaciones estandarizadas del rendimiento. Pero además, el modelo propuesto hace hincapié en el carácter formativo para los centros, es decir, en la utilización de los resultados para diseñar y ejecutar actuaciones dirigidas a la mejora de los procesos de enseñanza-aprendizaje que tienen lugar en ellos. La Administración andaluza viene desarrollando anualmente desde el curso 2006-2007 la Evaluación de Diagnóstico con carácter censal, prevista en la LOE, abarcando a todos los centros sostenidos con fondos públicos que imparten los niveles de Educación Primaria o Educación Secundaria Obligatoria. De este modo, nuestra Comunidad Autónoma ha sido una de las primeras en el Estado Español en lo que respecta a la realización de este tipo de evaluaciones. En la Evaluación de Diagnóstico llevada a cabo en Andalucía se consideran las competencias básicas como objeto de evaluación. El desarrollo de competencias implica una serie de conocimientos, habilidades y actitudes transferibles y útiles para hacer frente a situaciones y problemas que se presentan en la vida real. En consecuencia, la evaluación de tales competencias supone la apreciación del desempeño del alumnado para comprender el mundo que le rodea, desenvolverse ante situaciones de la vida diaria y resolver problemas prácticos. La idea de fondo es, por tanto, valorar el grado en que la escuela prepara para la vida, y en qué medida los escolares están suficientemente formados para asumir su papel como ciudadanos que conforman una sociedad moderna. De cara a la evaluación, se ha partido de una serie de competencias básicas que se espera que el alumnado alcance al término de la enseñanza obligatoria. De acuerdo con la Ley de Educación de Andalucía (Ley 17/2007 de 10 de diciembre), estas competencias básicas son las siguientes:
42
• Competencia en comunicación lingüística • Competencia de razonamiento matemático • Competencia en el conocimiento y la interacción con el mundo físico y
natural • Competencia digital y tratamiento de la información • Competencia social y ciudadana • Competencia cultural y artística • Competencia y actitudes para seguir aprendiendo de forma autónoma a lo
largo de la vida • Competencia para la autonomía e iniciativa personal.
Las primeras ediciones de la Evaluación de Diagnóstico en Andalucía han abarcado la competencia en comunicación lingüística, referida a la utilización del lenguaje como instrumento de comunicación oral y escrita en lengua española, y de razonamiento matemático, entendida como la habilidad para utilizar números y operaciones básicas, los símbolos y las formas de expresión del razonamiento matemático para producir e interpretar informaciones y para resolver problemas relacionados con la vida diaria y el mundo laboral. En la tercera edición, se incorporó como objeto de evaluación la competencia en el conocimiento y la interacción con el mundo físico y natural, identificada con la habilidad para la comprensión de los sucesos, la predicción de las consecuencias sobre el estado de salud de las personas y la sostenibilidad medioambiental. Para ediciones sucesivas se ha previsto un calendario según el cual, junto a las competencias matemáticas y en comunicación lingüística, se incluyen rotativamente el resto de las competencias básicas. PROCESO DE CONSTRUCCIÓN DE PRUEBAS PARA LA EVALUACIÓN DE COMPETENCIAS La evaluación de competencias consiste básicamente en determinar el grado de desarrollo alcanzado por un individuo en relación a las competencias consideradas. Como en todo proceso de evaluación, la emisión de juicios valorativos acerca del objeto evaluado ha de apoyarse necesariamente en la recogida de evidencias, que permitan considerar en qué grado se ajustan a criterios previamente establecidos tanto las actuaciones realizadas por el alumnado como los productos de tales actuaciones. Desde el punto de vista metodológico, diferentes técnicas pueden ser utilizadas para la recogida de información sobre el nivel de competencia del alumno. En el caso de determinadas competencias se requiere de una observación directa del desempeño del alumno: habilidades manipulativas (p.e. manejo de software para solucionar problemas), actitudes (hacia la lectura, la resolución de problemas, etc.) o valores (perseverancia, minuciosidad, etc.). El uso del portafolio a lo largo del proceso de enseñanza aprendizaje, la realización de trabajos o actividades diversos, la resolución de problemas, la entrevista con el alumno serían vías para la
43
recogida de información sobre el grado de desarrollo competencial alcanzado. Los problemas para operativizar este tipo de técnicas en evaluaciones que abarcan a un elevado número de sujetos hacen preferibles las pruebas estandarizadas de lápiz y papel, que constituyen la fórmula aplicada en evaluaciones nacionales e internacionales a las que hemos hecho referencia en el apartado introductorio. A describir el modo en que se lleva a cabo la construcción de este tipo de instrumentos para la evaluación de diagnóstico dedicaremos los siguientes párrafos, tomando como referencia el proceso seguido en la Evaluación de Diagnóstico en Andalucía.
a) Análisis de las competencias El punto de partida para la construcción de pruebas es necesariamente la definición y clarificación del objeto de evaluación. Las competencias consideradas en nuestra Comunidad Autónoma han sido estructuradas en dimensiones. En el cuadro 1 se recogen las dimensiones contempladas para las primeras competencias básicas evaluadas en el marco de la Evaluación de Diagnóstico en Andalucía.
Cuadro 1. Dimensiones consideradas en competencias básicas objeto de la Evaluación de Diagnóstico en Andalucía.
Competencia básica Dimensiones
Competencia en comunicación lingüística (lengua española)
• Comprensión oral • Expresión oral • Comprensión lectora • Expresión escrita
Competencia matemática
• Organizar, comprender e interpretar información
• Expresión matemática • Plantear y resolver problemas
Competencia en conocimiento e interacción con el mundo físico y natural
• Metodología científica • Conocimientos científicos • Interacciones ciencia-tecnología-sociedad-
ambiente Un mayor nivel de análisis y concreción se obtiene al distinguir dentro de cada dimensión una serie de elementos de competencia. Tales elementos vienen a representar las operaciones o tareas concretas que los alumnos y alumnas tendrían que realizar para que pueda inferirse su dominio de las competencias básicas. Un ejemplo de éstos queda recogido en el cuadro 2, donde mostramos los elementos en que se desglosaban cada una de las dimensiones de la competencia matemática para el nivel de Educación Primaria.
44
Cuadro 2. Elementos para cada unas de las dimensiones consideradas en la competencia matemática (Evaluación de Diagnóstico en Andalucía).
Elementos de competencia matemática (EP)
1. Organizar, comprender e interpretar información 1.1. Identifica significado de la información numérica y simbólica. 1.2. Comprende información presentada en formato gráfico. 1.3. Ordena información utilizando procedimientos matemáticos.
2. Expresión matemática 1.1. Justifica resultados con argumentos de base matemática. 2.2. Se expresa con vocabulario y símbolos matemáticos básicos. 2.3. Utiliza formas adecuadas de representación según el propósito y la
naturaleza de la situación.
3. Plantear y resolver problemas 3.1. Traduce las situaciones reales a esquemas matemáticos. 3.2. Selecciona estrategias adecuadas, valorando la pertinencia de diferentes
vías para resolver un problema 3.3. Selecciona los datos apropiados para resolver un problema.
b) Determinación del formato de las pruebas
Un formato que han adoptado con frecuencia los instrumentos empleados a la hora de llevar a cabo evaluaciones estandarizadas del rendimiento es el de prueba objetiva. Una prueba objetiva puede constar de un número amplio de ítems, por lo que es posible cubrir con mayor exhaustividad el contenido objeto de evaluación. En la práctica, posiblemente los principales atractivos de una prueba objetiva son ausencia de subjetividad, rapidez y facilidad para la calificación, que la hacen especialmente adecuada en situaciones en las que, como la que nos ocupa, el número de alumnos evaluados es alto y pretendemos resultados comparables. Aunque diferentes formatos de preguntas pueden ser utilizados (items de verdadero-falso, de emparejamientos, de completar frases, de respuesta breve), el formato más popular de las preguntas que forman parte de una prueba objetiva es sin duda el ítem de opciones múltiples, que sitúa al alumnado ante varias respuestas para que elija entre ellas la respuesta correcta. Si bien el uso de pruebas objetivas conlleva una serie de ventajas entre las que se encuentran las que hemos destacado anteriormente, también se han señalado límites a su utilización. Así, un problema estaría en el tipo de aprendizaje que permiten medir. Se ha afirmado que las pruebas objetivas se prestan a la evaluación de aprendizajes simples (definiciones, conceptos,
45
recuerdo de datos, reconocimiento de hechos, etc.), sin ser adecuadas para evaluar aspectos reveladores de un conocimiento profundo, tales como capacidad de análisis, reflexión, crítica. Tratando de salvar estas limitaciones, la Evaluación de Diagnóstico en Andalucía ha adoptado como instrumento lo que podríamos denominar pruebas escritas basadas en situaciones-problema. Se trata de pruebas constituidas a partir de casos o situaciones que sirven como base para la interrogación, y que en la medida de lo posible remiten a situaciones similares a las que el alumnado puede encontrar en su vida escolar o extraescolar. Las situaciones-problema se apoyan en uno o varios de los siguientes tipos de información: - Textos escritos en los que se recogen informaciones diversas: anuncios, textos extraídos de
los medios de comunicación, instrucciones, carteles informativos, transcripción de diálogos, narración de hechos, descripción de situaciones, textos literarios, textos científicos, etc.
- Textos orales breves, que persiguen una finalidad comunicativa, y que pueden venir expresados en lengua castellana o en lenguas extranjeras, dependiendo del área en el que se centre la evaluación. El soporte de estos textos puede ser cualquier formato de registro en audio.
- Imágenes diversas, incluyendo fotografías, mapas, dibujos, esquemas o cualquier otra forma gráfica de representación de diferentes realidades.
En cualquier caso, la información inicial proporcionada al alumno es relativamente breve, teniendo en cuenta que un tamaño o número excesivo de textos o imágenes presentados incrementaría el tiempo necesario para la aplicación de la prueba. Cada situación o caso permite plantear varias cuestiones que podrían encuadrarse en algunos de los siguientes formatos: - Preguntas de respuesta cerrada, bajo el formato de elección múltiple. Podría tratarse tanto
de preguntas de respuesta dicotómica, en las que sólo una opción es correcta y las restantes se consideran erróneas, como preguntas con escala de respuesta graduada, de tal manera que cabe pensar en una respuesta correcta, una o más respuestas parcialmente incorrectas y una respuesta totalmente errónea.
La posibilidad de utilizar preguntas cerradas con respuestas en escala graduada posee el atractivo de adaptarse a las pretensiones de una evaluación formativa, dado que permitiría aportar información no sólo sobre si un alumno posee o no la competencia que se demanda de él para responder, sino también en qué grado la ha desarrollado, aportando información relevante sobre la medida en que su competencia en el elemento en cuestión es deficitaria y sobre el tipo de apoyos o refuerzos que requeriría.
- Preguntas que exigen el desarrollo de procedimientos y la obtención de resultados. Este tipo
de cuestiones contempla generalmente la necesidad de alcanzar un resultado único, aunque podrían describirse diferentes caminos para llegar al mismo. Tanto el procedimiento como el
46
resultado serían valorados, posibilitando el establecimiento de diferentes niveles de respuesta en función del grado de desarrollo competencial.
- Preguntas abiertas que admitirían respuestas diversas, las cuales aun siendo correctas
pueden diferir de unos sujetos a otros. Para evitar el problema de la subjetividad a la hora de la calificación, este tipo de preguntas debe contar con una plantilla de corrección, de tal manera que se intente cerrar las posibles respuestas a la pregunta estableciendo cuáles se considerarán correctas y cuáles no. La elaboración de criterios de corrección permite graduar las respuestas estableciendo, también en este caso, niveles de ejecución intermedios entre las respuestas correcta e incorrecta.
c) Definición de la tabla de especificaciones
Partiendo de una definición de las competencias básicas objeto de evaluación, el procedimiento habitual para determinar el contenido de las pruebas consiste en construir una tabla o matriz de especificaciones. Esta tabla cuza los elementos de competencia con los principales bloques de contenido contemplados en el currículo oficial (ver cuadro 3).
Cuadro 3. Formato de una tabla de especificaciones para la construcción de pruebas de evaluación.
Elementos de competencia
Bloq
ue 1
Bloq
ue 2
(…)
Bloq
ue n
Elemento 1
Elemento 2
(…)
Elemento n
En cada celda se consigna el número de ítems que incluirá la prueba para el elemento de competencia y el bloque implicados. Para fijar este número, habría que empezar por ponderar la presencia de los diferentes elementos de competencia en la prueba, asignando en los márgenes de cada fila el porcentaje de ítems que harán referencia a cada uno de ellos. Además, convendrá fijar la extensión final de la prueba, en número de ítems. Esa cantidad de ítems será la que quedará distribuida por filas, teniendo en cuenta la ponderación realizada previamente, y terminará siendo repartida entre las celdas de cada fila.
47
d) Redacción de ítems La redacción de ítems parte de la constitución de un equipo de redactores. Entre éstos se han venido incluyendo miembros de la inspección educativa, asesores o profesorado con experiencia docente en los ámbitos y niveles educativos objeto de evaluación. Homogeneizar el trabajo de las personas que trabajan en estos equipos requiere el desarrollo de acciones formativas dirigidas a la unificación de criterios y estrategias de redacción. Las personas implicadas en la redacción reciben además información precisa acerca del sentido de la evaluación que se pretende, la finalidad de las pruebas y, en consecuencia, la naturaleza de los ítems que han de ser redactados. El proceso de redacción de ítems se apoyaría en el análisis de las competencias objeto de evaluación. Partiendo de las competencias básicas, la concreción de elementos de competencia característicos en cada uno de los niveles educativos considerados da paso al establecimiento de criterios de desempeño para esos elementos. Un criterio establece, para cada elemento de competencia, indicadores de los resultados o consecuencias derivadas de las actuaciones del alumno que permiten situarlo en un nivel determinado de progreso con relación a la competencia medida. Los criterios de desempeño permiten, por tanto, establecer niveles de progreso que podrían concretarse en diferentes resultados observables de la actuación del alumno, a partir de los cuales quedaría determinado su grado de competencia. La evaluación de las competencias se hará efectiva mediante la recogida de evidencias de desempeño del alumno. Una evidencia de desempeño concreta situaciones o circunstancias en las que el alumno demuestra su nivel de competencia. Por tanto, los ítems de las pruebas usadas en las evaluaciones de diagnóstico configuran situaciones ante las que se plantan al alumno interrogantes cuya respuesta revela información útil para determinar su grado de competencia. Cabría establecer evidencias de desempeño que se vinculan a los diferentes niveles logrados en el desarrollo de competencias. Redactado un primer conjunto de ítems, se procede a la revisión de la calidad de los mismos, tratando de detectar errores en la redacción, tratamientos incorrectos de los contenidos, falta de adaptación de su dificultad al nivel al que se destinan, etc.
e) Aplicación piloto La construcción de pruebas e instrumentos de medida pasa necesariamente por una fase de experimentación o ensayo, en la cual se contrasta la idoneidad de las mismas. La configuración de las pruebas finales podrá definirse tras la realización de una aplicación piloto del conjunto de ítems redactados por los especialistas. Con este fin, el conjunto de ítems se divide en diferentes pruebas de 25-35 items, que son aplicadas respectivamente sobre muestras representativas del alumnado destinatario. La inclusión de ítems de anclaje (presentes en más de una prueba) hace posible la equiparación de parámetros para ítems que han sido contrastados con submuestras
48
diferentes. La representatividad de las muestras se puede asegurar seleccionando centros caracterizados por atender a población de diferente nivel socioeconómico y cultural. Una vez administradas las pruebas, su corrección y puntuación permitirá determinar las características psicométricas de cada ítem.
f) Selección de ítems para las pruebas
El contraste empírico de los ítems ofrece la oportunidad de seleccionar aquellos que resultan más adecuados para medir las competencias objeto de evaluación. Los criterios aplicados para descartar ítems son los siguientes:
- Ausencia de alguna de las categorías de respuesta. Aunque al construirlos se haya
pretendido generar un ítem ofreciendo diferentes opciones de respuesta reveladoras de otros tantos niveles en el desarrollo de la competencia, podría ocurrir que alguna de ellas no fuera elegida por ningún sujeto. En la práctica, ello supondría que el ítem cuenta con un menor número de opciones.
- Insuficiente capacidad de discriminación. Medida a través de la correlación ítem-total, la discriminación informa sobre la capacidad que tiene el ítem de identificar a sujetos con diferente nivel de competencia. Un ítem con buena discriminación es el que tiende a ser respondido correctamente por el alumnado más competente, y a ser errado por quienes presentan los niveles más bajos de competencia. En ocasiones, este patrón no se ve confirmado por los datos empíricos, lo cual indica la existencia de algún problema en la construcción de tales ítems, y por tanto la conveniencia de descartarlos.
- Niveles extremos de dificultad. Cuando la dificultad es excesivamente alta, la gran mayoría
de los examinados falla al responder a un ítem. Y al contrario, si la dificultad es demasiado baja, la práctica totalidad de los sujetos respondería con acierto. En ambos casos, el resultado en el ítem es constante, y si todos aciertan o todos fallan ante un determinado elemento, ese elemento no permite identificar con claridad a quienes poseen alta o baja capacidad en relación con la competencia medida.
Entre los criterios para decidir qué unidades concretas del banco de ítems deben incorporarse a las pruebas, estarían los siguientes: - Cobertura de las competencias objeto de evaluación. La selección de ítems debe garantizar
que las competencias y elementos de competencia que van a ser evaluados estén suficientemente representados.
49
- Inclusión de ítems de diferentes niveles de dificultad. Las pruebas han de contar con elementos situados en diferentes niveles de dificultad, de tal manera que nos permitan situar a los sujetos en el nivel de competencia que poseen. Si todos los elementos tuvieran el mismo nivel de dificultad, únicamente sería posible establecer qué sujetos superan ese nivel y cuáles no.
- Equiparación con otros modelos de pruebas. En el caso en que se construyan diferentes
pruebas de dificultad equivalente, la equiparación entre modelos es un criterio más a la hora de configurar dichas pruebas.
- Minimizar el número de situaciones-problemas. Por motivos de economía en el tiempo
requerido para responder a una prueba, puede ser útil recurrir a un número limitado de situaciones-problema, planteando múltiples ítems en relación a cada una de ellas. De ese modo, se simplifica el proceso de respuesta, dado que el examinado que responde a una prueba habrá de leer o familiarizarse con un número reducido de situaciones.
g) Ordenación de ítems
El orden de presentación de las preguntas dentro de las pruebas de evaluación puede responder a diferentes criterios. La ordenación al azar de los ítems de una prueba, generando diferentes modelos en los que las preguntas aparecen en distinto orden, se ha utilizado con el propósito de impedir la copia de respuestas entre los alumnos. El criterio de ordenación según dificultad creciente tiene como efecto la motivación del alumno evaluado, quien incrementa su confianza en sí mismo al percibir desde los primeros momentos que las preguntas planteadas son fáciles de responder. Sin embargo, en pruebas de una cierta extensión, este criterio supondría responder a las preguntas más difíciles al final, precisamente cuando el efecto del cansancio puede ser más evidente. Otro criterio a emplear podría apoyarse en el orden natural que se establece entre los bloques de contenido, de tal manera que las preguntas se podrían presentar siguiendo la misma secuencia de presentación de los contenidos en el currículo oficial. Por último, el agrupamiento de cuestiones que responden a una misma competencia es un modo de propiciar la concentración del sujeto en determinado tipo de destrezas o capacidades. En el caso de las pruebas para las Evaluaciones de Diagnóstico, se han mantenido unidas las cuestiones planteadas en relación a una misma situación o problema, aunque las competencias a las que están vinculadas sean de distinta naturaleza. REFLEXIONES FINALES La construcción y utilización de pruebas estandarizadas para la evaluación de competencias básicas ha sido objeto de críticas frecuentes por parte de algunos sectores sociales y también del ámbito educativo, desde donde se han señalado inconvenientes o limitaciones de este tipo de
50
procedimientos. Frente a ellas, es preciso reconocer las fortalezas inherentes a las pruebas de evaluación y al modo en que han venido utilizándose en nuestra Comunidad Autónoma. Un primer inconveniente surge del propio formato utilizado. Posiblemente el mejor modo de valorar la competencia de un alumno o alumna sea la observación directa de su desempeño ante situaciones prácticas escolares y extraescolares, a las que se enfrenta cotidianamente. La inviabilidad de este procedimiento cuando es preciso evaluar a un número elevado de sujetos hace que generalmente se opte por pruebas escritas. No obstante, éstas presentan como inconveniente su distanciamiento de las situaciones reales, que intentan recrear por medio del planteamiento de problemas prácticos. El problema se agrava aún más cuando se utilizan preguntas cerradas, en las que debe elegirse entre una serie de opciones de respuesta. Las posibilidades de demostrar el dominio de una competencia se ven de este modo limitadas. El carácter censal de la Evaluación de Diagnóstico hace que todos los sujetos del sistema educativo sean examinados mediante pruebas, fijándose para ello días concretos dentro del calendario escolar. Los riesgos de excesiva fatiga o la intención de no alterar excesivamente el ritmo de actividad que se desarrolla en los centros son razones que llevan a limitar la extensión de las pruebas. La utilización de en torno a una veintena de ítems viene siendo la práctica más extendida en las evaluaciones realizadas hasta el momento en los centros andaluces, lo cual supone un obstáculo para una completa y adecuada cobertura de los diferentes elementos de la competencia medida. De este modo, es posible aportar medidas de la competencia globalmente considerada, pero no cabe avanzar hacia un diagnóstico de mayor detalle, centrado en los elementos de competencia. La formación que reciben los redactores de ítems y las recomendaciones que se les ofrecen insisten en la necesidad de generar ítems que midan la competencia del sujeto más que los contenidos cognoscitivos abordados en el currículum escolar. A pesar de ello, parte de los ítems podrían sufrir un cierto sesgo hacia las situaciones escolares y las actividades típicamente académicas, que se apoyan en el dominio de conocimientos. En esta dirección, cabe incorporar a las pruebas de evaluación otros formatos de información apoyados en textos discontinuos o textos electrónicos, como es el caso de la reciente evaluación PISA 2009, en la que los sujetos son evaluados también en su capacidad de lectura digital. Una crítica que algunas asociaciones profesionales docentes y parte de los medios de comunicación lanzaron ante las primeras evaluaciones de diagnóstico apuntaba directamente a la dificultad de las pruebas. Se consideraba que el nivel de dificultad se había establecido deliberadamente en cotas bajas, con el fin de ofrecer una imagen positiva del rendimiento en nuestro sistema educativo. A la luz de los resultados obtenidos, se ha comprobado que el nivel de los ítems estaba a la altura de lo que los estudiantes pueden hacer. Además, las sucesivas ediciones de la evaluación de diagnóstico, con el consiguiente análisis de la evolución en las
51
puntuaciones logradas, ha hecho que este tipo de críticas hayan perdido intensidad, toda vez que las reflexiones realizadas en torno a los resultados conseguidos se han venido centrando en las tendencias observadas, antes que en valoraciones de los niveles alcanzados en una única evaluación. Frente a este tipo de inconvenientes o críticas, las pruebas empleadas en la Evaluación de Diagnóstico tienen el valor de hacer efectiva una evaluación estandarizada del rendimiento en todos los centros públicos o privados de nuestro sistema educativo. Ello supone una evaluación que implica a decenas de miles de estudiantes de 4º de EP y 2º de ESO, sin precedentes en nuestro país. La estandarización del proceso hace comparables los resultados obtenidos, ofreciendo a los centros un nivel de referencia para valorar sus propios logros en materia de rendimiento escolar. La evaluación que tradicionalmente realiza el profesorado como parte del proceso de enseñanza-aprendizaje ha utilizado criterios y técnicas no necesariamente coincidentes cuando analizamos diferentes contextos escolares. En consecuencia, las calificaciones asignadas al alumnado en un centro, como reflejo del aprendizaje conseguido, no siempre tienen el mismo significado que si esas mismas calificaciones se obtuvieran en otros centros. El empleo de las pruebas de evaluación proporcionadas en el marco de la Evaluación de Diagnóstico supone la oportunidad de contrastar las calificaciones que el profesorado asigna a su alumnado con las que obtienen en pruebas externas, no diseñadas por el propio profesor. En respuesta a la finalidad para la que han sido creadas, las pruebas de evaluación de competencias básicas del alumnado aportan una medida del rendimiento alcanzado en nuestro sistema educativo, cuyo análisis permite derivar a las autoridades educativas las medidas de mejora adecuadas para hacer frente a los déficits detectados. Además, las evaluaciones de diagnóstico aportan información a los centros, que pueden valorar su situación en relación a la media de centros andaluces y analizar una serie de factores que podrían estar incidiendo en los resultados logrados. Y por último, las pruebas de evaluación de competencias aportan información para las familias, complementando a la que habitualmente reciben a través de los centros sobre el aprovechamiento escolar de sus hijos. La utilización de pruebas de evaluación de competencias ha estimulado en cierta medida el desarrollo de una enseñanza basada en el desarrollo de competencias. El contenido de las pruebas ha hecho que la acción educativa de los centros considere cada vez más la necesidad de formar ciudadanos competentes, de forma que los aprendizajes escolares trasciendan lo meramente académico y les sirvan para desenvolverse con éxito en la vida real.