1

Programa de Promoción de la Reforma Educativa en América Latina y el CaribePartnership for Educational Revitalization in the Americas

N˚ 26

Las pruebas internacionalesde aprendizaje en AméricaLatina y su impacto en lacalidad de la educación:

Criterios para guiar futurasaplicaciones

J. Guillermo FerrerPatricia Arregui

Abril 2003

El presente documento corresponde a un resumen delestudio del mismo nombre financiado con recursos delConsorcio de Investigación Económica y Social delPerú, y con el apoyo de PREAL. La versión completase encuentra en http://www.grade.org.pe/gtee-preal/docr/ExperLatino.pdf

Las opiniones vertidas en este trabajo son de respon-sabilidad de los autores y no comprometen al PREAL,ni a las instituciones que lo patrocinan.

2

3

ÍNDICE

INTRODUCCIÓN 5

I. LAS PRUEBAS INTERNACIONALES DE APRENDIZAJE 5

I.1. Las reformas educativas y la evaluación del logroacadémico en los noventa 5

I.2. ¿En qué consisten las pruebas internacionales? 8

I.3. El debate acerca de la participación en pruebas internacionales 11

II. MARCO CONCEPTUAL Y CASOS DE ESTUDIO 13

III. RESULTADOS DEL TRABAJO DE CAMPO 14

III.1. Agencia: LLECE (Unesco-OREALC) - Primer EstudioInternacional Comparativo sobre Lenguaje,Matemáticas y Factores Asociados 14

III.2. Agencia: IEA - TIMSS, TIMSS-R y Educación Cívica 15

III.3. Agencia: OCDE - Prueba PISA 17

IV. RESUMEN CRÍTICO DE LOS RESULTADOS 17

V. RECOMENDACIONES PARA FUTURAS OPORTUNIDADESDE PARTICIPACIÓN EN PRUEBAS INTERNACIONALES 22

BIBLIOGRAFÍA 27

ENTIDADES ENTREVISTADAS 28

SIGLAS Y ABREVIACIONES 29

4

5

INTRODUCCIÓN

En los últimos años, diversos organismos inter-nacionales y regionales han recomendado quelos países latinoamericanos participen en prue-bas internacionales de logro académico. Esa re-comendación suele sustentarse en el argumentode que los datos comparativos sobre el rendi-miento estudiantil son útiles para informar a lospaíses sobre la calidad relativa de sus sistemaseducativos y, consecuentemente, sobre su com-petitividad en el mercado global de bienes y ser-vicios. Se argumenta también que las pruebasinternacionales garantizan mayor calidad técni-ca y eficiencia que los sistemas nacionales demedición y que pueden contribuir significativa-mente al desarrollo de capacidades locales enel campo de la evaluación.

La utilidad efectiva de las comparaciones inter-nacionales de logro académico para informarpolíticas educativas no es, sin embargo, algosobre lo cual exista total acuerdo en la literaturaactual. Tampoco se ha recogido ni sistematizadosuficiente evidencia empírica sobre la difusiónque los países han dado a la información recogi-da en las pruebas internacionales ni sobre lamanera en que han utilizado esa informaciónpara promover el mejoramiento de sus políticas,planes, programas y prácticas educativas.

Ante esta falta de evidencia, y ante la posibilidadde que los países de la región comiencen a privi-legiar la participación en pruebas internacionalessin consolidar el desarrollo de sus propios siste-mas y capacidades de evaluación y medición, seconsideró oportuno iniciar una indagación explo-ratoria sobre los riesgos y beneficios de esta par-ticipación y sobre las condiciones técnicas y polí-ticas en que se han venido realizando.

Para ello se decidió estudiar la experiencia dealgunos de los países que han participado enpruebas internacionales de logro académico: Ar-gentina, Chile, Colombia, Cuba, Ecuador, Esta-dos Unidos, México, Perú y Uruguay (que parti-cipará próximamente por primera vez en unaprueba internacional). La inclusión de EstadosUnidos se decidió porque su experiencia arrojacierta luz sobre la forma en que América Latinapuede hacer mejor uso de sus oportunidades departicipación en pruebas internacionales. Así,aunque esta muestra no se considera represen-tativa de toda la región, permite identificar algu-nas tendencias y patrones comunes en los pro-

1 Cabe añadir que la selección de los países estuvo condicionadapor las limitaciones financieras de los investigadores, que realiza-ron las entrevistas personales y telefónicas haciendo uso de tiem-po y recursos financieros de otros proyectos de investigación.

cesos de participación de América Latina enpruebas internacionales1.

El propósito último de este estudio es el de con-tribuir a que dicha participación, de resultar re-comendable o de alguna manera ineludible,pueda servir para el mejoramiento de la gestióny de los resultados de los procesos educativos.A la vez, confiamos en que las recomendacio-nes finales de este estudio servirán para minimi-zar los impactos negativos que dichas activida-des pudieran eventualmente acarrear.

Antes de concluir esta introducción, deseamosagradecer a Gilbert Valverde, Fernando Rei-mers, Juan Fernando Vega, José Rodríguez,Leonor Cariola, Carlos Pardo, Silvia Montoya,Shane Hunt, Pedro Ravela y Héctor Fernándezpor sus valiosos comentarios a los primeros bo-rradores de este informe.

I. LAS PRUEBAS INTERNACIONALES DEAPRENDIZAJE

I.1. LAS REFORMAS EDUCATIVAS Y LA EVALUACIÓN

DEL LOGRO ACADÉMICO EN LOS NOVENTA

Los esfuerzos mundiales por llevar a cabo refor-mas educativas en las últimas dos décadas hanestado motivados, principalmente, por un cre-ciente interés político en asegurar la cobertura yel acceso universal a la educación, así como elaprendizaje efectivo de todos los alumnos de losnuevos contenidos curriculares. Este renovadointerés por la calidad de la educación se inscri-be en un contexto de fuertes cambios políticos yeconómicos que son interpretados en formasvariadas por las diferentes corrientes académi-cas y de opinión.

Algunas voces destacan la existencia de condi-ciones en las que las reglas de libre mercado, laglobalización y las nuevas tecnologías de infor-mación imponen una redefinición de las metas yobjetivos de la educación pública, así como delrol del Estado para la consecución de esas me-tas. Estos cambios se caracterizan por una seriede objetivos que Carter y O’Neill (en Ball, 1998)

6

definen como constitutivos de una “nueva orto-doxia”. Algunos de esos objetivos serían: mejo-rar las economías nacionales estableciendovínculos más robustos entre escolarización, em-pleo, productividad y mercado; mejorar los re-sultados de aprendizajes relacionados a lascompetencias y destrezas que requiere el mun-do laboral; lograr un mayor y más directo controlde los sistemas educativos nacionales sobre loscontenidos curriculares y sobre la evaluación;reducir los costos de gobierno en educación; yampliar la contribución de la comunidad a laeducación, mediante su participación en la tomade decisiones escolares y la presión de la libreelección de mercado.

Estas tendencias vienen de la mano de nuevasformas de administración y gestión que planteanla necesidad de mejorar la eficiencia de los sis-temas educativos y de fomentar la responsabili-zación social y profesional por los resultados dela educación. Estas formas de gestión, usual-mente denominadas de “gerenciamiento”, supo-nen el uso de estilos y herramientas diferentes alos tradicionalmente utilizados por el sector pú-blico. Ejemplo de ello son la delegación de res-ponsabilidad y poder de decisión a las institucio-nes proveedoras de servicios (escuelas), asícomo el control “a distancia” de la calidad en laprovisión de esos servicios por parte del podercentral. De esta manera, el Estado reemplaza laintervención directa y la prescripción por la de-terminación de objetivos, la comparación y laresponsabilización (Lyotard, en Ball, 1998).Dentro de este marco de interpretación, sinduda, ha tenido un rol fundamental el uso demediciones sobre el rendimiento académico delos estudiantes, que permite establecer me-canismos de responsabilización para los alum-nos mismos, para los docentes y para las es-cuelas, en forma de graduación y promoción,acreditación, incentivo a la matrícula, mejorassalariales, y otras tantas formas de estímulopara elevar los resultados educativos.

Paralelamente, muchos países, entre ellos loslatinoamericanos, buscan, por medio de las re-formas curriculares y de gestión, fomentar yconsolidar valores democráticos, de participa-ción ciudadana y de respeto por la diversidad.En este sentido son numerosos los esfuerzos demuchos países de la región por establecer siste-mas nacionales de medición de la calidad edu-cativa que permitan, no necesariamente impul-sar mecanismos punitivos o de mercado (school

choice), sino hacer más transparente y partici-pativa la gestión mediante la provisión de infor-mación a los actores y usuarios del sistema.Visto de este modo, el Estado no se desentien-de de la gestión ni de su responsabilidad porpromover mayor equidad y calidad de educa-ción, sino que busca alentar a la población aque utilice la información sobre los resultadoseducativos para demandar localmente mayoresniveles de calidad para sus escuelas.

Simultáneamente, el Estado se reserva para sí lafunción redistributiva de los ingresos públicos,que se puede hacer más efectiva y equitativa me-diante evaluaciones que permitan distinguir cuá-les son las subpoblaciones del sistema con ma-yores dificultades y menores recursos, y asípoder intervenir con recursos materiales y peda-gógicos para compensar las diferencias de logroacadémico. Adicionalmente, las evaluaciones hanpermitido reunir sistemáticamente mayores evi-dencias sobre las actitudes de los alumnos conrelación a los aprendizajes mismos y a los valo-res personales y sociales, que son contenidosexplícitamente delineados en la gran mayoría delos currículos de América Latina donde las refor-mas educativas de los últimos veinte años se hanemprendido en contextos políticos de democrati-zación y pacificación (Ferrer, 1999)2.

Es importante notar que la búsqueda del controlmás directo sobre los contenidos curriculares seha fortalecido en los países que han tenido sis-temas educativos tradicionalmente descentrali-zados, mientras que en aquellos donde la pres-cripción curricular ha sido históricamentecentralizada, los esfuerzos se han concentradomás bien en la flexibilización del currículo en elnivel local y escolar. En cualquiera de los dosescenarios, sin embargo, se percibe la necesi-dad de realizar evaluaciones centralizadas quepermitan medir el logro académico de todos losalumnos bajo un mismo parámetro y con rela-ción a contenidos curriculares a los que todoslos estudiantes deberían poder acceder.

En este contexto, una de las herramientas princi-pales de gestión educativa en muchos países del

2 También en algunos países de Asia, como Japón y Corea delSur, se ha hecho evidente la necesidad de complementar elenfoque tradicionalmente academicista de la educación con as-pectos del desarrollo moral, afectivo y social de los estudiantes(GRADE, 2001).

7

mundo es la evaluación comparativa y cuantitati-va de los logros de aprendizaje de los alumnos yla medición del impacto de diversas variables es-colares y extraescolares sobre esos logros. Lospaíses que disponían de sistemas nacionales deevaluación desde antes de los años ochenta, re-forzaron su aplicación y los vincularon más direc-tamente a sus nuevas metas curriculares. Lospaíses que no disponían de tales sistemas deevaluación, como la mayor parte de los paíseslatinoamericanos, los desarrollaron junto con eldiseño e implementación de las reformas educa-tivas de los años ochenta y noventa.

Opiniones especializadas argumentan que el im-pulso por la creación de estos sistemas de eva-luación en los países en desarrollo estuvo influi-do por la presión de algunas agencias decooperación internacional que condicionaron lospréstamos para educación al desarrollo de siste-mas nacionales de medición que permitieranmedir los resultados de esas millonarias inver-siones en reformas educativas. Sin embargo,esta interpretación es insistentemente desafiadapor quienes consideran que, independientemen-te de las políticas de las últimas dos décadas,comúnmente denominadas “neoliberales”, laevaluación estandarizada del rendimiento aca-démico y el estudio de los factores escolares yextraescolares que afectan ese logro fortalecenlos cimientos democráticos de los sistemas edu-cativos, en tanto permiten la opinión informada yla demanda de los beneficiarios, a la vez que elestablecimiento de mecanismos de compensa-ción para asistir a las comunidades escolaresque más lo necesitan por parte del Estado.

A esta discusión se suma el hecho de que loscambios económicos mundiales de las últimasdos décadas también han dado lugar a una cre-ciente preocupación de los países por su capa-cidad para competir eficazmente en los merca-dos internacionales. Para poder competir yprosperar, según se argumenta desde la publi-cación de La naturaleza y las causas de la ri-queza de las naciones (Smith, 1776), es menes-ter invertir en capital humano. Desde entonces,la educación ha sido vista como el principal me-dio para incrementar ese capital y fomentar asíel desarrollo y la posibilidad de competir comer-cialmente en el escenario global.

La responsabilidad que se le adjudica a la edu-cación por incrementar el capital humano delas naciones se manifiesta actualmente en las

múltiples iniciativas de reforma educativa en elmundo. Casi todas estas reformas, si bienmuestran grandes diferencias, guardan comoprincipal semejanza los esfuerzos por actuali-zar permanentemente los currículos y por me-dir, como se explicó anteriormente, la imple-mentación y aprendizaje efect ivo de loscontenidos de esos currículos.

Comparaciones internacionales

Junto con el desarrollo y perfeccionamiento desistemas nacionales de medición de aprendiza-jes, ha crecido notablemente el interés por lascomparaciones internacionales de logro académi-co. Según Bempechat et al. (2000) “la fascina-ción con el logro académico en diferentes nacio-nes ha sido motivada por los rápidos avancestecnológicos que han transformado la economíamundial [...] Los Estados-nación expresan su pre-ocupación por su capacidad para competir en unmundo que se vuelve más y más pequeño”.

El caso de Estados Unidos es paradigmático encuanto al impacto que las pruebas internaciona-les comparadas pueden tener sobre las políticaseducativas de una nación. Los resultados enMatemáticas y Ciencias, de los estudiantes nor-teamericanos en pruebas internacionales, pordebajo del promedio mundial y muy lejos de laspotencias asiáticas, alarmaron a los líderes polí-ticos de los inicios de los ochenta, quienes nodudaron en calificar a los Estados Unidos como“una nación en riesgo” (National Commission onExcellence in Education, 1983). La declaraciónhacía referencia al peligro que corrían los Esta-dos Unidos de perder liderazgo mundial si susistema educativo público no lograba mejoresresultados de aprendizaje en Ciencias y Mate-máticas, y desencadenó una serie de medidasde reforma curricular y de gestión en el país,con el objetivo explícito de ocupar el primerpuesto en los rankings internacionales de logroacadémico hacia el año 2000.

Pero a las comparaciones internacionales no so-lamente se les atribuye un valor competitivo, o deranking. Existen también argumentos conceptua-les que justifican las comparaciones entre paísescomo un instrumento metodológico que ofrecemayor información que la que puede ofrecer unanálisis intranacional. Según Joseph Farrell(1979) no se puede realizar ninguna generaliza-ción científica sobre educación si no es a travésde un estudio comparativo. El autor sostiene que

8

“los datos comparativos son esenciales para es-tablecer la credibilidad de las proposiciones” yque “hasta que no se conoce la relación entreuniversos particulares y generales, ningún estu-dio es suficiente para probar una proposición”.

Para muchos investigadores y tomadores de de-cisiones sobre políticas educativas la participa-ción en pruebas internacionales constituye una“intervención en sí misma”, independientementede los resultados del estudio, y alerta a educa-dores e investigadores sobre problemas que po-drían no haber considerado anteriormente.

Otras visiones sostienen que las pruebas inter-nacionales pueden cumplir un rol más activo opropositivo. Husén (1987), cuando discute el im-pacto de la IEA (International Association for theEvaluation of Educational Achievement) sobrelas políticas educativas en los países participan-tes, distingue dos categorías de “clientes”: a)formuladores de políticas (principalmente en elnivel central), y b) ejecutores de esas políticas(técnicos y educadores en el nivel central y lo-cal). Según Husén, los primeros suelen estarmás interesados en datos y hallazgos de investi-gación referidos a la estructura del sistema deeducación, mientras que los últimos prestanmás atención a la información recogida sobreprocesos de enseñanza-aprendizaje, prácticas ymetodología de aula, materiales educativos yevaluación de aprendizajes en el aula.

Otros autores proponen algunos objetivos espe-cíficos que suelen perseguirse mediante la apli-cación de pruebas internacionales. Theisen etal. (1983), por ejemplo, citan tres objetivos prin-cipales para esa participación: comparar el logroacadémico relativo entre países y por asignatu-ra; identificar implicancias de política educativapara un país a través de los determinantes delogro hallados en otros países; y reevaluar lasprioridades de inversión dentro de un país paraelevar la calidad de los aprendizajes.

La teoría sobre educación comparada es exten-sa y controvertida, y los argumentos sobre elvalor y validez de las comparaciones internacio-nales aún son materia de acaloradas discusio-nes en los medios académicos. Sin embargo,persiste el interés de los investigadores socia-les, así como de los formuladores de políticaspúblicas alrededor del mundo, en realizar com-paraciones, cada vez más precisas y sofistica-das, sobre diferentes aspectos de la política so-

cial. Este ha sido el caso de las pruebas interna-cionales de logro académico, que se siguenaplicando en una creciente cantidad de paísescada año y que se van perfeccionando gradual-mente en lo que se refiere a la especificaciónconsensuada de sus objetivos, así como a lastécnicas de recojo y análisis de la información.

I.2. ¿EN QUÉ CONSISTEN LAS PRUEBAS INTERNA-CIONALES?

Las pruebas internacionales comparadas soninstrumentos de medición estandarizados quese aplican en varios países simultáneamente,en grados o grupos etarios seleccionados, y querecogen información sobre logros de aprendiza-je conceptual y procedimental en diferentes dis-ciplinas, y sobre los factores contextuales quese presume influyen en el logro académico delos estudiantes.

Las pruebas suelen incluir ítemes de opciónmúltiple, preguntas abiertas y/o demostracionesprácticas, como por ejemplo de laboratorio en elcaso de las Ciencias Naturales. Entre los facto-res contextuales más importantes que se sueleestudiar están la inversión per cápita en cadasistema nacional; las características familiares ysocioculturales de los alumnos; la infraestructu-ra escolar; la preparación académica de los do-centes; la cobertura curricular efectuada en cla-se en las áreas disciplinares evaluadas; y lasactitudes y valores de los alumnos con relacióna esas áreas.

Las pruebas pueden ser curriculares o “acurricu-lares”, dependiendo de su grado de vinculacióna los currículos de los países participantes.Cuando las pruebas son curriculares, los instru-mentos se diseñan sobre una matriz común querepresenta los contenidos básicos que se ofrecenen los niveles educativos a ser evaluados en casitodos los países participantes. A estos conteni-dos comunes se suman contenidos consideradosnecesarios para una educación de calidad en elsiglo XXI, según la opinión de profesionales yacadémicos internacionales especializados enlas áreas disciplinares evaluadas. En el caso delas pruebas “acurriculares”, los diseñadores delestudio establecen estándares de contenidoacadémico disciplinar que se consideran nece-sarios para una efectiva inserción social y labo-ral en el mundo de hoy, independientemente delos contenidos de los currículos de los paísesparticipantes.

9

Algunas de estas pruebas se han aplicado unaúnica vez, a modo de diagnóstico o como ejerci-cio de investigación. Actualmente, se observauna tendencia al diseño de pruebas de aplica-ción cíclica para seguir el rendimiento de ungrupo etario o grado escolar de estudiantescada cierta cantidad de años, y así establecerrelaciones longitudinales con respecto al des-empeño académico de esas poblaciones.

Agencias de evaluación

Estas son pruebas diseñadas y coordinadas poragencias internacionales de evaluación, y concierto grado de participación de las unidades demedición de la calidad educativa de los países.Algunas de estas agencias son privadas e inde-pendientes, de un perfil básicamente académicocomo es el caso de Educacional Testing Servi-ces (ETS, ‘Servicios de Evaluación Educacio-nal’) en Estados Unidos, o de la InternationalAssociation for the Evaluation of EducationalAchievement (IEA, ‘Asociación Internacionalpara la Evaluación del Logro Académico’), quecomenzó con un perfil similar pero que gradual-mente fue convirtiéndose en una agencia defuertes vinculaciones con los gobiernos naciona-les participantes.

Otras agencias son intergubernamentales desdesu concepción y en ellas están representadaslas máximas unidades políticas o técnicas deadministración o evaluación educativa de lospaíses miembros. Ejemplo de estas últimas sonla Organización para la Cooperación y el Desa-rrollo Económico (OCDE), el Laboratorio Latino-americano para la Evaluación de la Educación(LLECE) –dependiente de Unesco-OREALC–, oel Southern Africa Consortium for MonitoringEducational Quality (SACMEQ, ‘Consorcio deÁfrica del Sur para la Evaluación de la CalidadEducacional’).

Las pruebas de la IEA o de la OCDE son decobertura mundial, mientras que otras, como lasdel LLECE o SACMEQ, son de cobertura regio-nal. En la actualidad existen no menos de diezpruebas internacionales que miden el logro es-tudiantil en diferentes áreas de conocimiento, talcomo se resume en el Cuadro 1.

Difusión y uso de los resultados

Independiente de su origen, estrictamente aca-démico o de aplicación política, las pruebas in-

ternacionales buscan el desarrollo de nuevasmetodologías de investigación comparada y en-foques analíticos (Forster, 2000); actualmente,sin embargo, se tiende a desarrollar estas prue-bas como un instrumento para conseguir insu-mos de información para el diseño y mejora-miento de políticas educativas orientadas aelevar la calidad de los aprendizajes. Para esefin, algunas pruebas ofrecen lo que en este in-forme llamaremos “opciones nacionales”, es de-cir, la posibilidad de medir subpoblaciones espe-cíficas que por alguna razón requieran unamedición más enfocada, o de áreas de conoci-miento particulares y diferentes de las que eva-lúa la prueba general. Así, un país podría haceruso del operativo internacional para evaluar, porejemplo, un grupo etario diferente o agregar íte-mes de contenidos curriculares nacionales nocontemplados en la prueba internacional.

Los resultados de las pruebas internacionalespueden ser reportados y difundidos por lasagencias que dirigen los estudios, por las agen-cias nacionales que coordinan los estudios enlos países participantes, por investigadores in-dependientes o por la prensa (Forster, 2000;Macnab, 2000). Los datos que las pruebas arro-jan suelen ser cuantiosos y por esa razón seeligen diferentes formas de reportarlos, deacuerdo a las audiencias a quienes están dirigi-dos. Algunos informes presentan un ranking deacuerdo al logro relativo de los países partici-pantes, con relación al total del examen o a gru-pos de ítemes seleccionados para el informe;también suele mostrarse la distribución de losresultados en relación a la media aritmética decada país (dispersión), el logro de diferentessubpoblaciones, o las relaciones entre logroacadémico y diferentes variables contextualesrelevadas por el estudio (Forster, 2000).

Algunas de las formas en las que se suele usarla información recogida son: la motivación paramejorar políticas a partir de la simple compara-ción con el logro de otros países; la promociónde políticas de mejoramiento a través de la difu-sión masiva de los resultados; el establecimien-to de nuevos estándares académicos de acuer-do al desempeño de alumnos en otros países; laidentificación de los factores escolares y ex-traescolares que muestran un efecto positivo enel logro de aprendizajes y el estímulo para lasinvestigaciones dentro del país mediante la pro-fundización de los resultados del estudio inter-nacional (Forster, 2000; Macnab, 2000).

10

CU

AD

RO

1

RE

SU

ME

N D

E L

AS

PR

INC

IPA

LE

S P

RU

EB

AS IN

TE

RN

AC

ION

AL

ES

AP

LIC

AD

AS E

N A

MÉ

RIC

A L

AT

INA

Age

ncia

Prue

baA

ños

deC

ober

tura

Pobl

ació

nÁ

reas

cur

ricul

ares

Tipo

de

prue

baPr

inci

pale

s fa

ctor

esN

º de

país

esap

licac

ión

obje

tivo

y co

mpe

tenc

ias

asoc

iado

sla

tinoa

mer

ican

os 1

/

OEC

D;

IALS

1994

-199

8G

loba

l16

-65

años

.Le

ctur

a: p

rosa

,Pr

egun

tas

cerra

das

Varia

bles

cul

tura

les,

1/22

Stat

istic

s(In

tern

atio

nal A

dult

docu

men

taci

ón y

abi

erta

s. s

ocia

les

y de

mog

ráfic

asC

anad

a; L

itera

cy S

urve

y) e

info

rmac

ión

NC

ES;

cuan

titat

iva.

ETS

OEC

D;

ALL

2002

Glo

bal

16 a

65

años

.Le

ctur

a;Pr

egun

tas

cerra

das

Varia

bles

soc

iale

s,3/

22St

atis

tics

(Adu

lt Li

tera

cyal

fabe

tizac

ión

y ab

ierta

s. e

duca

cion

ales

, y[A

rgen

tina,

Bol

ivia

Can

ada;

and

Life

ski l l

s)nu

mér

ica;

econ

ómic

as. A

cces

oy

Cos

ta R

ica]

NC

ESra

zona

mie

nto

lógi

co;

y us

o de

NTI

C.

traba

jo e

n eq

uipo

.

OEC

DPI

SA20

00G

loba

l15

año

s“D

estre

zas

para

la v

ida”

:O

pció

n m

últip

le y

Varia

bles

dem

ográ

ficas

,6/

33(P

rogr

amm

e fo

r20

01M

atem

átic

as, l

ectu

ra y

resp

uest

a ab

ierta

.so

cial

es, e

conó

mic

as[A

rgen

tina,

Bra

sil,

Inte

rnat

iona

l Stu

dent

Cie

ncia

s.y

educ

acio

nale

s.C

hile

, Méx

ico,

Per

ú y

Uru

guay

]

LLEC

EPr

imer

Est

udio

1997

A. L

atin

aG

rado

s 3

y 4

Leng

uaje

y M

atem

átic

a.O

pció

n m

últip

le y

Varia

bles

esc

olar

es,

12(U

nesc

o In

tern

acio

nal

preg

unta

s ab

ierta

sfa

mili

ares

y s

ocia

les.

[Arg

entin

a, B

oliv

ia,

OR

EALC

) C

ompa

rativ

o so

bre

en L

engu

aje.

Bras

il, C

hile

,Le

ngua

je, M

atem

átic

aC

olom

bia,

Cub

a,y

Fact

ores

Aso

ciad

osH

ondu

ras,

Méx

ico,

y Ve

nezu

ela]

IEA

PIR

LS(R

LS-1

991)

Glo

bal

Gra

do 4

(9 a

ños)

Lect

ura

Opc

ión

múl

tiple

Hog

ar; e

scue

la; p

ráct

icas

2/35

(Pro

gres

s in

Inte

rnat

iona

l20

01+

y re

spue

stas

abi

erta

s.pe

dagó

gica

s; c

urric

ulum

;[A

rgen

tina

y C

olom

bia]

Rea

ding

Lite

racy

Stu

dy)

polít

icas

.

IEA

TIM

SS19

95G

loba

lG

rado

s 3-

4, 7

-8,

Cie

ncia

s y

Mat

emát

icas

.O

pció

n M

últip

le,

Cur

ricul

um; P

ráct

icas

2/45

[Col

ombi

a y

Méx

ico]

(Thi

rd In

tern

atio

nal

1999

y úl

timo

deR

espu

esta

abi

erta

ype

dagó

gica

s; p

olíti

cas;

2/38

Mat

hem

atic

s an

d e

duca

ción

dem

ostra

ción

prá

ctic

a.ac

titud

es; h

ogar

; esc

uela

.[A

rgen

tina

y C

hile

]Sc

ienc

e St

udy)

secu

ndar

ia.

TIM

SS-R

IEA

Educ

ació

n C

ívic

a19

99 y

Glo

bal

14 y

17-

18 a

ños

Ciu

dada

nía

y de

moc

raci

a;Pr

egun

tas

cerra

das

yC

lima

esco

lar,

activ

idad

es2/

3219

99-2

000

iden

tidad

nac

iona

l yab

ierta

s; e

scal

as d

eex

traes

cola

res,

recu

rsos

[Col

ombi

a y

Chi

le]

(dos

fase

s)re

laci

ones

inte

rnac

iona

les;

actit

ud e

n el

hog

ar.

cultu

rale

sco

hesi

ón s

ocia

l y d

iver

sida

d;ec

onom

ía y

med

io a

mbi

ente

1/

Se

ind

ica

el n

úm

ero

de

pa

íse

s la

tino

am

eri

can

os

pa

rtic

ipa

nte

s so

bre

el n

úm

ero

to

tal d

e p

aís

es

pa

rtic

ipa

nte

s.

11

I.3. EL DEBATE ACERCA DE LA PARTICIPACIÓN EN

PRUEBAS INTERNACIONALES

El valor de las comparaciones de logro acadé-mico entre países o entre regiones es materiade discusión permanente entre investigadores.Los argumentos que se esgrimen a favor y encontra de esas comparaciones suelen ser de ca-rácter eminentemente técnico, aunque tambiénentran en juego factores de orden político eideológico. A continuación se resumen los bene-ficios y problemas más frecuentemente citadospor la literatura especializada con relación a laparticipación en pruebas internacionales.

Beneficios

• Los resultados comparados internacional-mente atraen la atención de los medios decomunicación, movilizan fuerzas políticas(Greany y Kellaghan, 1996) y suscitan de-bates sobre las implicancias prácticas delos resultados obtenidos (Husén, 1987; Hu-sén y Tuijnman, 1994, en Kellaghan, 1996).

• La construcción de pruebas requiere de lospaíses participantes una revisión cuidadosade sus currículos y su comparación con losde otros países, lo cual puede conducir a suactualización y mejoramiento (Beaton et al.,1999). También motiva a educadores e in-vestigadores a estudiar problemas del sec-tor que no se había considerado antes (Hu-sén, 1987).

• Se desarrolla la capacidad local para la me-dición de aprendizajes (Greany y Kellaghan,1996; Torney-Purta, 1990; Bloom, 1974), enla medida en que educadores e investigado-res de la educación se ven llamados a inte-ractuar con especialistas internacionales yasí se mantienen actualizados (Beaton et al.,1999; Mislevy, 1995).

• Se conoce la efectividad de las políticasimplementadas por otros países (Beaton etal., 1999).

• Además del logro académico, permitencomparar otra gran variedad de variableseducativas, tales como el clima escolar olos factores familiares y sociales que afec-tan el rendimiento académico (Husén, 1987;Torney-Purta, 1990). Si bien algunos de es-tos factores pueden caer fuera de las posi-

bilidades sectoriales de acción, todos contri-buyen a una comprensión más integral delestado actual del sistema educativo y suscondicionantes.

• Los gobiernos pueden incluir en estos estudiospreguntas e ítemes que de otra manera debe-rían evaluar por su propia cuenta, a través desus sistemas nacionales (Husén, 1987).

• La dispersión de los estudios comparativosinternacionales suele ser mucho más fuertey evidente que la de los estudios naciona-les, por lo que permiten indagar más profun-damente en los efectos de diferentes varia-bles sobre los resultados de aprendizaje(Husén, 1987).

• La construcción y la aplicación colectiva depruebas puede promover prácticas profesio-nales democráticas debido al tipo de proce-dimientos y metodologías utilizadas (Tor-ney-Purta, 1990).

• Algunas pruebas, como TIMSS, utilizan di-seños jerárquicos para la recolección de da-tos, lo cual permitiría, asumiendo que existasuficiente varianza en los datos totales,analizar cuánto de la varianza se debe adiferencias entre países o a diferencias en-tre estudiantes dentro de cada país (Bem-pechat et al., 2000). Estos análisis puedencontribuir a revelar cómo algunas políticassimilares pueden tener efectos diferencialesen los países, dependiendo de otras varia-bles complementarias3.

• Si bien en el proceso participan técnicos inter-nacionales, los informes de resultados sonproducidos por investigadores nacionales queconocen a fondo los problemas de su país;por esta razón se espera que exista una inte-racción entre investigadores y educadores porlo menos igual a la que puede existir en elcaso de pruebas nacionales, para que la in-formación recabada y difundida provoque res-puestas constructivas a los problemas detec-tados por el estudio (Bloom, 1974).

3 Un ejemplo de ello es el efecto positivo que la tarea en el hogarpuede tener en el logro académico de los estudiantes chinos,mientras que en Perú el efecto puede ser mucho menor debidoal alto índice de analfabetismo de los padres.

12

Problemas

• Los resultados de los estudios, en particularcuando se presentan como ranking de logroentre países, suelen desatar comentarios ycríticas por parte de los políticos, los me-dios de comunicación y el público, en losque solo importa la posición relativa de lo-gro en el escenario internacional y no laabundante información sobre factores so-ciales, escolares y personales asociados alrendimiento (Greaney y Kellaghan, 1996).La prensa, particularmente, tiende a desco-nocer los aspectos más complejos y auténti-camente informativos de los resultados ysolo destaca las posiciones en el ranking, amenudo con títulos dramáticos y escandalo-sos (Husén, 1987; Kellaghan, 1996).

• Si bien las pruebas internacionales utilizandiferentes formatos, algunos de ellos inno-vadores, los ítemes más numerosos conti-núan siendo diseñados en forma de opciónmúltiple. Aun cuando estos ítemes, si estándebidamente construidos, pueden evaluarhabilidades cognitivas complejas, persistencríticas y dudas sobre su validez para esefin (Greaney y Kellaghan, 1996).

• Se ha criticado a los estudios internaciona-les la falta de metodologías que fomenten laconstrucción cooperativa y democrática delas pruebas, lo cual pone en riesgo la parti-cipación efectiva y el beneficio que puedanderivar de esa participación los países conescaso desarrollo técnico (Husén, 1987)4.

• La complejidad de los estudios, sumada a laescasa capacidad que suele tener el públicopara interpretar los numerosos datos quederivan de los estudios comparativos, deter-mina que la información que finalmente sedifunde resulte ambigua o contradictoria,que un mismo dato pueda ser utilizado paraargumentos antagónicos (dependiendo dela posición política), o que sencillamente semalinterpreten los datos y se llegue a con-clusiones erróneas (Husén, 1987). Los indi-

cadores, interpretados aisladamente de sucontexto cultural y estructural, pueden con-ducir a interpretaciones y acciones de políti-ca equivocadas (Burstein et al., 1992, enSchmidt y McKnight, 1995).

• La validez de los estudios se ve amenazadapor las grandes diferencias culturales entrelos alumnos de diferentes países, que hacenque las “condiciones” en que se toman laspruebas no sean iguales en cada país. Entreestas diferencias destacan los diversos gra-dos de familiaridad que los alumnos puedantener con las pruebas estandarizadas, losestilos de respuesta (como la tendencia aomitir o a adivinar respuestas), y las motiva-ciones que puedan tener los alumnos parahacer un esfuerzo significativo por resolverlas preguntas (Mislevy, 1995).

• A menudo se toman decisiones de políticasobre la base de interpretaciones de causa-lidad entre las variables estudiadas, cuandoen realidad esa causalidad solo podría con-firmarse mediante estudios experimentalescontrolados (Platt, 1975, en Mislevy, 1995).

• La información cualitativa recogida por losestudios comparativos no siempre resultasuficiente para establecer las variacionesque existen al interior de cada cultura y asícomprender mejor cómo las creencias ypercepciones de los alumnos afectan dife-rencialmente su rendimiento (Bempechat etal., 2000).

• Si bien se ha propuesto el uso de las prue-bas internacionales para fines de responsa-bilización de los gobiernos y funcionarios,aún no existen definiciones claras sobrequién será responsable, o quién tendrá elpoder o la autoridad para modificar y mejo-rar el rendimiento académico de los alum-nos. En general, y como sucede con mu-chos sistemas de evaluación nacionales, seha dado poco espacio a la discusión sobreel uso exacto que se dará a las pruebas.Puede pretenderse, erróneamente, que lamisma prueba sirva múltiples propósitoscuando en realidad esos propósitos puedenser incompatibles (Kellaghan, 1996).

• Hasta la fecha, ni las agencias evaluadorasni académicos especializados han llevado acabo un registro sistemático de los usos que

4 Debe considerarse que esta construcción cooperativa tiene quever tanto con la participación efectiva de los técnicos de todoslos países involucrados, como con la posible participación dediferentes grupos profesionales en los ámbitos educativos na-cionales para la validación de los contenidos de las pruebas.

13

se ha dado en diferentes países a los resul-tados de las evaluaciones. Kellaghan (1996)resalta que los informes que existen actual-mente presentan información limitada y rela-tivamente superficial, y por lo tanto no sepueden identificar los mecanismos exactospor medio de los cuales la información [de laIEA] se “traduce” en acciones de política.Aunque este no sea un problema inherente alas pruebas mismas, históricamente demues-tra que las evaluaciones internacionales nosiempre logran informar eficazmente a lasaudiencias o clientes principales.

El balance entre las ventajas y limitaciones quepresentan las pruebas internacionales parecieraindicar que la participación en estos proyectospuede ser valiosa para los países, inclusive paralos países en desarrollo (Greaney y Kellaghan,1996), siempre y cuando se tomen ciertas previ-siones con respecto a las características técni-cas de las pruebas y a las condiciones políticase institucionales para su aplicación, incluyendomecanismos para la correcta interpretación y di-fusión de los resultados. Kellaghan (1996) pro-pone una variedad de “condiciones” bajo lascuales debiera concretarse la participación deun país en pruebas internacionales comparadas.Esas condiciones son tomadas en cuenta parasustentar algunas de las recomendaciones quese efectúan hacia el final de este documento.

II. MARCO CONCEPTUAL Y CASOS DEESTUDIO

El presente estudio fue estructurado sobre unmarco conceptual que encuadra la participaciónen pruebas internacionales de aprendizaje enuna secuencia de cuatro fases:

Iniciativa y adopción. Los resultados de apren-dizaje obtenidos por un país, según muestranlas mediciones nacionales de rendimiento uotros estudios académicos de investigación edu-cativa, estimulan la opinión y la investigaciónsobre la necesidad de elevar la calidad de losaprendizajes y sobre las formas de lograrlo. Launidad central de administración educativa, o al-guna entidad académica con el aval oficial, re-suelve que es necesario medirse con respectoal logro académico de otros países y, de acuer-do a las prioridades curriculares y de políticaeducativa en cada país, se opta por uno o mástipos de proyecto de evaluación internacional.

Se espera de esta manera realizar un segui-miento de los alcances y efectos de los progra-mas curriculares nacionales.

Implementación. En cada país se ponen enmarcha los procesos técnicos de evaluación in-ternacional, desde las primeras reuniones dediscusión entre expertos sobre el marco con-ceptual a ser utilizado, hasta la selección y va-lidación de ítemes, la selección de la muestrapoblacional y la aplicación final de los instru-mentos. Si la relación entre los equipos técni-cos de medición y los profesionales del desa-rrollo curricular en cada país es fluida ycooperativa, es probable que el proceso de di-seño de las pruebas contribuya a las primerasrevisiones críticas de los contenidos curricula-res nacionales, ya sean antiguos o de recientediseño e implementación. Entran en juego enesta fase los aspectos financieros, así comolas capacidades organizacionales y profesiona-les que afectan la viabilidad y calidad de losoperativos de diseño y aplicación de las prue-bas. En el contexto latinoamericano juegan unrol particularmente importante los aprendizajestécnicos, de tipo estadístico y psicométrico,que se desarrollan durante la experiencia.

Interpretación y diseminación de resultados.Se lleva a cabo la lectura de los resultados deevaluación por parte de los técnicos de medi-ción así como de los profesionales del desarro-llo curricular convocados durante el proceso deimplementación. Esa lectura supone el análisiscomprensivo y la valoración inicial del nivel delogro obtenido. Se preparan informes de resulta-dos para la prensa, para la opinión pública ypara diferentes audiencias profesionales delsector; se ofrecen talleres de difusión y desarro-llo de capacidades de interpretación y análisisde los datos, y se liberan las bases de datospara uso de los medios académicos con fines deinvestigación. Los esfuerzos de interpretaciónse centran en las inferencias de tipo curricularque se pueden realizar con relación a los conte-nidos prescritos y enseñados de las áreas deconocimiento evaluadas.

Decisiones, impacto político y nuevas líneasde investigación. Los resultados de las evalua-ciones influyen directamente o indirectamentemediante la presión de la opinión pública y pro-fesional, sobre las decisiones de funcionarios yprofesionales del sector para elevar la calidadde los aprendizajes.

14

Casos de estudio

Del total de pruebas internacionales de aprendi-zaje en las que América Latina ha participado oestá participando actualmente, se decidió en esteestudio reportar las siguientes experiencias:

• Primer Estudio Internacional Comparati-vo sobre Lenguaje, Matemáticas y Facto-res Asociados del LLECE (Laboratorio La-tinoamericano para la Evaluación de laCalidad de la Educación), realizado bajo ladirección de la Oficina Regional para Améri-ca Latina y el Caribe (OREALC) de la Unes-co. Resulta interesante por tratarse del úni-co estudio comparado de coberturaestrictamente regional, el cual contó con laparticipación de un número importante depaíses latinoamericanos.

• TIMSS (Third International Mathematicsand Science Study); TIMSS-R (repeticiónde TIMSS); y Educación Cívica. Todas es-tas pruebas son administradas por la Inter-national Association for the Evaluation ofEducational Achievement (IEA). Fueron in-cluidas por tratarse de pruebas que hanconvocado la participación de algunos paí-ses de la región y porque la experiencia desu aplicación puede ser contrastada con lade Estados Unidos, donde el impacto deesta evaluación ha sido mucho más signifi-cativo que en América Latina.

• Pruebas PISA (Programme for Internatio-nal Student Assessment) de la Organiza-ción para la Cooperación y el DesarrolloEconómico (OCDE). Fue elegida debido aque es una prueba “acurricular” que propo-ne estándares internacionales y ha concita-do el interés de varios países de la región.

III. RESULTADOS DEL TRABAJO DE CAMPO

III.1. AGENCIA: LLECE (LABORATORIO LATINOAME-RICANO PARA LA EVALUACIÓN DE LA CALIDAD

EDUCATIVA, DE UNESCO-OREALC) - PRIMER

ESTUDIO INTERNACIONAL COMPARATIVO SO-BRE LENGUAJE, MATEMÁTICAS Y FACTORES

ASOCIADOS

Cuando se aprobó la idea de crear el LaboratorioLatinoamericano para la Evaluación de la CalidadEducativa - LLECE (en adelante, el Laboratorio),prácticamente todos los países de la región opta-ron por adherirse. Fue concebido como una red

de los sistemas nacionales de evaluación deprincipios de los noventa, en un momento en quela responsabilidad de crear y sostener un sistemade evaluación era complejo desde el punto devista técnico y político. El Laboratorio ofrecía unespacio de diálogo y participación para los fun-cionarios y técnicos responsables de esos siste-mas y brindó apoyo para la creación de variossistemas nacionales de evaluación.

Las principales motivaciones para realizar el es-tudio comparado fueron la necesidad de esta-blecer una comparación “de raíz latinoamerica-na” que contemplara las part icularidadesculturales y educativas de la región y obtenerinformación para apoyar las decisiones de políti-ca educativa. Otra razón que motivó a los paí-ses a escoger la prueba del Laboratorio fue queera mucho más económica que otros estudiosinternacionales.

El Primer Estudio Internacional Comparativo so-bre Lenguaje, Matemáticas y Factores Asocia-dos fue aplicado en 1997 en 13 países latinoa-mericanos, en los grados 3o y 4o de educaciónprimaria, en las áreas de Lenguaje y Matemáti-cas. La prueba incluyó ítemes de opción múlti-ple y también de respuesta abierta, y recogióinformación sobre variables asociadas al logroacadémico, entre ellas de contexto socioeconó-mico, familiar, escolar y áulico. Los principalesobjetivos del Laboratorio fueron entregar unacomparación de rendimiento académico entrepaíses y analizar los factores asociados a eserendimiento. Objetivos complementarios fueron:fortalecer los sistemas nacionales de medición yevaluación por la vía de la práctica a través delprimer estudio comparado; establecer estánda-res educativos, y generar una línea de investiga-ción a partir de los resultados.

Los resultados confirmaron muchos de los datosque algunos sistemas nacionales ya habían co-menzado a producir, como por ejemplo las dife-rencias de logro a favor de las escuelas urbanasy privadas, escasas diferencias de rendimientoentre géneros, y una fuerte asociación positivaentre bajo nivel socioeconómico y bajo rendi-miento académico. En cuanto a los resultadoscomparados internacionales, fue particularmen-te llamativa la diferencia entre Cuba y el restode los países de la región, con más de dos des-viaciones estándar a favor de Cuba. Los resulta-dos fueron publicados por LLECE en dos infor-mes. El pr imero presenta los resultados

15

comparativos en forma de ranking y desagrega-dos por estratos. El segundo informe, que saliótiempo después, ofrece un análisis de factoresasociados al rendimiento académico en el con-junto de países participantes, y se concibió conla idea de ofrecer mejores insumos de informa-ción para la toma de decisiones de política edu-cativa y para estudios académicos en la región.

El estudio fue financiado con aportes del BancoInteramericano de Desarrollo (BID), sumados a al-gunos fondos de la Fundación Ford y dinero de lospaíses participantes el cual se les devolvía en for-ma de servicios de capacitación para la medición.

Para garantizar que los ítemes de las pruebastuvieran una fuerte vinculación con los currícu-los de los países participantes, se invirtieron dosaños y medio en el diseño de las mismas, conreuniones para la selección de ítemes, verifican-do currículos nacionales de Matemáticas y Len-guaje. Este fue uno de los aspectos más benefi-ciosos del proceso, pues obligó a los paísesparticipantes a efectuar una importante revisiónde sus currículos, lo que les permitió descubrirsus debilidades y fortalezas relativas.

Los representantes ante el Laboratorio, llamados“coordinadores nacionales”, fueron en su mayo-ría los directores de los sistemas de evaluaciónde cada país, o de la oficina ministerial de la cualesos sistemas dependían. En algunos casos, eldiseño de la matriz curricular se hizo con la parti-cipación de los técnicos en currículo de los dife-rentes ministerios. Sin embargo, en algunos paí-ses hubo tensiones importantes entre las oficinasdel currículo y los sistemas nacionales de evalua-ción, lo cual determinó que los departamentos decurrículo no estuvieran representados durante elproceso. Debido ello, se reconoció que la pruebafinal no tendría una base curricular de igual signi-ficado para todos los países, y que ello repercuti-ría en las inferencias de orden curricular que sehicieran más adelante.

La entrega de los resultados finales por parte dela Unesco-OREALC se hizo directamente a losministerios. Al mismo tiempo, se realizaron con-ferencias de prensa en Santiago de Chile y seeditó un compacto para televisión que fue difun-dido en América Latina por la Red de TV Espa-ñola. Aunque todos los países participantes dela prueba del Laboratorio se habían comprome-tido a publicar los resultados internacionalmen-te, dos de los países participantes, México y

Perú, cuestionaron la validez de los resultados ydesautorizaron su difusión.

Era potestad de los gobiernos decidir su difusiónen cada país. De ahí que, en muchos casos, losresultados solo circularan en reuniones de cúpu-la, acaso compartiendo un resumen con la pren-sa, pero sin la voluntad de generar debate públi-co sobre el tema.

Los responsables por la ejecución del estudioen el Laboratorio coinciden con algunos de loscoordinadores nacionales en que la falta de unaestrategia fuerte de difusión determinó que losresultados de la prueba no tuvieran un gran im-pacto político, a través de la opinión pública, nien las decisiones de política educativa de la re-gión. Las reacciones por parte de los gobiernosfueron variadas, dependiendo de las expectati-vas y de la coyuntura política de cada país, aun-que se reconoce que en general, exceptuandoCuba, fueron de “tono bajo”. Sin embargo, seesperaba que con la difusión del segundo infor-me sobre factores asociados y con el paso deltiempo, los datos comiencen a ser utilizados porinvestigadores nacionales e internacionalespara análisis secundarios y proyectos de investi-gación, probablemente comisionados por agen-tes no gubernamentales, así como por académi-cos y organizaciones sindicales.

III.2. AGENCIA: IEA - TIMSS, TIMSS-R Y EDUCA-CIÓN CÍVICA

La prueba TIMSS administrada por la IEA fue apli-cada en 1995 en unos 45 países de todo el mun-do. En algunos países solo participaron algunasprovincias y no todos evaluaron todas las pobla-ciones objetivo del estudio: los grados 3° ó 4° deprimaria, 7° u 8° grados, y último año de la educa-ción básica. Las pruebas se centraron en lasáreas de Matemáticas y Ciencias y la matriz curri-cular se definió mediante un relevamiento previode los contenidos curriculares prescritos tanto pordocumentos oficiales como por libros de texto ymateriales didácticos de uso masivo en un númerosignificativo de países. La prueba incluyó ítemesde opción múltiple, de respuesta abierta y de de-mostraciones prácticas (por ejemplo, de laborato-rio). También se realizó un estudio cualitativo, me-diante videograbaciones, sobre procesospedagógicos de aula en seis países de la muestra.

En cuanto a los resultados comparados interna-cionales, quedó confirmado que los países del

16

La principal receptora de los resultados fue la mi-nistra de Educación, quien los compartió con elgabinete ejecutivo de la Presidencia. La lecturadada a los datos fue mínima, en parte porque elprimer informe solo fue comparativo y no permitíarealizar inferencias sobre las razones que expli-caban esos resultados. No se previeron estrate-gias de difusión y a la prensa solo se le entregóuna copia del informe oficial del Laboratorio, sininterpretaciones por parte del Ministerio.

El gobierno no tenía recursos para publicar losdocumentos, y solo se entregaron copias del in-forme de OREALC a gobernadores o secretariosde educación de departamentos. Se piensa quelos resultados no están “contextualizados” a larealidad regional, debido a la ausencia de están-dares regionales y a que el proyecto no ofrecióun marco interpretativo de los resultados con re-lación a los objetivos y alcances de las reformasy políticas educativas implementadas en las dosúltimas décadas.

Se dio amplia difusión a los resultados del pri-mer informe, con un marcado y deliberado carizpolítico, destacándolo como un logro significati-vo de la política social cubana.Se recibió con beneplácito la información sobrelos efectos positivos del clima escolar sobre losaprendizajes, contenidos en el segundo informe.

Los representantes peruanos pusieron objecio-nes técnicas a los resultados y solicitaron pos-tergar su publicación internacional hasta obtenermayores detalles sobre el análisis de los datos.Sin embargo, desde antes de la conclusión delestudio, se presumía que el gobierno no teníaintenciones de publicarlos, por razones políticas.La no publicación de los resultados fue interpre-tada en el país como una privación al derechoconstitucional de acceso a la información públi-ca. Los resultados fueron liberados durante elGobierno de Transición, mediante una publica-ción de la Unidad de Medición de la CalidadEducativa del Ministerio.

CUADRO 2

RESUMEN DE LA EXPERIENCIA DE CUATRO PAÍSES EN LA PRUEBA DEL LLECE

Aprendizaje técnico Difusión de resultados Uso de los resultados e impactoy críticas en la política educativa

Se valora la oportunidad de compartir expe-riencias con América Latina y de discutircon otros países en situación de desigual-dad técnica –para lo cual se requiere muchatolerancia y buena voluntad– y de llegar aacuerdos para la toma de decisiones.Crítica: se tiene la percepción que el Labo-ratorio no supo aprovechar adecuadamentelos conocimientos y la experiencia que yatenían algunos paíse

Producto del proceso, se valora el fortaleci-miento de la relación entre el Ministerio deEducación y el ICFES (Instituto Colombianode Fomento a la Educación Superior) queactuó como correpresentante ante el LLECE.Críticas: Poca participación efectiva delpaís en el diseño de ítemes, falta de accesoal marco conceptual con el cual se constru-yeron los instrumentos, poca comunicaciónentre los países participantes.

La experiencia fue valorada como de amplioaprendizaje para diversos actores del áreaeducativa. La participación en el diseño delas matrices curriculares permitió identificarfalencias del currículo cubano. El debate yla confrontación técnica entre diferentes for-mas de evaluar permitió acceder a nuevosconocimientos sobre evaluación, como losrelativos al diseño y calificación de respues-tas abiertas y nuevas tecnologías de medi-ción (modelo de Rasch y modelos jerárqui-cos lineales).

Se consideró de gran utilidad un curso decapacitación de 15 días que el Laboratorioofreció en Santiago de Chile.Críticas: limitadas posibilidades de influirsobre el diseño de la prueba, no se percibeque la experiencia haya constituido un es-pacio de identidad y comunicación regional.

Argentina

Colombia

Cuba

Perú

Escasa repercusión a nivel del Ministeriode Educación, pues los resultados llega-ron poco tiempo antes de una renuncia detodo el equipo de alta dirección. Sin em-bargo, muchos de estos ex funcionariosque tuvieron acceso a la información circu-lan actualmente en medios académicos,desde donde tienen cierta influencia en laformación de profesionales y especialistasen educación.

Débil impacto sobre la educación. Se con-sidera que las conclusiones a las que llegael Laboratorio no están planteadas de for-ma que pueda afectar la toma de decisio-nes de política.Solo el ICFES tomó la iniciativa de profun-dizar el análisis de los datos.

Atendiendo a los buenos resultados, se de-cidió premiar a los docentes con un incre-mento del 30% en sus salarios, medida quetambién pretendía desalentar el doble em-pleo de los maestros, pues los resultadosdel estudio mostraban una relación negati-va entre el multiempleo y altos rendimien-tos estudiantiles. En el terreno curricular,se decidió trabajar con mayor diversidad detextos, por lo que se incentivó la produc-ción de nuevos materiales educativos.

El impacto más evidente de la participa-ción en el estudio internacional del Labo-ratorio fue quizá la tardía publicación delos resultados, que es considerada unsímbolo importante de la democratizacióndel sector. Además, se observa que dife-rentes medios y actores sectoriales citanfrecuentemente los bajos resultados delPerú con respecto a la región para susten-tar argumentos sobre la prioridad de la po-lítica educativa.

17

sudeste asiático, como Japón, Singapur y Coreadel Sur, logran resultados muy superiores a lamayoría de los países industrializados del mun-do. El único país latinoamericano que participó ypermitió la publicación de los resultados, Colom-bia, obtuvo uno de los últimos lugares en el ran-king internacional.

En 1998 se aplicó TIMSS-R, una repetición dela prueba, en 38 países, incluyendo tres latinoa-mericanos. TIMSS será aplicado nuevamente enel año 2003.

La prueba de Educación Cívica, también admi-nistrada por la IEA, se aplica regularmente enpaíses de todo el mundo. Los contenidos de laprueba se centran en temas de ciudadanía, go-bierno y democracia. También se recogen datossobre factores sociales, familiares y actitudina-les asociados al rendimiento académico.

III.3. AGENCIA: OCDE - PRUEBA PISA

PISA, la prueba comparativa de la OCDE, seaplica regularmente en países de todo el mundoa estudiantes de 15 años de edad, cualquierasea su grado de escolarización. Los paísesmiembros de la OCDE ingresan a la prueba au-tomáticamente, mientras que los demás paísesson invitados a sumarse al proyecto mediante elpago de una cuota de membresía. Las pruebasde PISA se diseñan a partir de un conjunto deestándares de contenido y desempeño, elabora-dos por un grupo de especialistas en diferentesáreas de conocimiento, que se consideran im-prescindibles para la adecuada inserción de losjóvenes en la sociedad y en el mundo laboral dehoy. PISA volverá a aplicarse en el año 2003 yluego en el 2006.Al igual que en el caso de las pruebas de la IEA,la decisión de participar en la prueba PISA latomó cada país individualmente y por lo tanto noes posible presentar testimonios de represen-tantes regionales para esta experiencia de eva-luación. En consecuencia, se han tomado encuenta las voces de los representantes naciona-les de evaluación de Argentina, Chile, México,Perú y Uruguay.

IV. RESUMEN CRÍTICO DE LOS RESULTADOS

Como se ha podido observar, existe ya un con-junto importante de experiencias de participa-ción en pruebas internacionales en América La-

tina. Esas experiencias muestran diferentes gra-dos de inserción e impacto efectivos en el esce-nario de las políticas y la práctica educativa decada país, dependiendo de los contextos políti-cos e institucionales en que se inscriben. Aun-que el tamaño de la muestra de países en esteestudio, y el número limitado de actores entre-vistados, limitan las posibilidades de hacer ge-neralizaciones amplias a la región, la cantidadde información obtenida merece un resumen crí-tico que reúna los aspectos más importantes delos casos analizados, acuerdo a las fases deevaluación comparada internacional utilizadascomo marco conceptual en este estudio.

En cuanto al momento previo a la iniciativa y laadopción de pruebas, en la que perciben los pri-meros “descontentos” con respecto a los resul-tados de aprendizaje obtenidos por los sistemaseducativos nacionales, en América Latina esapercepción se basa, al menos parcialmente, enalgunos referentes empíricos, tales como los re-sultados de pruebas nacionales de logro acadé-mico, pruebas exploratorias comparadas en laregión, o resultados de pruebas internacionalesanteriores. Parte del “descontento” sobre la efi-cacia de los sistemas educativos, que conducea la búsqueda de información comparada sobrerendimiento académico, deviene del convenci-miento, no del todo fundamentado, de que losgrandes problemas económicos de la región tie-nen origen, en parte, en las deficiencias deaprendizaje de los estudiantes, quienes se gra-dúan sin estar preparados para las demandasde conocimiento del mundo actual.

Ese uso de referentes empíricos es decidida-mente más fuerte en países como Estados Uni-dos, donde se han empleado en forma muchomás extensiva los datos recogidos en pruebasnacionales y pruebas internacionales anteriores,y donde el temor a perder competitividad en elmercado internacional es –o al menos lo fue du-rante la última década– más marcado.Las iniciativas de participación, así como laelección del proyecto de evaluación comparadamás conveniente para cada país en América La-tina, han estado en la práctica definidas por tresobjetivos principales:

a) La oportunidad de acceder a capacitacióntécnica en medición de aprendizajes y dise-ño de instrumentos. Existe, sobre la basede experiencias anteriores, una expectativay percepción compartidas entre los países

18

CUADRO 3

EXPERIENCIA DE CUATRO PAÍSES EN LAS PRUEBAS DE LA EIA:TIMMS, TIMMS-R, EDUCACIÓN CÍVICA

Aprendizaje técnico Difusión de resultados Uso de los resultados e impactoen la política educativa

Chile(TIMMS-R y Edu-cación Cívica)

Colombia(TIMMS y Edu-cación Cívica)

Estados Unidos(TIMMS, TIMMS-R en el caso dealgunos estados)

México

En el caso de la prueba de EducaciónCívica, se desarrollaron capacidadesrelacionadas con las estrategias opera-tivas en el trabajo de campo, con dise-ños de manuales, aplicación de instru-mentos y análisis estadístico.Importante aprendizaje sobre el mode-lo psicométrico IRT, el cual pudo seraplicado luego a los operativos de eva-luación nacionales.

Fue una excelente oportunidad deaprendizaje para los académicos parti-cipantes, especialmente en la etapa deinvestigación del marco contextual dela educación en Colombia y en el desa-rrollo de criterios fundamentados parala calificación objetiva de las preguntasabiertas.En el caso de la prueba de EducaciónCívica, se valora la oportunidad de par-ticipación en el establecimiento delmarco conceptual que guiaría la cons-trucción de las pruebas.

En el nivel local, el aprendizaje másvalioso obtenido a través de la partici-pación en TIMSS fue el relacionado alanálisis e interpretación de datos.En el nivel nacional, se destacan losavances teóricos logrados mediante eldesarrollo de nuevos marcos concep-tuales y metodologías de investigacióny análisis.

Se lograron aprendizajes técnicos va-liosos vinculados a técnicas de mues-treo y de organización operativa paralas aplicaciones.

Los resultados de TIMSS-R fueron publica-dos solo en forma de ranking por un diarionacional, mientras que la Unidad de Curricu-lum y Evaluación preparó un documento dedifusión resaltando los aspectos más sustan-tivos de los datos recogidos. Para el estudiode Educación Cívica, que incluyó una opciónnacional, los resultados incluyeron todos losdatos comparativos internacionales de base.Los datos de la aplicación diferenciada (íte-mes de opción nacional) fueron difundidos yanalizados posteriormente. Los resultadosde esta prueba se presentaron en una capa-citación para 40 mil profesores.

Difusión de los resultados de Cívica, a travésde talleres y seminarios para las escuelasparticipantes.Hubo importante interés del Ministerio deEducación en la divulgación de los resulta-dos de TIMSS, que incluyó un seminario pre-vio a la publicación de los resultados parafuncionarios del Ministerio y del ICFES y pu-blicaciones especiales para maestros de Ma-temáticas con los resultados comparativoscon los demás países participantes.

Se publicaron primero los resultados delanálisis curricular y varios meses después elranking internacional. Esto contribuyó a que,cuando se supo que Estados Unidos ocupa-ba un lugar modesto en ese ranking, las au-diencias más especializadas ya tuvieran unconocimiento importante sobre los aspectossustantivos del estudio.Se contrató una prestigiosa consultora deprensa de Nueva York para las relacionespúblicas y las estrategias de difusión de TI-MSS. La consultora proveyó entrenamiento alos coordinadores nacionales y asignó perso-nal especializado a la “colocación” de noti-cias sobre los análisis de TIMSS en diferen-tes medios de comunicación del país.También en el nivel local se realizaron impor-tantes esfuerzos para lograr una mejor inter-pretación y difusión de los resultados.

El país invocó razones técnicas para desauto-rizar la publicación internacional de los datos.

Es notoria la cantidad de artículos escritospor los académicos de uno de los centrosde investigación sobre políticas públicasde Chile, que utilizan los datos para hacercríticas y sugerencias concretas sobre laeducación pública en el país.Desde el Ministerio de Educación se estáintentando que la información llegue a losprofesores, a través de instancias de per-feccionamiento docente, para que hayaimpacto en el aula y en los contenidos.

Sobre la base de los resultados, el Minis-terio de Educación hizo publicaciones queofrecían recursos pedagógicos para quelos profesores lograran mejores resultadosde aprendizaje.Uno de los grandes impactos del TIMSSfue que alentó a los técnicos del ServicioNacional de Pruebas del ICFES a rediseñarel examen que regula el ingreso a la edu-cación superior, con un marco conceptualde referencia a criterios en vez de normas,y con análisis de respuesta al ítem.

Los resultados de TIMSS pusieron en mar-cha una serie de medidas gubernamenta-les, no gubernamentales y profesionalespara establecer estándares curricularesmás altos, y para alinear los diferenteselementos de la gestión y la práctica edu-cativa desde una perspectiva sistémica.En el nivel local o distrital, los esfuerzosse centraron en la alineación curricular lo-cal con los estándares estaduales y enmejorar las condiciones pedagógicas parala entrega de mejores oportunidades deaprendizaje.Un efecto singular de TIMSS en el nivellocal fue la creación de SMART, consorcioque ha decidido proveer extensas oportu-nidades de capacitación a docentes sobrecurrículo, métodos instruccionales y, espe-cialmente, sobre cómo analizar datos depruebas estandarizadas.

Se conservaron las bases de datos con losresultados dentro del ámbito de la SEP,pero no fueron analizadas posteriormente.

19

Se percibe que, en la medida en quese gana experiencia en medición inter-nacional, y a partir de la unificación delos equipos de evaluación y curriculumbajo una misma unidad administrativa,la relación entre los procesos de eva-luación y desarrollo curricular se vafortaleciendo, especialmente a travésde los procesos de revisión curricularsistemática que exigen las pruebas in-ternacionales.

La experiencia de evaluación en elproyecto PISA ha permitido un mayorgrado de participación técnica que enexperiencias anteriores de evaluacióninternacionalLa sección de preguntas abiertas de laprueba ha demandado de las autorida-des de la SEP una convocatoria másamplia a actores del medio educativoen el proyecto, específicamente parallevar a cabo la calificación de res-puestas.

Se considera que esta experienciabrinda a los técnicos la posibilidad deensayar con aspectos técnicos y con-ceptuales diferentes a los de las prue-bas nacionales.

Se perciben tres importantes posibilida-des de aprendizaje con el programaPISA: 1) generará un mayor conoci-miento para el diseño de ítemes de lasáreas que actualmente no son evalua-das por las pruebas nacionales; 2) per-mitirá desarrollar capacidades específi-cas con relación al diseño, calificación yprocesamiento de la información depruebas de respuestas abiertas, y mejorconocimientos de la teoría de respuestaal ítem; y 3) se aprenderá más sobre lamedición de variables escolares, curri-culares e instruccionales.

CUADRO 4

EXPERIENCIA Y/O EXPECTATIVAS DE CUATRO PAÍSES EN LAS PRUEBAS PISA

Aprendizaje técnico Difusión de resultados Uso de los resultados e impactoen la política educativa

Chile(En proceso paraparticipación enPISA 2003)

México(Participación enPISA Plus, PISA2001 y en prepa-ración para PISA2003)

Perú(Al momento delestudio, en pro-ceso para partici-pación en PISA2003)

Uruguay(En proceso parapart icipación enPISA 2003)

Aun cuando Chile no participó PISA 2000, elMinisterio de Educación difundió públicamen-te los resultados y anunció que Chile partici-paría en la siguiente aplicación del proyecto.Se espera difundir los resultados de PISA enforma más beneficiosa y efectiva que con laspruebas internacionales anteriores en que elpaís ha participado, porque se contará conmás tiempo para la planificación de una es-trategia adecuada y con mayor apoyo porparte de las organizaciones internacionales.

Los primeros destinatarios de los resultadosserán los equipos técnicos y autoridades po-líticas de la próxima administración guberna-mental nacional, lo cual aumentará las posi-bilidades de que los datos sean utilizados yque el proyecto evaluativo se continúe en eltiempo. Respecto a los resultados prelimina-res de PISA, que consistieron en una aplica-ción específica de PISA Plus para que Méxi-co se comparase con otros países de laregión antes de ingresar en la aplicación ge-neral de 2001, la Subsecretaría de Planea-ción y Coordinación Institucional ya ha difun-dido un documento interno. Los datos y lasbases mismas también se han entregado alas administraciones estaduales.

Se considera de suma importancia lograr quese difunda información sustantiva, no sola-mente el ranking internacional. Para un ópti-mo aprovechamiento de las información, lacoordinación del estudio en Perú pretenderealizar un taller donde se explique a actoresclave del sector educativo cómo interpretarlos resultados de PISA.

Se planea difundir ampliamente los resultadosde la prueba, así como lo que pudiera revelar-se del instrumento mismo, tal como se ha he-cho con las pruebas nacionales. De esta ma-nera, se podría explicar a cada equipo deprofesores, en cada establecimiento, qué eslo que las diferentes actividades de la pruebamiden, para que ellos puedan aplicar la prue-ba, o ítemes seleccionados de la misma, y asícomparar el desempeño de sus alumnos conel de los estudiantes en otros países.

El gran desafío es lograr que los resulta-dos de las pruebas no causen solo reac-ciones críticas contra la administracióneducativa nacional sino que, además,sean utilizados para implementar mejo-ras pedagógicas y curriculares. Sin em-bargo, dado que los nuevos marcos cu-rriculares recién están terminando deimplementarse en los años superiores dela educación media, se calcula que losresultados de PISA no promoverán cam-bios en el currículo en el corto plazo.

Ya se están realizando, en función de losdatos preliminares obtenidos, algunas pro-puestas para orientar mejoras en el Pro-grama Nacional de Lectura y en el Progra-ma de Escuelas de Calidad. También sehan realizado algunas propuestas para eldesarrollo curricular de formación docenteinicial, en el currículo de Matemáticas deEducación Básica, y se han facilitado lasbases de datos para su análisis a la Aca-demia Mexicana de Ciencias y al Centrode Investigación y Docencia Económica deMéxico.

Se sabe que las noticias de prensa seránescandalosas, pero se cree que en la me-dida en que el país siga participando y elpúblico se acostumbre a que hay otras in-formaciones rescatables además del ran-king, los medios de comunicación debe-rán buscar otro t ipo de noticias paravender a la población. Un aspecto positi-vo de la prueba es que el país será pro-pietario de los instrumentos y podrá apli-carlos nuevamente si quiere profundizarlas investigaciones.

Los técnicos nacionales de medición reco-nocen que, a pesar del buen uso que sepretende dar a las pruebas, la medicióncontra estándares internacionales como losde PISA conlleva un riesgo político consi-derable. Por lo tanto, antes de ingresar enuna de estas pruebas, consideraron nece-sario contar con el aval de las autoridadespolíticas del sector para asumir el costo desalir en los últimos lugares del ranking in-ternacional.

20

de la región en cuanto a los beneficios departicipar en pruebas lideradas por agen-cias de alta capacidad técnica y organiza-cional como la IEA o la OCDE. Se valoraespecialmente lo que se puede aprender dela organización operativa de los proyectos,de la calidad técnica de los instrumentos demedición, de los procedimientos para ga-rantizar la calidad y validez de la informa-ción y de los mecanismos que esas institu-ciones implementan para brindar apoyo yorientación a los países participantes. Encuanto a la vinculación de los proyectoscomparativos con los sistemas nacionalesde medición, se espera desarrollar capaci-dades técnicas que fortalezcan a estos últi-mos, pero no se ha diseñado generalmenteun “cruce” sistemático entre los datos obte-nidos en ambos tipos de mediciones.

b) La posibilidad de obtener información objeti-va sobre el logro académico de los estu-diantes con relación a estándares interna-cionales de contenido, que impacte laopinión pública y facilite una toma de deci-siones mejor informada para el mejoramien-to del sistema educativo.

c) La expectativa, al menos por parte de algu-nos actores, de que la participación en unaprueba internacional estimule la propuestade estándares regionales contra los cualesmedir el rendimiento de los países latinoa-mericanos. Si esto último no es posible, seespera al menos participar en pruebas inter-nacionales de cobertura mundial que ofrez-can un marco conceptual sólido que permitainterpretaciones válidas para el contexto la-tinoamericano. Cabe destacar que, si bienmuchas de las decisiones de participaciónen pruebas internacionales en América Lati-na han estado inspiradas en la idea de esta-blecer estándares académicos más claros yexigentes y compararse con ellos, lo quedemuestra un interés por los aspectos curri-culares de las reformas, la mayor parte delas decisiones se ha tomado sin la participa-ción directa de los responsables de las uni-dades de currículo de los organismos degestión educativa nacionales, ni de otrosactores que puedan ejercer influencia sobreel desarrollo curricular en cada país. Eneste sentido, se podría afirmar que las ini-ciativas y decisiones de participación enpruebas internacionales están solo parcial-

mente alineadas con los objetivos naciona-les de reforma y logro curricular.

Si bien existen algunas opiniones “supranaciona-les” en la región que entienden la evaluación in-ternacional dentro de un contexto de política edu-cativa basada en la noción de “gerenciamiento”,en parte motivada por el condicionamiento de losorganismos internacionales, la mayor parte delas decisiones de participación no parece haber-se tomado en función de ese modelo de gestión.Es decir, los beneficios que se esperan de la in-formación recogida no están relacionados nece-sariamente a las nociones de descentralización yresponsabilización por los resultados, sino másbien al deseo de proveer mayores herramientasde gestión para un adecuado desarrollo e imple-mentación curricular. Ello, pese a lo señalado lí-neas arriba respecto a la débil vinculación de lasiniciativas internacionales con las unidades res-ponsables del currículo.

En cuanto a la fase de implementación de laspruebas internacionales, se aprecian grandesdiferencias entre la experiencia de participaciónen la prueba del Laboratorio, por un lado, y enlas pruebas de la IEA y de la OCDE, por el otro.Esas diferencias, están relacionadas principal-mente con la capacidad técnica, organizacional,financiera y operativa de las agencias que admi-nistran las pruebas. La IEA y la OCDE aventajanal Laboratorio en todas esas características, apesar de que la prueba regional reportó tambiénvarios beneficios a los países participantes.

En lo que se refiere a los aspectos estrictamen-te curriculares, la participación en pruebas de laIEA se ha dado en condiciones de desigualdadcon respecto a los países desarrollados, puesAmérica Latina ha ingresado tarde a los proyec-tos de evaluación, muchas veces con escasascapacidades técnicas para la representación, ocon un débil aval financiero e institucional porparte de sus gobiernos nacionales. Por estas ra-zones, las posibilidades de que los países de laregión influyan en las decisiones con respecto alos marcos conceptuales y curriculares han sidoextremadamente reducidas.

En el caso de la prueba del Laboratorio, si bienla matriz curricular fue discutida con los países,la falta de un mecanismo de comunicación mul-tidireccional no permitió lograr un consenso conrespecto a un conjunto de estándares deseablesni a un marco conceptual común que permitiera

21

una interpretación más sustantiva y contextuali-zada de los resultados y, por lo tanto, la perti-nencia curricular del proyecto se vio fuertementedebilitada. Recordemos que en las pruebas dela IEA o de la OCDE en América Latina se valo-ra precisamente que los países se midan conreferentes o estándares externos a la región,mientras que en la prueba del Laboratorio seesperaba llegar a acuerdos regionales sobremedidas deseables de logro.

Una última diferencia que vale la pena resaltares que, mientras las técnicas de muestreo y losinstrumentos de las pruebas de la IEA y de laOCDE son apreciados por su rigor y validez, elLaboratorio enfrentó serios cuestionamientostécnicos por parte de los coordinadores nacio-nales. Por otro lado, la participación en las prue-bas de ambas agencias ha favorecido la re-flexión sobre los contenidos curriculares decada país, en la medida en que las comparacio-nes revelan diferencias importantes en los enfo-ques epistemológicos y en la distribución decontenidos a lo largo del currículo de educaciónbásica. Sin embargo, esa reflexión se ha dadoprincipalmente entre técnicos y expertos de lasunidades de medición, pero con escasa o ningu-na participación de los profesionales de lasáreas de desarrollo curricular. Desde el punto devista de la política curricular, ello implica que lamedición internacional en cada país tiene esca-sa vinculación con los procesos de implementa-ción de los programas curriculares que, segúnse expresa, se desean mejorar mediante lasevaluaciones.

Sin embargo, los aspectos más débiles de losproyectos de evaluación, según se observa enla experiencia de la mayor parte de los paíseslatinoamericanos, han sido el de la interpreta-ción de los resultados y su posterior disemi-nación. Además de las insuficiencias en el pla-neamiento estratégico, la escasa difusión deresultados estuvo marcada por la falta de comu-nicación y coordinación entre los equipos técni-cos de medición y los de desarrollo curricular encada país. Estos dos factores –falta de una es-trategia de difusión y falta de trabajo conjuntoentre actores clave– determinaron que se redu-jeran las posibilidades de impacto en el mejora-miento de la implementación de reformas y en lareformulación de objetivos curriculares.

Durante la prueba del Laboratorio, la debilidaden la interpretación y diseminación se debió,

principalmente, a la falta de una estrategia pre-concebida, así como a la falta de un marco con-ceptual sólido y de estándares que permitieranuna adecuada interpretación sustantiva de losresultados, a la vez que el segundo informe ofi-cial, que se esperaba tuviera más impacto depolítica, llegó a los ministerios demasiado tarde,cuando las administraciones nacionales habíancambiado. Cuba fue, de acuerdo a las entrevis-tas, una excepción en este sentido, dado queallí los buenos resultados obtenidos fueron am-pliamente difundidos desde la Presidencia.

En cuanto a los efectos de los resultados depruebas de la IEA, es evidente que las desfavo-rables posiciones de América Latina en los ran-kings internacionales han causado un efecto deshock en algunas audiencias, especialmente porla forma de reporte que ha utilizado la prensa. Enla actualidad, los países que han decidido conti-nuar participando en pruebas de la IEA y de laOCDE están conscientes de la necesidad de“educar” a la prensa y otras audiencias influyen-tes, de volverlas más especializadas, de maneraque puedan difundir informaciones más relevan-tes que la temida tabla de posiciones. Los repor-tes que redactan las oficinas de evaluación o cu-rrículo de los ministerios, por su parte, seconsideran particularmente útiles cuando puedentener impacto en el ámbito local, escolar y peda-gógico y cuando contribuyen a desarrollar capa-cidades de análisis e interpretación de datos. Elcaso de Estados Unidos durante la pruebaTIMSS fue singular, por el alto involucramientode diversos grupos de interés y la consulta siste-mática a actores del sector, así como tambiénpor la fuerte estrategia de difusión utilizada.

Con respecto al impacto de la participación enpruebas internacionales en las decisiones sobrepolítica educativa, de repercusiones políticas, ode investigaciones realizadas sobre los datos,nuevamente se hace evidente la diferencia entrela experiencia de América Latina y lo ocurrido enEstados Unidos. En nuestra región, tanto la eva-luación del Laboratorio como las pruebas de laIEA han tenido un impacto político y de políticarelativamente bajo. Las excepciones, segúnnuestros datos, son Cuba, que tomó algunas de-cisiones concretas de políticas sobre la base delos resultados del Laboratorio, y Chile, que hadebido enfrentar el impacto sobre la opinión pú-blica de los resultados en las pruebas de la IEA.En el caso del Laboratorio se han realizado al-gunas investigaciones posteriores, en los países

22

y por parte de la OREALC misma, pero hasta elmomento casi no han sido difundidas.

Por otra parte, las implicancias curriculares delas pruebas internacionales en América Latina,han sido casi nulas puesto que no se registraevidencia de que los resultados hayan alertadoa los profesionales e investigadores de la edu-cación sobre la pertinencia o adecuación de loscontenidos curriculares nacionales. La excep-ción, hasta donde pudo verificar este estudio, estambién Cuba dado que allí la experiencia deevaluación comparada permitió alertar a los re-presentantes nacionales sobre la necesidad deintroducir cambios en la secuenciación de algu-nos conceptos matemáticos, así como sobre elenfoque teórico con que se plantean los conteni-dos en el área de lenguaje.

En cuanto a la participación en pruebas de laIEA, la experiencia ha repercutido casi exclusi-vamente en el desarrollo técnico de las unida-des de medición, lo cual es significativo, pero nose reportan medidas importantes de política cu-rricular, o educativa en general, en función delos resultados.

Con respecto a PISA, una ventaja anticipada delproyecto que puede repercutir positivamente enel medio educativo es que los instrumentos mis-mos de medición, serán propiedad de los paísesparticipantes, y se podrán utilizar en aplicacio-nes nuevas e independientes para medir otrasmuestras y así favorecer investigaciones másprofundas en el ámbito nacional.

En Estados Unidos, donde existen más de cienaños de trayectoria en medición y evaluacióneducacional, la experiencia ha sido muy diferen-te, particularmente con relación a las pruebasTIMSS y TIMSS-R de la IEA. La creación deconsorcios educativos, el involucramiento de or-ganizaciones sindicales docentes y asociacio-nes profesionales de las diferentes disciplinasacadémicas, así como las múltiples líneas deinvestigación surgidas a partir de los resultados,confirman que el impacto de la participación enpruebas internacionales depende no solamentedel potencial informativo de esas pruebas, sinotambién de las estrategias de sensibilizaciónprevias a la difusión final de los resultados5.

Estas diferencias entre las experiencias de Es-tados Unidos y América Latina confirman que laausencia de un diálogo informado entre losfuncionarios y usuarios de la informaciónsistemática, resulta en un escaso impacto de lasevaluaciones en las decisiones sobre políticaseducativas, y sobre políticas curriculares en par-ticular. (Ver recuadro 1).

Adicionalmente, dado que no se monitorean losresultados sobre las pocas decisiones que setoman en función de las informaciones de estu-dios comparados, es difícil conocer si se haavanzado o no en la dirección deseada. Perohasta el momento la contribución de los resulta-dos de pruebas internacionales a nuevos ciclosde política curricular, o de mejoramiento de losexistentes, es mínima y en muchos casosinexistente. En otras palabras, según indican losdatos de las pruebas internacionales, es muyprobable que las iniciativas y decisiones centra-les de política curricular que se tomen en el fu-turo no consideren la evidencia sobre los resul-tados de políticas y programas anteriores.

V. RECOMENDACIONES PARA FUTURASOPORTUNIDADES DE PARTICIPACIÓNEN PRUEBAS INTERNACIONALES

La evidencia recogida en este trabajo, si bienno se puede considerar representativa de todala región, ha permitido arribar a algunas con-clusiones iniciales sobre la conveniencia de laparticipación de países latinoamericanos enfuturas pruebas internacionales, así como delas condiciones en que esa participación de-bería darse.

1. Dado que muchos de los países de la re-gión ya han participado en alguna pruebainternacional con anterioridad, se recomien-da utilizar la información de esas pruebaspara generar opinión y sensibilizar a audien-cias de interés antes de iniciar nuevos pro-gramas de reforma o mejoramiento curricu-lar, y antes de adscribirse a un nuevoproyecto de evaluación comparada interna-cional. Esta medida tendría el valor adicio-nal de permitir el pilotaje de posibles estra-tegias de difusión de los resultados.

Una forma viable de sensibilizar a los repre-sentantes de la prensa, a las organizacio-nes sindicales y a los profesionales de la

5 Vale recordar que para cuando la IEA liberó los resultados deTIMSS, diferentes audiencias y medios de información ya esta-ban expectantes y deseosos de conocer los resultados.

23

educación es invitarlos a participar en lasdiscusiones iniciales del proyecto, así comoen la discusión sobre resultados anteriores,sobre la importancia de iniciar nuevas eva-luaciones y sobre el vínculo concreto que sepercibe entre las evaluaciones y los conteni-dos curriculares. Es importante que loscoordinadores en el ámbito nacional calcu-len con anticipación, y en colaboración conotras oficinas ministeriales, el costo materialy el tiempo de trabajo que requerirá la fasede discusión y sensibilización, para queesta sea un aspecto formal y viable del pro-yecto de evaluación.

Durante las discusiones, y mediante la infor-mación que se haga circular sobre resulta-dos anteriores, se sugiere alertar sobre losposibles bajos resultados comparativos delpaís, pero simultáneamente ejemplificar lamanera en que la próxima prueba compara-da puede informar sobre aspectos específi-cos de desarrollo o implementación curricu-lar. Paralelamente, esta fase puedecomenzar a “educar” a las audiencias con-vocadas en algunos de los tecnicismos pro-pios de la psicometría y de la sociometría,para que comiencen a desarrollar algunascapacidades de interpretación y análisis dedatos más allá de los rankings.

Si el proyecto de evaluación está lideradopor una institución académica o no guber-namental, es especialmente importante re-unir a las autoridades ministeriales de medi-ción y currículo, no solo para obtener el avaloficial, sino para establecer una especie de“contrato” sobre las necesidades de infor-mación percibidas por el ministerio, u orga-nización equivalente, y el tipo de informa-ción que puede derivarse de la evaluacióncomparada.

2. Al momento de decidir sobre el tipo de prue-ba internacional que se va aplicar, cadapaís debería considerar los siguientes as-pectos técnicos y contextuales, que afec-tarán la mayor o menor utilidad de las expe-riencias de evaluación comparada:

a. El momento histórico de las reformascurriculares en curso, la duración previs-ta del gobierno en funciones, y el gradode afianzamiento del sistema nacional demedición de la calidad educativa.

b. Las necesidades reales de la informa-ción que se va a recoger, y las posibili-dades concretas de aprovecharla, deacuerdo a los momentos de desarrollo eimplementación curricular del país y deacuerdo a las dificultades percibidas ocomprobadas anteriormente en esos pro-cesos.

c. Las características de las pruebas, esdecir, el marco conceptual utilizado, losdominios disciplinarios o cognitivos eva-luados, y los factores escolares y so-cioeconómicos relevados con relación alrendimiento. Si la prueba es de coberturaregional y se presenta como un proyectode elaboración conjunta entre los paísesparticipantes, es importante definir unmarco conceptual que considere el con-texto de política educativa y curricular dela región y permita una interpretacióncontextualizada de los resultados del es-tudio. Un estudio de esta naturaleza de-bería representar también una oportuni-dad para definir con los técnicos de losdemás países un conjunto de estánda-res mínimos de contenido para realizaruna revisión de los currículos nacionalesy comparar, mediante la evaluación, losalcances relativos de los currículos pres-critos, implementados y logrados.

d. Las oportunidades de participaciónefectiva que el proyecto ofrece con rela-ción a la construcción o adecuación deinstrumentos de medición, o a la inclu-sión de “opciones nacionales” de evalua-ción; y la capacidad técnica de los coor-dinadores nacionales para hacer efectivay viable esa participación.

e. La utilidad y pertinencia del informede resultados utilizado por la agenciaevaluadora, de acuerdo al tipo de au-diencias que se espera informar.

3. Durante la etapa de implementación delproyecto se recomienda motivar y asegurarel vínculo y la comunicación permanenteentre las unidades de medición y los equi-pos de desarrollo curricular en los nivelescentral y regional en cada país. Si parte deestos procesos es eminentemente técnicay requiere poca intervención de personalde currículo, se recomienda mantenerlos

24

informados permanentemente sobre losavances del proyecto y sobre las fechas enque serán convocados para discutir y anali-zar los resultados del estudio. Simultánea-mente, debería mantenerse una comunica-ción permanente con los representantes dela prensa y de las asociaciones sindicalesy profesionales convocadas inicialmente(recomendación 1).

El mismo mecanismo debería operar entrelos coordinadores y los actores guberna-mentales y no gubernamentales si el ope-rativo de evaluación estuviera en manos deuna institución académica independiente.Estos mecanismos de comunicación per-manente son una forma de mantener vivoel “contrato” entre los técnicos y los consu-midores de información que más puedeninfluir en la toma de decisiones para cam-bios de política y práctica curricular. Comoexisten altas posibilidades de que losusuarios gubernamentales (ministeriales)de la información cambien súbitamente, esmás importante aún reforzar los canales decomunicación permanente con la prensa ycon representantes de instituciones sindi-cales, académicas, profesionales y de lasociedad civil.

4. Hacia el momento en que se reciben los da-tos ya procesados de la agencia evaluado-ra, y de acuerdo a las recomendaciones an-ter iores, los posibles usuarios de lainformación deberían estar informados delas fechas en que serán convocados a ana-lizar e interpretar los datos de la prueba.Aquí se sugiere realizar primero una sesiónde análisis y discusión entre los técnicos deevaluación y los representantes de desarro-llo curricular, para planificar en conjunto unaagenda de discusión organizada para el mo-mento de intercambio con representantesde la prensa, del mundo académico y deorganizaciones no gubernamentales. Lasdiscusiones con estos actores deberíanconducir a una serie de recomendacionespuntuales sobre el tipo de informes que se-ría deseable difundir, concretamente con re-lación al formato, al tipo de información quese debe incluir, a las audiencias prioritariasy secundarias que se quiere alcanzar, al nú-mero sugerido de publicaciones y a los dife-rentes objetivos que los informes debieranperseguir (por ejemplo, si deben brindar in-

sumos de información para medidas de polí-tica o para decisiones de tipo curricular ypedagógico en el nivel local y escolar).

Según indica la evidencia, la difusión de lainformación por medio de informes no essuficiente para lograr un impacto real enlas políticas y prácticas educativas. Porello, es necesario organizar eventos loca-les con amplia participación de directoresde escuela y docentes, en los cuales seexplique cómo interpretar los datos y sediscutan las diferentes maneras de mejorarel desarrollo curricular en las escuelas y suimplementación en las aulas. Este es tam-bién el momento de revisar el contexto depolítica curricular: en qué momento deimplantación de los programas curricularesse encuentran el país y sus regiones; cuá-les son las dificultades que evidencian laspruebas nacionales, los informes de super-visión regionales, las investigaciones aca-démicas y la prueba internacional mismapara decidir qué tipo de mejoras (si no cuá-les exactamente) se pueden recomendar alas autoridades nacionales y subnacionalesde educación.

En este sentido, el análisis de los datos de-bería conducir a preguntas clave sobre laforma en que otros países logran mejoresrendimientos estudiantiles y sobre las condi-ciones bajo las cuales esos logros son posi-bles. Vale recordar que una de las ventajasde las pruebas internacionales es que pue-den revelar información sobre los efectos di-ferenciales de algunas variables sobre el lo-gro de aprendizajes que no es posibledetectar en un estudio intranacional. Tam-bién es importante recordar que las asocia-ciones entre variables dependientes e inde-pendientes que muestran los estudiosinternacionales deberían tomarse con cau-tela y ser analizadas dentro del contextoparticular de cada país.

5. Se recomienda hacer un seguimiento deltipo de decisiones de política y prácticaeducativa, y curricular en particular, toma-das en función de los resultados difundidos.Una vez identificadas, se sugiere comisio-nar o alentar a instituciones académicas elestudio de los resultados que sobre elaprendizaje de los estudiantes han tenido, ono, esas decisiones y cambios de prácticas.

25

La información recogida mediante estos es-tudios debería canalizarse y difundirse ade-cuadamente para ofrecer evidencia másconcreta para la toma de decisiones sobrenuevas políticas y programas curriculares,así como para la decisión sobre nuevasevaluaciones internacionales y el tipo de es-trategias que son más efectivas para la difu-sión y uso de sus resultados.

6. Una vez que se ha participado en una expe-riencia internacional de evaluación, y si lainformación obtenida de esa experienciaestá a la altura de las expectativas de loscoordinadores nacionales y de las autorida-des políticas del sector, se aconseja conti-nuar participando en nuevas mediciones,especialmente en las siguientes aplicacio-nes de la misma prueba. Esto permitiría lamedición del progreso académico de las po-blaciones evaluadas y, además, que el pú-blico y los usuarios de la información seacostumbren a contar con esta periódica-mente, y de esta manera maximizar su usotécnico y político.

7. Se recomienda la participación de unidadessubnacionales de gestión educativa (porejemplo, estados, departamentos o gruposde escuelas asociadas). Si la participaciónno puede ser financiada por esas unidades,como probablemente ocurriría en América

Latina, la coordinación central de la evalua-ción (ministerios u otras agencias a cargo)debería considerar la posibilidad de conse-guir recursos para promover esa participa-ción. Es deseable, también, que la muestranacional, en vez de estar conformada poralumnos de todo el país, sea construida concasos de un departamento o estado quepresente la suficiente heterogeneidad de-mográfica como para asegurar variabilidaden los resultados y, por ende, la posibilidadde analizar estadísticamente su relacióncon las variables predictivas del logro. Ellopermitiría diseñar más fácilmente estrate-gias de difusión y uso de los datos en uncontexto más reducido, para luego replicaresas estrategias en el ámbito nacional.

Esperamos con este trabajo haber contribui-do a la comprensión de las condiciones téc-nicas y políticas bajo las cuales los paísesde América Latina deberían participar enpruebas internacionales. Es nuestro deseoque los resultados de este informe de inves-tigación alcancen y se difundan en los espa-cios de decisión sobre evaluación educativaen la región, así como en el ámbito acadé-mico, y así coadyuvar a una mejor utiliza-ción de los recursos disponibles para la me-dición de rendimiento académico y, lo quees más importante aun, para su impacto enla calidad de los aprendizajes.

26

RECUADRO 1

DIÁLOGO ENTRE INVESTIGADORES, EVALUADORES YUSUARIOS DE LA INFORMACIÓN

El modelo racional de toma de decisiones,que asume que los funcionarios seleccionaránopciones de política sobre la base de un análi-sis informado, está siendo cuestionado. Se re-conoce que la mayor parte de los problemasno están, ni pueden ser, perfectamente defini-dos y que los funcionarios no siempre estable-cen las prioridades de acción racionalmentesino en función de variables de oportunidadpolítica y de poder. Por ello, para lograr deci-siones informadas, es preciso ejercer ciertogrado de persuasión en los decisores de políti-cas mediante un proceso de negociación, y node diseño unilateral, del proceso de reforma.Ese proceso debe ser interdisciplinario, propo-sitivo –y no solamente descriptivo–, y debetener en cuenta que el análisis se debe reali-zar y comunicar dentro de los límites de tiem-po que imponen los ciclos de política.

Adicionalmente, Reimers propone el uso deun “mediador de conocimiento” entre elmundo de la investigación y el mundo de lapolítica. La evidencia recogida para esteestudio muestra que, en ciertas ocasiones,esa mediación se logra a través de la pren-sa y de otras instituciones académicas y nogubernamentales formalmente convocadasdurante el proceso de evaluación interna-cional. Sostiene Reimers que “el problemadel uso de la información no puede serconsiderado recién después de concluida lainvestigación o el análisis [...] la investiga-ción debe comenzar con la consideraciónde las necesidades del cliente si se intentaevitar el riesgo de que los resultados delanálisis resulten irrelevantes para los fun-cionarios”.

Uno de los aspectos que representa el ma-yor obstáculo para el uso efectivo de la eva-luación internacional en el mejoramiento dela calidad de los aprendizajes, según se hadetectado en este estudio, es la ausencia dediálogo entre investigadores o evaluadores ylos usuarios potenciales de la información.

Una explicación al respecto se puede en-contrar en Reimers (1999), quien sostieneque en las altas esferas de administracióneducativa en muchos países del mundo, lamayor parte de las decisiones que se tomanpara incrementar las oportunidades deaprendizaje se realizan intuitivamente, espe-culando con la articulación de algunos delos elementos del sistema (currículo, capaci-tación, supervisión, etc.), en vez de tomarsecomo resultado del análisis cuidadoso de laevidencia que muestran las investigacionesy los análisis de política. El autor argumentaque esto se debe a la forma en que el cono-cimiento derivado de la investigación esacumulado y procesado, y a que no siemprese reconoce la diferencia entre la investiga-ción que pretende simplemente explicar larealidad, y la investigación de política que,además, busca describir cómo podría cam-biarse esa realidad, que se asume es lo quelos funcionarios necesitan saber.

Esa función propositiva de la investigacióndebería darse en forma de diálogo entrelos investigadores, funcionarios y otrosusuarios de la información, de tal maneraque se logre un acuerdo entre las necesi-dades de información y las posibilidadesreales de los investigadores de proveerla.

27

BIBLIOGRAFÍA

ATKIN, Myron y Paul BLACK (1997). Policy perilsof international comparisons: The TIMSScase. Phi Delta Kappan, 79,1, 22-28.

BALL, Stephen (1998). “Big policies/small world:An introduction to international perspectivesin education policy”. Comparative Educa-tion, 34, 2, 119-130.

BEATON, Albert et al (1999). The benefits andlimitations of international educationalachievement studies. International Institutefor Educational Planning, International Acad-emy of Education.Unesco, París.

BEMPECHAT, Janine et al. (Borrador, 2000). “Cul-tural-cognitive issues in academic achieve-ment: New directions for cross-national re-search”. Board on International ComparativeStudies in Education (BICSE), National Re-search Council.

BLOOM, Benjamin (1974). “Implications of theIEA studies for curriculum and instruction”.School Review, 82, 3, 413-435.

BURSTEIN, L. (1989). “Conceptual considerations ininstructionally sensitive assessment”. Docu-mento presentado en American EducationalResearch Annual Meeting, San Francisco.

BURSTEIN, L. et al. (1992). “Education indicators”,en M. Atkin (Ed.), Encyclopedia of educationalresearch (6a edición). Macmillan, Nueva York.

CARTER, D.S.G y M.H. O’NEILL (1995). Internation-al perspectives on educational reform andpolicy implementation. Falmer, Brighton.

GRADE (2001). “Mejoramiento de los procesosde desarrollo curricular y de materiales edu-cativos”. Informe final de la consultoría No

010-2000-ED/MECEP para el Ministerio deEducación del Perú.

FARRELL, Joseph (1979). The necessity of com-parisons in the study of education: The sa-lience of science and the problem of compa-rabi l i ty . Presidential address, annualmeeting of CIES, Ciudad de México. Reim-preso en Comparative Education Review,23, 1. 1978.

FERRER, Guillermo (1999). “Aspectos del curricu-lum prescrito en América Latina: Revisión detendencias contemporáneas en curriculum, in-dicadores de logro, estándares y otros instru-mentos”. GRADE-PREAL. http://www.grade.org.pe/gtee-preal/docs/Ferrer.pdf

FORSTER, Margaret (2000). A policy maker’s guideto international achievement studies. ACERPress, Australia.

GREANEY, Vincent y Thomas KELLAGHAN (1996).Monitoring the learning outcomes of educationsystems. Banco Mundial, Washington DC.

HUSÉN, Torsten (1994) “Educational researchand policy-making”, en T. Husén y T. Postle-thwaite (Eds), International Ecyclopaedia ofEducation. Pergamon Press, Oxford.

HUSÉN, Torsten (1987). “Policy impact of IEA re-search”. Comparative Education Review, 31,1, 29-46.

HUSÉN, T. y A. TUIJNMAN (1994). “Monitoringstandards in education: Why and how itcame about”, en A.Tuijnman y T. Postle-thwaite (Eds), Monitoring the Standards ofEducation. Pergamon Press, Oxford.

JONES, P.W (1998). “Globalisation and interna-tionalism: Ddemocratic prospects for worldeducation”. Comparative Education, 34,133-155.

KELLAGHAN, Thomas (1996). “IEA studies andeducational policy”. Assessment in Educa-tion, 3, 2, 133-160.

KOHN, Melvin (1987). “Cross-national researchas an analytic strategy” (American Sociolo-gical Associat ion, 1987 PresidentialAddress). American Sociological Review,52, diciembre, 713-731.

LEVIN, Benjamin (2001). “Conceptualizing theprocess of education reform from an interna-tional perspective”. Education Policy AnalysisArchives, 9, 13. http://epaa.asu.edu/epaa/v9n13.html

LYOTARD, J.F (1984). The postmodern condition:A report on knowledge. Manchester Univer-sity Press, Manchester.

28

MACNAB, Donald (2000). “Forces of change inmathematics education: the case of TIMSS”.Educational Policy Analysis Archives 8,15.

MCKNIGHT, Curtis (1987) The underachieving cu-rriculum: Assessing U.S. school mathemat-ics from an international perspective. A Na-tional Report on the Second InternationalMathematics Study.

MISLEVY, Robert (1995). “What can we learnfrom international assessments?” Educatio-nal Evaluation and Policy Analysis, invierno1995, 17, 4, 419-437.

National Commission on Excellence in Educa-tion (1983). A nation at risk. GovernmentPrinting Office, Washington DC.

PLATT, W.J (1975). “Policy making and interna-tional studies in educational evaluation”, enA.C. Purves y D.U. Levine (Eds.) Educatio-nal policy and international assessment. Mc-Cutchen, Berkeley, CA.

REIMERS, Fernando y Noel MC GINN (1997). In-formed Dialogue: Using Research to ShapeEducation Policy Around the World. Prae-ger, Nueva York y Londres..

SCHMIDT, William y Curtis MCKNIGHT (1995).“Surveying educational opportunity in ma-thematics and science: An internationalperspective”, Educational Evaluation andPolicy Analysis, otoño 1995, 17, 3, 337-353.

SMITH, Adam (1776). An inquiry into the natureand causes of the wealth of nations. Dublin,Whitestone, 1776. 3 v. 22 cm. The Library ofCongress, EEUU.

THEISEN, Gary et al (1983). “The underachieve-ment of cross-national studies of achieve-ment”. Comparative Education Review, 27,1, 46-68.

TORNEY-PURTA, Judith (1990). “Internationalcomparative research in education: Its rolein educational improvement in the US”. Edu-cational Researcher, (volumen, S/D) 32-35.

TORRES, Rosa María (1999). “Reformadores ydocentes: El cambio educativo atrapado en-tre dos lógicas”, Documento de discusión.IIPE Unesco, Buenos Aires.

WIRT, Frederick (?) “Comparing educational poli-cies: Theories, units of analysis, and researchstrategies”. Reimpreso en Comparative Edu-cation Review, vol.24, 2, junio1980.

WOLF, R (1979). “Sampling”. Boletín # 4: Secon-dary Study of Mathematics. Second Interna-tional Mathematics Study, Urbana, IL.

ENTIDADES ENTREVISTADAS

(Por razones de confidencialidad, solamente sereportan los nombres de las agencias o unida-des ministeriales a la que pertenecen los 25 en-trevistados de este estudio)

Argentina– IDECE (Instituto para el Desarrollo de la Ca-

lidad Educativa). Ministerio de Educación.– Ex Subsecretaría de Evaluación de la Cali-

dad Educativa. Ministerio de Educación.

Chile– Programa Formación Inicial Docente. Divi-

sión Educación Superior.– Unidad de Curriculum y Evaluación/ SIMCE.

Ministerio de Educación.

Colombia– ICFES (Instituto Colombiano para el Fomen-

to de la Educación Superior)– Universidad del Valle. Ciudad de Cali.

Cuba– Instituto Central de Ciencias Pedagógicas.

Ecuador– APRENDO. EB/PRODEC. Sistema semiau-

tónomo oficial de medición de la calidad dela educación.

Estados Unidos– Universidad de Wisconsin-Madison.– Universidad Estadual de Michigan/ Universi-

dad Estadual de Nueva York, Albany.– Federación Estadounidense de Profesores.– Departamento de Educación. (American Fe-

deration of Teachers. Educational IssuesDepartment.)

– Consorcio SMART (Science and Mathema-tics Required for Tomorrow).

México– Subsecretaría de Planeación y Coordinación

Institucional, Secretaría de Educación Pública.

29

Organización de Estados Iberoamericanos (OEI)– Programa Evaluación de la Calidad de la

Educación.

Perú– Radio Programas del Perú.– Unidad de Medición de la Calidad. Ministe-

rio de Educación.– UNESCO-Perú.

Unesco-OREALC– Laboratorio Latinoamericano para la Evalua-

ción de la Calidad de la Educación (LLECE).

UruguayUnidad de Medición de Resultados Educativos(UMRE) de la Administración Nacional de Edu-cación Pública.

SIGLAS Y ABREVIACIONES

AFT: American Federation of Teacher, ‘Federa-ción Estadounidense de Maestros’.

ALL: Adult Literacy and Lifeskills, ‘Prueba paraAdultos sobre Alfabetización y Destrezaspara la Vida’.

BID: Banco Interamericano de Desarrollo

ETS: Educational Testing Services, ‘Servicios deEvaluación Educacional’.

ICFES: Instituto Colombiano para el Fomento dela Educación Superior.

IDECE: Instituto para el Desarrollo de la CalidadEducativa.

IEA: International Association for the Evaluation ofEducational Achievement, ‘Asociación Interna-cional para la Evaluación del Logro Académico’.

IRT: Item Response Theory, ‘Teoría de Respues-ta al Item’.

LLECE: Laboratorio Latinoamericano para laEvaluación de la Calidad de la Educación.

NCES: National Council for Education Statistics,‘Consejo Nacional de Estadística de la Edu-cación’.

NCTM: National Council of Teachers of Mathe-matics, ‘Consejo Nacional de Profesores deMatemáticas’.

NSF: National Science Foundation, ‘FundaciónNacional de Ciencias’.

OCDE: Organización para la Cooperación y elDesarrollo Económico.

OEI: Organización de Estados Iberoamericanos.

ONG: Organización no-gubernamental.

OREALC (Unesco): Oficina Regional para Amé-rica Latina y el Caribe.

PIRLS: Progress in International Reading Litera-cy Study, ‘Estudio Internacional sobre los Pro-gresos en Alfabetización y Habilidades deLectura’.

PISA: Programme for International Student As-sessment, ‘Programa Internacional de Eva-luación de Estudiantes’.

PNUD: Programa de las Naciones Unidas parael Desarrollo.

PROMEDLAC: Comité Regional Interguberna-mental del Proyecto Principal de Educaciónen América Latina y el Caribe.

REDUC: Red Latinoamericana de Información yDocumentación en Educación.

SIMS: Second International Mathematics Study,‘Segundo Estudio Internacional de Matemáti-cas’.

SACMEQ: Southern Africa Consortium for Monito-ring Educational Quality, ‘Consorcio de Áfricadel Sur para la Evaluación de la Calidad Edu-cacional’.

SEP: Secretaría de Educación Pública.

SIMCE: Sistema de Medición de la Calidad Edu-cativa.

SMART: Science and Mathematics AchievementRequired for Tomorrow.

TIMSS: Third International Mathematics andScience Study, Tercer Estudio Internacionalen Matemáticas y Ciencias’.

TIMSS-R: Repetición de TIMSS.

UMRE: Unidad de Medición de Resultados Edu-cativos.

WEI: World Education Indicators, ‘IndicadoresMundiales de Educación’.