EVALUAR LAS EVALU ACIONES Una mirada...

EVALUAR LAS EVALUACIONESUna mirada política

acerca de las evaluaciones de la calidad educativa

Instituto Internacional de Planeamiento de la Educación

IIPE - UNESCOSede Regional Buenos Aires

E VA L UAR LAS EVA L UAC I O N E SUna mirada política

a c e rca de las ev a l u a c i o n e sde la calidad educativa

Gustavo IaiesJavier Bonilla Saus

José Joaquín BrunnerPablo Halpern BritzMartín Granovsky

Alejandro Tiana Ferrer Felipe Martínez RizoJuan Carlos NavarroEmilio Tenti Fanfani

EVALUAR LAS EVALUACIONESUna mirada política acerca de las evaluaciones de la calidad educativa

© Copyright UNESCO 2003International Institute for Educational Planning7-9 rue Eugène-Delacroix75116, Paris, Francia

IIPE - UNESCO - Sede Regional Buenos AiresAgüero 2071(C1425EHS) Buenos Aires, Argentina

Índice

Perfil de los autores 9

Prólogo,por Juan Carlos Tedesco 11

Evaluar las evaluaciones, por Gustavo Iaies 15

Encuentros y desencuentros con los procesos de evaluación de la calidad educativa en América Latina,por Javier Bonilla Saus 37

Límites de la lectura periodística de resultados educacionales, por José Joaquín Brunner 67

Indicadores y sus usos en educación: una tensión no resuelta, por Pablo Halpern Britz 85

La evaluación como fetiche, por Martín Granovsky 97

¿Qué pretendemos evaluar, qué evaluamos y qué conclusiones podemos extraer de la evaluación?, por Alejandro Tiana Ferrer 111

Una mirada técnico-pedagógica acerca de las evaluaciones de calidad educativa, por Felipe Martínez Rizo 133

La evaluación y las actitudes de los docentes frente a ella: dificultades y alternativas de política, por Juan Carlos Navarro 147

Los docentes y la evaluación, por Emilio Tenti Fanfani 165

Perfil de los autores

Gustavo Fabián Iaies: Es Licenciado en Ciencias de la Educaciónpor la Universidad de Buenos Aires y cursó estudios de Postgradoen FLACSO, Buenos Aires. Fue Secretario de Educación Básica y enla actualidad es consultor del IIPE - UNESCO Buenos Aires y de laSecretaría de Educación Pública de México.

Javier Bonilla Saus: Es Licenciado en Sociología y Economía Polí-tica y candidato al Doctorado de Estado en Economía Política, Paris,Francia. Actualmente es Director Nacional de Educación Pública yPresidente del Consejo Directivo Central de la Administración Nacio-nal de Educación Pública, Uruguay.

José Joaquín Brunner: Es sociólogo de la educación y profesor e in-vestigador de la Escuela de Gobierno y Director del Master en Ge-rencia y Políticas Públicas de la Universidad Adolfo Ibáñez en Chi-le. También es Director del Programa de Educación de la FundaciónChile.

Pablo Halpern Britz: Es Doctor en Comunicación por la AnnenbergSchool for Communication Pennsylvania, EE.UU. Actualmente esdecano de la Facultad de Comunicaciones de la Universidad del De-sarrollo, Chile.

Martín Granovsky: Es Periodista y subdirector del diario argentinoPágina/12. Fue ganador del Premio Rey de España a la excelenciaperiodística. Entre sus publicaciones se encuentra El divorcio. Lahistoria secreta de la ruptura entre Chacho y De la Rua, las coimasen el senado y la crisis en la alianza.

Alejandro Tiana Ferrer: Es profesor de la Universidad Nacional deEducación a Distancia, España. En la actualidad se desempeña comoDirector General de Innovación y Desarrollo de la Organización deEstados Iberoamericanos para la Educación, la Ciencia y la Cultura(OEI) y es presidente de la International Association for the Evalua-tion of Educational Achivement (IEA).

Felipe Martínez Rizo: Es Licenciado en Ciencias Sociales por la Uni-versidad de Lovaina, Bélgica, presidente del Instituto Nacional de

9

Evaluación educativa de México, y profesor y miembro del ConsejoMexicano de Investigación Educativa, de la Association for theStudy of Higher Education, y del National Council for EducationalMeasurement.

Juan Carlos Navarro: Es politólogo, realizó estudios de doctoradoen la Universidad Central de Venezuela, Caracas. Actualmente, sedesempeña como Jefe de la Unidad de Educación del Banco Intera-mericano de Desarrollo. Publicó recientemente la obra Quiénes sonlos maestros: carreras e incentivos docentes en América Latina.

Emilio Tenti Fanfani: Es Licenciado en Ciencias Política y Socialesy graduado en el Tercer Ciclo de la Fondation National des SciencesPolitiques de París. Es profesor en la UBA, investigador del CONI-CET y consultor del IIPE - UNESCO Buenos Aires.

Prólogo

El ciclo de procesos de transformación educativa que comen-zó en casi todos los países durante la década de los años ‘90,estuvo basado en la idea según la cual era prioritario modifi-car el diseño organizativo e institucional de los sistemas edu-cativos. Uno de los argumentos sobre el cual se sostenía estaprioridad era el bajo nivel de responsabilidad por los re s u l t a-dos con los cuales operaban las administraciones educativastradicionales. Según el enfoque dominante en esos años, pa-ra aumentar la responsabilidad por los resultados era pre c i s oo t o rgar mayor autoridad a los actores del proceso pedagógico–y en ese sentido se ubicaban las estrategias de descentrali-zación y de autonomía a los establecimientos escolares– y es-tablecer mecanismos que permitieran medir sistemáticamentelos logros de aprendizaje y difundir masivamente la inform a-ción para provocar mayor y mejor demanda por parte de lasfamilias, la opinión pública y el propio gobiern o .

En el caso de América Latina, prácticamente todos lospaíses cre a ron sistemas nacionales de evaluación de la cali-dad, se instalaron mecanismos regionales de medición de re-sultados y varios países se incorporaron a las mediciones in-t e rnacionales. De esta forma, los sistemas educativos comen-z a ron a disponer de instrumentos técnicamente confiables pa-ra conocer sus resultados, especialmente aquellos referidos alas asignaturas básicas: Lengua, Matemáticas, Ciencias Socia-les y Naturales.

Después de más de una década de la instalación de es-tos instrumentos, parece llegado el momento de evaluar a losevaluadores. Las razones que justifican este ejercicio sonmuy diferentes. Por un lado, las mediciones indican que lacalidad de la educación no está mejorando. En general, todas

Prólogo

11

las evaluaciones indican que no hay cambios significativos.Estos resultados podrían ser vistos como un dato positivo silo consideramos en relación al crecimiento de la matrícula.Desde este punto de vista, podríamos afirmar que los siste-mas educativos de la región mantuvieron sus resultados, auna pesar de incorporar alumnos de sectores con mayores difi-cultades socioculturales. Sin embargo, tampoco aparecencambios sensibles en aquellas zonas en las que el aumentode matrícula no fue significativo. En síntesis, lo cierto es que,a pesar de los enormes esfuerzos realizados por los procesosde reforma educativa y, en algunos casos, por la significati-va inversión financiera realizada, los resultados de los pro-cesos de evaluación no parecen registrar cambios en los re-sultados educativos.

Este dato abre varios interrogantes: ¿las re f o rmas edu-cativas no han modificado lo que sucede en las escuelas o losi n s t rumentos no están midiendo correctamente los re s u l t a-dos? La instalación de estos mecanismos, ¿ha provocado ma-yor responsabilidad por los resultados o ha servido, por elcontrario, para segmentar aún más la demanda educativa?

Un hecho es innegable: los sistemas de medición hanconvertido los resultados educativos en un motivo de debatepúblico. El impacto que tiene la difusión masiva de los resul-tados de las pruebas nacionales o internacionales a través delos medios de comunicación de masas es muy significativo,especialmente si se lo analiza desde el punto de vista políti-co. En este sentido, los instrumentos técnicos de medición deresultados han adquirido un significativo papel político y lacomunicación se ha convertido en una de las principales di-mensiones que debe manejar toda gestión de política públicaen educación. En síntesis, ya no es posible pensar la proble-mática de la evaluación exclusivamente desde el punto de

12

Una mirada política acerca de las evaluaciones

vista técnico-pedagógico, sino que se requiere otro tipo demirada, mucho más amplia y compleja.

En esta ampliación de la mirada sobre los instru m e n t o sde evaluación debemos considerar aspectos internos y aspec-tos externos a las acciones educativas. Desde el nivel intern o ,es necesario incluir la relación de las políticas de evaluacióncon los actores del sistema. Más allá de las intenciones, pare-ce evidente que los docentes perc i b i e ron estos dispositivosmás como una presión o una amenaza que como un insumopara el mejoramiento de las estrategias de enseñanza ya p rendizaje. En ese contexto, la información de los re s u l t a d o sno se transformó en un insumo para el mejoramiento de laspolíticas, los datos no se elaboraron en las escuelas y el im-pacto sobre las estrategias de enseñanza fue muy débil.

En relación a los actores externos al sistema, es preci-so considerar todo lo relativo a la comunicación de los resul-tados. ¿A quién, cómo y cuándo se deben comunicar los re-sultados? ¿Qué puede y debe hacer cada actor con esta infor-mación? Estas preguntas aparecen en el momento en quetransformamos a las evaluaciones de la calidad y sus resul-tados en un producto de la comunicación masiva, en el mo-mento en que interactúan con el conjunto de la informacióntransmitida por los medios masivos de comunicación. El mo-do de presentar la información, la propia información presen-tada, los interlocutores a quienes se la presentamos, el hechode que sea el propio gobierno y su ministerio de Educaciónlos que la legitimen, obliga a otro nivel de análisis de la pro-blemática. La comunicación masiva de esos resultados esuno más de los elementos que han transformado a las políti-cas de evaluación en un hecho político además de una cons-trucción técnico-pedagógica.

Por último, también es preciso proponer una mirada

Prólogo

13

que vincule la evaluación con los objetivos de las políticas so-ciales. ¿Evaluamos para mejorar la eficiencia de la inversióneducativa? ¿Para orientar la demanda? ¿Para compensar lasd i f e rencias sociales? ¿Para comprobar los niveles de segmen-tación social? Los resultados de las evaluaciones dependen delas decisiones que tomemos en relación a “Para qué” evalua-mos, y esas decisiones suponen definir el escenario social pa-ra el cual estamos trabajando. Detrás de esta mirada, ha cre-cido un debate ideológico y político. El “para qué” se ha vuel-to una pregunta central en el análisis, porque define una ideas o b re la sociedad que queremos constru i r. Modelos que ponenla idea de equidad en el centro del debate, otros que ponderanel concepto de competitividad, aquellos que se centran en laidea de eficiencia, por ejemplo, tendrán distintas respuestas ala hora de pensar las políticas de evaluación.

Estas consideraciones estuvieron en la base de la org a-nización del Seminario Internacional “La dimensión políti-ca de la evaluación de la calidad educativa en Latinoamé-rica”, cuyos resultados se presentan en este libro . El Semi-nario reunió a líderes políticos y Ministros de Educación de laregión, comunicadores sociales y especialistas en evaluación,quienes expusieron sus puntos de vista en un diálogo francoy abierto. Este libro reúne las principales exposiciones pre-sentadas durante la reunión y un resumen de los debates.Confiamos en que la publicación de estos materiales perm i t i-rá enriquecer tanto las discusiones como las estrategias quelos distintos países adopten para una utilización más pert i-nente de estos instrumentos.

Juan Carlos Te d e s c oD i re c t o r

IIPE - UNESCO - Buenos Aire s

14


Evaluar las evaluaciones

Gustavo Iaies

“¿Qué nos aportan estas evaluaciones en relación al terriblecosto que implican?”. Con estas palabras, Mariana Aylwin,ex-ministra de Educación de Chile, tradujo el clima crítico ode tensión que las evaluaciones han generado en los toma-dores de decisiones. Dicho clima se percibió en el SeminarioInternacional “Una mirada política acerca de las evaluacionesde calidad” que el IIPE-UNESCO Buenos Aires organizó enSantiago de Chile, en diciembre del 2002. En este artículo in-tentaré volcar algunas de las ideas principales que formaronparte del debate de los tomadores de decisiones, al menos al-gunas de las que observé con mayor interés.

Introducción

“En una escuela que tensiona por la equidad, la evaluación, co-mo dispositivo difere n c i a d o r, hace ruido en algún lugar”. Estaspalabras de Javier Bonilla, Director Ejecutivo del CODICEN –Uruguay, se suman y permiten observar el tono de un deba-te. La idea de buscar esos “ruidos” o esos “costos” y compa-rarlos con los beneficios se empieza a transformar en un ejede la discusión acerca de las evaluaciones. Parecen estar másclaros los costos que los beneficios, y eso lleva a una revisióncrítica; la idea es que las evaluaciones de la calidad empiezana verse sometidas, ellas mismas, a un proceso de evaluación.


15

Estas políticas aparecieron como una de las innovacio-nes principales de las reformas implementadas en la décadade los años ‘90. Y, paradójicamente, los propios tomadores dedecisiones sienten que son estos dispositivos los que hanpuesto en “jaque” a las reformas. Han expuesto a la políticaeducativa, la han sometido a la opinión pública y, en esecampo, las decisiones y el debate abandonaron la exclusivi-dad del mundo educativo. Desde ese punto de vista, la capa-cidad de dar respuestas, de analizar datos y de producir cam-bios, se encuentra muy condicionada.

La centralidad que las evaluaciones de la calidad hanasumido en la mirada que la sociedad tiene sobre la educa-ción las vuelve un aspecto que merece ser analizado con ma-yor cuidado. Han dejado de ser un objeto técnico-pedagógicopara transformarse en uno de carácter político.

Más allá del consenso existente sobre su importanciay sobre las ventajas de su instalación, resulta fundamentalvolver a pensarlas, principalmente, desde sus dimensionespolítica, comunicacional, pedagógica y en el modo en que es-tos dispositivos interactúan con el conjunto de los actoreseducativos.

Se trata de proponerse una evaluación de las evalua-ciones, a diez años de su instalación en los sistemas educa-tivos de la región, y de revisar críticamente la experiencia.

Una visión política

Las evaluaciones se han vuelto un hecho político. Los gobier-nos y sus políticas son analizados a partir de los resultadosde la aplicación de estos dispositivos. El mundo de la educa-ción ha creado un instrumento sobre el que parece haber per-

16


dido el monopolio del debate. En el momento en que las eva-luaciones han llegado a los medios de comunicación masiva,han quedado de algún modo fuera del campo exclusivo de losgestores educativos o de los pedagogos. La comunidad edu-cativa ha “bendecido” un indicador capaz de dar cuenta de lasituación de la educación en materia de aprendizaje de losalumnos y en esos términos lo ha recibido la sociedad. Des-de ese momento, se han vuelto un procedimiento de las po-líticas públicas en su conjunto, y eso implica la participaciónde otros actores. Las desigualdades sociales, la competitivi-dad de los países, la eficiencia del gasto, entre otras varia-bles, empiezan a incluir la información de los operativos deevaluación de la calidad para ser analizadas.

En ese contexto, el mundo educativo ha perdido el ma-nejo exclusivo de la herramienta. Ya no se trata de un dispo-sitivo que produce información para el debate educativo ex-clusivamente, ha dejado de ser un objeto de discusión técni-ca, el mundo político se ha apropiado de sus resultados y losha incorporado a sus debates. En muchos casos, con análisisapresurados, poco apropiados e, incluso, revelando muchosde los errores cometidos o la necesidad de producir cambios.

¿Cómo recuperamos la posibilidad de pensar la herra-mienta? ¿Cómo volvemos a transformarla en un dispositivocapaz de brindarnos información para el mejoramiento de lacalidad y la equidad? Tales parecen ser las preguntas de lostomadores de decisiones. Retomando las palabras de MartínGranovsky, en el Seminario: “Si no llenamos la evaluacióncon información y análisis, los resultados están sustituyen-do a la política”.

Parece necesario recuperar el sentido. ¿Evaluamos pa-ra mejorar la equidad y calidad de nuestros sistemas educa-tivos?, ¿lo hacemos para juzgar al sistema y acusarlo? Por-


17

que de acuerdo a las intenciones que tengamos, los instru-mentos serán las propias políticas, no serán un instrumentosino un contenido. Los sistemas educativos dejarán de traba-jar para mejorar la calidad y la equidad educativa y pasarána trabajar para el mejoramiento de los resultados de las eva-luaciones.

Los dispositivos y sus productos han tenido mayor im-pacto en la construcción del imaginario educativo de la socie-dad, que en la transformación de las estrategias educativas. Enel plano de lo simbólico vivimos, como expresó Juan Fro e m m e len el Seminario: “el síndrome del análisis melancólico, todosc reen que nunca tuvo fiebre porque nunca se la midieron”; lasociedad no cuenta con re g i s t ros históricos, con lo cual “se pe-lea” con los actuales. En este sentido, Ottone dijo en el Se m i-nario: “Existe la idea de un pasado «glorioso», una escuela queconvivía cotidianamente con la excelencia. Con ese pasado esimposible compararse porque ese era un mundo más feliz. Noc reo que la felicidad sea un efecto de las políticas públicas, lafelicidad es compleja. Es muy complejo hacer políticas públicascontra ese síndrome de la nostalgia”. No existen re g i s t ros his-tóricos en la región que permitan comparaciones serias con elpasado, pero, de todos modos, el imaginario social los ha cons-t ruido. Y resulta complejo relativizar esas ideas incorporandoel dato de las tasas de escolarización o de la complejidad de losplanteos curr i c u l a res o de la menor desigualdad, en algunoscasos. Parece haber un dictamen que establece que la escuelaactual es peor que la del pasado. Y ese dictamen parece aso-ciarse a la calidad de nuestros gobernantes.

Las evaluaciones parecen haber sido funcionales a es-te síndrome, quizás, hasta lo hayan alimentado. Acaso ha-yan confirmado a la sociedad que ya no tendrá una escuelade excelencia como la que tuvo.

18


La sensación es que esos resultados han venido a con-firmar el peso de ciertos condicionantes estructurales. Así loindicó J. J. Brunner, en el Seminario: “Ningún indicador lograimponerse a los de los condicionantes sociales. En el mejorde los casos se podría llegar a equiparar el efecto del origensocial. La escuela no puede compensar a la sociedad, el sen-tido común le ha ganado a las comprobaciones científicas”.Estas afirmaciones tienen un enorme peso en términos de laejecución de políticas, es casi una justificación para dismi-nuir las inversiones en educación y centrarlas en las políticassociales. Podrían permitir razonamientos que justifiquen elhecho de que si los resultados educativos están condiciona-dos por los sociales, no conviene invertir en políticas educa-tivas, sino en aquellos programas sociales que garanticen lascondiciones de educabilidad, dado que hasta que impactemosla situación social de los beneficiarios, no podremos mejorarsus resultados educativos.

El pesimismo pedagógico de final de década, la evi-dencia de que enormes inversiones y una importante apues-ta política no han producido resultados significativos en ma-teria de calidad, hace que este tipo de argumentos ganen es-pacio. La idea de que el sistema tiene muy baja permeabili-dad a los cambios, que es muy difícil producir transformacio-nes cualitativas y que requieren gran cantidad de recursos,parece ser un obstáculo para volver a construir un clima fa-vorable a la inversión educativa.

Al mismo tiempo, el análisis de los resultados de lasevaluaciones internacionales muestra que los promedios dela región se componen de sectores acomodados de la socie-dad que brindan a sus hijos una educación que puede serubicada dentro de los estándares internacionales, y otros cu-ya calidad se aleja cada día más de dichos estándares.


19

Esta evidencia anima a algunos sectores a preguntar-se si es posible garantizar una educación de calidad para to-dos o si deberemos conformarnos con garantizársela a losgrupos más dinámicos de la sociedad, aquellos que parece-rían en condiciones de darle competitividad a las economíasde sus países. Estos peligrosos razonamientos son algunosde los elementos que nos obligan a asumir un análisis máscuidadoso de los resultados de las pruebas. En ese sentido esque los mismos han trascendido el análisis del mundo peda-gógico: no sólo tienen impacto sobre las políticas curriculareso de gestión institucionales, también pueden tenerlos sobrelas políticas de empleo, de inversión industrial, etcétera.

¿De qué hablan los tomadores de decisiones cuandoafirman que hay que apropiarse de las evaluaciones? El Pre-sidente de la IEA, Alejandro Tiana, dijo: “Hay una cuestiónde la complejidad de la evaluación que tiene una vertiente deconocimiento y otra de valoración. La vertiente política es lade la valoración y la ponderación”. Por su parte, Martha La-fuende expresó: “Creo que llega el momento de empezar allamar a las cosas por su nombre, nos hemos propuesto eva-luar calidad y estamos midiendo, no evaluando. Evaluar exi-ge tener un patrón con qué compararse y ese patrón no estádel todo claro”. Aparece la idea de que se ha concebido unapolítica como un hecho técnico y, después de una década, pa-rece claro que es necesario revisar esa decisión, entender queesas decisiones técnicas deben dar cuenta de definiciones fi-losófico-políticas. Se construyeron indicadores que se defi-nieron técnicamente, y que consideran casi con exclusividadlas habilidades académicas. Nuestros índices no consideranel aumento de las tasas de escolarización, la capacidad delsistema para homogeneizar actores de una sociedad cada díamás segmentada, dar cuenta de los nuevos públicos que la

20


escuela ha sido capaz de albergar, de la capacidad de conte-ner otras realidades sociales, etc. Y esas definiciones impli-can una toma de postura ideológica, utilizar unas variables yabandonar otras; lo cierto es que la experiencia de los ‘90 ha-ce pensar más en una “no toma” de posición política, en elsentido de que los tomadores de decisiones no se posiciona-ron en ese punto.

Se ha construido un indicador de calidad que es pura-mente académico, se han considerado fundamentalmente losaciertos en Lengua y Matemáticas como indicadores de unabuena educación. Pero no es que, en consecuencia, esa sea lademanda que se le formula a la escuela, no ha sido ese elúnico objetivo de las reformas. Y en el caso de que ese hu-biera sido, tampoco se le garantizaron las condiciones deeducabilidad mínimas para producir esos aprendizajes.

Se le ha pedido a la escuela que enseñe contenidos de-finidos, y se formularon evaluaciones acerca del grado de ad-quisición de los mismos por parte de los alumnos. Pero tam-bién se le demandó que les dé de comer a los niños y jóve-nes, que controle su vacunación, que les haga los documen-tos de identidad, que presione a los padres para que eduquena sus hijos como corresponde, etcétera. Y ni siquiera los sis-temas educativos fueron capaces de liberarla del peso admi-nistrativo de las burocracias, no se han dictado normativas yregulaciones que faciliten la tarea, no se han generado pro-gramas de capacitación eficientes para sus docentes, de mo-do que pudieran enseñar dichos contenidos.

Y en ese sentido, la escuela ha quedado sola adelantede la sociedad; se la midió con un indicador de nivel acadé-mico similar al de otras regiones del planeta en las que la es-cuela cuenta con una cantidad de variables garantizadas. Nose han construido indicadores capaces de dar cuenta del con-


21

junto de las misiones y funciones que se le encomendaron alsistema educativo. Ni siquiera, que consideren el contexto enel que se le han pedido dichos resultados.

Las evaluaciones de la calidad han lanzado al sistemaeducativo a la discusión política y, por lo tanto, las conse-cuencias de dichas discusiones generan un fuerte impactosobre la imagen de los gobiernos, sobre el campo de la polí-tica educativa y sobre el de la política en general.

No es posible enfrentar una discusión política con en-foques técnicos solamente. Quizás haya llegado la hora deasumir la discusión de sentido, la definición de objetivos depolítica y de someter las herramientas a esos principios. Qui-zás el problema resida en que, tal como dijimos previamen-te, se ha medido pero no evaluado, y medido determinadasvariables y no otras. Y más allá de que los equipos políticosno hayan construido esas decisiones, las mismas han adqui-rido ese carácter.

Quizás la primera conclusión de este análisis sea que,más allá de la politización “de hecho” que sufrió el mundode las evaluaciones, ha llegado el momento de que los toma-d o res de decisiones en materia de políticas educativas, losespecialistas del campo y los equipos de los org a n i s m o smultilaterales asuman que este es un debate de sentido, yque entrar al mismo por el “costado” técnico en lugar de ha-cerlo por el político es un error y nos conducirá a conclusio-nes falsas.

La visión comunicacional

“Los diarios informan sobre la lista de resultados, las radiosllaman a la directora de evaluación, la televisión prepara un

22


programa a la noche y al otro día desapareció”. De este mo-do, Martín Granovsky describe algo así como el circuito de laevaluación en los medios, la idea de que el tema se vuelveuna noticia más, no hay proceso, no hay actores, son sólo re-sultados. Por su parte, Javier Bonilla Saus agregó: “Las eva-luaciones clásicas son generadoras de buenos y malos hu-mores. Difícilmente son generadoras de grandes movimien-tos de opinión. La publicación de que los índices de repiten-cia han subido puede desembocar en largos cuestionamien-tos sobre el ministro, los datos, las políticas educativas, lacrisis de la educación, etcétera”.

Como señaló J. J. Brunner, en el Seminario: “Esta cla-ro que la comunicación masiva le ganó a los sociólogos yeducadores”. Pareciera ser que el mundo educativo ha perdi-do el control de ese canal de comunicación y, encima, es elúnico que está utilizando.

Ahora, ¿por qué el mundo educativo creyó que el tra-tamiento de esta información iba a ser distinto? ¿Es otro elabordaje que los medios masivos proponen para otras temá-ticas? ¿Por qué los medios se habrían dejado condicionar porla lógica del pensamiento pedagógico?

La escuela tuvo una cierta centralidad en el comienzodel siglo XX y finales del XIX. Era una institución con capa-cidad de construir muchos de los discursos que circulabanpor la sociedad. Pero esa capacidad ha disminuido, por pér-dida de peso propio, pero, también, por la aparición de otrasagencias de transmisión de discursos en la sociedad. La ca-pacidad hegemónica de la escuela se encuentra debilitada, y,por el contrario, es ella la que se ve sometida a otras agen-cias sociales que le atribuyen sentidos.

Las evaluaciones de calidad siguen un proceso similaral de los indicadores de aumento del costo de vida, del de-


23

sempleo, del producto bruto. ¿Por qué sería distinto?¿Acasoesos indicadores no impactan del mismo modo en la vida delos miembros de la comunidad? Ocurre que, en algunos ca-sos, las personas logran construir el relato que “rodea” al in-dicador estadístico, porque participa de sus vidas en formacotidiana, como es el caso del índice de desempleo. Pero enla mayoría de los casos un indicador no es más que eso, noes un relato, no es un análisis, sino una síntesis. Es limitadala capacidad que tiene un dato para representar una realidadcompleja, para dar cuenta de la multiplicidad de relatos quelo componen, y del conjunto de los matices que le aportansentido.

Otro de los problemas de la información que aportanlos operativos nacionales de evaluación de la calidad, es queno cuentan con el consenso del campo. El indicador que se haconstruido no parece contar con el acuerdo del mundo edu-cativo acerca de que expresa una síntesis del estado de la ca-lidad educativa. Los indicadores económicos no generan dis-cusión per se, el debate generado por el índice de variacióndel costo de vida puede vincularse a las razones de las varia-ciones, al modo de construcción de la muestra, pero nadiecuestiona al propio índice. Nadie cuestiona el hecho de quemide lo que se propone medir.

Sin duda, una de las deudas en materia de evaluaciónde la calidad es el consenso acerca del indicador pro p u e s t o ,las variables y la metodología con la que se construirá elmismo.

Esta discusión se deriva del planteo anterior; respectode la definición de sentido, es preciso consensuar una defi-nición de calidad antes de empezar a medirla. Ese consensoes lo que el sistema educativo debe volcar al resto de la so-ciedad, de modo que el mismo sirva como principio de un

24


diálogo y una comunicación con ella. También debe ser dis-cutido el hecho de medir solamente la calidad, más allá delconsenso alcanzado acerca de dicho indicador.

Pero definido dicho indicador, cabe la pregunta respec-to de si deben ser los medios de comunicación el medio ele-gido para la transmisión de los resultados, o cuáles resulta-dos deben ser comunicados a través dichos medios. En el Se-minario, Juan Carlos Tedesco señaló: “La duda es cuál es elimpacto de los medios sobre la educación. La gente, en gene-ral, no lee la información escrita sobre educación, la leen losdirigentes políticos. La gente se apoya mucho en la experien-cia concreta y eso explica y da pistas para el diseño de unapolítica educacional. Es preciso reforzar el papel comunicadorde la escuela. Los datos no les sirven a los docentes tampo-co, tal como están presentados. Los ciudadanos no nos guia-mos sólo por información racional”. El aporte de Juan CarlosTedesco obliga a pensar si se ha elegido el medio más indi-cado para comunicar los resultados, por su capacidad de lle-gada, por el tipo de discursos que admite y el modo de pro-cesarlos, por la capacidad de consensuar con los actores elmodo de comunicación de los mismos, etcétera. Más aúncuando la televisión, la radio y los periódicos han sido, en al-gunos casos, los únicos canales elegidos para la transmisiónde la información.

Es preciso evaluar si el tipo de comunicación y el mo-do de organizar los discursos han sido los apropiados. La po-sibilidad de evaluar modelos de comunicación que no traba-jen sobre los paradigmas de la velocidad, inmediatez, impac-to, parecen más apropiados para comunicar la informacióneducativa con mayor cuidado. Se trata de encontrar los cana-les para transmitir relatos, con tiempos y espacios que permi-tan la reflexión.


25

Al mismo tiempo, si reunimos el análisis de eficienciacon el de pertinencia, daría la sensación de que el propio sis-tema puede ser un canal más interesante de comunicación.

En este sentido, no parece un dato irrelevante que nose haya tomado al propio sistema como canal para la comu-nicación de los resultados.

Pero la reflexión acerca del canal de comunicaciónobliga a volver al plano de las opciones de sentido. El modoy la vía que se utilizará para comunicar los resultados debeestar vinculado a los objetivos propuestos para los dispositi-vos de evaluación. Es preciso preguntarse “para qué” antesde definir el “cómo”; la comunicación debe tener capacidadde construir sentido con el propio discurso que se está inten-tando transmitir, debe existir relación entre los contenidos yel modo de transmitirlos.

Si los objetivos que el sistema se propone pasan porproducir cambios en las estrategias de trabajo de los docen-tes, si se está pensando que los resultados sean un feed backque mejore las estrategias áulicas, las políticas de capacita-ción, de currículum, y el planeamiento en general, se hacenecesario buscar una estrategia en la dirección y la lógica denuestros destinatarios. Ahora, si lo que se busca es un insu-mo informativo para un sistema que avance hacia una orga-nización a partir de la demanda, un modo de que la sociedady los propios padres puedan aumentar la presión sobre laoferta, si la hipótesis es que dicha presión sobre la escuela laobligará a mejorar, los medios masivos pueden ser un canaladecuado.

Pero, sin duda, vuelve a aparecer la demanda por unadefinición de sentido. Y en el caso de la comunicación, los es-pecialistas del campo le aportan complejidad al debate, obli-gan a integrar al análisis la elección del canal, el modelo de

26


comunicación, las intencionalidad, tanto como los propioscontenidos. Pareciera que los tomadores de decisiones sonnuevamente demandados respecto de decisiones de valores yde sentido; así, el debate lleva a la necesidad de que los es-pecialistas encuentren un marco ordenador de su tarea.

Una mirada técnica

“La mayoría de los sistemas educativos latinoamericanos haincorporado dispositivos y estrategias de evaluación al reper-torio de políticas que constituyeron sus reformas en la déca-da del ‘90”. Los modos de organización, los niveles alcanza-dos, el tipo de instrumentos, la periodicidad, y otras varia-bles, muestran diferencias entre ellos. Pero lo cierto es que laevaluación se instaló como una política y adquirió un fuertereconocimiento social.

Más allá de las diferencias encontradas, pueden obser-varse elementos comunes entre los diferentes países, quedan cuenta de las opciones técnicas adoptadas, o de las quemás allá de haber sido definidas explícitamente, resultaronde los modelos de implementación puestos en marcha.

- En ninguno de los casos se han observado variacionessignificativas de los resultados a lo largo del período deimplementación. Los niveles de acierto se han mantenidoestables tanto en relación a los indicadores cuantitativoscuanto a los cualitativos. Es posible afirmar que los alum-nos siguen logrando niveles similares de aciertos en elmismo tipo de ítems. Estos resultados podrían permitirdos tipos de inferencias iniciales, en el sentido de que loscambios curriculares en particular y los programas de re-


27

forma en general, no han impactado los aprendizajes quelos alumnos adquieren en las aulas, o que las preguntasque estamos formulando no son capaces de captar las di-ferencias que se están produciendo. - La mayoría de los sistemas han trabajado con mayor de-dicación en la producción de información que en el análi-sis de la misma y en su comunicación a los actores. La re-gión ha implementado millones de pruebas por año, peroes relativamente escasa la cantidad de información que seha producido, al menos la que se ha utilizado para la re-formulación de políticas o estrategias pedagógicas.- No se ha logrado que los docentes incorporen los resul-tados de los dispositivos como insumo de trabajo para lareformulación de su tarea. Esto tampoco ha ocurrido enlos propios ministerios que las implementan. Los equiposde currículum o de capacitación no hacen de los resulta-dos un insumo principal de sus trabajo. Los operativos deevaluación aparecen como elementos con gran autonomíadel resto de las políticas implementadas.- Los resultados se han comunicado, casi exclusivamente,a través de los medios de comunicación masiva. Se handifundido los promedios nacionales con mayor o menord e s a g regado, pero en muy pocos casos se han constru i d oi n f o rmes que puedan orientar el trabajo de la escuela o, almenos, que las escuelas los vivan así. Se han resaltado loscasos extraordinarios, se han comparado con la línea his-tórica de los mismos. En los casos en que se ha trabajadoen la distribución, la temporalidad de dicha devolución estal, que se vuelve difícil transformarla en estrategias demejoramiento institucional. Los informes llegan tarde o, almenos, desajustados con la posibilidad de transform a r l o sen herramientas de planeamiento.

28


- Las escuelas han vivido los operativos como dispositi-vos externos a los que han dedicado mayor o menor tiem-po de preparación, pero en muy pocos casos han percibi-do esas actividades como propias de la institución.- Los ítems de contenidos evaluados han sido construidosen el contexto de un proceso de transformación curricularde gran alcance, razón por la cual resulta difícil evaluarlos resultados de dichos ejercicios.- La comunicación de los resultados ha transmitido lasensación del deterioro, la idea de que los sistemas edu-cativos son muy poco eficientes en términos de calidad, yque se encuentran en un proceso de deterioro respecto delos resultados que obtenían en el pasado.

Es preciso relativizar muchas de las críticas que se efectúansobre los equipos técnicos. Lo cierto es que la región no con-taba con ningún tipo de experiencia previa acerca de la orga-nización de operativos de este tipo y la experiencia europease daba en contextos muy diferentes, al menos de menor he-terogeneidad y en condiciones de organización del Estadomucho más sólidas.

Al mismo tiempo, los equipos técnicos no contaron condirectivas políticas que les permitieran orientar el trabajo. Elpedido de organizar dispositivos de evaluación no contó conel planteo de direccionalidades claras respecto de lo que seharía con dichos resultados, del impacto que se pretendía ge-nerar con los mismos, etcétera. Pero, en el caso de los equi-pos, éstos tampoco lo demandaron y en este sentido es inte-resante reflexionar acerca de los grados de autonomía de losequipos técnicos y los riesgos que esto genera.

El avance técnico parece haber sido construido con au-tonomía de las decisiones de sentido. De hecho, la variación


29

de los instrumentos desde el comienzo de su implementaciónes baja. Las que se produjeron han tenido que ver con ajus-tes estadísticos o técnico-pedagógicos. EL elemento innova-dor apareció en el caso de algunos dispositivos internaciona-les que incorporaron nuevos modelos y contenidos a los ins-trumentos.

En síntesis, la reflexión acerca de nuevas decisionestécnicas, ajustes y revisiones que se realizan, debe estar pre-cedida de las reflexiones y decisiones políticas que orientenel trabajo técnico posterior.

A diez años de la implementación de estos dispositivosde evaluación, parece interesante comenzar por una indaga-ción profunda de los resultados, un intento de encontrar pis-tas que aporten a una revisión de las políticas implementa-das y de las nuevas que se elaboren. Resulta importante for-mular un análisis profundo de los resultados, realizarlo conparticipación de los actores del sistema, y construir la cultu-ra de la evaluación como insumo para el debate y la construc-ción de políticas educativas.

En cuanto a las estrategias de futuro, es necesaria unarevisión que aproveche los avances alcanzados. Puede resul-tar riesgosa la tradición de fractura en el modelo de construc-ción de programas de política que ha tenido la región. No setrata de producir una nueva ruptura, se trata de un procesode construcción, de re-orientar, de potenciar la herramientaen función de los objetivos que se definan. Latinoamérica re-quiere institucionalizar sus operativos de evaluación, inclu-yendo en dicha institucionalización los propios mecanismosde revisión y re-orientación de las decisiones técnicas. Y esosmecanismos deben ganar coherencia con los objetivos de po-lítica que se definan.

30


Una visión acerca de las relaciones entre las evaluaciones y los actores

Las evaluaciones de calidad son uno de los componentes delas políticas encaradas en la década del `90 que más críticasreciben entre los docentes y los directores. Sin duda, el mo-delo de implementación y construcción no ha logrado que losmismos se sientan incluidos en dicho proceso.

Este dato resulta interesante de ser analizado por elhecho de que tal como lo explica el artículo de Emilio Tenti,en este mismo libro, la visión crítica no se extiende a la po-lítica de evaluación como tal, sino al modo en que la mismafue implementada. Los docentes parecen acordar con la ideade evaluar, aunque tienen sus diferencias con el modo en quedichas evaluaciones se han implementado.

Por otro lado, manifiestan que la tarea de evaluar es delas que más dificultades les generan dentro del repertorio delas que implica su propio trabajo. En este sentido, parece in-teresante observar el hecho de que ellos mismos parecen re-querir una reflexión más profunda de para qué evaluar y có-mo hacerlo, y esa reflexión no debería estar divorciada de laque se formula alrededor de los operativos de evaluación enun sentido más general, como política global del sistema.

Al mismo tiempo, la propia exposición a la que la es-cuela se ha visto sometida por la comunicación masiva de losresultados, las sospechas que ha generado en la sociedadacerca de la capacidad de los docentes de garantizar aprendi-zajes significativos de sus alumnos, la puesta en duda de laidoneidad de los mismos para su tarea, pueden explicar lamirada crítica acerca de los dispositivos de evaluación de lacalidad.

Sin duda, las evaluaciones son vividas como un ele-


31

mento externo que, de algún modo, se interpone entre lasautoridades y las escuelas. Deja a los docentes solos y rom-pe cierta visión de unidad del sistema. Como expresó JavierBonilla: “Se nota un grado de exterioridad muy grande entreel aparato de evaluación y el de gestión habitual del sistema.La pregunta es cómo hacemos para que el dispositivo sea vi-vido como un dispositivo interno. Cómo hacemos para que elaparato de evaluación sea amigable para la cultura del siste-ma educativo”. La sola idea de dos aparatos a los que se de-be volver “amigables” y hacerlos dialogar entre sí, implicauna ruptura en la lógica de un sistema que se ha caracteriza-do por importantes grados de endogamia, como es el sistemaeducativo. Las evaluaciones aparecen como un dispositivoexterno al propio sistema, que han adquirido el poder de va-lidar o no sus acciones y efectos. La escuela parecía un ám-bito invulnerable y ha quedado sometida a un procedimien-to que no sólo la evalúa, sino que expone los resultados dedichas evaluaciones al conjunto de la sociedad.

El hecho de que la discusión previa de las evaluacio-nes acerca del sentido haya resultado tan débil, hace quetampoco hayan podido participar los docentes de la misma.La revisión que se realiza de las mismas, la discusión de sen-tido en la que se avance, debe incluirlos, debe contar conellos en el análisis del “para qué” y del “cómo”. En caso con-trario, resulta complejo construir una “amigabilidad” a pos-teriori. Lo cierto es que la posibilidad de lograr que el siste-ma viva a los dispositivos como propio, debe incluir la parti-cipación de la discusión del para qué, que sienta como pro-pios los objetivos que se proponen.

El Jefe de la división educación del BID, Juan CarlosNavarro, señaló en el Seminario: “Los docentes sienten queentran en un juego en el que los dados están cargados con-

32


tra ellos (...) Creen que es justo que sean evaluados, no es-tán en contra de esto, por principio”. Tal como afirmamos an-teriormente, se trata de comprender que la revisión de senti-do en materia de políticas de evaluación, va a incluir tanto lascuestiones sustantivas como las metodológicas, y que la par-ticipación de los actores en las distintas instancias de eseproceso es fundamental. Por otro lado, es preciso que los to-madores de decisiones sean transparentes, en el sentido deque no se está construyendo un dispositivo para confrontarcon los docentes, sino uno capaz de producir los insumos quepermitan mejorar la calidad y la equidad, en los aprendizajesde los alumnos.

Hacia una búsqueda de sentido

La propuesta de realizar una mirada política de las evalua-ciones de calidad ha permitido revisar distintos aspectos deestas políticas y proponer miradas novedosas de las mismas.Sin duda, la intuición respecto de que no podía empezarse larevisión por una mirada exclusivamente técnica las acert a-da. El debate con los tomadores de decisiones les perm i t esalir del “enojo” con el instrumento y pasar a la apro p i a c i ó nde los mismos respecto de su direccionalidad y conceptuali-zación. Resulta claro que en materia de evaluación hemosc a recido de una toma de decisiones política, de sentido, yque en realidad hemos asistido a una “no política”. Es decir,las decisiones no tomadas fueron ocupadas por opcionestécnicas.

Probablemente este fenómeno no sea exclusivo de laspolíticas de evaluación de calidad, pero en este caso adquie-re especial relevancia por el peso político que han tenido las


33

mismas en los medios de comunicación, en los espacios po-líticos y en la visión que las sociedades han construido sobreel estado de la educación.

Aunque en cierta medida estas políticas pueden ser con-sideradas un caso común entre las que impulsaron las re f o r-mas de la década del ‘90, el hecho de la construcción de dis-cursos técnicos con cierta autonomía de la reflexión política y,en algún caso, de la construcción de sentido compartida conlos actores, parece ser una consecuencia más generalizada.

Lo cierto es que en el caso de las políticas de evalua-ción, resulta importante volver a evaluarlas desde la lógicade la revisión de sentido. Y en este punto, es una re s p o n s a-bilidad de los equipos políticos de los ministerios esta defi-nición, que no puede encontrarse aislada del resto de las de-cisiones de política educativa. Esa revisión debe incluir, enel caso particular de la evaluación, respuestas a las pre g u n-tas de:

• ¿Para qué evaluamos? • ¿Qué evaluamos?• ¿Cómo lo hacemos?• ¿Quiénes participan del proceso de construcción?• ¿Qué información comunicamos a cada uno de los distin-

tos actores del proceso? • ¿Qué hacemos con los resultados?

Estas preguntas, que pueden parecer elementales, permitiránordenar las revisiones técnicas que se realicen. Será distintoafirmar que se evalúa para establecer parámetros de compa-ración que obliguen a las escuelas a mejorar, que sostenerque se lo hace para mejorar el conocimiento del sistema demodo de ajustar las estrategias de política.

34


Será distinto evaluar a los docentes como modo de me-jorar sus estrategias de carrera y de formación, que hacerlosolamente para establecer premios y castigos.

Estas decisiones permitirán decidir por dispositivosmuestrales o censales, por instrumentos individuales, grupa-les, por ítems cerrados o abiertos, etcétera. Lo cierto es quees fundamental recuperar los modos de construir políticas desentido, definición de fundamentos que puedan sostener losacuerdos técnicos posteriores.

Algunas de estas reflexiones aparecerán en este libro,que se propone abrir un debate sobre las evaluaciones quesume miradas y resulte un modo de enriquecer la políticaeducativa en general y la de evaluación en particular.


35

Encuentros y desencuentros con losprocesos de evaluación de la calidadeducativa en América Latina

Javier Bonilla Saus

I. Introducción

En las últimas décadas, tanto los responsables de los siste-mas educativos públicos y privados, como la mayoría de losespecialistas en educación, han ido adoptando, de maneracrecientemente generalizada, la idea de que es necesario eva-luar la calidad educativa de la enseñanza que se imparte a lapoblación de los países de la región.

En América Latina el fenómeno es relativamente nue-vo puesto que comienza a expandirse aproximadamente apartir de la década del ‘90 y lo hace, indudablemente, comola continuidad de un movimiento relativamente generalizadoy mucho más amplio que comenzó a desarrollarse en los Es-tados Unidos en los años ‘50 para luego extenderse a todaEuropa en la década del ‘70 y, posteriormente, a un buen nú-mero de países del Asia y Oceanía.

Algo más de una década después de la aparición deaquellos primeros entusiasmos en nuestro continente, henosaquí reunidos para plantearnos una serie de preguntas que,bien miradas, deberían quizás haber precedido a aquellos en-fáticos compromisos con el movimiento generalmente com-

Encuentros y desencuentros con los procesos de evolución

37

partido por la utilización de los sistemas de evaluación de lacalidad educativa.

II. Los problemas planteados por la evaluación educativa

Efectivamente, estamos aquí reunidos porque el desarrollode las herramientas de evaluación de los sistemas educati-vos, no solamente ha constituido una operación costosa–tanto en términos de recursos económicos como en materiade esfuerzos y de recursos humanos–, sino que ha resultadoser una opción, aparentemente técnica, de efectos políticosproblemáticos.

Hoy se nos pregunta si creemos que las evaluacioneshan afectado la inversión pública de los gobiernos en educa-ción, si las evaluaciones conllevan riesgos políticos, etc. Puesbien, en el Seminario que aquí nos congrega, de lo que se tra-ta es de preguntarse por qué razones la opinión pública –y/olos medios de prensa1– de nuestros países encuentra tantasdificultades para interpretar los resultados de distintas prue-bas de evaluación de la calidad educativa de un determinadoaspecto del funcionamiento del sistema educativo y, porejemplo, muchas veces, terminan confundiéndolos con un

38


1 Estando este artículo en vías de terminación, acaba de aparecer una publi-cación cuyas conclusiones podrían haber enriquecido nuestro trabajo: El pa -pel de los medios de comunicación en la formación de la opinión pública enEducación, de Juan Carlos Tedesco y Roxana Morduchowicz. Tanto pornuestra voluntad de conservar el espíritu de las discusiones del Seminarioque dieron lugar a esta publicación, como por razones de tiempo, no nos pa-reció pertinente introducir las hipótesis y conclusiones de esa publicación eneste artículo.

verdadero diagnóstico general del estado de la educación ennuestros respectivos países.

En efecto, estos son algunos de los problemas que pa-rece acarrear la multiplicidad de evaluaciones de los resulta-dos educativos que hemos llevado a cabo y estamos llevan-do adelante en los últimos años. Pero, muy en especial, creoque lo que más preocupa es el último de los problemas men-cionados. Es decir, el problema que conlleva la dificultad detransmitir a la opinión pública cuál es el verdadero estatutodel resultado de una evaluación y la aparente imposibilidadde que ésta dimensione exactamente su significado, sus al-cances y sus reales implicaciones.

II.A. Los resultados de las evaluaciones educativas ante la opinión pública

En primer lugar, es necesario señalar que el fenómeno esp reocupante porque, en buena medida, la opinión públicap a rece reaccionar de manera relativamente d i f e re n t e a n t elos resultados de las evaluaciones educativas que frente ao t ro tipo de mediciones. En efecto, en ocasiones, hay medi-ciones que son portadoras de indicadores de realidades eco-nómicas o sociales mucho más trascendentes –y por ellomás inquietantes– que la persistencia de una alta tasa de re-petición en primer año de Primaria o de la tasa de deserc i ó ndel segundo ciclo de Enseñanza Media. Sin embargo, es ne-cesario constatar que muy pocas veces las reacciones de losmedios y de la opinión pública alcanzan, ante la difusión dedistintos tipos de indicadores, la virulencia que suelen ad-quirir frente a algunos resultados provenientes del sectore d u c a t i v o .

Es así que debemos reconocer que las evaluaciones


39

educativas son relativamente nuevas en el horizonte de lagestión gubernamental. Los estados modernos contemporá-neos –y con ello quiero decir, grosso modo, los aparatos es-tatales concebidos y diseñados después de la Segunda Gue-rra Mundial– hace tiempo se empeñaron en cuantificar losprocesos públicos y privados que tenían lugar en nuestrassociedades. En gran medida esta tendencia está ligada, en unsentido, al proceso de tecnificación de los aparatos estatalesy al incremento de la importancia de los medios de comuni-cación de masas. Cabe simultáneamente destacar, en un se-gundo sentido, que la tendencia a informar sobre los resulta-dos de la marcha de los principales procesos que se desarro-llan en la sociedad está íntimamente vinculada al procesomismo de consolidación de la democracia.

Esta requiere, de manera regular –y yo diría que ine-xorablemente2–, de un flujo de información continuo hacialos medios para permitir la conformación de ese actor decisi-vo de todo régimen democrático que es la opinión pública.

Es así que la tasas de inflación, la de desempleo, la deinversión, los niveles de ingreso, el índice de crecimiento o

40


2 El tema de la “publicidad”, y hoy diríamos de la “transparencia” de unagestión democrática y de sus acciones y resultados, ya ha sido implacable-mente planteado en múltiples ocasiones. Quizás la referencia al tema, a la vezmás seria y más conocida, sea la de Norberto Bobbio –véanse los capítulosEl poder invisible y La democracia y el poder invisible ; pp 22-24 y 65-83 enEl futuro de la democracia, Ed. Fondo de Cultura Económica, México, 1984–.Véase igualmente , para una perspectiva más histórica del problema; Dunn,John et al.: Democracy: The unfinished journey, especialmente el capítulo 13de conclusión; pp. 239-266. Ed. Oxford University Press, 1992 y Eccleshall,Robert et. al.: Ideologías políticas, Ed. Tecnos, Madrid, 1993, pp 182-183,que aborda el problema desde la perspectiva de la necesidad de la democra-cia de suprimir el “secretismo” y fomentar distintas formas de participación.

disminución del salario re a l3, etc., son indicadores vinculadosa la economía que se publican rutinariamente en todos losmedios de prensa de nuestros países sin que ello signifiques o r p resa o alerta alguna siempre que se mantengan dentro delos rangos más o menos “esperados” por la opinión pública.

Algo muy similar sucede, por ejemplo, con los indica-dores vinculados a la salud pública. Aunque menos concurri-dos que los indicadores económicos por la curiosidad de losmedios de prensa, no es menos cierto que los índices de na-talidad, los indicadores de mortalidad infantil, los de desnu-trición o los de morbilidad vinculados a determinadas enfer-medades o accidentes parecen haber ganado una suerte decarta de ciudadanía entre la opinión pública y se han integra-do al lenguaje corriente de nuestras sociedades.

Que lo que estas mediciones indiquen sea “bueno” o“malo” resulta para la opinión pública relevante pero, en al-gún sentido, no precisamente inquietante si esos resultadosestán dentro de un rango considerado por ésta4 como “nor -mal”. Pero, en todo caso, difícilmente el asunto no será másque noticia pasajera y, por lo general, en ninguno de estosprocesos las informaciones y mediciones transmitidas a laciudadanía son generadoras de grandes movimientos de opi-nión que pretendan poner en cuestión las raíces mismas delsistema económico o las grandes políticas que rigen el siste-ma de salud pública.

Pero con las evaluaciones de la calidad de la educación


41

3 Recordemos que acabamos de incorporar durante la última década, en laterminología periodística, nada menos que el sorprendente indicador de“riesgo país” dentro de la batería de informaciones económicas con la quealimentamos a la opinión pública.4 Y debemos admitir que, a veces, la definición de esa “normalidad” se llevaa cabo algo arbitrariamente.

las cosas parecen ser, muchas veces, distintas. Si, por algu-na razón, el sistema educativo público tiene que informarque las tasas de repetición han subido algún punto porcen-tual, que el “drop-out” se ha incrementado o que los resulta-dos de las evaluaciones en Matemática deben ser considera-dos insuficientes, esa información tiene una alta posibilidadde desembocar en una verdadera campaña de prensa acom-pañada de largos cuestionamientos sobre la política educati-va en general, sobre la idoneidad del Ministro de turno, so-bre la validez de los datos, sobre la capacidad del cuerpo do-cente, etc.5. Y seguramente, además, nunca estarán ausentescomo infaltables anexos, argumentaciones no menos exten-sas sobre “la crisis” de la educación, los efectos aparente-mente devastadores de las nuevas tecnologías de la informa-ción globalizada y los problemas más abstrusos de la civili-zación contemporánea.

Incluso, a contrario sensu, cuando los resultados quearrojan las evaluaciones sobre la calidad educativa resultanser positivos6, las reacciones de los medios y de la opinión

42


5 Creo que conviene, desde el inicio, señalar que esta peculiar hipersensibili-dad ante los resultados de las mediciones en educación no son privativas delos países de nuestra región. Los recientes resultados obtenidos por Alema-nia en las pruebas del sistema PISA han significado un verdadero escándalonacional y recordemos que Francia entera sigue, año con año, los resultadosdel examen final de la Enseñanza Media que son, íntegramente y nombre anombre, publicados por la prensa nacional.6 Como simple anécdota referida al sistema educativo de nuestro país, bastarecordar que, hace escasamente unos meses, las evaluaciones de desempeñoen Lengua y Matemática de 6o. año de Enseñanza Primaria hechas en Uru-guay arrojaron, respectivamente, mejoras de casi el 10% y el 14% con res-pecto al desempeño obtenido en iguales mediciones del año 96 y, tambiénrespectivamente, mejorías del 5% y del 7.5% con respecto a mediciones delaño 1999. Alguna prensa sencillamente ignoró la información mientras queotra, en lugar de destacar la mejoría alcanzada y sobre todo la consistencia

pública pueden llegar a ser sorprendentes: la opinión públicaparece reaccionar como si los resultados positivos fuesen los“naturalmente esperables” por lo que, de manera explicable,dichos resultados difícilmente constituyen una “noticia” sig-nificativa para los medios.

II. B. Algunas tentativas de explicación

Creo que si todos los aquí presentes, que provenimos de paí-ses muy disímiles, estamos más o menos de acuerdo sobre laexistencia de este peculiar fenómeno que podríamos llamarde “desinteligencia” para con los resultados de las evaluacio-nes educativas; si estamos genéricamente de acuerdo que pa-rece haber un problema a nivel de las lecturas que la opiniónpública hace de los resultados de las evaluaciones de la cali-dad de la educación, corresponde que ensayemos al menosalguna explicación sobre la cuestión.

II.B.1. En primer lugar creo que es necesario recordar algoque, por obvio que pueda ser, no deja de resultar a la vez sig-nificativo y pertinente para el problema que nos ocupa. Lasevaluaciones de los resultados educativos –en particular lasde aquellos países donde el sistema de educación pública esfrancamente mayoritario y simultáneamente portador de unacierta tradición de prestigio– tienen una estrecha relación confuertes intereses corporativos de distinto tipo. Mencionemosal menos dos de los más relevantes.


43

de la tendencia que las cifras indicaban, subrayó la relatividad de los resul-tados absolutos alcanzados ya que entendió que el 66.3% de suficiencia enLengua y el 48,3% en Matemática debían ser considerados, sin más argu-mentación, como un resultado claramente insatisfactorio.

Por un lado, muchas veces la educación privada re-q u i e re –al menos en países cuyos sistemas educativos tienenlas características mencionadas– de la permanente afirm a-ción de que sus resultados resultan ser superiores a los de laeducación pública. En muchos casos su estrategia de desa-rrollo se basa en una re a f i rmación discursiva –más o menosconsistente con la realidad– de su capacidad de obtener re-sultados educativos superiores a los de la educación pública.De lo contrario, de no re a f i rmar esta supuesta superioridaden la calidad educativa de la educación privada, la razón deser de ésta queda reducida casi exclusivamente a la oferta ded e t e rminadas opciones confesionales o a la de algunas pecu-liaridades lingüísticas y culturales. En ese sentido, el discur-so de la educación privada tiende a contribuir, de maneramás o menos explícita, a fortalecer toda tendencia que favo-rezca una lectura crítica de los resultados de la educaciónp ú b l i c a .

Por el otro, las evaluaciones educativas también coli-den parcialmente con los intereses de una muy poderosa cor-poración docente que, al menos en algunos de nuestros paí-ses, no está habituada a que los resultados de su actividadprofesional sean evaluados y públicamente expuestos. Antetodo, las evaluaciones chocan con las tradiciones y con losintereses de la corporación docente porque una gran parte otodo el proceso de evaluación educativa, de la manera que seha ido instrumentando en los nuevos procesos de reforma,escapa política y administrativamente al control de los cen-tros de poder de la corporación.

Pero, además, las evaluaciones que terminan haciendopúblicos los resultados educativos, de alguna manera ponen“en cuestión” –y, lo que es peor, lo hacen de manera sistemá-tica, puesto que los sistemas de evaluación están concebidos

44


para funcionar de manera regular y permanente– su desem-peño como docentes profesionales por más que la publicaciónde los resultados se lleve a cabo de la manera más general,promediada y anónima imaginable7 y no permita la identifi-cación de docentes, centros educativos o unidad específicaalguna dentro del sistema educativo.

Y creo que, en este sentido, cabe volver aquí a la com-paración con la situación y las reacciones que se producen enla educación frente a las que se suscitan en otros ámbitos dela actividad pública, como la salud pública, cuando de medirresultados se trata.

En primer lugar, tanto o más poderosa que la corpora-ción docente resulta ser la corporación médica de cualquierade nuestros países. No he sabido, sin embargo, de que dis-pongamos –al menos en el Uruguay estoy seguro de que noes así– de algún mecanismo de evaluación de la eficacia y efi-ciencia de los hospitales públicos (o privados), y eso marca,desde el vamos, una diferencia importante.

En segundo lugar, y como síntoma mucho más impor-tante de esas diferencias, a pesar de que en muchos paísesde América Latina, en los últimos años han hecho su apari-ción enfermedades previamente inexistentes o erradicadascomo el cólera, el dengue hemorrágico –o la misma aftosa anivel animal–, no tengo información de que el aparato de sa-lud pública –o el de sanidad animal puesto que, para al caso,la circunstancia es similar–, haya sido radicalmente cuestio-


45

7 En países como el que hoy tan amablemente nos recibe, donde se ha esta-blecido que las evaluaciones están autorizadas a “rankear” los resultados delos distintos establecimientos educativos, imagino que los cuerpos docenteshan de percibirlas, además, como una fuerte amenaza a la unidad de la cor-poración de maestros y profesores.

nado en sus políticas y responsabilizado directamente por losmedios y la opinión pública de estas calamidades.

Todo parece entonces acontecer como si la opinión pú-blica concibiese que hay procesos que, por más que exhibanindicadores que muestran falencias o resultados de poca ca-lidad, su actividad pertenece a un ámbito considerado de ca-rácter “natural” –frente a los que poco pueden hacer al res-pecto los tomadores de decisiones y los responsables políti-cos– y, por lo tanto, el público tiende a eximir a los serviciosestatales involucrados de toda responsabilidad de dichosacontecimientos o resultados.

Sin embargo, la misma opinión pública no parece ad-mitir que pueda resultar también “natural” que exista unas u e rte de complejo pero explicable “trade-off” entre la ex-pansión abrupta de la matrícula de determinado nivel delsistema educativo y la aparición de problemas de calidad enese mismo nivel de educación, y se muestra part i c u l a rm e n-te sensible ante la constatación estadística de este tipo dep ro b l e m a s .

II.B.2. Una segunda explicación plausible para esta gruesadificultad que se genera con la transmisión de los resultadosde las evaluaciones educativas puede tener que ver con laimagen tradicional que la opinión pública tiene de la educa-ción pública y, fundamentalmente, de la escuela pública.

Yo no estoy seguro de que esta argumentación seaaplicable a todos los países y no sea ésta una visión fuerte-mente “uruguaya” de un problema que, en realidad, es másgeneral. Pero, en el caso del Uruguay, es evidente que la ins-tauración de estos nuevos procesos de evaluación de la edu-cación se dan de bruces con la creencia fuertemente arraiga-da en la opinión de que la escuela pública uruguaya es una

46


institución sistemáticamente exitosa8 y que se encuentra, enúltima instancia, por encima de cualquier evaluación.

En ese sentido, en el Uruguay, pero estoy seguro quehay casos parecidos en América Latina, la absoluta certezadel público de que la escuela pública –y generalmente estacerteza se refiere a la “imagen” de una escuela tradicionalque hasta hace una década no hacía este tipo de evaluacio-nes– era y es un dechado de virtudes, conspira directamentecontra la buena recepción de las políticas de evaluación sis-temática en materia de resultados de la educación.

En algún sentido la opinión pública se ofusca ante laemergencia en la última década de estos “reformadores eva-luadores”, que parecen llegar sólo para anunciar malas noti-cias. El público recibe un mensaje del tipo: “…la enseñanzaque creíamos tan buena ahora resulta que no lo es…”. Comose comprende fácilmente, se trata de un discurso de difícilasimilación y la explicable tendencia a responsabilizar almensajero por las malas noticias de las cuales él es portador,seguramente opere en muchos casos.

I.B.3. Una tercera hipótesis que, entendemos nosotros, debetenerse en cuenta a la hora de explorar los desencuentros en-tre las evaluaciones educativas y la opinión pública de nues-tros países tiene que ver con lo que podríamos llamar “unproblema de legitimidad”. O, si ustedes lo prefieren, un pro-blema entre el tipo de legitimidad sobre el que se asientan las


47

8 Exitosa en múltiples aspectos: exitosa a nivel individual como mecanismosocialmente igualador y hasta de ascenso social personal, exitosa a nivel cul-tural como institución generadora de una sociedad que se autoconcibe como“culta”, y exitosa a nivel político como institución constituyente de una tra-dición democrática que forma, legítimamente, parte del núcleo fuerte de laidentidad nacional.

instituciones educativas tradicionales y la emergencia de es-te nuevo tipo de evaluación que se ha ido generalizando.

En efecto, conviene re c o rdar que educación y evalua-ción son dos actividades que están inextrincablemente vincu-ladas entre sí desde hace ya mucho tiempo, si no es que des-de el fondo mismo de la historia de la actividad educativa. Ba-jo las más diversas formas, maestros y pro f e s o res, dentro deltipo de institución educativa que fuere –escuelas carolingias ocatedralicias, escuelas de “métiers” dependientes de las cor-poraciones medioevales, universidades de las más diversasó rdenes eclesiásiasticas, tecnológicos republicanos, etc.–, hanaplicado desde siempre a sus alumnos muy variadas modali-dades de evaluación para confirmar la adquisición de sabere spor parte de aquellos. Estas modalidades de intentar re g i s t r a rlos aprendizajes pueden haber sido más o menos racionales,más o menos adecuadas o, incluso, más o menos arbitrarias,p e ro no hay ninguna novedad en cuanto a que la educaciónevalúe los desempeños de los pro f e s o res o los saberes y losniveles de aprendizajes obtenidos por sus a l u m n o s9.

Pero conviene subrayar que este tipo de evaluación,cuya legitimidad está asentada probablemente desde hace si-glos, se lleva adelante esencialmente en el espacio del aula ode su equivalente y como una actividad estrictamente inter-na al proceso educativo mismo. O si se quiere, más precisa-mente, un mecanismo de evaluación que se despliega exclu-

48


9 Es más, desde que emergieron, hacia finales del siglo XIX, los sistemas pú-blicos de enseñanza masiva, se generalizó lentamente el uso del “examen”–y a veces del examen general a nivel nacional–, para aquilatar los conoci-mientos adquiridos por los alumnos y, casi simultáneamente, se puso enmarcha la construcción de cuerpos inspectivos institucionalmente destinadosa supervisar el funcionamiento del proceso educativo de acuerdo a criteriosmás o menos atinados.

sivamente en el espacio de las relaciones entre maestro oprofesor y alumnos y entre supervisor o director y maestroso profesores.

En este tipo de evaluación, la noción de “ resultado” e salgo que emerge del seno mismo de la relación maestro - a l u m-no y, por lo tanto, los parámetros que definen un resultado co-mo “exitoso” o “deficiente” son parámetros que surgen comop a r á m e t ros i n t e rn o s a la actividad del aula, al centro educati-vo, y, eventualmente, al régimen de supervisión del sistemaeducativo. En suma, son evaluaciones cuyos resultados sec o n s t ruyen sin que intervengan criterios ni agentes exteriore sal sistema educativo tradicional. Dicho en otros términos: lasevaluaciones tradicionales en la educación poseen una amplialegitimidad, porque forman parte integrante del proceso dee n s e ñ a n z a - a p rendizaje desde hace siglos, pero, sobre todo,p o rque en esas evaluaciones son los propios agentes del sis-tema educativo que se evalúan a sí m i s m o s1 0.

Pero, en realidad, no es éste el tipo de evaluación quenos congrega aquí y no son estos mecanismos de evaluaciónlos que nos preocupan por sus efectos en la opinión públicay, por ende, en la política. La evaluación y los resultados quehacen problema son aquellos que, precisamente, no se proce-san “in vitro”, ni en el ámbito preregulado del aula, ni en los


49

10 Si pensamos un instante en lo que esto significaría en otros ámbitos delquehacer de un servicio público, sus terribles limitaciones quedan inmedia-tamente al desnudo. Es como si eliminásemos el concepto de “oposición deintereses” de los sistemas de contralor contable o de auditoría de gestión. Porello, conviene tener en cuenta no solamente el carácter “endógeno” de estetipo de evaluación: es necesario advertir que, así concebida, la evaluacióneducativa tradicional evita, de manera casi sistemática, la opinión sobre elfuncionamiento y los resultados del sistema educativo que puedan tener losalumnos, los padres, la comunidad y hasta los representantes electos del po-der político.

espacios jerárquicos del centro educativo o de la estructuracorporativa de los sistemas de enseñanza.

Los resultados que producen “desinteligencias” con losmedios y con la opinión pública son aquellos provenientes decensos, encuestas, muestreos, “panels”, etc., obtenidos y di-rigidos por personal –docente o no, eso es secundario–, peroque tienen como objetivo medir el desempeño del sistemaeducativo desde fuera de las rutinas, las jerarquías y, en últi-ma instancia, los intereses de la corporación educativa.

Es entonces por ello que las evaluaciones de la activi-dad educativa así construidas, desde un punto de vista explí -citamente externo a la lógica tradicional del sistema educa -tivo mismo, plantean un problema de “legitimidad” y, enconsecuencia, plantean en muchos casos problemas políticossignificativos.

En particular en el seno del cuerpo docente y sus jerar-quías, las preguntas obvias que se disparan ante la instaura-ción de esta nueva mirada sobre el desempeño de la educación,son los siguientes: ¿Quién mejor que yo, profesor o maestro ,puede evaluar los conocimientos que transmito? ¿Quién mejorque yo, docente, puede juzgar a mis alumnos? ¿Quién mejorque yo, dire c t o r, puede juzgar el funcionamiento del centroeducativo? ¿Quién mejor que yo, inspector o superv i s o r, pue-de medir efectivamente el desempeño de los p ro f e s o re s1 1?

I.B.4. Por último, existe una cuarta hipótesis que convieneconsiderar en la búsqueda de las razones por las cuales las

50


11 Y una vez más creo que resulta pertinente insistir con el paralelismo entreeste sistema de “autoevaluación” tradicional que ha practicado la educación,con algunas falencias de control democrático sobre el accionar de la corpora-ción médica y los resultados de éstas.

evaluaciones de la calidad educativa presentan tantas dificul-tades a nivel de la opinión pública. Se trata de una hipótesisque es necesario explorar en un nivel más conceptual o, si sequiere, más abstracto.

Cabe preguntarse hasta qué punto esta política de eva-luación sistemática de los resultados educativos no introdu-ce una incongruencia importante con algunos de los concep-tos fundamentales de la educación pública tradicional denuestros países. Si nosotros seguimos manteniendo acerta-damente, como uno de los principios rectores de nuestra edu-cación pública, el principio de educar para la equidad, no re-sulta sorprendente que la opinión pública imagine al sistemaeducativo como un servicio que imparte enseñanza de cali-dad homogénea y que los aprendizajes que en ella se obtie-nen deberían ser razonablemente homogéneos.

La publicación sistemática de resultados que exhibenla existencia de diferencias entre los aprendizajes de losalumnos, entre los aprendizajes conseguidos en los centros,entre los resultados educativos en las diferentes regiones deun país, etc., introduce una perspectiva que contradice la lec-tura ingenua del principio de educar para la equidad .

Que nuestros sistemas educativos eduquen para laequidad y se esfuerzen sistemáticamente en trabajar en esesentido, no significa –ni nunca significó– que obtengan nipuedan obtener resultados homogéneos, porque ningún sis-tema educativo –y, menos aún, sistemas educativos de ma-sas como lo son los sistemas educativos contemporáneos–,puede compensar totalmente diferencias económicas, socia-les y culturales que trascienden la capacidad democratizado-ra de los sistemas de enseñanza.

Otra cosa sería si nuestros sistemas educativos estu-viesen concebidos –como efectivamente en ciertos países


51

pueden estarlo– y fundados en otros principios. Si decidiése-mos fundar y hacer descansar la razón última de la educaciónpública sobre la búsqueda de la eficiencia o sobre el principiode educar para la competitividad, seguramente que, en eseescenario, la incongruencia a la que nos referimos más arr i-ba sería menor o menos perceptible. De hecho dejaría de seruna incongruencia, ya que las políticas de evaluación debe-rían de ser reclamadas como una parte n e c e s a r i a y f u n d a -m e n t a l de la orientación básica de una educación que tienecomo objetivos centrales la eficiencia y/o la competitividad.

Entonces yo agregaría, como último elemento que in-tenta explicar las desinteligencias y las incomprensiones queconstatamos entre el sistema educativo y la opinión públicaen materia de evaluaciones de la calidad de la educación, es-te aspecto que tiene dos componentes. Un componente mera-mente informativo –la creencia del público de que educar pa -ra la equidad consiste en generar resultados homogéneosque hagan desaparecer las diferencias de origen social y cul-tural de los alumnos–, y un problema, de trasfondo filosófi-co, que hace a la concepción última que rige al sistema edu-cativo de nuestros países.

Evidentemente, aunque nos aferremos como nos afe-rramos al principio cardinal de que es necesario educar parala equidad, no podemos por ello renunciar a las evaluacioneseducativas aunque sus resultados puedan aparecer como de-mostrativos de que una equidad estricta no reina en la edu-cación. En primer lugar, porque el principio de educar para laequidad se basa en la idea de brindar igualdad de oportuni -dades mediante la educación y no en la de la igualdad de re -sultados de los aprendizajes y, en segundo lugar, como vere-mos inmediatamente, porque la herramienta de las evalua-ciones educativas constituye un componente fundamental

52


para el desarrollo de cualquier sistema educativo moderno.P a rt i c u l a rmente para aquellos sistemas educativos que,orientados filosóficamente hacia la equidad, han de estarpermanentemente monitoreando los resultados obtenidos enla materia.

III. Las razones de la evaluación educativa

En uno de los más recientes diccionarios de Pedagogía, edi-tado en F r a n c i a1 2, encontré la siguiente definición del térm i-no “evaluación”: Dispositivo que tuvo nacimiento hacia me -diados del siglo XX en los países anglosajones y que se ge -nera por la transposición, hacia el ámbito de la enseñanza,de conceptos y modelos ya aplicados desde el siglo XIX entemas relativos a la economía y, part i c u l a rmente, a la pro -ducción. En educación, este dispositivo se sitúa en el “mar -co de la puesta en funcionamiento de una pedagogía por ob -jetivos. La evaluación apunta, por medio de métodos cientí -ficos, a apreciar con objetividad los efectos de una acciónp e d a g ó g i c a . . .1 3.

Admitamos que, aunque aquejada de cierto esquema-tismo y fuertemente marcada por algunas querellas ancestra-les que separan a la tradición intelectual de nuestros amigosfranceses del pensamiento anglosajón, la definición es cier-tamente portadora de algo que podríamos llamar una “certe-ra ingenuidad”.


53

12 Dictionnaire de Pédagogie; Arenilla, Louis; Gossot, Bernard; Rolland,Marie-Claire et Roussel, Marie-Pierre, Ed Bordas-Pédagogie, Paris, 2000.13 Op. cit., pp. 125-126. (Trad. JBS).

En efecto: ¿de cuándo aquí?, y ¿por qué nos ha dadopor “medir” en el terreno de la educación? Y medir qué: ¿laeducación?, ¿los resultados de ésta?, ¿los aprendizajes?, ¿eldesempeño de los docentes?, ¿las políticas educativas?, ¿loscostos de la educación? Y podríamos seguir construyendo unal a rga lista de temas susceptibles de medición porque, en re a-lidad, una vez adoptada esta postura epistemológica que ins-tituye una mirada “sobre” –y no ya “desde”– el sistema edu-cativo que se pregunta sobre el ¿cuánto?, el ¿cómo?, el ¿dón-de?, etc., debemos admitir que todos los aspectos del queha-cer educativo pueden ingresar en el terreno de la evaluación.

Creo que deberíamos ser conscientes de que el ingresode la cultura de la evaluación sistemática, tanto en el discur-so pedagógico como en las prácticas de los sistemas educati-vos, constituye un cambio de trascendencia porque establecede manera implícita y no dicha, una concepción sobre cómodebe ser analizada la educación que, lo menos que podemoshacer, es tornarla explícita.

En efecto, creemos que el asunto es problemático por-que una vez que aceptamos ese cambio en la mirada pedagó-gica al que nos referíamos más arriba, es necesario recono-cer que estamos admitiendo que el complejo conjunto de me-canismos de formación intelectual, cognitiva, ética, actitudi-nal, etc., del niño o del joven que constituyen eso que llama-mos “educación” están compuestos por procesos de natura-leza “cuantificable”. Y esta aceptación no es una aceptaciónmenor porque quien admite que un proceso es “cuantifica-ble” admite, simultáneamente, que ese proceso puede ser re-ducido –creo que este es el mejor término que se puede em-plear– a algún tipo de unidades homogéneas que son la con-dición de posibilidad de toda “cuantificación”.

Y una vez que estamos en el terreno de la cuantifica-

54


ción, una vez que –al menos una gran parte de– la complejatrama de fenómenos que integran lo que genéricamente lla-mamos el proceso de enseñanza-aprendizaje es declarado re-ductible a unidades homogéneas que permiten la mensura-ción, el conteo, el tratamiento estadístico, etc., el desarrollo dela cultura de la evaluación ya es sólo un problema de cons-t ruir herramientas metodológicas cada vez más afinadas.

Decíamos que la definición que nos sirvió de punto departida podía ser considerada como portadora de una “certe-ra ingenuidad” porque, más allá de que reenvía atinadamen-te el origen de la evaluación educativa a la evolución e in-fluencia del pensamiento anglosajón –en realidad, el temaadquiere una fuerza particular en el sistema educativo de losEE.UU.14–, al mismo tiempo imagina una suerte de “transpo-sición mecánica” de modelos de investigación derivados de“la economía” y de “la producción”. En sentido estricto, ladefinición no es errada cuando se refiere al origen de la idea,pero no resulta feliz en su relacionamiento de la evaluacióneducativa con las metodologías de investigación derivadas de“la producción” o “la economía”.

Y la definición no es errada porque lo que subyaceefectivamente en el trasfondo de la tentativa de desarrollar laevaluación educativa de manera sistemática, es la idea de in-troducir, en el ámbito del discurso pedagógico, la idea de lavigencia posible de una racionalidad técnica15 radicalmente


55

14 Es en los Estados Unidos, y concretamente entre las últimas décadas delsiglo XIX y las primeras del XX, donde se pone en marcha el complejo pro-ceso de concepción de lo que en el futuro sería la evaluación educativa en elsentido contemporáneo, Es, sin embargo, correcto afirmar que la implanta-ción sistemática de métodos de evaluación en la educación norteamericanadata de los años ‘50 y, particularmente, de los ‘60.15 Todos somos conscientes, como vimos, de que el concepto de evaluación

ordenadora del quehacer educativo. Si leemos atentamente ladefinición convocada, ella misma revela explícitamente elfondo del problema: “La evaluación apunta, por medio demétodos científicos, a apreciar con objetividad los efectos deuna acción pedagógica…”.16

Es efectivamente aquí donde yace el nudo central de lacuestión de esa recurrente propuesta de introducir una racio-nalidad técnica en el proceso de evaluación de la actividadeducativa. El recurso a la “cuantificación” para evaluar, elechar mano a un herramental técnico, esencialmente estadís-tico, altamente formalizado, etc., tiene como trasfondo la cer-teza, no siempre abiertamente explicitada de que, en materiaeducativa, nos estamos moviendo en un terreno “científico”.En otros términos, estamos reconociendo la existencia de esoque se ha dado en llamar “ciencias de la educación”.

Por los tiempos que corren, en los que el estallido delparadigma científico tradicional en una multiplicidad de en-foques epistemológicos que reinvindican el carácter de “cien-tíficos” con la más sorprendente ligereza, no consideramosapropiado poner radicalmente en cuestión la existencia deesas “ciencias de la educación” que, además de haber adqui-rido carta de ciudadanía en los sistemas educativos más mo-dernos, la han obtenido, también, hacia los años ‘70, en mu-chos ámbitos universitarios e, incluso, en los institutos deinvestigación de dichas instituciones.

Pero una vez establecido esto, no es menos claro que

56


siempre estuvo presente en el pensamiento pedagógico, pero lo que resultanovedoso es la irrupción, en la noción de evaluación educativa sistemática,de la idea de una evaluación basada en un tipo de racionalidad exclusiva-mente técnica que se plantea “desde fuera” de la práctica cotidiana de losagentes del sistema educativo.16 Ibidem.

no sería serio dejar de recordar que el estatuto científico delas llamadas “ciencias de la educación” constituye, en el me-jor de los casos, un estatuto de definición problemática.17

El primer elemento que devela esta dificultad emerge,casi a nivel de síntoma, a través del uso sistemático del plu-ral para intentar designar ese campo del conocimiento18:prácticamente nadie habla de “ciencia de la educación”. En elcaso de querer utilizar el singular, se echa mano a una disci-plina que posee otra historia y, sobre todo, otros títulos: lapedagogía.

Estamos, entonces, ante la evidencia de que, detrás de


57

17 Para una excelente aproximación a la cuestión de la problemática consti-tución de las “ciencias de la educación” y el desarrollo de la investigación yevaluación educativa, véase: Condliffe Lagemann, Ellen: An Elusive Scien -ce; The troubling History of Education Research; University of Chicago Press,2002.18 El plural en la designación de los distintos campos del conocimiento cien-tífico consolidado aparece, en general, solamente en dos casos. Un primer ca-so es cuando intentamos referirnos, específicamente, a una efectiva plurali-dad de disciplinas científicas. Así podemos hablar de “ciencias formales”, de“ciencias naturales”, “fácticas”, “sociales”, etc. Pero nadie ignora que, fun-damentalmente en el terreno de las disciplinas científicas “duras” o de ma-yor tradición, la física es La física, la química es La química e, incluso másallá de las ciencias “duras”, la historia es La historia. El segundo caso en elque el recurso al plural para designar un campo del conocimiento razonable -mente formalizado es plausible, aparece cuando, en el seno de ese campo,coexisten paradigmas explicativos diferentes –incluso contradictorios entresí–. Sin embargo, la existencia de una geometría eucliana, de un algebra boo-leana, de una física cuántica, de una biología molecular o de una psicologíafreudiana o conductista pueden convocar la necesidad de hablar de geome-trías, álgebras, físicas, biologías o psicologías, pero evidentemente la signifi-cación de estos plurales no es la misma. En realidad, para el caso que nos in-teresa, sólo se nos ocurre el ejemplo de las llamadas “ciencias políticas” que,al igual que las “ciencias de la educación”, parecen tener que recurrir al plu-ral fundamentalmente por un problema de indefinición de su campo de estu-dio y, por ende, por un problema de identidad como disciplina autónoma.

la emergencia de estas nuevas y problemáticas técnicas deevaluación e investigación educativa –versus los métodostradicionales de evaluación que se han dado los educadoresdesde siempre– hay una transformación significativa, hay uncambio de trascendencia porque en el fondo de la cuestiónestán en juego dos concepciones sobre lo que significa el es-tudio de la educación y, como decíamos anteriormente, estasdos concepciones corresponde tornarlas explícitas.

Ya vimos que, tradicionalmente, cuando se quiso ha-blar de la disciplina que se ocupaba de la educación, se echa-ba mano al término “pedagogía” y esta pedagogía funcionódurante siglos como una disciplina anexa a la filosofía o, sise desea más precisión, a la filosofía de la educación. Pero vi-mos también que, simultáneamente, hoy estamos ante el de-sarrollo de las llamadas “ciencias de la educación” que, másallá de las dudas que pueda suscitar su calificación como“científicas”, han hecho acto de presencia y se han instaladoen el discurso educativo para quedarse.

Lo que conviene entender es que, en el tránsito de “lapedagogía” a “las ciencias de la educación”, no estamos sim-plemente ante un simple cambio terminológico o frente a unamera moda académica. Estamos ante dos perspectivas deevaluación y de investigación muy diferentes.19

Así, ante una demanda de evaluación “pedagógica”, loque encontramos generalmente es la necesidad de hallar me-canismos aptos para mejorar o adecuar una amplia serie deproblemas prácticos que el docente observa en su actividaddentro del proceso de enseñanza-aprendizaje: ¿Cómo dispo-ner de las herramientas para mejorar la enseñanza de las

58


19 Que se reflejan, con relativa claridad, en los dos tipos de evaluación edu-cativa a los que nos hemos referido anteriormente.

ciencias? ¿Cómo hacer para que los alumnos superen susproblemas de ortografía?

Quizás, echando mano a la experiencia de nuestro paísy sus problemas actuales en materia educativa, sea intere-sante mostrar un ejemplo real y contemporáneo. En el Uru-guay estamos convencidos de que tenemos un problema sig-nificativo en la enseñanza de la Matemática. Pero este con-vencimiento nace de una serie de datos e informaciones queno han sido sistemáticamente recogidos y analizados. Peroaun en el caso de que ya tuviésemos ese paso concluido:¿Cuál habrá de ser el procedimiento que permita definir lanoción de “una enseñanza correcta de la Matemática”?

En primer lugar, por un lado está el camino de salir a labúsqueda de mejores métodos, herramientas e instru m e n t o s ,para mejorar el proceso de enseñanza-aprendizaje de la Mate-mática. Ese camino nos conduce a evaluar y a trabajar en elt e rreno de la pedagogía. Pero, en segundo lugar, evidentemen-te surge la pregunta sobre cuáles habrán de ser los criteriosque fundarán esa “enseñanza correcta” o “satisfactoria” de laMatemática. Y estos criterios difícilmente podrán ser criteriosdefinidos sin echar mano a modelos sociales y culturales re f e-ridos a los conocimientos matemáticos –literarios, lingüísticos,filosóficos, musicales, etc.–, sin imaginar cómo ha de ser unaintegración del individuo a determinada cultura matemática–o del tipo que sea–, que resultan imposibles de ser pensadasdesde el interior mismo del mero acto educ a t i v o .2 0


59

20 Al respecto conviene recordar el importante texto de Mialaret en el que sedefine precisamente el tránsito del “hacer pedagógico”, característico de todapedagogía, hacia “…la búsqueda de una solución mediante la utilización dela experimentación científica”. (Véase Mialaret, G et Debesse, M: Traité desSciences Pédagogiques, P.U.F. Paris, 1969). Se trata, entonces, de dar paso auna aproximación técnica de la práctica pedagógica mediante la medición, la

Por ello, las primeras son las preguntas de la investi-gación y de la evaluación pedagógica y, como lo señalásemosanteriormente, son preguntas “internas” al proceso de ense-ñanza-aprendizaje, “internas” a la relación docente-alumnoy que se plantean desde “dentro” del hecho educativo y en laperspectiva de contestarse también desde “dentro” de la pe-dagogía.21 En ese sentido es que la investigación pedagógicase plantea, en el fondo, como una investigación cerrada so-bre sí misma, en donde el pedagogo construye sus preguntasa partir de su práctica y sale en búsqueda de las respuestascon la esperanza de encontrarlas en esa práctica misma.

En el segundo camino esbozado en el ejemplo, necesi-tamos una perspectiva de investigación y evaluación conce-bida desde las “ciencias de la educación”. Allí de lo que setrata es, precisamente, de analizar las prácticas pedagógicasdesde “fuera”22 de la pedagogía y, por lo tanto, de plantearlas preguntas que ponen en cuestión parte –o el conjunto– delas prácticas pedagógicas que se desarrollan en el seno de un

60


experimentación, la evaluación de los procedimientos del proceso de ense-ñanza-aprendizaje trabajando sobre muestras, cuantificaciones y mecanis-mos estadísticos –o, a veces, más cualitativos– que permitan controlar con re-lativa precisión los efectos de la actividad educativa.21 En el mencionado texto de Ellen Condliffe Lagemann, se señala atinada-mente que, a partir de fines del siglo XIX, los psicólogos se inclinaron sobrelos problemas de la pedagogía en la intención de aportar respuestas “exter-nas” al universo estrictamente educativo. Los resultados fueron dudosos yello se refleja en el título que la autora le otorga al capítulo sobre los aportesde la psicología: “Reluctant Allies: Psychologists turn to Education”, Op.cit. pp. 23 a 40.22 Este desde “fuera” significa varias cosas: desde “fuera” del proceso de en-señanza-aprendizaje, desde “fuera” de las rutinas institucionales del sistemay, sobretodo, desde “fuera” de la reflexión estrictamente pedagógica lo queimplica la puesta al servicio de la investigación y de la evaluación educativasde la filosofía, de la psicología, de la antropología, de la sociología, etc.

sistema educativo. En nuestro caso particular, las preguntasque nos permitan definir qué entenderemos por una integra-ción adecuada del educando a una cultura matemática deter-minada por una serie de variables que son, como vimos, enel fondo, estrictamente extra-pedagógicas.

Con un ejemplo clásico, part i c u l a rmente gráfico, quese inscribe en la perspectiva de la psicología educativa y re-vela muy claramente la radical novedad de la investigaciónconcebida desde las “ciencias de la educación”, Jean ClaudeF i l l o u x2 3 trae a colación el conocido trabajo de R. Rosenthaly L. J a c o b s o n2 4, donde se demuestra el efecto causado por elhecho de que las expectativas del docente están ligadas a lasrepresentaciones que éste se hace sobre los niveles intelec-tuales de los alumnos. Este efecto –el conocido “efecto Pyg-malion”– repercute directamente sobre los resultados obteni-dos por los alumnos independientemente de cualquier otravariable. Una investigación de este tipo no nació de un pro-blema estrictamente pedagógico, de un trabajo anclado en lapráctica pedagógica: en realidad, presumiblemente ningúnpedagogo habría concebido su realización.

Esta investigación dejó en claro, en su momento, que laacción pedagógica es portadora de una multiplicidad de fenó-menos que sólo pueden ser aprehendidos desde una perspec-tiva de investigación y evaluación más amplia que la que noso f rece la pedagogía puesto que pone en juego elementos psi-cológicos, sociológicos, económicos, culturales, etc. que des-b o rdan inexorablemente el campo de toda práctica pedagógica.


61

23 Filloux, Jean-Claude: Epistémologie, Ethique et Sciences de l´Education ;Ed. L´Harmattan, Paris-Budapest-Torino, 2001; pp. 14-15.24 Rosenthal, R y Jacobson, L.: Pygmalion à l´école; Ed. Castermann, 1970.

La idea de la investigación y la evaluación vinculadasa las “ciencias de la educación” supone entonces una pers-pectiva que, en el fondo, resulta todavía novedosa en Améri-ca Latina –y por ello, a veces, un tanto revulsiva del discur-so institucional de nuestros sistemas educativos–: abordartanto el análisis de los procesos de enseñanza-aprendizajecomo el estudio de las grandes tendencias de desarrollo denuestros sistemas educativos desde las ciencias de la educa-ción, que no es otra cosa que intentar organizar una miradaespecífica, desde la filosofía y desde las ciencias humanasmás diversas, sobre el fenómeno educativo en su conjunto.

IV. A modo de conclusión

Resulta evidente que la temática que nos hemos planteado enesta instancia de trabajo sobre “La dimensión política de laevaluación de la calidad educativa en América Latina” plan-tea una serie de dificultades que deben ser tratadas, al me-nos en nuestra opinión, en diferentes niveles de análisis yaque, en sentido estricto, pertenecen a distintas temáticas.Concluyamos sintetizando al menos dos de estas temáticas.

Por un lado advertimos lo que podríamos tipificar co-mo una “dificultad de comunicación” que tiene que ver, fun-damentalmente, con la irrupción de un nuevo lenguaje técni-co en el ámbito de la educación que no resulta familiar den-tro del tejido comunicacional que toda sociedad democráticaposee y debe cultivar. Este nuevo lenguaje técnico referido ala educación es poco conocido por los medios, es casi desco-nocido por la opinión pública y aún no está claramente inte-grado dentro de la terminología que utilizan los partidos po-líticos. En el terreno de las evaluaciones de los resultados

62


educativos esta dificultad de comunicación es particularmen-te notable ya que la mayor parte de los agentes sociales quereciben dicha información no poseen los parámetros inter-pretativos adecuados para poder evaluar con precisión quésignifican exactamente esos resultados.

Como problema de comunicación su persistencia nodebería ser más que un problema de tiempo. Si, como vimos,el lenguaje técnico de la teoría del desarrollo recién se hizofamiliar en América Latina hacia mediados de los años 70 yel de la macroeconomía y las finanzas internacionales reciénencontró su traducción mediática hace solo una década ennuestra región, no hay por qué pensar que, en su debido mo-mento, el mismo proceso de vulgarización no ha de cumplir-se con el lenguaje técnico relativo a la educación. Si en el díade hoy la opinión pública medianamente informada de nues-tros países puede razonablemente dimensionar lo que signi-fica una tasa de mortalidad infantil alta o baja, una hiperin-flación o un proceso de recesión económica, ello se debe aque hubo un paulatino proceso de aprendizaje y de democra-tización de ese tipo de informaciones. Cabe consecuentemen-te suponer que el mismo proceso habrá de cumplirse, más omenos rápidamente, con el lenguaje técnico relativo a la edu-cación. Por lento que resulte este proceso, en la actualidad re-sulta impensable que los sistemas de educación pública delcontinente renuncien a hacer uso de las herramientas de laevaluación de resultados educativos, y a la utilización de és-tos para orientar, en lo posible, la toma de decisiones.

Por otro lado, y esto nos remite a un cambio concep-tual más trascendente, es necesario advertir que la irrupciónde este nuevo lenguaje está estrechamente vinculada a laconsolidación de una nueva “mirada” o perspectiva para po-sicionarse ante los sistemas educativos y a la educación en


63

general. Su presencia cada vez más sistemática en el análisisde los procesos educativos tiene que ver con la consolidaciónde lo que se ha dado en llamar las “ciencias de la educación”.

Independientemente de lo que éstas puedan efectiva-mente significar como campo específico del conocimiento“científico”, no es menos cierto que su principal mérito consis-te en haber permitido la irrupción de una óptica externa quecontempla los procesos educativos “desde fuera” del espaciotradicional del proceso de enseñanza-aprendizaje y “más allá”de lo que fue el discurso tradicional de la pedagogía.

Las ciencias de la educación convocaron a la filosofía,a la psicología, a la sociología, a la antropología cultural, a laestadística, etc., a dar su opinión en un ámbito en el que lapedagogía reinaba como único discurso, a la vez “legítimo” y“legitimador”. Hoy las evaluaciones concebidas desde unaperspectiva exclusivamente pedagógica conservan toda suvalidez como herramientas de orientación del proceso de en-señanza-aprendizaje, pero no resultan suficientes como ins-trumentos que permitan iluminar el proceso de orientación ygestión de las políticas que llevan adelante gigantescos siste-mas educativos que involucran a porcentajes muy altos de lapoblación de nuestros países. Por dificultosas que resulten detransmitir a la opinión pública y por problemáticas que, endeterminadas circunstancias, puedan tornarse para los res-ponsables de la gestión de las políticas educativas, las nue-vas evaluaciones sobre la calidad de la educación han llega-do para quedarse. De su desarrollo y de su consolidación de-pende, en gran medida, que los sistemas educativos de Amé-rica Latina logren avanzar en el camino de la profesionaliza-ción que aún les queda por recorrer.

64


V. Bibliografía

Bobbio, Norberto: El futuro de la democracia, Ed. Fondo de Cultura Eco-nómica, México, 1984.

Dunn, John et al.: Democracy: The unfinished journey, Ed. Oxford Uni-versity Press, 1992.

Eccleshall, Robert et. al.: Ideologías políticas, Ed. Tecnos, Madrid, 1993.

Dictionnaire de Pédagogie; Arenilla, Louis; Gossot, Bernard; Rolland,Marie-Claire et Roussel, Marie-Pierre, Ed. Bordas-Pédagogie, Paris,2000.

Condliffe Lagemann, Ellen: An Elusive Science; The troubling History ofEducation Research; University of Chicago Press, 2002.

Mialaret, G. et Debesse, M.: Traité des Sciences Pédagogiques, PressesUniversitaires de France,. Paris, 1969.

Filloux, Jean-Claude: Epistémologie, Ethique et Sciences de l´Education;Ed. L´Harmattan, Paris-Budapest-Torino, 2001.

Rosenthal, R. y Jacobson, L.: Pygmalion à l´école; Ed. Castermann,1970.

Tedesco, Juan Carlos, Morduchowicz, Roxana: El papel de los mediosde comunicación en la formación de la opinión pública en Educación, Ed.IIPE - UNESCO, Buenos Aires. 2003.


65

Límites de la lectura periodística de resultados educacionales

José Joaquín Brunner

I

A comienzos del mes de julio del año 2003 se dieron a cono-cer, también en Chile, los resultados de la Prueba PISA (Pro-grama Internacional de Evaluación de Estudiantes) adminis-trada a alumnos de 15 años de 43 países. En el caso de Chi-le, los titulares de prensa que informaban sobre dichos resul-tados fueron lapidarios:

• “Chile obtiene bajo resultado en educación”• “Estudio internacional muestra graves fallas en compren -

sión de lectura de escolares chilenos”• “Preocupa mala nota de Chile en educación”• “El nuevo analfabetismo”• “Remezón por mala nota de Chile en la prueba educacio -

nal PISA”• “Descalabro en rendimiento escolar: soluciones al «hoyo

negro» en educación chilena”.

Sin excepción, entonces, la noticia recibió el tratamiento deun hecho dramático, adverso, calamitoso, catastrófico. Lo in-teresante es que la catástrofe, así entendida, viene anuncián-dose, con previsible regularidad, cada año, ya bien a propó-sito de las mediciones nacionales de la calidad educacional o

Límites de la lectura periodística

67

de los exámenes internacionales en que Chile ha participado:el Internacional Adult Literacy Test, el Third InternacionalMathematic and Science Study (TIMSS-R), el Primer EstudioInternacional Comparativo sobre Lenguaje, Matemática yFactores Asociados para Alumnos del Tercer y Cuarto Gradode la Educación Básica de la UNESCO y el Program for Inter-nacional Student Assessment (PISA). Se trata, por tanto,desde el punto de vista periodístico, de una rutina que, a es-ta altura, se encuentra bien establecida.

A su turno, la lectura catastrofista da paso a un esce-nario donde, habitualmente, la prensa destaca tres “hechos”.Primero, que a nivel mundial Chile se hallaría ubicado en elfurgón de cola de la educación; segundo, que existiría unagrave crisis en la educación chilena; tercero, que ésta afecta-ría particularmente a la educación pública.

Así titulado y definido el escenario educativo nacional,la prensa se encarga a continuación –en los días siguientes ala publicación de la noticia– de interpretar las causas del maldiagnosticado.

En primer lugar, la prensa aprovecha la propia publi-cación de la noticia para incluir elementos interpretativos, yasea en el párrafo que sigue al título o en el cuerpo de aqué-lla. Un buen ejemplo de subtítulo interpretativo es éste: “Es -pecialistas dicen que es la hora de revertir las políticas apli -cadas hasta ahora, enfatizando el trabajo en la sala de cla -ses”. Un ejemplo llamativo de desarrollo interpretativo de lanoticia en su cuerpo es el siguiente: “Por lo menos las auto -ridades reconocen que la educación chilena, junto a otras deAmérica Latina, está en pésimas condiciones de competenciaacadémica, lo que se ratifica con la prueba PISA. Para Chile,la situación es más patética debido a la triplicación de los re -cursos a partir de 1990, lo que hoy implica más del 7% del

68


PIB para este sector social, en el cual el Estado coloca dos bi -llones de pesos. Pero hay nulo avance en calidad en 12 añosde esfuerzo gubernamental y 8 de reforma educacional”.

En segundo lugar, la prensa editorializa sobre los re-sultados y ofrece, por esta vía, su propio análisis de la situa-ción. Por ejemplo, bajo el encabezamiento “Educación de ni -vel latinoamericano”, un diario de la capital señala: “La si -tuación de nuestra economía y la solidez de la democraciachilena nos han llevado muchas veces a mirar con distanciaa América Latina. Y aunque hay razones para sentir orgu -llo, éste, a veces, raya en la soberbia. El estudio PISA («Pro -gramme for International Student Assessment»), reciente -mente divulgado, nos devuelve bruscamente a la realidad. Élevalúa las habilidades lectoras de los estudiantes de 15 añosen 43 países, cinco de ellos latinoamericanos. Chile tiene unlogro que equivale a 410 puntos, esto es, 90 por debajo delpromedio general del informe. Su rendimiento general, esta -dísticamente, no difiere del que alcanzan México, Argentinay Brasil; estos cuatro países superan a Perú, el quinto lati -noamericano, que, a su vez, obtiene el rendimiento más de -ficiente de todos los países participantes”.

En tercer lugar, la prensa entrevista a expertos cuyasopiniones deben interpretar los negativos resultados. Regu-larmente, el Ministro de Educación es entrevistado para quereaccione frente a la noticia. Inevitablemente, su respuestaadopta la forma de una “reacción defensiva”, como cuandofrente a los resultados del PISA la autoridad chilena expresa:“Entre los países desarrollados nos sacamos un 3; entre lospaíses latinoamericanos, un 6”. Por su lado, los expertostienden, ya a confirmar la construcción negativa de la noticiaofrecida por la prensa o, por el contrario, la suavizan y expli-can. En el primer caso, por ejemplo, se halla la experta que


69

tras señalar “que en Chile la calidad de la educación no haobtenido los resultados esperados”, luego agrega “que es po -sible concluir que medidas como la jornada escolar completaobligatoria, cambios curriculares, mejoramiento de las con -diciones de los profesores y otros programas centralizadosque han llevado a un gasto de más de 2 billones de pesos noestán teniendo los resultados que se esperaban”. En el otrocaso se halla el experto cuya opinión es que “falta poco pa -ra revertir los resultados de la prueba PISA”, argumentandoque “la experiencia en 66 escuelas críticas en 2001 demos -tró que, cuando se aplican métodos adecuados de enseñan -za, los resultados cambian rápidamente”.

En suma, el tratamiento periodístico de los resultadosde las pruebas de logro escolar apenas alcanza a revelar quenos encontramos frente a un ámbito saturado de interpreta-ciones contradictorias, donde se enfrentan dialécticamentedistintas visiones de la educación, de las políticas educacio-nales y de sus resultados. Tampoco dicho tratamiento sepreocupa de transparentar que, en las interpretaciones ofre-cidas, se conjugan elementos de realidad, preferencias ideo-lógicas y las agendas de los diversos actores que acceden, pormedio de la prensa, a la esfera pública. En fin, un ingenuopacto implícito de objetivismo hace aparecer como que enrealidad las cosas son como se presentan en la noticia o enlas interpretaciones congregadas en torno a ésta.

La situación no es distinta en otras latitudes del mun-do, con excepción de aquellos pocos países cuyos resultadosen las pruebas internacionales son excepcionalmente altos y,por ende, aparecen habitualmente en los primeros lugares delranking mundial.25

70


25 Para una visión global de reacciones de prensa a propósito de pruebas na-

Quizá de modo inevitable, entonces, la prensa, impul-sada por su propia visión de mundo como sucesión de acon-tecimientos o eventos noticiables y su lógica adversaria, sevea llevada a producir un tratamiento simplista y sesgado dehechos complejos como son los resultados de las pruebas quemiden el desempeño de los sistemas educacionales.

¿Cuáles son las reglas que determinan dicho trata-miento? Sin pretender un grado de exhaustividad, puedenseñalarse al menos las siguientes tres reglas que, en conjun-to, parecen explicar una alta proporción de los efectos ante-riormente descritos.

1. La regla de la reducción llamativa. Todo acontecimientocomplejo debe ser reducido a su mínima expresión y convert i-do en un signo de exclamación que capte el interés del lector.En el caso que nos preocupa, como han señalado Ferrer y Arre-gui (2003): “sólo importa la posición relativa de logro en el es-cenario internacional y no la abundante información sobre fac-t o res sociales, escolares y personales asociados al re n d i m i e n t o[…] La prensa, part i c u l a rmente, tiende a desconocer los aspec-tos más complejos y auténticamente informativos de los re s u l-tados y sólo destaca las posiciones en el ranking, a menudocon títulos dramáticos y escandalosos”. No sólo los titulares dela noticia, sino su tratamiento completo, se subordinan a estaregla. Conforme a ella, el valor comunicacional de la noticia de-be encontrarse en los síntomas del hecho re p o rtado; no en suscausas, declaradas siempre “demasiado intrincadas” como pa-ra ser incluidas o como para despertar el interés del público.


71

cionales e internacionales, ver Grupo de Trabajo sobre Estándares y Evalua-ción del PREAL y GRADE, sección “Recortes: Las evaluaciones en la prensa”en http://www.grade.org.pe/gtee-preal/gteepreal.htm

2. La regla de la descontextualización facilitadora. Cualquierhecho social, para que se lo pueda tratar como noticia, debeser arrancado de la enmarañada red dentro del cual se pro-duce. Luego, no sólo se reducen los resultados a meras posi-ciones de ranking sino que, simultáneamente, se los aísla,cortándolos de los factores de contexto que los generan yque, por lo mismo, deben ser parte de su explicación. Enefecto, para partir por lo más simple, no da lo mismo compa-rar países con distinto nivel de desarrollo; digamos, Finlan-dia, con un ingreso per capita de 24 mil dólares, y Chile, conuno de 4,6 mil dólares. Para la educación este es un antece-dente fundamental. Así, por ejemplo, un 60% de la variaciónde los puntajes promedio obtenidos por los países participan-tes en PISA se puede predecir a partir de su ingreso por ha-bitante. Asimismo, debe considerarse el grado de desigual-dad existente en cada una de las sociedades. Las diferenciassocio-familiares entre hogares son, efectivamente, el mayorobstáculo para una educación con resultados homogéneos decalidad. Como señala el propio informe PISA, un entorno so-cio-familiar desfavorable “parece ser uno de los factores máspoderosos que influyen en el desempeño de las escalas deaptitudes para la lectura, matemática y ciencias”. Los nivelesde desigualdad medidos por el Coeficiente de Gini explicanun 26% de la variación en el desempeño promedio de los paí-ses. En seguida debe considerarse el gasto por alumno enque incurren los países, que es un reflejo de su nivel de de-sarrollo. Efectivamente, el gasto educacional acumulado has-ta los 15 años explica un 54% de la variación entre paísesmedida en su desempeño medio. En América Latina, el gas-to así medido apenas alcanza a un tercio o menos del gastopromedio de los países de la OECD.

72


3. La regla de la homogeneidad cultural. Los resultados deuna actividad social cualquiera serían independientes de lacultura en que se producen. En otras palabras: ¡la cultura noi m p o rta! En este caso específico, como bien señalan Ferrer yA rregui en el artículo antes citado, la prensa –al efectuar susanálisis e interpretaciones–, no considera “las grandes dife-rencias culturales entre los alumnos de diferentes países”; nial interior de una misma sociedad, según estratos sociocultu-rales (que un reciente estudio afirma explicarían alrededor deun 50% de la varianza en los resultados escolares que se ma-nifiesta entre escuelas en C h i l e2 6), ni entre sociedades con di-f e rentes tradiciones y constelaciones culturales, como puedenser las culturas de los países del sudeste asiático, de los paí-ses nórd i c o - e u ropeos o de Europa Central y del Este pre v i a-mente sujetos a la dominación de la U.R.S.S. Contrariamentepues a todo lo que sostienen las ciencias sociales contempo-ráneas –esto es, de que la cultura sí i m p o rt a2 7–, paradojal-mente en el ámbito de la educación y el aprendizaje, dondemás se podría esperar que ella incida, su influencia es borr a-da de un plumazo, para dar paso a una suerte de universali-dad global y abstracta de los efectos y los procesos escolare s .

Bajo estas reglas, no debiera llamar la atención que laprensa produzca el tipo de noticias e interpretaciones sobreresultados escolares caracterizado al inicio de esta presenta-ción, sobre todo en el caso de pruebas internacionales. Talesnoticias e interpretaciones tenderán por necesidad a ser des-contextualizadas, a reducir por tanto el peso de la sociedad ysus desigualdades; a apuntar sólo a los síntomas, reducien-do la complejidad del logro escolar a una tabla de ganadores


73

26 Ver Cassasus (2003).27 Ver Harrison, L. y S. Huntington (2000).

y perdedores, en una aritmética social de escaso valor; y apresentar la carrera de rendimientos entre los alumnos delmundo (aunque nunca el universo real de comparación in-cluya a más de un 20% de los países y territorios del mun-do) como si dicha competencia se llevara a cabo sobre unatabla rasa, donde todos compiten en igualdad de condicionesy sin que intervengan factores socioeconómicos y culturalesde ninguna especie.

II

Nada se halla más alejado de la realidad, sin embargo, comomostraremos en la segunda parte de este artículo. En efecto,durante los últimos 40 años los investigadores educaciona-les alrededor del mundo han producido grandes avances enla tarea de desentrañar los factores que explican los resulta-dos escolares, medidos por el logro de aprendizaje de susalumnos. A esta altura existe un amplio consenso entre losespecialistas. Los factores explicativos son dos: el entornosociofamiliar de los alumnos y la efectividad de la escuela.¿Cuánto pesan, respectivamente, estos factores en la varian-za de los resultados observados entre establecimientos? Enel caso de los países desarrollados, los estudios atribuyen unpeso de 80% y de 20%, respectivamente, a la familia y la es-cuela (Gráfico 1). En América Latina, los pesos asignadosson 60% y 40%, respectivamente (Cohen 2002, Banco Mun-dial 1995; Gerstenfeld 1995), subrayándose con ello el hechode que allí donde hay más pobreza la escuela adquiere, asi-mismo, mayor importancia.

74


Suele pensarse que el factor socio-familiar estaría determina-do exclusiva o principalmente por el nivel de ingresos del ho-gar. En verdad, este factor es mucho más complejo que eso.Tiene que ver con el “mundo de vida” en que nace y se desa-rrolla el niño. Ciertamente, el status socioeconómico de lospadres es importante. Pero aún más decisivo parece ser, en elcaso de niños provenientes de hogares de escasos recursos,la organización de la familia, su clima afectivo, la socializa-ción lingüística o la adquisición temprana de actitudes y mo-tivaciones, como muestra el siguiente Cuadro.


75

Gráfico 1Estimación del efecto sociofamiliar

en países desarrollados

Marzano (2000)Sheerens & Bosker (1997)

Luyten (1994)Creemers (1994)

Rowe & Hill (1994)Bosker (1992)

Byrk & Raudenbush (1992)Stringfield & Teddie (1989)

Madaus et al. (1979)Jencks et al. (1972)

Coleman et al. (1966)

Y en el caso de las escuelas, ¿cuáles insumos afectan el ren-dimiento de los alumnos? ¿Hay algunos que importan másque otros? Una revisión efectuada por Fuller y Clarke (1994),sobre la base de más de 300 estudios realizados sobre siste-mas escolares de países en desarrollo, permite apreciar quéporcentaje de dichos estudios muestran una asociación posi-tiva entre el respectivo insumo y los resultados obtenidos por

76


Variables de entorno familiar que inciden en los logros de aprendizaje

Ocupación, ingreso y nivel educacional de los padres.

Infraestructura física del hogar y grado de hacinamiento.

Recursos del hogar (libros, diccionarios, escritorio, computadora).

Organización familiar y clima afectivo del hogar.

Capital social de la familia, vecindario, comunidad y pares.

Alimentación y salud durante los primeros años de vida del niño.

Prácticas de socialización temprana.

Desarrollo lingüístico y régimen de conversaciones en el hogar.

Rutinas diarias, desarrollo de actitudes y motivación.

Acceso a, y calidad de, la enseñanza preescolar.

Elección de escuela.

Armonía entre códigos culturales de la familia y la escuela.

Estrategias de aprendizaje y conocimiento previo adquiridos.

Comunicación familia-escuela .

Involucramiento familiar en las tareas escolares.

Uso del tiempo en el hogar y durante las vacaciones.

Levin y Belfield (2002) Marzano (2000) Sheerens (2000).

los alumnos, una vez que se controla por su nivel socioeco-nómico (Gráfico 2).

Sin embargo, si se adopta una perspectiva metodológica másrestringida y exigente, la efectividad de la escuela aparecedeterminada, principalmente, por la efectividad del profesoren la sala de clase. En general, se estima que el efecto escue-la depende, en alrededor de 2/3 partes, de la calidad de la do-cencia impartida. A su turno, ésta se halla determinada, enorden decreciente de importancia, por las siguientes varia-bles (Wenglinsky 2002): las prácticas de enseñanza del do-cente en la sala de clase; el desarrollo profesional docente(dominio de la materia que enseña y capacidad de enseñar a


77

Gráfico 2Insumos asociados positivamente a resultados

(Procentaje de estudios confirmatorios)

Profesor conoce la materiaBiblioteca escolar

Tiempo dedicado a la enseñanzaAlimentación del niño

Tamaño del colegioFrecuencia tareas hogar

Monitoreo frecuente del alumnoCalidad de infraestructura

Disponibilidad de textosTiempo preparación clase

Capacitación docente en servicioDocente con educación superior

Experiencia del docenteAños de escolarización del profesor

Gasto por alumnoLaboratorio ciencia en escuela

Nivel salarial del profesorTamaño del curso

alumnos de diverso origen sociofamiliar) y los insumos (ta-maño del curso, educación inicial y experiencia del profesor).

P a rticular importancia adquiere en el contexto de losp rocesos de re f o rma educacional el impacto que podría tenerel gasto por alumno sobre los resultados o logros escolare s .La evidencia internacional muestra lo siguiente (Gráfico 3):si se combina el puntaje promedio obtenido por los alumnosde varios países, participantes en PISA, con el gasto acumu-lado por alumno hasta los 15 años, expresado en dólares devalor equivalente, se observa en primer lugar que sí existeuna asociación entre ambas variables, aunque con difere n-cias como permite ver la distribución de los países incluidosen torno a la línea de tendencia. En seguida, se constata quesólo unos pocos países –Corea e Irlanda aparecen allí– obtie-nen altos resultados (por encima de 500 puntos, que es elpuntaje promedio de los países de la OECD participantes) conun gasto que en la escala se sitúa por debajo de la mitad delrango entre 0 y 80 mil dólares (PPC). Estos países, ubicadosen el cuadrante noroeste del Gráfico 3, se hallan naturalmen-te bien arriba de la línea de tendencia. Hay un segundo gru-po de países que se aproxima al cuadrante anterior de gastoa u s t e ro y alto rendimiento: República Checa, Polonia, Hun-gría y Grecia. Por otro lado, ningún país de gasto superior a40 mil dólares se ubica en el cuadrante suroeste, por ende,de alto gasto y resultado inferior al puntaje promedio de laOECD. Por el contrario, los países de alto gasto se concentranen el cuadrante noreste, aunque algunos están por encima yo t ros por debajo de la línea de tendencia. Finalmente, lospaíses de América Latina se agrupan todos en la posicións u roeste –de bajo gasto y bajos resultados– aunque con di-f e rencias entre ellos. En efecto, a pesar de estar todos por de-bajo de la línea de tendencia, México está en términos re l a-

78


tivos menos mal que Argentina, ésta que Chile y éste queB r a s i l .

¿Existe algún elemento adicional que pudiera ayudara explicar el diferente desempeño de los países? Si nos ate-nemos solamente a los factores externos o de contexto, elmejor candidato parece ser el nivel de desigualdad de las dis-tintas sociedades. En efecto, como puede observarse en elGráfico 4, los países con mayor desigualdad –medida por elCoeficiente de Gini– tienen más dificultad para producir bue-nos resultados escolares, incluso si son ricos, como sucedeen el caso de los EE.UU., justamente porque deben compen-sar un mayor déficit de origen sociofamiliar. Por el contrario,sólo obtienen buenos resultados países con un nivel bajo de


79

Gráfico 3Gasto por alumno y resultados

desigualdad, con la excepción de Indonesia, que apenas acu-mula un gasto de 1.164 dólares (calculados con PPC) en susalumnos de 15 años, 50 veces menos que Australia, porejemplo, o 1/15 del gasto de Chile. Es interesante observar,asimismo, que de los países de la muestra, Chile ostenta elmás alto nivel de desigualdad, ubicándose en general todoslos países latinoamericanos participantes en PISA en el cua-drante sureste, el de alta desigualdad con bajo rendimiento.

Si se considera el conjunto de antecedentes aquí pre-sentados –cuyo desarrollo in extenso puede encontrarse enBrunner y Elacqua (2003)– emerge con nitidez la enormecomplejidad del proceso de producción de resultados educa-cionales. En este proceso influyen diversos factores y múlti-ples variables. Entre aquéllos, como se señaló, los más im-

80


Gráfico 4Niveles de desigualdad y resultados

portantes son el entorno sociofamiliar de los alumnos y la es-cuela. Entre las variables son decisivas aquéllas que caracte-rizan el hogar como agencia de transmisión de capital cultu-ral, por un lado, y las que inciden sobre la efectividad de losestablecimientos escolares, por el otro. Por último, destaca elhecho de que allí donde los hogares son grandemente desi-guales, la tarea educativa enfrenta también mayores proble-mas y desafíos. En estos casos la cultura nacional –y su ela-boración “micro” a nivel de la familia, los pares y la comuni-dad– juegan un papel importante, como parece indicar el ca-so de los países del sudeste asiático (McBeath y Mortimore2001). En efecto, la cultura nacional y sus elaboraciones“micro” pueden, ya bien contribuir a facilitar y reforzar la la-bor de la escuela o, al contrario, ser neutrales frente a ella uobstaculizarla.

En cuanto a las posibilidades de compensar educacio-nalmente las desigualdades de origen sociofamiliar de losalumnos, ellas sólo pueden materializarse allí donde la ma-yoría de las escuelas que atienden a niños y jóvenes prove-nientes de hogares en situación vulnerable son efectivas. Co-mo muestra ampliamente la literatura especializada, sólo és-tas logran mejores resultados para sus alumnos que aquellosque podrían anticiparse considerando su origen sociofamiliar(Woessman 2001, Sheerens 2000, 1992, Cotton 1995, Sam-mons, Hillam y Mortimore 1995, Levine y Lezotte 1990, Pur-key y Smith 1983).

Ninguna de estas complejidades y dificultades formaparte, sin embargo, de los habituales análisis periodísticossobre resultados educacionales. Como vimos, éstos se limitana resaltar unidimensionalmente el producto final de estosprocesos –es decir, resultados como puntajes– y a ubicarlosen un esquemático ranking de países o tipos de estableci-


81

mientos, suprimiendo toda referencia al contexto en que di-chos resultados se obtienen. Con esto se banaliza la informa-ción que aportan los estudios nacionales e internacionales demedición del desempeño escolar y, lo que es más grave, sedistorsiona la deliberación pública y se limitan sus efectos,debilitándose de esta forma uno de los mecanismos más po-derosos que poseen las democracias para abordar y resolverproblemas colectivos.

Bibliografía

Banco Mundial (1995), Priorities and strategies for education.; Was-hington, D.C.

Bosker, R. J. (1992), The stability and consistency of school effects inprimary education. Enschede: University of Twente.

Brunner, J.J. y G. Elacqua (2003), Chile: Informe sobre capital humano.Santiago de Chile: La Araucana.

Disponible en http://www.uai.cl

Byrk, A.S. y S.W. Raudenbush (1992), Hierarchical linear models. NewYork: Sage.

Cassassus, J. (2003), La escuela y la (des)igualdad. Santiago de Chile:LOM.

Cohen, E. (2002), “Educación, eficiencia y equidad: Una difícil conviven-cia”; Revista Iberoamericana de Educación , N° 30.

Coleman, J. et al. (1966), Equality of educational opportunity; Washing-ton, D.C.: U.S. Government Printing Office, Washington D.C.

Cotton, K. (1995), “Effective schooling practices: A research synthesis”.Northwest Regional Educational Laboratory.

82


Creemers, B.P.M. (1994), The effective classroom. London: Cassell.

Ferrer, J. G. y P. Arregui (2003), “Las pruebas internacionales de apren-dizaje en América Latina y su impacto en la calidad de la educación”;PREAL, Documento de Trabajo N° 26, 2003 http://www.preal.cl/public-dt2003.php

Fuller, B. y P. Clarke (1994), “Raising school effects while ignoring cul-ture? Local conditions and the influence of classroom tools, rules, andpedagogy”. Review of Educational Research, Vol. 64, No. 1.

Gerstenfeld, P. (1995): “Comparación regional del impacto de las carac-terísticas del hogar en el logro escolar”, Santiago de Chile: CEPAL, SeriePolíticas Sociales, n.º 9, (LC/L.924).

Harrison, L. y S. Huntington (2000), Culture Matters. How Values Sha -pe Human Progress; Basic Books.

Jencks, C. et al. (1972), Inequality: A Reassessment of the Effect of Fa -mily and Schooling in America. New York: Basic Books.

Levin, H.M. y C.R. Belfield (2002), “Families as Contractual Partners inEducation”. Teachers College, Columbia University, National Center forthe Study of Privatization in Education, Occasional Paper No. 44.

Disponible en http://ncspe.org/keepout/papers/00044/965_OP44.pdf

Levine, D.U. y L.W. Lesote (1990), Unusually effective schools: A re-view of analysis and research and practice. Madison, Wisconsin: Natio-nal Center for Effective Schools Research and Development.

Luyten, H. (1994), School effects: Stability and malleability. Enschede:University of Twente.

Madaus, G.F. et al. (1979), “The sensitivity of measures of school effec-tiveness”. Harvard Educational Review, 49(2).

Marzano, R.J. (2000), “A New Era of School Reform: Going Where theResearch Takes US”; Aurora, CO: McREL.

Disponible en h t t p : / / w w w. m c re l . o rg / p ro d u c t s / s c h o o l - i m p ro v e / n e w _ e-ra.pdfhttp://www.mcrel.org/products/school-improve/new_era.pdf

McBeath, J. y P. Mortimore (eds.) (2001), Improving school effective -ness. Buckingham: Open University Press.


83

OECD-UNESCO (2003), Literacy skills for the world of tomorrow. Furt -her Results from PISA 2000. Paris: Organization for Economic Co-opera-tion and Development.

Rowe, K.J. y P. W. Hill (1994), “Multilevel modeling in school eff e c t i v e-ness re s e a rch: How many levels”. Paper presented at the Intern a t i o n a lC o n g ress of School Effectiveness and Improvement, Melbourne, Australia.

Purkey, S. C., & Smith, M. S. (1983), “Effective Schools: A Review.” TheElementary School Journal, 83(4), 427-452.

Sammons, P., J. Hillman, P. Mort i m o re (1995), Key characteristics ofe ffective schools: A review of school effectiveness re s e a rc h. London:O F S T E D .

Scheerens, J. (2000), Improving School Effectiveness. Paris: Internatio-nal Institute for Educational Planning.

Scheerens, J. (1992), Effective Schooling: Research, Theory and Practi -ce. London: Cassell.

Scheerens, J. y R.J. Bosker (1997), The foundations of educational ef-fectiveness. New York: Elsevier.

Stringfield, S. y C. Te d d l i e (1989), The three first phases of the Loui-siana school effectiveness study. En B.P.M. Vreemers, T. Peters, and D.Reynolds (eds.) School effectiveness and school improvement: Pro c e e-dings of vthe Second International Congress, Rotterdam. Lisse: Swets &Z e i t l i n g e r.

Wenglinsky, H. (2002), “How Schools Matter: The Link Between Tea-cher Classroom Practices and Student Academic Performance”; EducationPolicy Analysis Archives, 10 (12), December Disponible en http://epaa.asu.edu/epaa/v10n12/

Woessmann, L. (2001), “Why Students in Some Countries Do Better”.Education Next, 2001 / 2.

Disponible en http://www.educationnext.org/20012/67.html

84


Indicadores y sus usos en educación:una tensión no resuelta

Pablo Halpern Britz

Tensión entre transparencia y rigor del debate

La investigación en materia de políticas públicas es cada díamás indispensable. La producción de indicadores en estaárea es clave para una correcta toma de decisiones, para eva-luar la gestión, para identificar y proyectar tendencias, parafocalizar, corregir y reorientar iniciativas, para anticipar pro-blemas y soluciones.

De la correcta orientación que provean estos indicado-res depende en parte que el diseño y aplicación de políticaspúblicas sea adecuado y resuelva efectivamente los proble-mas y desafíos que se propone.

La difusión de indicadores para medir resultados depolíticas públicas también provee transparencia. La autori-dad asume el compromiso de difundir los indicadores de sugestión en diversas áreas, sometiéndose implícitamente alescrutinio público de su acción: acepta la evaluación de susplanes, metas y objetivos, aportando los instrumentos paraello: los indicadores.

Esto contribuye, por una parte, a que la gestión de re-cursos públicos comprometidos sea crecientemente eficientey, por otra, a que otros actores –proveedores, beneficiarios,

Indicadores y sus usos en educación

85

usuarios, etc.– reciban señales correctas y oportunas que es-timulen y orienten su toma de decisiones.

Sin embargo, la búsqueda de transparentar la gestiónpública mediante la difusión de este tipo de indicadores con-lleva una tensión implícita entre el necesario rigor técnico delanálisis y debate respecto de los resultados y la inevitable di-mensión política de la discusión, donde no necesariamente esel rigor técnico el que guía el debate.

Más aún, la creciente masificación de la divulgación deresultados a través de los medios de comunicación sitúa el de-bate en otro nivel, absolutamente legítimo por lo demás, quedice de una relación con la interpretación de resultados desdeel punto de vista de los intereses de la opinión pública.

En el caso de indicadores del área educación como losresultados de la prueba SIMCE, la integración de la audienciamedial al debate necesariamente ubica a éste en un planoque no es necesariamente aquél para el que está diseñado elSIMCE. El debate medial se centra en preguntas acerca delmejoramiento o no de la educación, la superación o manu-tención de niveles de iniquidad en el sistema, la calificaciónde los maestros, etc.

Una tensión canalizada

Hay ámbitos del quehacer público donde la tensión antesmencionada está prácticamente resuelta. En el plano econó-mico, por ejemplo, ésta se ha reducido paulatinamente, el de-bate público de los indicadores económicos se produce en uncontexto técnico adecuado.

Las interpretaciones de las cifras del IPC, IMACEC oempleo se enmarcan en un nivel adecuado de rigor técnico.

86


Existen, en este sentido, ciertos consensos básicos mayori-tarios entre quienes participan en el debate sobre la calidadtécnica y los significados específicos de cada uno de los in-d i c a d o re s .

Podrá haber discrepancias respecto de qué influye enuno u otro resultado, pero prácticamente nadie utilizará unindicador económico para indicar algo que éste no mide o re-fleja, o cuestionará la calidad de los mismos.

Otro factor que contribuye a que en esta esfera predo-mine el rigor técnico del debate, reduciéndose con ello la ten-sión con la interpretación medial de los datos, habla de unarelación con la calidad de los participantes en el debate pú-blico. Estos son, en general, académicos, economistas deprestigio o políticos legitimados en este ámbito.

Por otra parte, la profusión de indicadores en este ám-bito y la periodicidad de su entrega enriquece el debate per-mitiendo análisis e interpretaciones de mayor complejidad yalcance.

Una situación precaria

No ocurre lo mismo en otras esferas del quehacer público,donde la situación es claramente más precaria. Áreas comoeducación, vivienda y salud han producido históricamenteindicadores que muestran la situación de cada uno de estossectores:

• En salud, están los tradicionales indicadores de mort a l i d a dinfantil, del estado nutricional de la población, de la evolu-ción (reducción) de determinados tipos de enferm e d a d e s .

• En educación están los índices de alfabetización de la po-


87

blación, los indicadores de escolaridad, de matrícula uni-versitaria, etc.

• En vivienda, en tanto, se dispone de indicadores de défi-cit habitacional (decreciente), de dotación de servicios delas viviendas, de pavimentación, etc.

Sin embargo, a medida que en estas áreas se avanza en la re-solución de los problemas básicos (acceso), cambia el focodel objeto de medición. En estas esferas adquiere relevanciacreciente medir la calidad de los servicios, la eficiencia de lagestión, la satisfacción de los beneficiarios. Ahí, la situaciónes claramente más precaria.

Este tipo de indicadores son de data más reciente, conmetodologías menos conocidas y, lo que es más importante,menos consensuadas; por ejemplo:

• En salud se mide la evolución de la cobertura (número deatenciones) en relación al incremento de recursos com-prometidos en la gestión, pero no se considera necesaria-mente la evolución en los niveles de calidad de la atenciónni en los niveles de complejidad de la misma.

• En vivienda se mide el incremento en la cobertura, peroestá pendiente la medición de los niveles de calidad de lasviviendas sociales, por ejemplo.

Algunos ejemplos de esta precariedad y los efectos que gene-ra son evidentes:

• En salud, por ejemplo:

– Los primarios intentos por establecer alguna mediciónde eficiencia resultaron rápidamente abortados tras su di-

88


fusión en los medios. La publicación de un índice de efi-ciencia (Informe de Caldera) en los servicios de salud en1996 trajo serios conflictos entre el entonces ministroMassad y el Colegio Médico.

– Este año un informe elaborado por la Contraloría sobreel uso de recursos humanos y materiales del servicio pú-blico de salud para fines particulares terminó con el Mi-nistro del ramo pidiendo excusas a los médicos.

En otros ámbitos, la situación es aún más compleja. En se-guridad ciudadana, por ejemplo, un tema de altísimo interéspúblico, el único indicador disponible son las tasas de de-nuncias de delitos y de detenidos.

Un instrumento que adolece de deficiencias conocidas,que están en pleno proceso de perfeccionamiento –se avanzaen la creación de un indicador de victimización, se busca cre-cientemente homogeneizar los datos de las policías, etc.–, enel debate público de los datos ha terminado siendo la varacon que se mide la gestión gubernamental en esta materia,en un ambiente altamente politizado:

• Los indicadores de denuncias, por ejemplo, son fre c u e n t e-mente homologados por los medios con número de delitos,cuando la relación no es necesariamente directa. Y las ci-fras sirven para debatir sobre eventuales éxitos o fracasosen el control de la delincuencia y exigir enmiendas en lapolítica de seguridad ciudadana, así como medidas especí-ficas para enfrentar el delito en nuestra sociedad.


89

La demanda sobre los indicadores en educación

La reforma educacional ha sido uno de los procesos máscomplejos, de mayor visibilidad y envergadura en los 90. Elénfasis puesto por los gobiernos de la Concertación en estaárea, así como la sensibilidad pública del tema (la educaciónsigue siendo vista por la población como el principal mediode ascenso social) han hecho de la reforma objeto de preocu-pación y permanente escrutinio.

Ello genera una fuerte demanda por contar con indica-dores que den cuenta de los avances o eventuales retrocesosde la reforma en marcha. Así, diferentes pruebas de distintaprocedencia y nivel (Simce, Pisa [OCDE], TIMS, PAA) sirvenen los medios de comunicación para evaluar la reforma.

Nuevamente, datos que tienen claramente otra finali-dad se usan como parámetros para medir un objeto distinto:

• La PAA, destinada a seleccionar alumnos para la educa-ción superior, se usa como instrumento para medir varia-ciones en la equidad del sistema educativo.

• Pruebas que comparan niveles de aprendizaje y rendi-miento entre distintos países, son utilizadas indirecta-mente para evaluar los resultados de la reforma.

Las dimensiones del debate en educación

En el caso de la educación se verifica una fuerte tensión enlos alcances de los debates técnicos y mediales o públicos.Las discusiones que se originan en torno a los indicadores enesta área se proyectan en tres dimensiones:

90


• Política• Ideológica cultural• Ciudadana

Desde el punto de vista político, es natural que la oposiciónanalice políticamente estos indicadores para evaluar la ges-tión concertacionista, en un área de sostenido interés ciuda-dano –pocas áreas como educación tienen incidencia en lacotidianeidad de la mayoría de las familias chilenas (gráfico1)–, que supone puede tener alta rentabilidad política. Ade-más, un área que los propios gobiernos de la Concertaciónhan puesto en el eje de las miradas (siempre entre las prime-ras prioridades) y donde los indicadores –aunque no hayansido construidos para ello– mostrarían resultados deficientes.


91

Serie Encuestas Nacionales Opinión Pública CEP1994 – 2002.

Gráfico 1Señale los tres temas más importantes que debe priorizar elgobierno (% votación para educación, delincuencia, salud)

Desde otro punto de vista, indicadores como la pru e b aSIMCE pueden potencialmente ser objeto de nuevos de-bates políticos. Por ejemplo, en la medida que los muni-cipios también son responsables de la gestión educacio-nal y son crecientemente evaluados al respecto (g r á f i c o2), esta evaluación puede alcanzar también a la gestiónde la derecha en esta materia, en la medida que contro-la actualmente el 42% de los municipios del país.

Desde otro punto de vista, el tema de la educación se hat r a n s f o rmado en un campo donde emerge una re n o v a d adiscusión ideológico-cultural; recientes debates así lo de-m u e s t r a n :

• Interpretación respecto de lo que es la libertad de en-señanza v/s los alcances de la gestión estatal para me-

92


Gráfico 2

Centro de Estudios Públicos.

Construcción de sede social o vecinal 84,7

Iluminación de calles 81,3

Decisión sobre instalación de semáforos 73,8

Mantención del sistema de alcantarillado 71,4

Construcción de recintos públicos y campos deportivos 71,3

Problemas de estacionamiento y congestión vehicular 70,5

Administración (manejo) de terrenos baldíos y sitios eriazos 70,5

Pavimentación y reparación de calles 70,4

Problemas de locomoción colectiva 59,6

Colegios, escuelas y liceos 45,9

Salud primaria (consultorios y postas) 41,7

jorar la calidad de educación.• El rol del Estado en áreas que se sitúan en el límite de lo

público y lo privado; por ejemplo, educación sexual (opo-sición a proyectos como JOCAS y otros).

El intenso debate en torno al SIES dejó entrever diferenciasideológicas no siempre reconocidas como tales:

• La férrea defensa de la libertad de enseñanza supuesta-mente amenazada por esta prueba: El Sies es un atenta -do contra la libertad de enseñanza...va contra lo pro -puesto por la Reforma Educacional, declaraba el directordel CEP, Arturo Fontaine.

• Las diferencias en los rendimientos en PAA y específicasentre colegios municipalizados y particulares, son final-mente atribuidos por los detractores de la prueba SIES ala libertad curricular, relativizando el peso que tiene elcontexto socioeconómico.

Por último, desde la mirada ciudadana, el valor de estos in-dicadores se traduce en la posibilidad de contar con un ins-trumento para orientar sus decisiones en materia de educa-ción de sus hijos. Por ejemplo, los resultados de la pruebaSIMCE son usados para decidir qué colegio elegir (o evitar).

La traducción de la prensa muchas veces se orienta ental sentido:

• 80% de alumnos de mejores colegios del Simce ingresa ala universidad. (La Tercera 28/09/02)

Sin embargo, muchos de estos indicadores no están diseña-dos para este tipo de demandas ciudadanas. El SIMCE no es-


93

tá concebido para evaluar cada colegio en particular, sino elsistema en su conjunto. De acuerdo a lo planteado por SergioMartinic, director del CIDE (La Tercera, 22 de julio de 2002),el Simce o los sistemas internacionales de medición como elTimss y Pisa informan de los aprendizajes que tienen los es -tudiantes en un año escolar determinado en función de es -tándares o de logros esperados. Estas pruebas son muy úti -les para dar una visión macro del país o de un conjunto depaíses, pero no son suficientes para buscar soluciones y de -finir líneas de trabajo en escalas intermedias y locales, comolo requieren los municipios y las escuelas.

Aun así es usado para diseñar rankings de calidad delos colegios, lo demuestra la lectura que de este indicador ha-ce la prensa:

• Simce: mejores colegios de Chile y resultados del granSantiago. (La Tercera, 27/09/02)

Una mirada más bien pesimista sobre esta tensión entre de-bates técnico y público en educación, señala que la situaciónse hará crecientemente compleja. La masificación de los indi-cadores impedirá circunscribir su uso al ámbito para el cualfueron diseñados: cada vez más será usado como un rankingpara tomar decisiones inmediatas de la familia; cada vez ten-drá más sentido transformarlo en base de un debate político.

Esta desnaturalización de los alcances de los indicado-res finalmente puede llevar al inmovilismo: ¿estarán dis-puestas las autoridades a seguir transparentando su gestiónsi los instrumentos se vuelven en su contra? ¿Estarán dis-puestos los medios de comunicación a no disponer de estosdatos?

Una mirada más pragmática debe considerar esta ten-

94


sión como un hecho de la causa, y orientarse a la búsquedade fórmulas que, sin mermar los niveles de transparencia,permitan equilibrar el debate, no sólo para que éste no se po-litice y termine siendo un flanco de castigo para la gestión delgobierno, sino para elevar la calidad del debate y su utilidadpara el mejoramiento de la educación. Tal como ocurrió en elplano económico, es posible proyectar un mayor contrapesoentre el debate técnico y el público, reduciendo su explota-ción política.

Desde el punto de vista político–ideológico, es posibledesplazar la evaluación desde el sistema educacional a lagestión de los colegios, que es donde el proceso se lleva ac a b o .

Es necesario aumentar y diversificar los indicadores:no sólo hay que difundir resultados sobre niveles de apren-dizaje; también hay que hacerlo, por ejemplo, respecto de lacapacidad de retención de alumnos en el sistema educacio-nal; sobre la relación entre infraestructura y rendimiento; etc.

Es indispensable incorporar a todos los sectores a ladiscusión: en la medida en que las políticas educativas gene-ren más altos niveles de consenso entre todos los actores in-teresados en el debate –maestros, políticos, empresarios, téc-nicos, las familias, etc.–, al igual que en el ámbito económi-co, es posible esperar un menor grado de politización.


95

La evaluación como fetiche

Martín Granovsky

La evaluación educativa se convirtió en un método insufi-ciente, exagerado, fetichista y formalista. Pero a la vez esuna herramienta utilísima para gobernantes y ciudadanos, yno hay por qué arrojarla al rincón de los trastos inservibles.Puede seguir. Debe seguir. ¿O acaso la política prescindirá,por ejemplo, de las encuestas de intención de voto, a pesar deque registren solamente fotos de lo que pasa y su instanta-neidad no tenga la riqueza de una película?

La evaluación incomoda a los ministros de Educaciónporque se convirtió en una trampa de la cual ellos son las víc-timas. Primero la sobredimensionaron y ahora no saben có-mo escaparse. Y no importa si las cosas van mal o bien. Laevaluación, para los ministros, representa la fatalidad de quelas cosas aparecen públicamente mal aunque vayan bien.Más aún: como los ciudadanos carecen de instrumentos cien-tíficos de medición sobre la calidad de la educación –otros,claro, además de su relación concreta y familiar con el siste-ma educativo–, terminan esperando el momento de la difu-sión de resultados con una ansiedad que en realidad no ex-perimentan realmente.

Un ejemplo son las famosas listas de los colegios me-jor evaluados. Una vez por año se publican y entonces se po-ne en marcha el circuito informativo de los medios de comu-nicación.


97

• Los diarios informan sobre la lista. • A la mañana siguiente, un programa de radio llama a la

directora para preguntarle por qué en un pueblo perdidodel interior argentino, sin recursos económicos ni asisten-cia pedagógica, ella y su comunidad educativa consiguie-ron el milagro.

• Por la tarde viaja el equipo de un canal de televisión. Es-ta vez la nota son los alumnos. ¿Qué tendrán ellos de ra-ros, pobrecitos?

• Y a la noche todo terminó. El circuito devoró su alimentoy sólo habrá que esperar a que el apetito vuelva a abrir-se, seguramente con informaciones que no provienen dela educación.

A veces, la evaluación se refiere a la calidad de los docentes.O a cómo son los maestros cuando no se exponen en clase:qué leen, cómo viven, qué comen, cuánto ganan, qué valoressustentan, hasta qué punto superaron la discriminación, có-mo están formados, qué sentido tienen la patria y la demo-cracia para los encargados de formar a los chicos en la edu-cación sistemática. En este caso, el circuito será distinto, por-que además de la información juega con fuerza la relaciónentre los docentes como colectivo gremial y el Estado comopatrón empleador. El circuito anterior quedará “contamina-do” por una doble sensación. Los docentes dirán que la eva-luación no es intelectualmente honesta porque el fin del Es-tado-patrón es el recorte de derechos adquiridos. El Estadoargumentará que los docentes como colectivo de empleadosestán haciendo una utilización gremial de resultados que só-lo tenían como fin saber el estado real de la educación en undeterminado momento.

Si la evaluación queda limitada al primer circuito o a

98


constituirse en un elemento más de la puja entre los maes-t ros y el gobierno pero todos tienen conciencia de que ahí nose acaba el mundo, no habrá problema alguno. Sin dramase x t r a o rdinarios, el show continuará, porque siempre debes e g u i r.

El ruido se produce cuando la evaluación cumple supapel de profecía autocumplida y asciende en el ranking dela agenda pública hasta parangonarse con la mismísima po-lítica educativa.

Esa es la fetichización tan temida. La imagen terminareemplazando al objeto y ya nadie puede saber de qué se ha-bla cuando las cosas no eran tan difíciles.

¿Por qué la evaluación es un producto de consumo tandigerible para los medios? Muy sencillo. Hay tres razonesque tienen que ver con la mañana del periodismo y con latensión natural entre periodismo y poder político.

Razón número uno: la evaluación permite ver cómo elgobierno se mide a sí mismo.

Número dos: si hay fracaso evidente, permite fastidiaral gobierno con un arma creada por la propia administracióndel Estado.

Número tres: si el fracaso no es evidente, es posible in-terpretarlo como tal.

Pero también hay razones que no tienen que ver conlas mañas y la picardía. Razones que dan la pauta de posi-bles alternativas al sobredimensionamiento de la evaluacióneducativa.

Razón número uno: las listas de colegios corporizan laeducación en instituciones de carne y hueso.

N ú m e ro dos: acercan la educación a la verdad de có-mo es percibida, es decir, como un elemento central de la vi-da cotidiana.


99

Número tres: ofrecen una variante a la cobertura edu-cativa tradicional del periodismo, a menudo atada a los pro-blemas presupuestarios, el pago de los docentes y la perma-nencia o no del ministro de turno.

Número cuatro: brindan historias, individuales y co-lectivas, sugieren rarezas, plantean misterios e incógnitas.

El riesgo de la evaluación como fetiche es que, lo mis-mo que sucedió con la economía, termine vaciando la políti-ca. Que sea un sucedáneo educativo de los fundamentalseconómicos y quede cristalizada como una ideología vacíaque funciona como espejo deformado de la realidad.

¿Quién podría negar la utilidad de evaluar los núme-ros macro de la economía? Incluso antes de Maastricht, perosobre todo desde el tratado de Maastricht de 1991, por el queEuropa se autoimpuso una serie de exigencias económicas, elanálisis económico tiene en cuenta, entre otras variables, larelación entre deuda y producto bruto interno, tasa de infla-ción y déficit fiscal. Pero a partir de ese punto el problema esdoble.

Por un lado, la descripción suele terminar en una for-ma de prescripción.

Por otro, esa descripción es forzosamente limitada. Unejemplo es el déficit fiscal argentino. En diferentes momen-tos de los últimos años la Argentina hubiera podido sermiembro de la Unión Europea. Pero la Argentina no queda enEuropa, y además los organismos multilaterales de créditocuestionaron los grandes números a causa del déficit fiscal,que el economista Salvador Treber calcula a moneda constan-te, tomado a pesos del 2001, con una media anual de 66.657millones de pesos para el período 1998-2000.

La cifra sola no dice nada. No tiene en cuenta, porejemplo, el endeudamiento externo, fruto a su vez de la en-

100


trada de capitales en su mayoría especulativos, atraídos conaltas tasas de interés y transformados muy pronto en unaimpagable deuda en dólares. Una visión más profunda, comola del ex vicepresidente del Banco Mundial Joseph Stiglitz, in-dica que los fundamentals entendidos con esa limitación nopermiten comprender la realidad. En el caso argentino, segúnStiglitz resulta imposible comprender el déficit fiscal sin te-ner en cuenta que el bache no se debe tanto al gasto públicocomo a la privatización repentina y sin salvaguardias del sis-tema de jubilación de reparto o público. La discusión, natu-ralmente, excede el plano académico. Dado el origen distintodel déficit, una cosa es diagramar políticas pensando que elúnico problema es el gasto provincial, y otra diseñarlas te-niendo en cuenta la inconveniente relación, que en la Argen-tina llega hasta la identidad absoluta, entre bancos y admi-nistradoras de fondos de pensión.

Al margen de este hecho, el rubro “Remuneraciones”se mantuvo en un 33 por ciento, mientras que el rubro “In-tereses de la deuda” pasaba del 12 al 16 por ciento.

O sea: el número permite sólo sobrevolar la realidad ycompararla en grueso. Es como un juego. Inútil, como todojuego, además, pero sin una pizca de lúdico. El análisis másprofundo, en cambio, tiene la desgracia de los matices, quesuelen ser engorrosos, pero la utilidad de la sintonía fina.

La educación es, por definición, un fenómeno de largoplazo. Es imposible mejorarla de un día para otro. Por fortu-na, claro, también es imposible empeorarla de un día paraotro. La evaluación de la calidad educativa, pero sobre todosu difusión, su conversión en instrumento público, se en-cuentran con ese dato inamovible de la realidad, pero a la vezestán tironeadas por la urgencia fabricada en los últimosaños en todo el mundo.


101

Ante este panorama negro, ¿la evaluación difundidaigual que en los últimos años tiene alguna utilidad? Es evi-dente que sí. Resulta interesante tomar, en el caso argentino,no los resultados de la evaluación sino los títulos de las co-berturas de prensa para ver qué datos se convirtieron en his-toria o en noticia y llegaron así a los ciudadanos.

• Los adolescentes tienen más dificultad para leer un textoperiodístico que uno literario. Por ejemplo, no saben dis-tinguir la argumentación de la noticia y carecen de los re-cursos para interrogar al texto.

• Los colegios más caros no son los primeros en el rankingde Lengua y Matemática.

• Entre los primeros hay más privados que estatales.• El nivel socioeconómico de los alumnos es determ i n a n t e

tanto en Matemática como en Lengua. A nivel nacional,los hijos de padres con educación secundaria o terc i a r i ao b t u v i e ron en 2001 un 69 por ciento de respuestas corre c-tas, mientras que los hijos de padres con escolarizaciónprimaria llegaron al 51 por ciento. A nivel de la Capital Fe-deral, las cifras un dan 74,5 contra un 56,6 por ciento.

• Aun así, la escuela no reproduce exactamente ni en térmi-nos regionales ni en términos sociales la cristalización dela Argentina en una sociedad cada vez menos plebeya. Ladiferencia promedio en 2001 llegaba al 14 por ciento, enuna sociedad más polarizada que lo que esa cifra puedeindicar, como lo revela la existencia, en ese momento, demás de un 40 por ciento de pobres dentro del total de po-blación. El secretario de Educación de la ciudad de Bue-nos Aires lo resumió así: “Entre un pobre que se recibióde abogado y un rico que también se recibió hay menosdiferencia que entre un pobre que dejó de estudiar y un

102


rico que estudió”. Conviene recordar que en 2001, a dife-rencia de años anteriores, el Ministerio de Educación nopuso el énfasis en los rankings de escuelas sino en losfactores sociales que inciden en la calidad educativa. Enpalabras del subsecretario de Educación de ese entonces,Gustavo Iaies, “lo importante es que las escuelas sepancuáles son los factores que más inciden en la obtención debuenos resultados para que los pongan en marcha”.

• A veces, también, la evaluación educativa fue interpreta-da por algunos medios como si los editores fueran contro-ladores de un organismo de crédito y surgieron títulos co-mo “La escuela no cumple con los objetivos mínimos”.

• En la Capital Federal, nuevamente, el 88 por ciento de loschicos que llegan a tercer año terminan la secundaria.

• Los alumnos rinden mejor en Matemática que en Lengua. • La Argentina no está peor que el resto de América latina,

pero América latina está al final del pelotón mundial. • Es ilustrativo ver cómo interpretan los directivos de los

colegios los resultados de cada evaluación:• Se quejan de los sueldos docentes.• Explican que los sueldos bajos influyen sobre la concen-

tración, que resulta insuficiente, porque genera lo que enla Argentina se conocía como “profesor-taxi”, aunque ob-viamente se trata de un nombre-paradoja.

• Los directivos de escuelas públicas envidian a sus colegasde las privadas porque suponen que el pago a los docen-tes es sensiblemente superior.

En otras ocasiones, el reflejo periodístico de las evaluacionesapunta a lo particular particularísimo. Al caso. A la historia.Al costado humano.

Con la evaluación de 1998 en la Argentina proliferaron


103

los artículos de admiración por los resultados de las escuelasdel interior del país.

La mejor primaria pública fue la escuela número 49 deDorila, en La Pampa, en la zona centro-sur del país. Losalumnos del pueblo de 244 habitantes habían alcanzado unpromedio de 91,43 puntos en Lengua y Matemática. Unaprofesora explicó los resultados notables por el trabajo per-sonalizado: no había más de 16 chicos por aula. La directo-ra contó que todos los días un ómnibus recorre 205 kilóme-tros para traer y llevar a 25 chicos que viven en los camposde los alrededores. También dijo que no había deserción por-que cuando un chico faltaba las maestras iban hasta la casaa preguntar qué estaba ocurriendo en la familia.

También en 1998, la mejor escuela secundaria fue unatécnica de San Nicolás, en el cinturón industrial que une Bue-nos Aires con Rosario, al norte de la Capital Federal. Los dia-rios reflejaron que los alumnos, en su mayoría de barrios pe-riféricos, triunfaron en las pruebas, según el director, por sutrabajo y por el empeño de los docentes.

Es fácil imaginar el reparo ante estos casos. ¿No se es-tá, acaso, en presencia de algo en principio tan poco científi-co como el ejemplo? ¿La rareza, insumo básico de cualquiertrabajo periodístico, no oculta la regularidad, objetivo máxi-mo de una medición imparcial y objetiva? ¿No existe el ries-go de que las peculiaridades tapen una visión más profundasobre la educación?

Naturalmente, los peligros están al alcance de la ma-no. Pero conviene apuntar que son los mismos de cualquierevaluación, e incluso de cualquier descripción de la realidad.En buena medida por razones ideológicas, la caída del Murode Berlín y el famoso final de los grandes relatos supuso, pa-ra muchos científicos sociales, la desconfianza estructural

104


hacia todo tipo de análisis cualitativo y una absolutizacióndel valor de lo cuantitativo, lo internacionalmente compara-ble a través de índices, otra vez los grandes números.

Para que quede claro: no es que lo cuantitativo sea “dederecha” y lo cualitativo “de izquierda”. Es que, por un mo-mento, el sacudón del mundo fue interpretado por muchosintelectuales como un modo de finalización de la política. Sipara el viejo comunismo el final de la política llegaría con ladesaparición del Estado y la extinción de la sociedad clasis-ta, para el enfoque inverso la desaparición de ese horizontecasi providencialista equivalía al vaciamiento de toda discu-sión de fondo, a la renuncia por anticipado a todo análisisque no se apoyara en un índice.

Para que quede claro también esto: sería tonto, inútil yfetichista al revés despreciar la cuantificación de metas y re-sultados. Sonaría a un antiintelectualismo que remata siem-pre en una política de primates, emparentada finalmente conel poder en estado puro y descarnado y una visión pragmá-tica de las cosas en el peor sentido de la palabra, el del utili-tarismo sin objetivos sociales ni planes desplegados desde elEstado.

Lejos de cualquier maniqueísmo, los ejemplos anterio-res muestran que las evaluaciones educativas sirv i e ron paraa c e rcar elementos del debate educativo, de los especialistas, alos ciudadanos. Sin embargo, quien dice acercar no dice pro-fundizar ni continuar. Ni el Estado, ni los planificadores edu-cativos, ni los medios, ni los periodistas especializados apro-v e c h a ron esa formidable cantera de temas para seguir unadiscusión pública apasionante. Es posible, por ejemplo, que eléxito pampeano sea una rareza. Pero, ¿lo es también el deba-te sobre la proximidad entre docentes y alumnos? Y con el ca-so de San Nicolás, ¿no se discute también en público, con ab-


105

soluta transparencia y sencillez, que no hay éxito posible sinuna comunidad educativa fuerte, motivada y con mística? Esv e rdad, como se vio, que los diarios titularon muchas vecescon un tono que disgustaba al gobierno por los buenos moti-vos (la superficialidad después de un trabajo tan serio comola evaluación) y también por los malos (a los funcionariossuele disgustarles la crítica). Pero, nuevamente, en cada art í-culo del ramo de los interesantes había material para el segui-miento y el debate. En el caso argentino, quizás la discusiónpública sobre la educación sea pobre y poco específica, perotal vez haya aportado su cuota de información y polémica aldebate general sobre la pobreza, la exclusión y la desigualdadque forman parte de la agenda pública central del país.

¿Y los docentes? El reflejo de los maestros en los me-dios acostumbra ser simpático y cariñoso. Son, por ejemplo,el único gremio capaz de resolver huelgas con gran frecuen-cia y ser “perdonados” por la sociedad. Pero la evaluación esuna pelea permanente que los medios reflejan marcando ladesconfianza mutua entre el Estado y los docentes. Reflejanotra cosa también: que no hay acuerdo, acercamiento y dis-cusión pública intelectualmente honesta entre los dos secto-res. Los docentes desconfían de las evaluaciones oficiales yaun de las públicas no estatales. Y el Estado recela de lo quecalifica como falta de colaboración de los maestros.

En la Argentina tuvo mucho impacto una encuesta en-cargada por el gremio docente. Demostraba, entre otras co-sas, estas cosas:

• El 40 por ciento de las maestras es jefe de hogar y tiene asu cargo entre dos y cinco personas.

• El 88 por ciento de los docentes trabaja en escuelas singimnasio.

106


• El 41 por ciento se desempeña en establecimientos sin bi-blioteca.

• El 18 por ciento de los maestros trabaja en escuelas conmás de mil alumnos.

• El 90 por ciento de las escuelas no tienen servidor de In-ternet ni e mail.

• La mitad de los docentes está por debajo de la línea de po-breza.

P e ro, a la vez, la encuesta fue reacia a descubrir y describir elmundo de los valores de los maestros, en rigor no muy dis-tintos del mundo de valores del resto de la sociedad y por lotanto no siempre noble, altruista y modélico para los alumnos.

Si la evaluación se convierte en una trampa, si al finalparece que no midiera nada útil, si sólo genera problemascon los docentes y a primera vista no es útil para intensificarla discusión educativa dentro de la agenda pública, ¿no con-vendrá suprimirla?

Una tentación a mano de los funcionarios del Estadoes que la evaluación sea secreta. No estoy de acuerdo por ra-zones de principio y por motivos prácticos. Razones de prin-cipio: en una democracia moderna, y armas atómicas al mar-gen, no hay secreto válido que obture la transparencia. Mo-tivos prácticos: si es difícil conservar un secreto cuando elprotagonista es una sola persona, es imposible mantenerlo siya son como mínimo dos. Los seres humanos no suelen com-portarse como conspiradores, y aun si lo lograsen no seríaconveniente encarar la evaluación educativa como una tareade topos dignos de John Le Carré.

La otra tentación es que la evaluación no sea secre t ap e ro que, a la vez, no dependa de la difusión activa por part ede las autoridades oficiales. Mi opinión es que también éste es


107

un atajo sin sentido. La evaluación ya es una herr a m i e n t aaceptada por la sociedad, que la espera. Tal vez la espere conuna ansiedad despro p o rcionada, pero así es la vida. Quitarlaahora de la difusión habitual equivaldría a instalar una sos-pecha: por algo se oculta hoy lo que antes era público.

No quiero entrar en cómo el Estado evalúa la educa-ción. No es mi especialidad. Pero desde un punto de vistamás general –social, político, incluso de comunicación entregobernantes y ciudadanos– parece claro que si la intención escontar con un Estado fuerte que opere activamente para re-ducir la desigualdad, la comunicación no puede limitarse a laadministración de índices. Más allá de la evaluación, y sinsugerir de ningún modo la manipulación de los datos o sutergiversación, es evidente que el Estado puede orientar eldebate educativo. Igual que en periodismo, al Estado debeexigírsele la mayor objetividad posible respecto de los datosy la descripción de la realidad. Pero, más aún que en perio-dismo, no hay gobierno sin encarnar en objetivos políticos yde liderazgo social las políticas públicas de la educación. Losdatos son los datos: sagrados. Sería deseable, en mi opinión,que las conclusiones reflejaran cada vez más la intención derecoger el consenso social sobre educación y de alimentar eseconsenso con nuevos temas, nuevas provocaciones, nuevosdebates, nuevos objetivos.

Se dirá que no hay garantías de que el periodismoacompañe. Que incluso las mejores intenciones oficiales cho-can con la ignorancia, los intereses creados y la indiferenciade los medios. Pero, otra vez, así es la vida. Ninguna inicia-tiva política tiene asegurada su repercusión, aunque al mis-mo tiempo conviene recordar que el impacto siempre es ma-yor cuando el Estado informa de una manera honesta, inte-resante, motivadora y poco burocrática. Y, del mismo modo

108


que ocurre con la libertad de expresión, no se trata sobre to-do de la libertad para informar sino de la respuesta al dere-cho de los ciudadanos a saber. Ese derecho determina que in-formar sea, entonces, no una facultad sino un deber social,equivalente a un servicio público.

Tengo algunas conclusiones provisorias:Una, que la evaluación no es la panacea, como no lo es

ninguna herramienta puramente cuantitativa.La segunda, que si no es la fórmula de la felicidad uni-

versal no debe ser presentada como tal.La tercera, que el Estado no debe suprimirla.La cuarta, que nada reemplaza al ejercicio de la política.La quinta, que la política sigue incluyendo la instala-

ción de temas, de conclusiones, de valoraciones, válidos entanto no surjan de la manipulación de los datos sino de suinterpretación transparente y honrada.

La sexta, que así como no hay periodismo sin conver-tir la información en tema no hay evaluación bien comunica-da y socialmente útil sin transformar el dato en eje de deba-te público.

La séptima, que el futuro de la evaluación como he-rramienta política está ligado a la participación de los docen-tes. Participación difícil y en apariencia imposible, pero in-s u s t i t u i b l e .

La octava, que la sociedad, con una visión en este te-ma más cualitativa y sabia, no espera la evaluación de cadaaño para tomar posición frente a la realidad educativa.

La novena, que reproducir a escala internacional la ló-gica de los grandes números es vaciar la política como herra-mienta de ciudadanía y transformación de los habitantes ensujetos.

La décima, que siempre habrá tensión entre el Estado


109

y los docentes, y entre el Estado y los medios. Por eso, dise-ñar políticas o actuar como si esa tensión pudiera suprimirsesólo llevará a la creación de nuevos dogmas y nuevos ámbi-tos de rigidez. Una parte de la política es la imprevisibilidad,la contingencia, el azar, la pelea, el conflicto, el acuerdo, elconsenso y el juego de las veleidades. Pensar que en socie-dades culturalmente ricas y complejas como las nuestras to-da realidad, toda evaluación y todo proceso comunicativo escontrolable del principio al fin suena a una ilusión de chicos.

110


¿Qué pretendemos evaluar,qué evaluamos y qué conclusiones podemos extraer de la evaluación?

Alejandro Tiana Ferrer

Los años ‘90 se caracterizaron por la puesta en marcha y eld e s a rrollo de un buen número de re f o rmas educativas en lospaíses latinoamericanos. Una vez superada la desconfianzahacia la educación que caracterizó a los años ‘70 y ‘80, losg o b i e rnos de la región se lanzaron a una intensa actividadre f o rmadora, que se dejó sentir en muchos países y quea b a rcó diversas esferas de la realidad educativa (Gajard o ,1999).

Las reformas emprendidas en esos años persiguieronvarios objetivos, entre los que cabe destacar la extensión dela escolarización (especialmente en la enseñanza secunda-ria), la mejora de la calidad de la educación impartida y el au-mento de la equidad en la distribución de los servicios edu-cativos. Aunque no sea éste el lugar para hacer un balancede la década, no cabe duda de que los objetivos previstos sealcanzaron de manera muy desigual, consiguiéndose algu-nos logros destacables en el primer sentido de los menciona-dos, pero logrando resultados mucho más modestos en losotros dos. La situación es tal que un reciente informe inter-nacional sobre el estado de la educación en los países deAmérica Latina adoptaba como título el lema Quedándonosatrás, expresando de ese modo las carencias que aún aque-

¿Qué pretendemos evaluar...?

111

jan a los sistemas educativos de la región (Comisión Interna-cional sobre Educación, Equidad y Competitividad Económi-ca en América Latina y el Caribe, 2001).

El desarrollo de políticas nacionales de evaluación

Las reformas de los años ‘90 afectaron a diversos aspectosde la realidad educativa, que conviene detallar. Entre lasorientaciones adoptadas por dichos procesos de reforma, yaun sin ánimo de exhaustividad, pueden distinguirse variaslíneas de actuación que, si bien no se dieron siempre de ma-nera simultánea, estuvieron presentes de uno u otro modo enlas diversas iniciativas nacionales:

• Un primer aspecto en que se avanzó considerablemente,aunque no sin problemas, fue en la redistribución de lascompetencias y responsabilidades en materia de educa-ción, lo que supuso la puesta en marcha de políticas dedescentralización y de autonomía escolar, acompañadasen ocasiones de procesos de privatización, cuyos efectosfueron ambivalentes (Winkler y Gershberg, 2000).

• Una segunda orientación de las reformas, especialmenteinfluyente en muchos países de la región, consistió en laintroducción de cambios en la organización curricular,que llevaron generalmente aparejada una revisión de losplanteamientos fundamentales en que se inspira la defi-nición y la construcción del currículo.

• Un tercer dominio de acción de las reformas tuvo que vercon los procesos de formación inicial y capacitación delprofesorado, considerado habitualmente pieza clave de

112


las reformas, pero no siempre tan atendido como debieraen su papel de agente transformador.

• Un cuarto ámbito de reforma estuvo concretamente rela-cionado con la educación secundaria o media, que se haconvertido en la pieza clave y más conflictiva de los siste-mas educativos y cuya expansión se ha ido también pro-duciendo en América Latina en las últimas décadas(Braslavsky, 2001).

• Por fin, una última orientación tuvo que ver con el desa-rrollo de mecanismos y modelos de evaluación; dicho deotro modo, con la consideración de la evaluación, comoun poderoso instrumento al servicio de la gestión de laeducación y de la mejora de su calidad (Tiana, 1996).

Esta última orientación de las reformas de los ‘90 cobra es-pecial relevancia desde la perspectiva que se adopta en estetrabajo, pues es precisamente el impacto de esos mecanismosde evaluación lo que está sometido a crítica y discusión. Poreste motivo, merece la pena realizar un par de comentariosadicionales sobre sus rasgos más significativos.

Una primera observación que cabe destacar desde es-te punto de vista es que la mayoría de los países de la regiónpusieron en marcha sus propios sistemas nacionales de eva-luación a lo largo de los años ‘90, generalmente en el marcode procesos más amplios de reforma educativa. Con configu-raciones institucionales muy diferentes entre sí y con ámbi-tos de actuación diversos, fueron varios los gobiernos que sesumaron a la experiencia pionera que otros países como Chi-le venían desarrollando ya con anterioridad. Argentina, Mé-xico, Colombia, Bolivia o Brasil, por no citar sino algunos ca-sos destacados, dieron pasos decididos en esa dirección, demanera que al final de la década eran mayoría los países la-


113

tinoamericanos que contaban con algún tipo de sistema na-cional de evaluación (Ravela, 2001).

Sin embargo, el indudable interés por la evaluación dela educación que se despertó en muchos países no marchóasociado sino mucho más tardíamente con un interés parale-lo por participar en estudios comparativos internacionales deevaluación del rendimiento educativo. Aparte de la valiosaexperiencia regional del Laboratorio Latinoamericano deEvaluación de la Calidad de la Educación, en el que participa-ron un total de trece países de América Latina y el Caribe, losestudios promovidos por organizaciones tan reconocidas co-mo la IEA o la OCDE no han alcanzado todavía en la actuali-dad cotas altas de participación (Tiana, 2000). Durante losaños ‘90, fueron más bien los programas de cooperaciónorientados hacia el reforzamiento de los sistemas nacionalesde evaluación, como el impulsado en esa dirección por la OEI,los que lograron una participación más amplia.

Así pues, y hablando siempre en términos generales,la situación de la evaluación educativa en la región latinoa-mericana se caracteriza hasta el momento por la existenciade un contraste llamativo entre el desarrollo de ambiciososprogramas nacionales de evaluación y una limitada partici-pación en estudios comparativos internacionales. El desarro-llo de esos programas nacionales está basado en la puesta enmarcha de un buen número de instituciones y agencias deevaluación, cuya experiencia comienza ya a ser importante.

Una mirada a los sistemas nacionales de evaluación

Dando un paso más en el análisis, conviene que nos pre-

114


guntemos por las principales características que pre s e n t a nesos sistemas nacionales de evaluación que tanto auge ad-q u i r i e ron durante la última década. Tres son las pre g u n t a sclave que debemos hacernos, que están ligadas re s p e c t i v a-mente a otras tantas dimensiones de la evaluación: ¿paraqué se evalúa?, ¿qué se evalúa? y ¿qué uso se hace de lai n f o rm a c i ó n ?

a) Una multiplicidad de propósitosLa primera pregunta tiene que ver con los propósitos queorientan la evaluación de la educación. Y anticipando la res-puesta, hay que reconocer que los sistemas nacionales deevaluación persiguen una multiplicidad de propósitos, alorientarse hacia la consecución de uno o varios de los si-guientes objetivos:

• Ayudar a las escuelas y a los profesores a mejorar la cali-dad de la educación que imparten, proporcionándoles unainformación relevante y significativa que les permita va-lorar su situación real y sus logros.

• Conocer y valorar en qué medida se están alcanzando losobjetivos educativos o los estándares propuestos para losdistintos niveles o parcelas del sistema educativo, contri-buyendo al mismo tiempo a establecer metas y niveles dereferencia.

• Forzar a las instituciones escolares y a los agentes educa-tivos a generar dinámicas de cambio, por medio de lacomparación o la competencia.

• Rendir cuentas a la sociedad o a las autoridades educati-vas acerca de los logros conseguidos, eliminando así laopacidad del sistema educativo y de las instituciones es-colares.


115

• Establecer sistemas de incentivos para las instituciones ypara los profesionales de la educación.

• Certificar, acreditar o seleccionar instituciones, programasde estudio, profesores o estudiantes.

• Conocer y valorar la situación del sistema educativo, asícomo el impacto producido por las políticas adoptadas.

• I n t roducir elementos de racionalidad en el debate público yen la construcción de políticas en el ámbito de la educación.

Es cierto que estos propósitos no son en todos los casos com-patibles entre sí, pero no lo es menos que las políticas nacio-nales de evaluación seleccionan algunos frente a otros, lesconceden distinto énfasis, establecen prioridades entre elloso los interpretan de diferente manera. Así, por ejemplo, unpropósito compartido por muchos, como es el caso de la in-centivación del cambio a través de la comparación, no deja deser objeto de polémica. Mientras que en algunos países hallevado, por ejemplo, a la publicación de listas de clasifica-ción de escuelas o universidades, con el ánimo de forzar unacompetencia abierta por conseguir más estudiantes o más re-cursos, en otros se ha rechazado frontalmente esa posibili-dad y se han establecido mecanismos de confidencialidad delos datos que impiden ese tipo de uso, aunque permitiendobeneficiarse de la comparación. Como puede apreciarse, unmismo propósito puede inspirar políticas muy diferentes.

b) Una diversidad de actuacionesLa segunda pregunta tiene que ver con la actividad desarro-llada por los sistemas nacionales de evaluación. Y tambiénen este caso hay que anticipar la existencia de una conside-rable diversidad de modalidades de actuación, referidas a suvez a distintos ámbitos educativos. Entre los principales as-

116


pectos que son objeto de evaluación en la actualidad, hay quedestacar cuatro campos prioritarios:

• Un primer campo que es objeto de considerable atenciónse refiere a la evaluación de los logros conseguidos porlos alumnos. Muchas de las actividades desarrolladas enla actualidad por los sistemas nacionales de evaluación, ysin duda las más importantes de entre ellas, están orien-tadas a la valoración de los resultados de la educación,medidos a través de los logros que consiguen los estu-diantes. En la mayoría de los casos, esas actuaciones secentran en algunas áreas curriculares seleccionadas, es-pecialmente las que se consideran fundamentales para laformación de los jóvenes (Lenguaje, Matemáticas, Cien-cias, Historia). A veces se complementan con la evalua-ción de los logros conseguidos en otros ámbitos de la for-mación escolar, como la educación cívica, el dominio delas tecnologías de la información y la comunicación o lasestrategias de aprendizaje. Las evaluaciones suelen estarreferidas a etapas o momentos clave del proceso educati-vo, tales como el tránsito de una etapa a otra o el final dela escolarización obligatoria o de un determinado nivel deestudios. En ocasiones se evalúa a la totalidad de los es-tudiantes de los grados seleccionados, mientras que otrasveces se trabaja solamente con muestras representativas.En cualquier caso, es ésta una línea de actuación priorita-ria para los sistemas nacionales de evaluación.

• Un segundo campo que también atrae considerable aten-ción se refiere al rendimiento que logran las institucioneseducativas. El interés que ha generado la apertura de la“caja negra” que constituyen las instituciones ha estimu-lado el desarrollo de diversos programas orientados a su


117

evaluación. Tanto las escuelas primarias y secundariascomo las universidades han sido el objetivo prioritario demuchos planes de evaluación y de acreditación puestos enmarcha en diversos países latinoamericanos. Esos planesde evaluación tienen características heterogéneas, perosuelen coincidir en conceder una atención especial a losresultados conseguidos por los estudiantes, aunque sindejar generalmente de lado el análisis de la organizacióny el funcionamiento de la institución de que se trata.

• Un tercer campo que ha ido desarrollándose recientemen-te, si bien con mayores dificultades que los dos anterio-res, es el relativo al desempeño profesional de los docen-tes. La convicción de que la actuación de los profesoresestá en la base de los resultados conseguidos por los es-tudiantes, aunque no sea su único determinante, ha ge-nerado un conjunto de actuaciones de diverso tipo, entrelas que también se cuentan algunos programas de evalua-ción. Se trata de acciones que no han dejado de generarcierta polémica, tanto por sus características técnicas co-mo por el tipo de uso que se hace de la información obte-nida. En muchos casos, quizás en la mayoría, se ha opta-do por utilizar la evaluación docente en el marco de pla-nes de incentivos profesionales, eludiendo sus aspectosmás punitivos, pero en otros casos la evaluación se hautilizado como instrumento de selección o de promociónprofesional, o incluso se ha asociado con mejoras salaria-les o laborales.

• Un cuarto campo que también ha atraído el interés de lossistemas de evaluación se refiere al impacto de las políti-cas educativas adoptadas. En un contexto de reformaseducativas, como las impulsadas en la región durante los‘90, no es extraño que se haya planteado abiertamente la

118


pregunta acerca de los efectos y el impacto de los proce-sos de cambio iniciados y de las medidas adoptadas. Des-de esta perspectiva, han coexistido dos tendencias quedeben diferenciarse, aunque ninguna de ellas haya llega-do a atraer tanta atención como las arriba mencionadas.La primera se refiere a la evaluación de los programasmás emblemáticos de los procesos de reforma, los deno-minados “programas estrella”, aquellos en que las autori-dades educativas han realizado una mayor inversión ydepositado mayores esperanzas. La segunda se refiere ala evaluación de los propios procesos de reforma, con lapretensión de establecer un mecanismo de seguimientosistemático de sus efectos. Pese a la limitada experienciadesarrollada en ambas direcciones, no cabe duda de quese trata de un campo llamado a experimentar un mayordesarrollo en el futuro próximo.

Aunque los cuatro campos mencionados no agotan la totali-dad de los ámbitos abarcados por los sistemas nacionales deevaluación, no cabe duda de que se trata de los más destaca-dos y los que han experimentado un mayor empuje. Nueva-mente hay que insistir en que no todos ellos han sido desa-rrollados en todos los países, ni del mismo modo, ni con lamisma energía, pero sí puede afirmarse que son objeto deatención especial por parte de los sistemas nacionales deevaluación.

c) Una pluralidad de usosLa tercera pregunta tiene que ver con el tipo de uso que sehace de la información obtenida por medio de la evaluación.Y al igual que en los dos casos anteriores, también hay quereconocer la existencia de una pluralidad de situaciones. In-


119

tentando analizar los usos más habituales de los resultadosde la evaluación, podemos distinguir cinco tendencias predo-minantes:

• Una primera tendencia consiste, por paradójico que pue-da resultar, en la renuncia a hacer uso de la informaciónobtenida. Aunque no resulte muy justificable, ni desde elpunto de vista de la eficacia administrativa, ni desde laperspectiva de la transparencia, ni menos aún desde lasexigencias del comportamiento político democrático, hayque reconocer que existen casos en que los resultados dela evaluación no son publicados, ni difundidos, ni apenasutilizados.

• Una segunda tendencia, que es la más habitual, consisteen la elaboración y difusión de informes de evaluación.Los informes pueden ser de diverso tipo, tener una cober-tura variable (nacional, regional, sectorial) y estar dirigi-dos a audiencias distintas (familias, profesores, autorida-des educativas, investigadores y técnicos, etc.), llegandoincluso a adoptar formatos diferentes. Lo importante eneste caso no son las características concretas de los infor-mes, que pueden ser de hecho muy diferentes, sino laconfianza subyacente en que la difusión pública de los re-sultados puede satisfacer las demandas de informaciónplanteadas por los diversos agentes educativos. En algu-nos casos se han diseñado y aplicado estrategias bastan-te completas de difusión, logrando un impacto social ymediático importante.

• Una tercera tendencia consiste en la devolución confiden-cial de resultados a las instituciones participantes en laevaluación, con el propósito de que puedan utilizar losdatos recibidos para elaborar sus propios planes de mejo-

120


ra, sin verse necesariamente expuestas al escrutinio pú-blico. Los modos concretos que puede adoptar esa devo-lución son muy variables, pero lo que caracteriza esa mo-dalidad de actuación es su confianza en el valor intrínse-co que encierra la comparación y en la capacidad de refle-xión y de mejora que tienen las instituciones y los agen-tes de la educación cuando se enfrentan con su propiarealidad.

• Una cuarta tendencia, no excesivamente habitual y desdeluego controvertida, consiste en la publicación de los re-sultados obtenidos, en forma de tablas de clasificación.En algunos casos la publicación se realiza por los respon-sables de la evaluación, mientras que en otras ocasionesse permite o incluso se favorece que sean otros agentes(prensa, investigadores) quienes publiquen la informa-ción. Este tipo de uso resulta más amenazador para lasinstituciones educativas que los anteriores, motivo por elcual ha recibido críticas y generado resistencias.

• Una quinta tendencia consiste en la utilización de los re-sultados de la evaluación para proporcionar orientaciónpedagógica a instituciones y profesores. Este tipo de usode la información obtenida a través de la evaluaciónadopta dos modalidades distintas. En primer lugar, sonvarios los sistemas nacionales que han elaborado instru-mentos tales como cuadernillos de asesoramiento a losprofesores, en los que se analizan las respuestas correc-tas de las pruebas, así como los errores más habitualesque suelen producir los estudiantes, y se finaliza ofre-ciendo sugerencias didácticas más o menos concretas. Ensegundo lugar, aunque sea de forma más esporádica,también se han desarrollado acciones de orientación parainstituciones determinadas, ayudándolas a elaborar sus


121

propios planes de mejora, y se han incluido análisis de losresultados de la evaluación en programas de formacióndocente. Este tipo de uso, que es menos tradicional que ladifusión de informes, está recibiendo una atención cre-ciente por parte de diversas administraciones educativas.

Igual que sucedía en los epígrafes anteriores, también hayque decir aquí que los usos mencionados no son necesaria-mente excluyentes, sino que son cada vez más las adminis-traciones educativas que los combinan en distintos modos.Es cierto que algunos de ellos resultan contrapuestos, comopuede ser la alternativa existente entre la publicación de losresultados de las escuelas y la entrega confidencial de los da-tos, pero no siempre es el caso. De hecho, la combinación dela publicación de informes, la devolución de resultados a lasinstituciones participantes en la evaluación y la elaboraciónde instrumentos de orientación didáctica constituye una rea-lidad bastante extendida en los países de la región.

A la vista de la situación que se acaba de exponer ca-be extraer una primera conclusión, consistente en que lossistemas nacionales de evaluación de la región latinoameri-cana no recurren a estrategias de acción uniformes ni adop-tan enfoques de evaluación idénticos. Y esta conclusión no essólo una confirmación de los hechos que se han presentado,sino que se debe incluso considerar lógico que exista tal va-riedad. En efecto, si aceptamos la existencia de una multipli-cidad de propósitos, una diversidad de actuaciones y unapluralidad de usos, debemos aceptar la diversidad interna delos sistemas de evaluación. Serán precisamente los propósi-tos concretos que se persigan, los estilos de actuación que seadopten y los usos que se prefieran, los que determinarán lascaracterísticas del sistema de evaluación.

122


Una mirada a las pruebas nacionales de logros

Como se indicaba en el apartado anterior, los sistemas nacio-nales de evaluación que se han desarrollado en los países la-tinoamericanos desde los años ‘90 vienen prestando unaatención especial a la medición de los logros conseguidos porlos alumnos. Los instrumentos que se aplican con esa finali-dad son las genéricamente denominadas pruebas nacionales,que merecen una mirada especial por la importancia que hanllegado a adquirir.

Las pruebas nacionales presentan bastantes diferen-cias de unos países a otros, aunque también ofrecen algunassimilitudes. Entre sus elementos comunes, quizás el másdestacado sea la preocupación prácticamente universal quedemuestran por evaluar el rendimiento alcanzado en Len-guaje y Matemáticas. No obstante, aunque se trata de dosáreas especialmente atendidas por los sistemas de evalua-ción, no hay que pensar que sean los únicos dominios eva-luados. En efecto, la medición de los logros en ambas áreassuele ir acompañada por la evaluación de otras áreas curri-culares complementarias (entre las que sobresalen las Cien-cias, la Historia o las Lenguas extranjeras) o de otras capa-cidades de tipo transversal, no ligadas necesariamente aáreas específicas (como el autoconcepto, algunas estrategiasde aprendizaje o ciertas actitudes).

Las pruebas nacionales suelen aplicarse preferente-mente en los grados terminales de las principales etapas edu-cativas (sobre todo, al final de la enseñanza primaria y de lasecundaria). No obstante, también se aplican a veces enotros grados que tienen un especial interés desde el punto devista diagnóstico (por ejemplo, el final de ciertos ciclos), aun-


123

que la identificación de tales puntos focales varíe de unossistemas educativos a otros. El reciente desarrollo de algunosestudios internacionales ligados a la edad de los evaluados yno al grado que cursan, como es el caso del proyecto PISA dela OCDE, aún no ha encontrado traducción directa en los sis-temas nacionales de evaluación latinoamericanos, ni es pre-visible que lo haga a corto plazo. El interés que despierta lavaloración de los logros conseguidos al final de determinadasetapas supera hoy en la región al que suscita la valoracióndel nivel de formación a ciertas edades. La participación enaquellos proyectos internacionales parece satisfacer suficien-temente las preguntas que puedan plantearse en este últimosentido.

Dependiendo del propósito que guía a la evaluación,las pruebas se aplican en ocasiones a poblaciones o cohortesestudiantiles completas, mientras que en otros casos se limi-tan a muestras representativas de estudiantes. La primeradecisión permite hacer un uso más singularizado de los da-tos obtenidos, tal como comparar el rendimiento de diversasescuelas o estudiantes, mientras que la segunda es más ade-cuada para usos diagnósticos. Por otra parte, hay países enque las pruebas se aplican cada año, aunque es más frecuen-te que se adopten ciclos plurianuales, de distinta duración.

Las pruebas nacionales parecen satisfacer ampliamen-te a las autoridades educativas, a la vista del uso tan exten-so que se hace de ellas. No obstante, en un análisis más pro-fundo también presentan insuficiencias y problemas, que re-quieren una consideración más atenta.

Tres son las principales insuficiencias de las pruebasnacionales de logros que han subrayado los especialistas(Ravela, 2000). La primera consiste en la existencia de algu-nas debilidades técnicas en los procesos de desarrollo y vali-

124


dación de los instrumentos de medición. La segunda se refie-re a la insuficiente calidad y capacidad que las pruebas ofre-cen para evaluar aprendizajes complejos. La tercera tiene quever con el insuficiente aprovechamiento que suele hacerse dela información obtenida.

Los problemas a los que se ha hecho alusión son dedistinto tipo. Para comenzar, habría que señalar algunos re-lativos al diseño y confección de los instrumentos de eva-l u a c i ó n :

• Un primer problema tiene que ver con el contenido de laspruebas, asunto que plantea dos tipos de dificultades. Laprimera se refiere a la relación que debe existir entre laspruebas y los objetivos educativos. Lo deseable es que laspruebas estén referidas a los objetivos establecidos en elsistema educativo, de manera que permitan valorar elgrado en que se alcanzan las metas previstas. Aunque es-te planteamiento resulta lógico y plausible, plantea difi-cultades cuando no existen objetivos explícitos (lo quesucede en muchos casos), o cuando los objetivos de cadacurso o etapa se formulan de manera poco concreta.Cuando no se pueden determinar los objetivos de formaprecisa, resulta sin duda más difícil elaborar las pruebas.La segunda dificultad se refiere al tratamiento de la diver-sidad curricular existente entre diferentes regiones, distri-tos o escuelas. La mayoría de los modelos curricularesaplicados en América Latina conceden cierto grado de au-tonomía a las autoridades regionales o distritales o a laspropias escuelas para definir el currículo. En consecuen-cia, no resulta sencillo hacer pruebas que abarquen todaslas enseñanzas efectivamente impartidas en todo el siste-ma educativo. Las soluciones posibles son dos: elaborar


125

pruebas de mínimos, lo que implica reducir el campo deevaluación, o elaborar pruebas comunes a partir de unconsenso profesional o técnico. Ambas soluciones sonutilizadas en la región, sin que quepa conceder prioridada una de ellas sobre la otra.

• Un segundo problema tiene que ver con algunas disyun-tivas que se plantean en relación con el diseño y la con-fección de las pruebas. La primera disyuntiva se refiere alenfoque de las pruebas, que pueden estar centradas en losconocimientos adquiridos por los alumnos o abarcar tam-bién el desarrollo de actitudes. Las pruebas que midenunos y otras no son iguales, ni siquiera plantean las mis-mas exigencias técnicas, lo que obliga a decidir su enfo-que. Una segunda disyuntiva se refiere al carácter de laspruebas, pudiéndose optar por la elaboración de pruebasreferidas a criterios de logro o por la confección de prue-bas de tipo normativo, adaptadas a una distribución deresultados estadísticamente normal. La tercera disyuntivase refiere a la delimitación de la población sujeta a eva-luación, que permite optar por pruebas de aplicación cen-sal (dirigidas a toda la población estudiantil de un deter-minado grado o edad) o de tipo muestral (dirigidas amuestras representativas de población).

Otro grupo importante de problemas están relacionados conla explicación de los resultados conseguidos. La mayoría delos sistemas nacionales de evaluación no suelen contentarsecon medir los logros alcanzados por los estudiantes, sino quetambién pretenden explicar por qué se producen tales resul-tados. Sin embargo, dicho intento de explicación tropieza convarios problemas y dificultades:

126


• Un primer problema tiene que ver con el grado de cohe-rencia realmente existente entre la evaluación y el currí-culo. Como se señalaba al comienzo del trabajo, el desa-rrollo de los sistemas nacionales de evaluación ha ido ge-neralmente asociado a otros procesos de reforma curricu-lar. No obstante, esa simultaneidad no ha aseguradosiempre la existencia de una adecuada coherencia entreambos aspectos. En los casos más extremos, puede inclu-so decirse que ambos procesos se han desarrollado en di-recciones divergentes. Cuanto más importancia se ha con-cedido a las pruebas, mayor ha sido su impacto sobre eldesarrollo curricular.

• Un segundo problema, menos complejo pero no menos in-fluyente, está relacionado con el tipo de interpretaciónque permiten los diversos modelos de pruebas. Como seseñalaba más arriba, dos son los modelos de pruebas uti-lizados más habitualmente: criteriales y normativas. Laspruebas de tipo criterial proporcionan una base sólida pa-ra valorar la suficiencia de los logros conseguidos, ya quese apoyan en una definición operativa de los objetivosque deben alcanzarse. Por el contrario, las pruebas de ti-po normativo exigen alguna operación adicional para po-der valorar la suficiencia de los logros alcanzados, dadoque se refieren a situaciones de normalidad estadística.La existencia de estos dos modelos alternativos obliga aconsiderar cuidadosamente qué usos se quieren hacer delas pruebas, antes de decidir el que conviene aplicar.

• Un tercer problema se refiere a las dificultades conceptua-les y técnicas que se plantean a la hora de buscar explica-ciones. Por una parte, hay que reconocer la debilidad teó-rica de los modelos habituales de producción educativa,que en buena parte deriva del problema que plantea la


127

causalidad en educación. Esa debilidad influye en la se-lección de los factores que se consideran asociados al ren-dimiento, pocos de los cuales cuentan con confirmaciónempírica sólida (Scheerens, 1996). Además, la explica-ción de los resultados se ha basado tradicionalmente en ladistinción de dos tipos de variables, unas extrínsecas yotras intrínsecas. Mientras que las primeras (nivel socio-económico y cultural, recursos destinados a la educación)han sido objeto de análisis abundantes, las segundas (or-ganización del sistema educativo, procesos instituciona-les, procesos de aula) vienen resultando menos conclu-yentes y aún requieren investigaciones adicionales.

• Un cuarto problema tiene que ver con la voluntad que aveces existe de buscar muchas vías de explicación de losresultados obtenidos, que puede traducirse en un excesode datos recogidos. Cuando ese exceso de datos va unido,como ocurre en ocasiones, con una insuficiente delimita-ción conceptual de las variables seleccionadas y con limi-taciones en el análisis estadístico de los datos, la situa-ción puede llegar a resultar inmanejable. La consecuenciasuele ser una evidente infrautilización de los datos y unaineficiencia en el uso de los recursos disponibles.

• Un último grupo de problemas que plantean las pruebasde logros están relacionados con el uso que se hace de lasmismas y con las interpretaciones a que dan pie:

• Un primer problema tiene que ver con los distintos tiposde uso que pueden hacerse de la información. Los resul-tados de la evaluación pueden utilizarse con una finalidadformativa, orientada al desarrollo institucional y profesio-nal de los agentes implicados, para fomentar la competi-ción, e incluso para impulsar políticas de mercado en elámbito educativo. Obviamente, las interpretaciones que

128


permiten tales posibilidades son diferentes y persiguendistintos efectos. Es necesario señalar que, si bien esosson los extremos de un continuo de posibilidades de uso,existen otras opciones intermedias en que dichos propó-sitos pueden combinarse en diferente proporción. La de-cisión sobre el tipo de uso que se pretende hacer de losdatos de la evaluación condiciona en buena medida el di-seño de la evaluación.

• Un segundo problema tiene que ver con la existencia dediversas posibilidades de comparación (con una norma ocriterio, con otras realidades semejantes, consigo mismoa lo largo del tiempo), cada una de las cuales plantea suspropias exigencias y ofrece diferentes posibilidades. Eluso de la comparación plantea un problema complicado,que tiene que ver con la justicia de la comparación. El in-tento de dar respuesta a esa cuestión ha impulsado el de-sarrollo de técnicas de cálculo del denominado valor aña -dido.

• Un tercer problema consiste en el excesivo reduccionismoen que a veces se cae cuando se pretende interpretar losresultados de la evaluación. Ese defecto puede venir ori-ginado por una excesiva limitación del contenido de laspruebas, que no permite llegar a conclusiones razonablessobre el logro de los objetivos propuestos, o por una in-terpretación poco rigurosa de los datos, que puede inclu-so llegar a distorsionar las interpretaciones.

A la vista del análisis que acaba de hacerse de las pruebasnacionales de logros, se llega a la conclusión de que consti-tuyen la práctica de evaluación más habitual en la región, en-contrándose bastante asentadas en la actualidad. No obstan-te, como se ha puesto de manifiesto, presentan algunas defi-


129

ciencias y problemas que deberán solventarse en el futuro, sise quiere asegurar su credibilidad y se pretende que contri-buyan a mejorar la educación.

Algunas reflexiones finales

Si bien es cierto que las pruebas nacionales de logros consti-tuyen la práctica más habitual de evaluación educativa enAmérica Latina, no es la única que se desarrolla en la actua-lidad. Como se indicaba en las primeras páginas del trabajo,existen otros tres ámbitos que son también objeto de evalua-ción. El primero corresponde a los programas y las políticasde educación, que despiertan especial interés en el actualcontexto de revisión de las reformas educativas puestas enmarcha durante los años ‘90. En sus formas más elaboradasha servido para diseñar mecanismos de seguimiento de losprocesos de cambio, aunque se trata de una práctica escasa-mente implantada. El segundo ámbito corresponde a las ins-tituciones educativas, para cuya evaluación se han diseñadoy aplicado algunos modelos, tradicionales o innovadores,aunque sin que pueda decirse que esta tendencia haya alcan-zado todavía suficiente desarrollo. El avance más importan-te que se ha logrado en este sentido consiste en la expansiónde una conciencia nueva acerca del valor que tiene la evalua-ción institucional con vistas a la mejora de la calidad de laeducación. El tercer ámbito, y al mismo tiempo el más con-trovertido, corresponde al desempeño docente. Aunque enalgunos países se han desarrollado mecanismos de valora-ción de la tarea docente que están conectados con la medi-ción del rendimiento de los estudiantes, no existen todavíaexperiencias suficientes ni de larga tradición en este sentido.

130


Las experiencias que han explorado otras direcciones sonaún más escasas.

En conjunto, puede afirmarse que estos otros tres ám-bitos abarcados por la evaluación educativa están actual-mente infradesarrollados en relación con las pruebas de ren-dimiento. Hay que subrayar, no obstante, que la evaluaciónde tales aspectos puede contribuir notablemente a la mejorade la calidad de la educación. Precisamente de esa potencia-lidad procede el interés que despiertan en muchos países dela región.

Como conclusión final, cabe afirmar que la evaluaciónes una realidad integrada que cuenta con varios componen-tes: estudios internacionales de evaluación, estudios diag-nósticos nacionales del rendimiento, evaluación de las insti-tuciones educativas y otras evaluaciones complementarias dediversos aspectos de la actividad educativa (preparación ydesempeño de los docentes, impacto de las políticas aplica-das, funcionamiento de algunos programas re l e v a n t e s ) .Aunque no todos ellos se han desarrollado con la mismaenergía, los sistemas nacionales de evaluación no deberíaninfravalorar la importancia de concebirlos de forma integra-da, de manera que las acciones emprendidas se refuercenmutuamente.

El colofón a estas reflexiones que provoca la mirada alos sistemas nacionales de evaluación educativa consistiríaen que la evaluación debe considerarse como un instrumen-to para la mejora de la calidad de la educación y no como unapanacea capaz de solucionar todos los problemas que la edu-cación plantea. Otra consideración diferente de ésta no pue-de sino conducir a algunos errores de cierta importancia.


131

Bibliografía:

Braslavsky, C. (2001): Educación secundaria: ¿cambio o inmutabili -dad?, Buenos Aires, Santillana.

Comisión Internacional sobre Educación, Equidad y CompetitividadEconómica en América Latina y el Caribe (2001): Quedándonos atrás.Un informe del progreso educativo en América Latina, Santiago de Chile,PREAL.

Gajardo, M. (1999): Reformas educativas en América Latina. Balance deuna década, Santiago de Chile, PREAL (documento de trabajo nº 15).

Ravela, P., ed. (2000): Los próximos pasos: ¿Hacia dónde y cómo avan -zar en la evaluación de aprendizajes en América Latina?, Santiago deChile, PREAL.

Ravela, P. (2001): ¿Cómo presentan sus resultados los sistemas nacio -nales de evaluación educativa en América Latina?, Santiago de Chile,PREAL.

Scheerens, J. (1996): “Can the School Effectiveness Knowledge BaseGuide School Management?”, en II International Conference on SchoolManagement. Participative Management and School Evaluation, Bilbao,Universidad de Deusto, pp. 98-119.

Tiana, A. (1996): “La evaluación de los sistemas educativos”, RevistaIberoamericana de Educación, nº 10, 1996, pp. 37-61.

Tiana, A. (2000): Cooperación internacional en evaluación de la educa -ción en América Latina y el Caribe. Análisis de la situación y propuestasde actuación, Washington, BID – Departamento de Desarrollo Sostenible.

Winkler, D.y Gershberg, A.I. (2000): Los efectos de la descentralizacióndel sistema educacional sobre la calidad de la educación en América La -tina, Santiago de Chile, PREAL (documento de trabajo, nº 17).

132


Una mirada técnico-pedagógica acerca de las evaluaciones de calidadeducativa

Felipe Martínez Rizo

Introducción

Las preguntas sugeridas como punto de partida para la refle-xión de esta mesa fueron tres: ¿Qué estamos evaluando?¿Qué de lo evaluado resulta significativo? ¿Por qué las refor-mas educativas realizadas a lo largo de la década del 90 nose ven traducidas en los resultados de las evaluaciones?

Para aventurar la respuesta que considero debe darsea esas tres preguntas considero necesario presentar antes laque considero apropiada para una pregunta más: ¿qué debe-ríamos evaluar de modo que la evaluación sirva para mejo-rar la calidad educativa?

Organizaré mi presentación, pues, en cuatro aparta-dos, cada uno de los cuales pretende responder una de lascuatro preguntas mencionadas.

¿Qué deberíamos evaluar para que laevaluación sirva para mejorar la calidad?

Ante un auditorio interesado en la educación no es necesarioabundar en lo relativo a la importancia de su calidad y su

Una mirada técnico-pedagógica

133

evaluación. Pero teniendo en cuenta la diversidad de concep-ciones de estas dos nociones (calidad y evaluación) juzgonecesario explicitar mis propias ideas al respecto, de modoque las respuestas que ofreceré para las tres preguntas si-guientes cobren sentido pleno.

Tratando, pues, de responder a esta primera pregunta,afirmo que, idealmente, una evaluación adecuada para quesirva realmente para mejorar la calidad educativa sería unamuy amplia, que incluyera todas las dimensiones de la cali-dad; todas las áreas del currículo; los aspectos cognitivos pe-ro también los actitudinales y valorales; no sólo niveles dedominio elementales, sino también los más elevados; insu-mos, pero también procesos y productos; los diversos actoresy niveles organizacionales del sistema educativo; y que, ade-más, incluyera el análisis de los factores que inciden en la ca-lidad, de manera que dé bases para el diseño y la implemen-tación de políticas.

Desarrollo el primero de los elementos anteriores: unabuena evaluación deberá comprender todas las dimensionesde la calidad.

Sabemos que las políticas educativas han puesto elacento sucesivamente en la atención de la cobertura, luegoen la eficiencia terminal y, más recientemente, en el nivel deaprendizaje alcanzado por los alumnos y en la equidad delservicio educativo. La coincidencia de la secuencia anteriorde tales políticas en muchos países de la región latinoameri-cana y otras partes del mundo no es casual: responde, desdeluego, a la similar evolución del contexto demográfico, eco-nómico, social y cultural.

Es frecuente que el término calidad se defina en formarestringida, limitándolo a lo que se refiere a los niveles deaprendizaje. En este sentido se dice que, tras centrar la aten-

134


ción en la cobertura y la eficiencia, ahora las políticas educa-tivas ponen el énfasis en la calidad. Otra manera de usar lapalabra, que juzgo preferible, le da un sentido más amplio,que se aplica también a las políticas de cobertura y eficienciaterminal.

Un concepto amplio de calidad, en efecto, no puede de-jar fuera las dimensiones de cobertura y eficiencia, aunqueno pueda limitarse a ellas y deba incluir además el nivel deaprendizaje, entre otras cosas.

Un concepto amplio de calidad debe incluir, en mi opi-nión, varias dimensiones que, en forma sintética, pueden ex-presarse diciendo que un sistema educativo de calidad esaquél que:

• Establece un currículo adecuado a las necesidades de lasociedad, incluyendo las de una mayor productividad eco-nómica, pero también otras necesidades básicas en unaperspectiva de desarrollo integral, como las que tienenque ver con la democracia política, el respeto de los dere-chos humanos, el desarrollo de la ciencia, el cuidado delmedio ambiente y la preservación y enriquecimiento de ladiversidad cultural. Esta dimensión puede definirse con laexpresión relevancia de los objetivos curriculares.

• Logra que la más alta proporción posible de destinatariosacceda a la escuela, que permanezca en ella hasta el finaldel trayecto previsto y que egrese alcanzando los objeti-vos de aprendizaje establecidos. Esta dimensión incluye,pues, la cobertura y la eficiencia terminal, así como el ni-vel de aprendizaje, y en términos sistémicos coincide conla eficacia interna del sistema.

• Consigue que los aprendizajes logrados por los alumnossean asimilados por éstos en forma duradera y deriven en


135

comportamientos sociales sustentados en los valores delibertad, equidad, solidaridad, tolerancia y respeto a laspersonas, que son fructíferos para la sociedad y para elpropio individuo, quien podrá así alcanzar un desarrollopleno en los diversos roles que habrá de desempeñar co-mo trabajador, productor, consumidor, padre de familia,elector, servidor público, lector y telespectador, entreotros; en pocas palabras, como ciudadano cabal. En tér-minos sistémicos esta dimensión es la de la eficacia ex -terna o impacto del sistema.

• Cuenta, para lograr lo anterior, con recursos humanos ymateriales suficientes, y los aprovecha de la mejor mane-ra posible, evitando despilfarros y derroches. Es fácilapreciar que esta es la dimensión eficiencia del sistema.

• Tiene en cuenta la desigual situación de alumnos y fami-lias, de las comunidades en que viven y las escuelas mis-mas, y ofrece apoyos especiales a quienes lo requieren,para que los objetivos educativos sean alcanzados por elmayor número posible. Esta última dimensión es la deequidad.

Conceptualizada así, multidimensionalmente, la educaciónserá de calidad si es relevante, si tiene eficacia interna y ex -terna, si tiene un impacto positivo en el largo plazo, si es efi -ciente en el uso de los recursos y si busca la equidad.

Considero que es mejor este concepto amplio de cali-dad que uno restringido, porque creo que nadie creerá que unsistema educativo es de calidad si atiende sólo a una fracciónde la población en edad de acceder a cierto nivel, o si pierdeen el camino a muchos de los alumnos que lo comienzan,aunque los que terminan lo hagan con altos niveles deaprendizaje.

136


Los otros componentes de una buena evaluación sonclaros: todas las áreas del currículo, comenzando por supues-to con Lectoescritura y Matemáticas, pero sin limitarse aellas, sino contemplando, al menos en el mediano plazo, lasciencias naturales y las del hombre, la educación física y ar-tística, etc.

Deberán incluirse los aspectos cognitivos pero tambiénlos actitudinales y valorales, ya que la educación no sólo pre-tende desarrollar los primeros, sino también, y con crecienteénfasis, los segundos, cuya importancia para la vida en unasociedad democrática y culta se reconoce cada vez más. Ob-viamente, no sólo deberán valorarse niveles de aprendizajeelementales, como memorización, sino también los más ele-vados, de razonamiento propio, juicio crítico y creatividad.

Una buena evaluación no podrá limitarse a los insu-mos del sistema, si bien no puede olvidarlos, ya que sin ellosno es posible medir la eficiencia del sistema, pero habrá deconsiderar también los productos, para valorar la eficacia, ylos procesos, como parte de una aproximación explicativaque indague en lo relativo a las causas de la situación descri-ta, con lo que se dará sustento sólido al diseño y la imple-mentación de acciones de mejoramiento.

Con un enfoque integral como el que se propone, laevaluación tomará en cuenta no sólo a los alumnos, sinotambién a los maestros, los directores y supervisores y lasautoridades educativas, así como los diferentes niveles de or-ganización de un sistema complejo como el educativo, en ca-da uno de los cuales hay una problemática específica, y opor-tunidades particulares de intervención: el aula, la escuelasingular, la zona o distrito escolar, el municipio, la región,provincia o entidad federativa, y el país.

Una buena evaluación, además, deberá caracterizarse


137

por las cualidades técnicas de cualquier medición buena, quese resumen en la validez y la confiabilidad, en sus diversasfacetas: que se mida realmente lo que se pretende medir, yque se haga de manera que los resultados sean comparablesen el espacio y en el tiempo.

Subrayo que la evaluación no puede reducirse a laaplicación de pruebas de aprendizaje. Estas son, sin duda,necesarias para la medición de los resultados de la enseñan-za, pero la valoración de otros aspectos implica la construc-ción de indicadores con otro tipo de datos, tomados de otrasfuentes, como los sistemas de información estadística o estu-dios ad hoc.

Es claro que esta es una visión ideal, que en sentidoestricto es imposible llevar a la práctica, pues exigiría unacantidad de trabajo y un volumen de recursos enorme pararecolectar la información necesaria.

P e ro si no se tiene este punto de re f e rencia es fácilcaer en el error opuesto, que en la realidad se ha dado enmuchos lugares: el de reducir el sistema de evaluación a loselementos más fácilmente disponibles, con lo que sólo sedispone de datos gruesos y burdos sobre el número de alum-nos inscritos en el sistema al inicio y al fin de un ciclo, el dem a e s t ros y escuelas, el presupuesto asignado a las escuelasy poco más.

Por ello creo que es importante manejar una visiónideal de lo que debería ser la evaluación como referente parael desar rollo de un sistema concreto; con tal punto de refe-rencia, y con ayuda de las metodologías de investigación yevaluación educativa desarrolladas en las últimas décadas,es factible diseñar sistemas mucho más finos que los habi-tuales, con requerimientos de recursos al alcance de los sis-temas educativos reales.

138


No está de más precisar que diversos tipos de evalua-ción son competencia de diversas instancias. En particularconviene distinguir la evaluación de individuos de la de lossistemas como tales. La evaluación de los alumnos en lo in-dividual, por ejemplo, es y sin duda seguirá correspondiendoa los maestros y las escuelas en que están los alumnos; laevaluación de los maestros en lo individual corresponde y co-rresponderá seguramente a los directores y supervisores.

La evaluación a la que me refiero en este escrito es,precisamente, la del sistema educativo en cuanto tal. Se tra-ta, pues, de una evaluación de nivel macro, que no sustituyea las evaluaciones individuales, sino que las complementa,iluminando un ángulo diferente de la realidad educativa.

Tras lo anterior, las respuestas a las siguientes pre-guntas serán más breves.

¿Qué estamos evaluando?

Resumo mi respuesta, en forma algo simplista y cruda, di-ciendo que evaluamos algunas de las dimensiones de la cali-dad educativa, pero dejando fuera varias de las más impor-tantes, que lo hacemos de manera imprecisa, y que no llega-mos a las causas.

Hasta hace muy pocos años, la situación de la mayorp a rte de los sistemas de evaluación educativa de los paísesde la región era justamente la que se ha mencionado antes:solamente se contaba con datos sobre alumnos, maestro s ,escuelas y presupuestos, con lo que se podían estimar indi-c a d o res de cobertura, eficiencia terminal y costo alumno enf o rma gruesa, ya que por lo general no se controlaba la ca-lidad de los procesos de recolección de información, no semanejaban datos por edad, con lo que sólo podían constru i r-


139

se tasas brutas y no netas y se manejaban sólo cohort e sa p a re n t e s .

Los esfuerzos que han hecho muchos de nuestros paí-ses en la última década han incluido, por una parte, mejorasen los sistemas de información y, por otra, el desarrollo desistemas de pruebas nacionales para valorar los aprendizajesde los alumnos. Estos esfuerzos son importantes, sin duda,pero aún están por consolidarse y adolecen de fallas claras,explicables por la falta de una tradición en el campo y la con-secuente escasez de recursos humanos especializados.

Pecando tal vez de simplismo, creo que en la regiónatendemos la cobertura y la eficiencia terminal en forma im-perfecta y el nivel de aprendizaje de los alumnos en áreas cu-rriculares y grados clave, pero por lo general limitándose aniveles cognitivos bajos. La contraparte obvia, lo que no es-tamos evaluando, incluye áreas curriculares adicionales, ni-veles cognitivos superiores, aspectos actitudinales y valora-les, procesos tanto pedagógicos como de gestión y lo relativoa equidad.

En las escuelas se evalúan muchas de estas cosas,desde luego, pero no parece haber procedimientos para valo-rar tales dimensiones o aspectos de la calidad de manera per-manente y sistemática en el nivel nacional. Debe añadirseque muchas veces las evaluaciones que hacemos no tienen,en un grado suficiente, las características técnicas menciona-das de validez y confiabilidad.

Por lo que se refiere a validez, la ausencia de contro-les de las variables relevantes del contexto pueden hacer quemidamos en realidad pobreza, cuando creemos medir calidadde las escuelas. En este sentido en la región es muy raro to-davía el uso de las poderosas técnicas actuales, como los mo-delos jerárquicos lineales, que permiten identificar la influen-

140


cia de los factores del entorno distinguiéndolos, por ejemplo,de los de la escuela, el aula y el propio alumno.

En cuanto a confiabilidad, es también raro el uso demetodologías psicométricas avanzadas, como los modelos dela teoría de la respuesta al reactivo, que permiten contar conescalas más precisas, comparables en el tiempo, que cuidanla unidimensionalidad y evitan el sesgo de manera más ade-cuada que las técnicas de la teoría clásica de las pruebas. De-be añadirse que, hasta hace poco tiempo, no era raro que semanejaran pruebas que no empleaban en forma rigurosa si-quiera los principios de la teoría clásica. Las técnicas de va-lor agregado son también muy poco conocidas.

¿Qué de lo evaluado resulta significativo?

En principio los mecanismos de evaluación existentes son to-dos significativos y, aun en ausencia de los que se sugiereañadir, contienen potencialmente elementos útiles para elmejoramiento de los sistemas educativos. Sin embargo, esfrecuente que aún esos elementos se desaprovechen y sólosirvan para acumular datos en anuarios estadísticos destina-dos a empolvarse en los estantes, sin que los responsables detomar decisiones, y mucho menos los maestros, los conozcany utilicen para retroalimentar su quehacer.

Esto quiere decir que, además de mejorar los actualesmecanismos de evaluación y de enriquecerlos con nuevoselementos, es necesario un importante esfuerzo de difusiónde resultados y de capacitación de los usuarios para que es-tén en condiciones de entender y aprovechar los resultadosde las evaluaciones.

¿Por qué las reformas realizadas en los 90 no se ventraducidas en los resultados?


141

Esta pregunta parte de un supuesto que no me pareceincuestionable: que las reformas educativas implementadasen América Latina en los ‘90 no han dado resultados.

Los niveles educativos de nuestros países son el resul-tado de un enorme conjunto de factores, incluyendo unos tancomplejos como el explosivo incremento demográfico que hi-zo del subcontinente la región de mayor crecimiento pobla-cional en toda la historia hasta mediados del siglo XX, la po-breza que aflige a gran parte de la población y la diversidadétnica y lingüística. Otros factores igualmente complejos in-cluyen el carácter autoritario de muchos regímenes políticos,las estructuras sindicales y burocráticas, y la desigualdad an-cestral de nuestras sociedades.

Los cambios educativos, por otra parte, son complejostambién y, en el mejor de los casos, llevan mucho tiempo; nopueden ser el resultado rápido de esfuerzos simples.

Por ello, aun si en verdad las reformas de los años 90no han dado resultados, podrían encontrarse diversas expli-caciones. Las políticas educativas de la región han adolecido,en muchos casos, de serias deficiencias en diversos aspectos:en el diagnóstico en que se sustentan, muchas veces incom-pleto e impreciso; en el diseño de los programas, muchas ve-ces simplista, apostando demasiado a pocos elementos de losque se espera más de lo que pueden dar; y, tal vez, sobre to-do, en la implementación.

No es fácil, en efecto, que las re f o rmas lleguen hasta elnivel más importante, el de la escuela y el aula. Para ello sere q u i e re de tiempo y, además, de estrategias muy finas quea s e g u ren la participación de los maestros. Desgraciadamente,es más frecuente encontrar estrategias simplistas e implemen-taciones apresuradas que procesos cuidadosos y re s p e t u o s o sde los actores de base y de la complejidad de la cuestión.

142


No debería sorprender, por consiguiente, que los resul-tados obtenidos disten mucho de los esperados.

P e ro el punto que quiero destacar es que no tenemosevidencia suficiente para afirmar de manera contundenteque las re f o rmas de los ‘90 no han tenido resultados. Hay,sin duda, indicios importantes en tal sentido, pero los siste-mas de evaluación de que disponemos no sustentan afirm a-ciones tajantes.

En part i c u l a r, creo que en México hay elementos pa-ra sostener que el nivel de aprendizaje ha mejorado ligera-mente en los últimos años; que el impacto del gasto públi-co en educación básica está siendo mayor para los tres de-ciles más pobres de la población, contra lo que ocurría an-tes; y que los programas compensatorios emprendidos aprincipios de los 90 han logrado reducir la deserción en me-dio rural y mejorar los niveles educativos en las zonas másd e s f a v o re c i d a s .

Por lo demás, la gran desigualdad que caracteriza anuestras sociedades hace que necesitemos evaluaciones másp recisas, que tengan en cuenta el peso de los factores del en-t o rno, tanto en razón del principio de equidad, como para va-lorar en su justa medida los avances que puedan darse en con-textos diferentes, en los que la mejora es más o menos difícil.

Conclusión

La última pregunta es, a mi juicio, la más importante de lascuatro que he tratado de responder, tanto por lo que expresa-mente plantea, como por lo que sugiere de manera implícita.Ampliando lo dicho hasta ahora trataré de aportar algunasideas al respecto.


143

La experiencia de las reformas educativas implemen-tadas en los países de mayor desarrollo económico ha dejadolecciones importantes, en la dirección ya apuntada: no debenesperarse cambios espectaculares; las mejoras educativas seconsiguen en lapsos de tiempo largos, y mediante esfuerzossistemáticos y complejos, no gracias a recetas mágicas sim-ples o panaceas.

Hoy sabemos también que no debe exagerarse la im-portancia de los recursos materiales; estos son importantes,sin duda, sobre todo hasta ciertos umbrales mínimos, y talvez más en cuanto a la regularidad o continuidad de su exis-tencia que en cuanto a su monto absoluto. Pero parece claroque tanto y más importan los procesos a través de los que seutilizan los recursos: procesos pedagógicos especialmente enel interior del aula, procesos más amplios de gestión en el ni-vel nacional y regional y, sobre todo, en cada escuela, dondeel trabajo del equipo docente, el liderazgo del director y laparticipación de los padres de familia han mostrado ser fun-damentales.

Para poder responder con bases sólidas a la preguntasobre el éxito o el fracaso de las reformas educativas necesi-tamos, pues, en mi opinión, contar con sistemas de evalua-ción bastante más sólidos, aunque no mucho más costososque los existentes, que nos den la información clave, de quehoy carecemos, sobre las diferentes dimensiones de la cali-dad educativa de nuestros países en forma continuada y per-manente.

Es posible que nos llevemos algunas sorpresas agra-dables, en el sentido de que los esfuerzos realizados hastaahora han dado algunos resultados, no espectaculares, perosí razonables, en una perspectiva histórica y comparativa enel plano internacional.

144


También es posible que se confirme la idea de que noha habido resultados positivos. En este caso, si tenemos bue-nos sistemas de evaluación tendremos también elementospara saber por qué ha ocurrido tal cosa, y para diseñar pro-gramas de mejora más adecuados.


145

La evaluación y las actitudes de losdocentes frente a ella: dificultades yalternativas de política

Juan Carlos Navarro28

Introducción

Se ha convertido en un tópico de los planteamientos de re-f o rma educativa en toda América Latina el re c o n o c i m i e n t ode la importancia de contar con los docentes como pieza cla-ve en la ejecución de programas innovadores y políticas sis-témicas dirigidas al mejoramiento de la educación. La mayorp a rte de las re f o rmas importantes de la década pasada hicie-ron un esfuerzo por “traer a bordo” a los docentes a la horade emprender cambios significativos en la organización, loscontenidos, el financiamiento o las metodologías para pro-mover el aprendizaje. Mecanismos para la incorporación delpunto de vista de los docentes y sus organizaciones gre m i a-les en el diseño de políticas, recuperación de los salarios se-veramente disminuidos durante la década de los años ‘80,mejoramiento de los recursos con que cuentan los maestro sen el aula, y un renovado énfasis en el reconocimiento pú-blico a la importancia del rol de maestro en la sociedad han

La evaluación y las actitudes de los docentes

147

28 Las opiniones expresadas en este trabajo son de la responsabilidad exclu-siva del autor y no pretenden representar la posición oficial del Banco Inter-mericano de Desarrollo.

sido aplicados en diversas combinaciones en varios de lospaíses de la re g i ó n .

Evaluar sistemáticamente estos intentos por lograrque los docentes se apropien de las reformas va mucho másallá del alcance de este trabajo. Cabe simplemente apuntarque, aunque el énfasis en centrar los esfuerzos en mejorar eltrabajo docente y su efectividad ha sido en general bienveni-do como una parte esencial de las reformas, y de hecho pa-rece encontrarse todavía en ascenso en el marco de las polí-ticas de prácticamente todos los Ministerios de Educación, almismo tiempo se constata cierta decepción en la capacidadque han tenido las reformas para llegar al aula y para afectarpositivamente el trabajo cotidiano de los docentes y sus re-sultados. Tampoco puede dejarse de mencionar que frecuen-temente importantes reformas se han topado con la descon-fianza, cuando no resistencia organizada, por parte de losdocentes y sus organizaciones, lo que puede verse, hastacierto punto, como un elemento más del carácter participati-vo del avance de las reformas, pero al mismo tiempo como elsíntoma de las limitaciones que parecen persistir en la capa-cidad de las políticas educativas para encontrar simpatía yapoyo activo entre aquellos sin cuya participación esas mis-mas políticas están condenadas a tener efectos menores onulos. El tema abierto, si la caracterización anterior refleja ladiscusión sobre reformas educativas en la región, es así: quépuede hacerse para entender mejor las reacciones de los do-centes a las reformas, y para conceptualizar éstas de formaque mejore su capacidad para encontrar reconocimiento, des-pertar entusiasmo y generar acciones constructivas en elcuerpo docente.

Pocos ámbitos más fértiles para el examen de esteasunto que el de la evaluación de la calidad educativa. Du-

148


rante la década pasada varios países de la región introduje-ron sistemas de exámenes estandarizados para la mediciónde los resultados de aprendizaje de sus escuelas, al puntoque hoy casi ningún país carece de al menos alguna expe-riencia en este campo y varios han acumulado trayectoriasprolongadas que los ponen en posesión de sistemas sofisti-cados y reconocidos desde el punto de vista técnico. Simultá-neamente, el auge en tiempos recientes de pruebas interna-cionales comparativas ha contribuido, por un lado, a estimu-lar el desarrollo de capacidades técnicas e institucionales enlos países, y, por otro, a elevar el perfil de la discusión nacio-nal y regional sobre los resultados de este tipo de pruebas. Elhecho de que los resultados muestran consistentemente con-siderables problemas en términos de cómo se comparan loslogros de aprendizaje en los sistemas de la región cuando selos compara con los de otras partes del mundo, ha agregadoun ingrediente polémico a la discusión.

¿Dónde están los docentes en esta discusión? El pro-pósito central de este trabajo es abordar el tema desde elpunto de vista, sin duda limitado, que ofrecen algunos de losresultados de un proyecto de investigación comparativa so-bre la carrera docente en América Latina promovido haceunos tres años por la Red de Centros de Investigación delBanco Interamericano de Desarrollo29. El proyecto en cues-tión se propuso observar y comparar las características, per-cepciones y conductas de los maestros en diversos ambien-tes institucionales, con el fin de investigar si los cambios


149

29 Los resultados del estudio están disponbles en el volumen editado por es-te autor: Qué piensan los maestros: Carreras e incentivos docentes en Améri -ca Latina. Red de Centros de Investigación en Economía Aplicada, Banco In-teramericano de Desarrollo, 2002.

introducidos en los incentivos presentes en esos ambientestenían un impacto en la efectividad de los docentes y las es-cuelas en las que trabajan30. Para asegurar variabilidad enlos ambientes institucionales, por un lado, se realizó el estu-dio en varios países –siete en total– y, por otro, dentro de ca-da país se hizo lo posible por captar la variabilidad institu-cional en lo interno del sistema educativo, distinguiendo en-tre escuelas públicas y privadas, y allí donde fue posible en-tre diferentes tipos de públicas –escuelas federales y munici-pales, por ejemplo– y diferentes tipos de privadas. Los paísesincluidos en el estudio fueron Argentina, Chile, Guatemala,Perú, República Dominicana, Uruguay y Venezuela.

Como parte de la investigación requerida para avan-zar en el objetivo central de este proyecto, se recogió, por unlado, información acerca de las actitudes y opiniones de maes-t ros en ejercicio de los países mencionados respecto de cuána p ropiado consideraban que su labor docente fuera objeto deevaluaciones. Por otro lado, cada estudio nacional investigóhasta qué punto existían experiencias en materia de intro d u-cir sistemas de evaluación docente y qué tanto estos teníanvinculación con evaluaciones de la calidad de los apre n d i z a-jes. A estos resultados parciales nos re f e r i remos a continua-ción, luego de exponer algunos elementos conceptuales nece-sarios para encuadrar la discusión en su justa dimensión.

150


30 El término “incentivo” se usó en el estudio, como aquí, en un sentido am-plio, para referirse a cualquier estímulo que los maestros experimenten paraconducir su trabajo de una cierta forma o tomar decisiones profesionales. Enlo absoluto el término se utiliza en el sentido estricto de pagos o recompen-sas pecuniarias a individuos. Las expresiones “institución” o “ambiente ins-titucional”, por su parte, designan indistintamente conjuntos o “paquetes” deincentivos que caracterizan a un particular sistema escolar o grupo de escue-las que responden al mismo tipo de autoridad o principio de organización.

Evaluación de calidad y evaluación del desempeño docente

El avance en la implementación de sistemas de evaluación dela calidad de la educación en la mayor parte de los países deAmérica Latina que se registraba al principio de este trabajoparece indicar que, o bien no ha sido activamente antagoni-zado por los docentes y sus organizaciones, o bien, si lo hasido, este tipo de oposición resultó particularmente pocoefectiva. En general podría decirse que, independientementede las complejidades de la economía política de la educaciónen los diversos contextos nacionales, la actitud docente nofue un obstáculo de consideración para la instauración deexámenes estandarizados de medición de los resultados deaprendizaje.

Por otra parte, es ampliamente conocido que ha habi-do considerable desconfianza por parte de muchos docentesfrente al hecho de la introducción de los sistemas de evalua-ción. También prevalece un sentido general de insatisfacciónen cuanto a la capacidad que los sistemas educativos han te-nido para utilizar los resultados de estas evaluaciones demanera efectiva en, por un lado, orientar políticas y reformasnacionales, pero, muy especialmente, para llegar a la escue-la y el aula de forma constructiva y práctica.

Es necesario mencionar que sí se ha registrado oposi-ción a la mayoría de los intentos por introducir sistemas deevaluación de los docentes o su trabajo, incluyendo aquellosque han propuesto una vinculación entre estos sistemas y lossistemas de evaluación de calidad ya existentes. Esto últimoes tanto más importante cuanto que parece del más puro sen-tido común el pretender que, una vez que se tienen en la ma-no registros sistemáticos y confiables de la calidad de la edu-


151

cación en un sistema –muchas veces desagregado a nivel deregión, provincia, sector rural o urbano, sector público o pri-vado, municipio, escuela o cualquier otra subdivisión rele-vante–, una forma de tomar decisiones a partir de ellos esresponsabilizar a las escuelas y los docentes que han inter-venido en la producción de los resultados de aprendizajesobservados. Si a esto se suman las dificultades bien conoci-das para observar la productividad del trabajo docente, dadolo problemático de observar las prácticas de aula y la escasezde otros indicadores de tal productividad, se entiende fácil-mente que la tentación para dar el salto entre evaluaciones decalidad y evaluaciones de la docencia y de los docentes tien-de a ser fuerte.

Este salto, por lo demás, no se produce solamente enlas páginas de los análisis de políticas, sino, de hecho, tienelugar en las políticas educativas que reaccionan a los resul-tados de las evaluaciones de calidad, y, de forma tanto o másimportante, en la actidud del público en general respecto dela responsabilidad de los docentes por el lamentable estadode la educación nacional. Y es a cualquier indicación de quelas autoridades educativas de un país están cediendo a unatentación como ésta, a la sola posibilidad de que cedan o deque la discusión pública se vuelva en su contra, que losmaestros se han opuesto con fuerza.

Actitudes frente a la evaluación del desempeño docente

Un hecho sólido, documentado en el estudio de referencia, esque cualquiera que sea la intensidad de esta hostilidad, noparece que pueda atribuirse a una actitud de los docentes de

152


oposición a la idea misma de la evaluación. Así, el estudiocontenía un ítem, en el marco de una escala actitudinal másamplia, que interrogaba especialmente a los maestros acercade qué tan de acuerdo estaban con la proposición “Es justoque se evalúe mi desempeño”. Las respuestas a este ítem dela encuesta pasada a más de cinco mil docentes de educaciónbásica incluidos en el estudio muestran un respaldo amplia-mente mayoritario a la proposición en cuestión. En el Gráfico1 se encuentra un resumen de la información correspondien-te, discriminada según país.


153

Gráfico 1Actitudes respecto a la evaluación del desempeño docente

Fuente: El desempeño de los maestros en América Latina: Carreras e incentivos. BID,2002.

Total

Venezuela

Uruguay

Perú

Guatemala

Rep.Dom.

Chile

Argentina

Muy en desacuerdoIndiferenteMuy de acuerdo

En desacuerdoDe acuerdo

Tal como puede observarse, en todos los países las respues-tas aprobatorias de la proposición presentada son claramen-te mayoritarias, con las alternativas “Muy en desacuerdo” y“En desacuerdo” alcanzando alrededor del diez por ciento dela muestra global. Solamente en Uruguay y en Chile se en-cuentra que la suma de estas categorías alcanza el 30 porciento de los maestros entrevistados. A juzgar por este ele-mento de juicio, difícilmente puede argumentarse que la no-ción de evaluación del desempeño docente es enérgicamenterechazada por los profesionales de la docencia. Muy al con-trario, parece haber una considerable apertura a la idea o, sise quiere, al principio según el cual la evaluación del desem-peño docente es algo justo y apropiado.

Más allá de este hecho sólido, la información recolec-tada en el proyecto sobre carreras docentes permite caracte-rizar de forma algo más específica la aceptación de los docen-tes a la idea de evaluación, proporcionando el fundamentopara afirmaciones como las siguientes:

• La aceptación de la idea de evaluación del desempeño do-cente crece a medida que es más fuerte su acuerdo con lascondiciones en las que el docente labora y también en lamedida en que se eleva su satisfacción con la profesióndocente misma como práctica profesional.

• Los maestros cuyas prácticas y actitudes se acercan mása aquellas normalmente identificadas en la literatura co-mo conducentes a una enseñanza más efectiva, tienden aaceptar más la idea de que su desempeño debe ser eva-luado. Esto es particularmente claro en el caso de la estre-cha asociación entre aceptar la evaluación y la existenciade un clima normativo fuerte en la escuela en que traba-jan los maestros, y también en el caso de la relación di-

154


recta entre maestros que registran actitudes fuertes de“ciudadanía organizacional”31 y maestros que aceptan laevaluación.

• La aceptación de la evaluación, aunque muy fuerte entretodas las cohortes, tiende a ser significativamente másf u e rte entre los docentes más jóvenes, de 15 o menos añosde experiencia. También tiende a ser más fuerte entre losdocentes con mayor número de años de educación form a l .

Hallazgos como estos apuntan a algunas lecciones de interés:en primer lugar, la actitud favorable hacia la evaluación pue-de ser fomentada a través de intervenciones que mejoren lasatisfacción del docente con su ambiente de trabajo y con laprofesión. Estas son claramente variables sujetas a la inter-vención de las autoridades educativas, y que además hanevolucionado favorablemente en buena parte de los países deAmérica Latina en tiempos recientes, lo que de por sí puedecontribuir a explicar el importante grado de aceptación de laevaluación entre los maestros. En segundo lugar, la asocia-ción entre prácticas educativas efectivas y aceptación de laevaluación del desempeño sugiere que en la medida en quelas escuelas ganan en efectividad y competencia para produ-cir mejores aprendizajes –algo que, por supuesto, es el desi-deratum de la política educativa, antes que un resultado deintervenciones específicas, como en el caso de la mejora del


155

31 El concepto de “ciudadanía organizacional”, adaptado de la psicología la-boral, se refiere en este contexto a qué tanto los docentes tienen un sentidode la obligación y deber en el trabajo que va más allá de la definición explí-cita de sus tareas cotidianas. Se trata de hasta qué punto el docente está dis-puesto a “poner un esfuerzo extra”, y es receptivo a pedidos de que así lo ha-ga que venga, por ejemplo, de parte de colegas o del director de la escuela,con tal de apuntalar el éxito de la organización en que trabaja.

ambiente de trabajo del docente–, debería esperarse un cam-po más fértil para la introducción de mecanismos de evalua-ción del trabajo docente. Finalmente, la mayor apertura delas nuevas generaciones de maestros y su mayor nivel de lo-gro educativo promedio permiten abrigar también cierto op-timismo a la hora de sopesar las perspectivas de la evalua-ción en el futuro mediato.

Ahora bien, es bueno recordar al alcanzar este puntoque hasta aquí la discusión ha tenido que ver con la acepta-ción por parte de los docentes del principio de la evaluacióndel desempeño, no de su práctica específica en el contexto delas instituciones educativas en las que les toca trabajar. Re-sultó prácticamente imposible en el contexto de los sistemasescolares en los que se realizó la encuesta explorar este temade forma similar al punto general de la aceptación de la eva-luación. La principal razón de esta imposibilidad, sin embar-go, quedó registrada sistemáticamente en los estudios nacio-nales, y resulta ampliamente instructiva.

La problemática puesta en práctica del principio de evaluación del desempeño

Así, se desprenden del conjunto de los casos estudiados unpar de hechos relevantes para esta discusión:

• El principio de evaluación del desempeño docente a travésde programas o sistemas especializados para la produc-ción de tal tipo de evaluaciones está incorporado en prin-cipio, si bien muy modestamente –esto es, no como unprincipio central de la evaluación docente, sino como unode varios y con importancia secundaria–, en las políticas

156


educativas de al menos 4 de los 7 países estudiados. Tén-gase en cuenta que en 3 de estos casos se ha intentado deuna forma u otra establecer una vinculación entre evalua-ción del desempeño docente y sistemas de medición de lacalidad de los aprendizajes de los alumnos.

• La puesta en práctica de este principio ha sido muy pro-blemática y nada exitosa.

En otras palabras, aunque existe un reconocimiento formal yteórico de la necesidad de evaluar docentes y de incluir el de-sempeño como un elemento menor de una serie de otros cri-terios necesarios para tal evaluación, ha sido muy difícil –porno decir imposible– poner a funcionar sistemas que represen-ten una expresión competente y sostenible en el tiempo de talreconocimiento.

Hay de hecho una lista de casos en los que esto puededocumentarse con claridad:

• El estudio sobre el Perú muestra que una escala formal decriterios de evaluación para docentes, vigente aunque im-plementada en la práctica sólo en una oportunidad, otor-ga al desempeño un máximo de 60 puntos en un total de200 posibles a la hora de evaluar a un docente. Ha sidoimposible acordar los criterios técnicos y obtener el acuer-do político para poner a funcionar esta escala sobre unabase regular.

• La “Tabla de Valoración de Méritos”, en Venezuela, incor-pora un “certificado anual de eficiencia” para cada docen-te, que puede llegar a pesar entre 5 y 11 por ciento de laevaluación que se utilizaría para los ascensos, y durantelargo tiempo ha permanecido sin efecto por ausencia de lanecesaria reglamentación.


157

• En República Dominicana los aumentos del salario del do-cente podrían deberse hasta en un tercio a una evaluacióndel desempeño, pero tal aproximación a la remuneracióndocente no ha podido ser implementada en forma efecti-va, dado el intento inicial de hacer depender la evaluaciónde los maestros de los directores, mientras al mismo tiem-po se hacía depender la evaluación de los directores de laopinión de los maestros, lo que en la práctica restó al sis-tema su credibilidad y efectividad desde su primer inten-to de implantación.

En la práctica, como puede constatarse, el destino deiniciativas como ésta no ha sido muy felíz. Los estudios na-cionales describen casos en los que se instituyen primas obonificaciones para todos los docentes y se las llama incen-tivos, o pagos por desempeño, si bien forman en la prácticaparte de la remuneración básica de todo docente. Tambiénhay varias experiencias en las que se instituyen pagos queinicialmente tienen la intención de actuar como estímulos oreconocimiento a evaluaciones del desempeño, pero termi-nan por convertirse en derechos adquiridos de todos losmaestros e incorporarse a los pagos básicos. Todo esto ocu-rre como resultado de la baja capacidad de los sistemas edu-cativos para aplicar de forma ordenada y profesional los prin-cipios evaluativos que formalmente profesan. En el primercaso se llama incentivo a algo que es una prima salarial ge-neral. En el segundo se ponen de manifiesto las limitacionesde los sistemas de administración de carreras docentes paramanejar mecanismos de compensación más allá de los mássimples e indiferenciados, desprovistos de una intervenciónde criterios de evaluación de desempeño docente.

Excepción hecha del SNED introducido hace pocos

158


años en Chile, y sobre el que se regresará en breve, se puedegeneralizar y decir que todos los casos nacionales incluidosen el proyecto sobre carreras docentes oscilan entre tener unsistema de evaluación docente débil y que da muy poca im-portancia al desempeño, y el no tener un sistema de evalua-ción en lo absoluto.

La contribución de esta revisión de la vida real de lossistemas de evaluación del desempeño docente a la discu-sión adelantada en este trabajo es clara: poner en práctica elprincipio de la evaluación es mucho más complejo y difícilque aceptar el principio en teoría. ¿Cuál es la fuente de estad i f i c u l t a d ?

¿Resistencias políticas o características inherentes a la profesión?

Una primera respuesta podría apuntar a la defensa, por par-te de las organizaciones sindicales docentes, de derechos ad-quiridos e intereses creados a favor de un ejercicio profesio-nal carente de rendición de cuentas o presiones hacia la pro-ductividad. Poca duda puede caber de que la dinámica políti-ca de la resistencia a la evaluación docente toma esta formaa primera vista en muchos casos. Las experiencias revisadasen la sección precedente, sin embargo, sugieren hacerse porlo menos la pregunta de si el fracaso de los intentos por in-troducir evaluaciones del desempeño docente pueden atri-buirse a las presiones sindicales y a la oposición de los do-centes, o si estas últimas son más bien el producto de inten-tos fracasados y poco convincentes desde el punto de vistatécnico y gerencial de implantar el principio de evaluación.

Así, bien puede construirse el argumento de que la


159

complejidad contractual de la profesión docente crea proble-mas muy serios a cualquier tentativa de introducir sistemasde evaluación del desempeño docente. Es bien sabido queuna gran cantidad de factores contextuales –apoyo familiar,nutrición, exposición a fuentes extraescolares de informa-ción– influyen poderosamente en que el aprendizaje de unestudiante en particular sea diferente al de otro. Por otro la-do, típicamente varios maestros trabajan sobre un estudian-te: ¿cómo saber si el buen desempeño de un niño en un cier-to grado se debe a la excelente maestra que tuvo ese año o ala excelente preparación provista por los maestros de los gra-dos anteriores? Adicionalmente, se tiende a pensar que la co-laboración y el trabajo en equipo de los maestros en lugar derelaciones competitivas entre los mismos constituyen unamejor contribución al aprendizaje. Después de todo esto, ¿có-mo separar el esfuerzo individual?

La separación del resultado del esfuerzo individual,sin embargo, no es más que uno de los varios problemas quetiene el diseño de contratos eficientes entre un sistema esco-lar y un maestro. De gran importancia son también las difi-cultades para la observación del esfuerzo y para la medicióndel producto. Una vez cerradas las puertas del aula, ¿cómosaber si el maestro está haciendo todo lo que puede y debe?Más aún, no existe consenso respecto de que todos los maes-tros deberían hacer exactamente lo mismo, y si bien hayacuerdos generales en cuanto a las ventajas de ciertos tiposde pedagogía activas y constructivistas, es bastante generaltambién la aceptación de que existen diversas fortalezas endistintos maestros y distintas necesidades en distintos tiposde estudiantes que pueden justificar formas muy diversas deadelantar una clase. Por otra parte, la controversia acerca dequé miden exactamente las pruebas de evaluación de apren-

160


dizajes, acerca de hasta qué punto miden lo más importanteo miden correctamente, es permanente, a pesar de los consi-derables avances técnicos en la materia: como mínimo, hayque decir que es de aceptación general que varios de los pro-ductos de la enseñanza efectiva no quedan capturados en laspruebas estandarizadas de desempeño.

En la práctica, en fin, mucha información acerca de lacalidad de la actividad docente es lo que se conoce como in-formación de tiempo y lugar. En otras palabras, en cada es-cuela circula abundante información acerca de quién esquién: qué docente es exigente y cuál no, quién domina sumateria y quién no, quién trata mejor o peor a sus alumnos,quién tiene una personalidad más atrayente que otros, quiénes más dedicado, ameno, cumplido, etc. No hay más que re-cordar nuestra experiencia personal en la escuela para saberque esta información existe y circula. Sin embargo, es prác-ticamente imposible que esta información circule a escalamasiva, que pueda reducirse a una serie de indicadores o va-riables registrables en un sistema de información a disposi-ción del Ministerio u otra autoridad educativa por encima deldirector de la escuela.

Una consecuencia de todo esto es que escribir contra-tos eficientes, que maximicen los resultados del trabajo delmaestro, es mucho más difícil en el caso de la docencia quelo que parecería común en muchas otras profesiones. Lossistemas de supervisión, inspección y vigilancia son una al-ternativa a los incentivos por evaluación del desempeño, pe-ro en todas partes han experimentado un deterioro conside-rable y hoy en día, en la mayor parte de los países, son lo su-ficientemente imperfectos y poco confiables cuando abarcana sistemas escolares masivos que resulta difícil hacer depen-der de ellos algún reconocimiento en la forma de ascensos,


161

aumentos de salario, premios, etc. Esos sistemas existen enla práctica como una última línea de defensa contra casos ex-tremos, tales como los de maestros que cometen acciones deabuso físico o psicológico de sus estudiantes o simplementedejan notoriamente de cumplir con obligaciones tan básicascomo la de asistir regularmente a clase. No en vano, en la en-cuesta a la que fueron sometidos los maestros en el estudiocomparativo al que se ha aludido en este trabajo, y ante lapregunta acerca de qué instancia del sistema educativo erarelevante para su práctica profesional, la supervisión fuecompletamente ignorada por los interrogados.

El balance de esta rápida revisión de la complejidadcontractual de la profesión docente no puede ser ajeno a laexplicación de la resistencia de los maestros a tentativas deintroducir tanto la evaluación del desempeño como los es-fuerzos por combinarlas con la información procedente de laspruebas de medición de la calidad. Dicho más directamente,los docentes tienen poderosas y buenas razones para resis-tir, a no ser que pueda mostrarse que el sistema o propuestade evaluación representa un serio intento de tener en cuentala complejidad contractual de su profesión.

Conclusión: Hacia la construcción de sistemasde evaluación que reflejen la complejidad de laactividad docente

Si se toma en cuenta la discusión precedente, es posible es-bozar las líneas generales de un sistema de evaluación deldesempeño docente que tome en serio las dificultades pro-pias de semejante empresa. Podría decirse que un sistema taldebería:

162


• Al evaluar el desempeño de los maestros, introducir el usode los resultados de las evaluaciones del logro de los alum-nos en las escuelas, pero no como puntajes absolutos, si-no relativos a su nivel del período anterior, y en compara-ción no con un promedio nacional, sino con un conjuntode escuelas identificadas porque tienen características si-m i l a res en varios aspectos fundamentales, en particular enla composición socioeconómica del alumnado.

• No distribuir incentivos a un maestro aislado identificadocomo particularmente esforzado o exitoso, sino a escue-las, premiando el desempeño de equipos docentes y direc-tivos, antes que el de maestros individuales.

• Para evitar crear incentivos contraproducentes a las es-cuelas, valorar para la puntuación de cada establecimien-to el que no tenga prácticas discriminatorias en la selec-ción de estudiantes que entran al mismo.

El estudio sobre la carrera de maestros en Chile en el proyec-to de referencia muestra como, en el caso del SNED, se ha he-cho un intento convincente de tomar en cuenta estos princi-pios. Es significativo que la información especialmente ricadisponible acerca de la actitud de los maestros chilenos an-tes y después de la introdución del SNED sugiera que, cuan-do los maestros están expuestos a un sistema de evaluacióncompetentemente adaptado a las características propias de laactividad docente, reaccionan favorablemente, según lo indi-ca el crecimiento de la aceptación entre ellos de las prácticasde evaluación. Otras de las pocas experiencias exitosas en in-troducir elementos de evaluación del desempeño docente, talel caso de una reciente iniciativa en El Salvador, han sido di-señadas de forma que se acercan al cumplimiento de las ca-racterísticas esbozadas. La construcción de sistemas todavía


163

mas refinados que apuntan a la evaluación docente, como elreciente Programa de Acreditación para la Asignación de Ex-celencia Docente, también en Chile, es probablemente unaavenida disponible para desarrollos futuros en esta materia.

Por lo pronto vale concluir, recapitulando, que si biense registra resistencia de los docentes a introducir prácticasde evaluación de su desempeño y muy en particular al uso deresultados de las pruebas de evaluación de la calidad en es-te contexto, hay evidencia de que esta resistencia no obede-ce a una oposición de principio a la introducción de la eva-luación, sino a la desconfianza provocada por la dificultadnatural de evaluar la práctica docente con criterios relativa-mente más simples aplicables a otras profesiones, y alimen-tada por una historia poco felíz de intentos fallidos de imple-mentar sistemas de evaluación en varios países de la región.También cabe destacar que existe evidencia preliminar queapunta a que la resistencia de los docentes puede modificar-se tanto gracias a medidas que mejoren el ambiente escolary la satisfacción con la profesión, como también mediante laintroducción de sistemas de evaluación que encarnen unarespuesta eficaz a los problemas contractuales que caracteri-zan a la docencia como actividad.

164


Los docentes y la evaluación

Emilio Tenti Fanfani32

Introducción

El diccionario ofrece dos términos para designar dos fenó-menos distintos. Uno es evaluar, el otro es examinar. A es-tas dos acciones se asocian dos sustantivos: el examen y laevaluación. Evaluar es una acción relacionada con el hechode dar un valor o de apre c i a r. El examen, según el dicciona-rio de Pedagogía de Paul Foulquié (México 1980), es “la ac-ción de observar o de estudiar con atención”. Mientras queen el primer caso se trata de formular un juicio de valor (ent é rminos de bueno o de malo, de adecuado o de inadecuado,de suficiente o insuficiente) en el segundo caso se trata deuna simple acción de medición o diferenciación. Pero el exa-men tiene una acepción particular en el “lenguaje de la pe-dagogía”. En efecto, Foulquié lo define como aquel “conjun-to de observaciones o de pruebas destinadas a apreciar elsaber o la cultura de los candidatos con vistas a la concesiónde un diploma, para entrar en una escuela, o la aptitud pa-ra una función determinada”. Como puede observarse, ladefinición de examen engloba la de evaluación (entendidacomo apreciación).


165

32 El autor agradece la colaboración de Leonardo Tenti Vuegen en la construc-ción de variables y en el manejo de las bases de datos.

La historia enseña que el examen y la evaluación fue-ron herramientas sistemáticamente utilizadas por la escuelamoderna (es decir, la escuela que surge y crece con el Estadocapitalista moderno). No hay institución que examine (en eldoble sentido de observar, medir y también valorar) más in-tensivamente que la escuela. Y esto, al menos, por dos razo-nes fundamentales:

a) La primera es estructural y se asocia con el caráctergraduado que tiene la apropiación del conocimiento. La cues-tión es relativamente simple: hay ciertas cosas que hay queaprender primero para aprender otras (generalmente máscomplejas) después. La racionalización de la pedagogía ins-titucionalizó determinadas técnicas de examen para contro-lar la progresión del aprendizaje de los alumnos.

b) La segunda tiene que ver con un dato fundamental,característico del sistema escolar moderno, por lo generalcontrolado por el Estado. Esta escuela no sólo se propone de-sarrollar conocimientos en las personas, sino que tambiéndistribuye credenciales, es decir, documentos públicamentereconocidos (los famosos títulos) que certifican que el posee-dor de los mismos ha incorporado determinados conocimien-tos, valores y competencias. El examen es un prerequisito delos títulos o certificados públicos (garantizados por el Esta-do) que distribuyen las instituciones escolares (sean de ca-rácter público o privado).

Durante los últimos años, por una serie de circunstanciascomplejas, los sistemas educativos (es decir, los docentes ylas instituciones) ya no son sólo los sujetos activos de la eva-luación, sino que ahora son también objeto de evaluación.¿Qué es lo que explica que esta vieja institución que desde

166


siempre hace un uso intensivo de la evaluación y el examen,ahora se haya convertido en objeto de observación y valora-ción? ¿Qué es lo que justifica que luego de tantas evaluacio-nes a las que son sometidos los alumnos desde que entranhasta que salen de determinado nivel educativo sean nueva-mente objeto de examen, esta vez por instancias extra esco-lares (los Ministerios de Educación, Institutos Internaciona-les, entes autónomos, etc.) generalmente ubicados en el ám-bito del servicio público? A primera vista es tentador decirque el sistema educativo es examinado porque existe unasospecha. En otras palabras, la institucionalización generali-zada (en todo el mundo desarrollado y en la mayoría de lospaíses de América Latina) de sistemas nacionales de evalua-ción está indicando que “la sociedad” (ciertos y determina-dos actores sociales representativos y poderosos) desconfíade lo que hace y produce el sistema educativo (incluso suspropios exámenes). ¿Cómo justificar que luego de seis, sieteo nueve años de escolaridad obligatoria los alumnos que hanaprobado todos los exámenes y han cumplido todos los re-quisitos para obtener un diploma sean sometidos a una es-pecie de “examen de Estado”? Todo parece indicar que sobreel sistema educativo planea una sospecha que puede expre-sarse del siguiente modo: no existe necesariamente una co-rrespondencia entre el conocimiento y las competencias efec-tivamente desarrolladas en los alumnos y los certificados, di-plomas o títulos efectivamente distribuidos por las institucio-nes escolares. Nunca existió una correspondencia estrechaentre estos dos modos de existencia del “capital cultural” (elincorporado en las personas y el institucionalizado en los tí-tulos de Estado), pero en esta etapa del desarrollo de las so-ciedades y los sistemas educativos esta distancia parecierahaberse incrementado hasta el punto de despertar una sos-


167

pecha y una preocupación33. De allí el desarrollo de las polí-ticas e instituciones especializadas en “evaluar la calidad dela educación” efectivamente alcanzada por los alumnos quepasan por la escuela.

En este contexto no debería extrañar que los propiosagentes escolares (en proporciones variables, según las cir-cunstancias) se hayan sentido un tanto incómodos frente aeste tipo de políticas que ponen un manto de duda sobre loque ellos hacen y producen cotidianamente en sus aulas. Dehecho, en casi todos los países, los programas de evaluaciónde la calidad no recibieron la aceptación inmediata de los do-centes y menos aún de los docentes organizados en las orga-nizaciones sindicales. Por el contrario, en casi toda AméricaLatina las evaluaciones fueron objeto de fuerte resistenciapor grupos significativos de docentes. Pero, desde un puntode vista sociológico, este es un hecho que no debe sorpren-der, dadas las circunstancias y el sentido que tienen la eva-luación y el examen en la historia escolar.

En las notas que siguen aportamos algunos elementosde información y análisis relacionados con las actitudes delos docentes con respecto a la cuestión de la evaluación. Pa-ra ello, subsumiremos la cuestión en el tema más general dela “diferenciación, ordenamiento, clasificación y jerarquiza-

168


33 En verdad hay que reconocer que ni siquiera el propio sistema educativoconfía en sus propios productos. En efecto, en muchos casos el título o certi-ficado de estudios que otorga un nivel del sistema no es suficiente para in-gresar al nivel siguiente. Para ingresar a la educación superior, por ejemplo,no basta el título de bachiller sino que es preciso aprobar exámenes naciona-les de acreditación de nivel y además superar exámenes específicos de admi-sión administrados por las instituciones del nivel correspondiente. Esta esotra evidencia de que cada nivel educativo tiene su propia racionalidad, lacual no siempre está articulada con el nivel subsiguiente.

ción” como dispositivos que operan en forma implícita y ex-plícita en todos los campos de la vida social y que tienen susimplicaciones políticas y culturales bien precisas. Para reali-zar este análisis haremos uso de los datos producidos en elcontexto de la aplicación de un cuestionario a muestras re-presentativas de docentes de Argentina, Perú y Uruguay34.Este contiene varios items relacionados con el tema que aquínos interesa y los resultados nos permiten obtener un primerpanorama acerca de las diversas posiciones que se manifies-tan en el cuerpo docente de los países analizados. En primerlugar se analizan algunas orientaciones que los docentes ma-nifiestan hacia la evaluación como un componente estructu-ral de su trabajo en el aula. En un segundo momento se ana-lizan sus opiniones en cuanto a las estrategias y procedi-mientos que se usan para evaluar su propio trabajo (el do-cente evaluado). Luego se presentan las actitudes que losdocentes manifiestan frente a los sistemas nacionales deevaluación del rendimiento escolar y su eventual uso paraevaluar la calidad de su propio trabajo. Por último se discu-ten algunas posiciones de los docentes frente a la temáticageneral de la igualdad como valor social.


169

34 El programa de estudios “Profesionalización de los docentes en AméricaLatina” se lleva a cabo en el IIPE - UNESCO, en su sede de Buenos Aires. Alpresente se han presentado tres informes nacionales (Argentina, Perú y Uru-guay). Las bases de datos fueron construidas a partir de la aplicación de uncuestionario a muestras representativas nacionales de docentes de primariay secundaria que trabajan en el ámbito urbano (Argentina y Uruguay) y ur-bano y rural (Perú).

1. El docente como evaluador

D i s e ñ a r, aplicar y evaluar exámenes constituye un componentebásico del trabajo docente. Es en el examen cuando se manifies-ta de un modo más evidente la asimetría estructural que carac-teriza a la relación profesor/alumno. La práctica del examen tie-ne un componente técnico-profesional y su realización exitosare q u i e re de determinadas competencias por parte del docente.

Cuando se interroga a los docentes acerca del grado dedificultad de algunas tareas que realizan (C u a d ro Nº 1) el eva-luar es un problema para poco más de un quinto de los docen-tes argentinos (21%). Pero es sintomático que “el tiempo dis-ponible para corregir cuadernos, trabajos, etc.” constituya elp roblema más frecuentemente señalado como tal por los do-centes (69% de los argentinos y 36.9% de los peru a n o s ) .

Los datos indican que hay otras dimensiones de sutrabajo que son problemáticos para porcentajes mayores dedocentes, tales como el manejo de la disciplina en clase o larelación con los padres. En el caso de la Argentina, el porcen-taje de maestros que señalan como un problema la prácticade evaluación es superior a los que señalan como problemá-ticos “el dominio de los contenidos” (10%) o bien “organizarel trabajo en clase” (9%).

A su vez, y también en la Argentina, hay varios facto-res que están asociados al hecho de considerar la evaluacióncomo un problema. Esto es más frecuente entre los pro f e s o re sde secundaria (24%) que entre los maestros de primaria(19%), y entre los docentes del sector público (22%) que en-t re sus colegas del sector privado (17%). Es probable que laevaluación presente características más complejas (y even-tualmente conflictivas) entre los pro f e s o res de secundaria. Asu vez, los docentes del sector privado probablemente tengan

170


reglas más claras e institucionalmente definidas para re a l i z a rlas tareas de evaluación. Pero estas son meras hipótesis paralas cuales no existen evidencias empíricas que las sustenten.

Otra prueba de que la evaluación es un desafío de cier-ta relevancia para los trabajadores de la educación lo consti-tuye el hecho de que cuando se les ofrece a los docentes unalista de actividades que ellos preferirían realizar si se lesotorgara más horas rentadas (si se les extendiera el tiempopago para su actividad docente), las tareas de “corrección deexámenes, cuadernos, trabajos, etc.” es elegida por una exi-


171

Cuadro Nº 1: Situaciones que constituyen un problema en eltrabajo diario de los docentes (en %).

ARGENTINA PERÚ Evaluar 21.1 15.3El tiempo disponible para corregir evaluaciones, cuadernos, etc. 69.1 36.9Manejar la disciplina en clase 32.9 19.5 La relación con los directivos 7.9 14.2 El trabajo con los colegas 7.7 13.8 El dominio de los nuevos contenidos 9.9 19.1 La falta de definiciones y objetivos claros sobre lo que hay que hacer 54.8 39.4 Las formas de planificar 19.9 30.1 La relación con los padres 28.6 31.7 Las características sociales de los alumnos 50.4 52.2 Organizar el trabajo en clase 8.8 8.1 El tiempo disponible para el desarrollo de las tareas 57.8 38.6 La disponibilidad de ámbitos de asesoramiento y supervisión 53.0 46.6

gua minoría de docentes: 17% de los docentes argentinos ysólo 6.4% de los peruanos (Ver Cuadro Nº 2). Este resultadoes sintomático, más aún si se tiene en cuenta que ellos mis-mos señalan que el tiempo asignado a este tipo de tarea re-sulta el problema más frecuentemente señalado como tal porlos docentes. Es evidente que tomar exámenes, corregir prue-bas, revisar tareas, etc. no es una dimensión particularmen-te interesante para la mayoría de los docentes.

Cuadro Nº 2: Actividades que los docentes elegirían hacer si les dieran 10 hs. más rentadas.

ACTIVIDADES ARGENTINA PERÚ Corrección de exámenes, cuadernos, trabajos, etc. 17.0 6.4Trabajo con alumnos sobre temas que les interesan 45.4 49.7 Actividades de autoperfeccionamiento (leer, indagar, etc) 43.8 41.8Formación y perfeccionamiento en instancias formales 35.3 11.8 Trabajar con sus colegas 31.6 10.4 Trabajos de investigación 29.5 38.6 Producción de materiales pedagógicos 21.7 40.0 Proyectos de servicio a la comunidad 19.2 27.0 Preparación de clases 19.0 14.4 Enseñanza en el aula 15.6 26.5 Atención y actividades con padres 11.3 19.7

Son los profesores varones quienes menos se encuen-tran predispuestos a emplear un eventual tiempo extra en ta-reas de evaluación (solo un 7% en la Argentina). Lo mismopuede decirse de quienes son jefes de hogar (respecto de losque no lo son), aquellos cuyo salario docente representa el100% del ingreso del hogar, los que se perciben como perte-neciente a la clase media alta (en relación con los de media

172


baja y baja), los de más de 45 años y los que trabajan en elsector público. En Perú se observan otras asociaciones. Enefecto, los datos indican que los más jóvenes, los que traba-jan en establecimientos públicos, son quienes tienen menosinterés en emplear tiempo suplementario para realizar este ti-po de tareas asociadas con la evaluación.

Es probable que las fuentes de dificultad que genera laactividad de evaluación sean diversas. Algunas tienen uncomponente técnico (evaluar requiere el dominio de teoríasdel aprendizaje, estrategias metodológicas e instrumentostécnicos precisos, etc.). Por otra parte, no cabe duda de quela evaluación tiene un claro componente “político” (suponeuna clasificación, un ordenamiento, una valoración, una je-rarquización, etc.) dotado de alto potencial conflictivo, dadaslas consecuencias que tiene en la carrera escolar y en la mis-ma biografía de los alumnos y sus familias. Pero la investi-gación que comentamos no nos permite ir más allá de estasapreciaciones generales e hipotéticas.

2. El docente como objeto evaluado

Pero el docente no sólo es un “evaluador sistemático y pro-fesional”, sino que también es, por decirlo así, un objeto eva-luado, tanto por sus superiores jerárquicos –directores, su-pervisores, etc.– como por el sistema educativo como tal–Instancias nacionales de evaluación de la calidad docente–.La evaluación de los docentes tiende a instalarse en la agen-da de política educativa de la mayoría de los países latinoa-mericanos. Dadas las implicaciones laborales de esta prácti-ca, es un tema que interesa y preocupa a los líderes y mili-tantes de la mayoría de los sindicatos docentes.


173

El propio sentido común indica que no es fácil “eva-luar al evaluador”. En todos los países existen regulacionesy dispositivos que conforman un sistema de evaluación delos docentes. Esta evaluación determina el lugar que ocupanlos docentes en la estructura ocupacional del sistema educa-tivo y por lo tanto contribuye a definir el salario, carrera, etc.

Una clara mayoría de docentes de la Argentina y el Pe-rú se manifiesta disconforme con los mecanismos vigentesde evaluación de su trabajo (Cuadro No 3). Esta posición crí-tica es también mayoritaria en el Uruguay, aunque en estepaís las posiciones parecieran estar más equilibradas. En laArgentina este desacuerdo es mayor en el resto del país queen la Capital, y entre los del sector público, los de clase me-dia alta y alta, los profesores de media varones y los que sonjefes de hogar.

El cuestionario aplicado preguntó a los docentes quecalificaran el grado de pertinencia de determinados criteriospara determinar las categorías salariales. Entre estos criteriosse incluyó la “evaluación periódica del desempeño profesio-nal”, además de otros factores clásicos tales como el título degrado, la antigüedad docente, y la zona geográfica de desem-

174


Cuadro Nº 3: Grado de adecuación de los mecanismos vigentesde evaluación de los docentes.

ARGENTINA PERÚ URUGUAY

Adecuación Sí 14.7 16.8 42.2 No 60.8 75.6 47.6 Ns/Nc 24.5 7.6 10.2

Total 100.0 100.0 100.0

peño. Para la Argentina los resultados indican que “la eva-luación” es colocada en tercer lugar de importancia, luego dela antigüedad y del título de grado (Cuadro Nº 4) . Este orde-namiento de criterios indica el predominio de una visión tra-dicional respecto de los factores que determinan el salariodocente. Sin embargo, existen algunos factores que estánasociados con la probabilidad de valorar más el desempeño.Estos son: ser profesor de media varón, desempeñarse comodocente en instituciones privadas y estar ubicado en los es-tratos sociales medio alto y alto.

La evaluación periódica aparece valorada en primer lu-gar por los docentes del Perú, en segundo lugar por los delUruguay y en tercer lugar por los argentinos. Sin embargo,puede decirse que en general todos incluyen de alguna ma-nera la evaluación periódica como un criterio importante. Elconsenso desaparece cuando se trata de valorar los sistemasconcretos de medición y valoración de criterios que se em-plean en cada uno de los países considerados.


175

Cuadro Nº 4: Criterios que deben ser utilizados para determinarcategorías salariales de los docentes (calificación de 1 a 10 se-gún la importancia acordada).

CRITERIOS ARGENTINA PERÚ URUGUAY

Antigüedad docente 8.3 7.0 9.0 Título académico de grado 8.2 7.8 9.7 Evaluación periódica 8.0 7.9 9.5Otros antecedentes académicos 7.7 6.3 8.7 Zona geográfica de trabajo 7.8 6.8 8.8 (*)

(*) En Uruguay se refiere a “contexto social del establecimiento”.

Se preguntó a los docentes cuáles son los agentes másadecuados para llevar a cabo la evaluación de la calidad desu trabajo; las respuestas muestran que no todos gozan delmismo grado de legitimidad. Algunos de estos agentes sonmás “tradicionales” que otros. Entre los primeros pueden ci-tarse las autoridades de la institución escolar (supervisores,directores, etc.). Más recientes son las propuestas de incluira los agentes que conforman la demanda del sistema educa-tivo (alumnos, padres de familia, representantes de la comu-nidad, etc.) en los sistemas de evaluación de docentes. ElCuadro Nº 5 presenta algunos datos acerca de la distribuciónde las opiniones de los docentes encuestados.

176


Cuadro Nº 5: Agentes que deberían participar en la evaluación de los docentes.

AGENTES ARGENTINA PERÚ URUGUAY

Autoridades de la institución (director, superv.) 73.7 45.5 (a) 76.0 (c)Supervisor o Inspector no corresp no corresp. 76.8Otros expertos y especialistas en educación 48.3 36.1 41.1Colegas docentes más calificados 41.4 38.3 54.2Técnicos del Ministerio de Educación de la Nación 30.6 52.3 no corresp. Técnicos de los ministerios provinciales 30.4 27.4 (b) no corresp.Los alumnos de los establecimientos 23.5 17.8 25.6Padres de familia y la comunidad escolar 20.0 34.4 12.6 Comunidad docente de cada escuela no corresp. 31.5 no corresp.Ns/Nc 2.5 0.8 13.4

(a) El equipo directivo del centro educativo.

(b) Los técnicos y expertos de los organismos intermedios (USES, Región).

(c) El director.

Es evidente que las instancias que gozan de la mayoraceptación son las autoridades de las instituciones (directo-res y supervisores). El resto de las instancias, salvo excep-ciones, sólo son reconocidas por menos de la mitad de los do-centes. Estos datos están indicando que los docentes se vena sí mismos como funcionarios de una organización que tie-nen una posición bien determinada en una jerarquía organi-zacional. De esta manera, quienes tienen la autoridad formalsobre los docentes, poseen la responsabilidad de evaluar lacalidad de su trabajo. Otro tipo de autoridades, no formaleso institucionales, por ejemplo los expertos o los colegas másdestacados, son aceptados por una minoría de docentes co-mo agentes de su propia evaluación. Cabe destacar que el54% de docentes uruguayos reconoce a los “colegas másdestacados” para el cumplimiento de esta función.

Por último, sólo una minoría de docentes otorga una le-gitimidad a los destinatarios de la educación, sus familias y lacomunidad, como para participar en la evaluación de su traba-jo, por lo que toda propuesta en este sentido es probable quesuscite reacciones criticas de la mayoría del cuerpo docente.

3. Actitudes frente a la evaluación de los alumnos y el sistema educativo y sus consecuencias

Durante la década del ‘90 la mayoría de los países latinoame-ricanos institucionalizó las evaluaciones nacionales de rendi-miento académico. Los docentes tienen una opinión formadarespecto de la legitimidad de estos estudios. El Cuadro Nº 6presenta una distribución del grado de acuerdo que han teni-do estas políticas en los tres países analizados.


177

Los datos indican que en los tres contextos analizadosla mayoría los docentes tienen actitudes diferentes respectode esta nueva dimensión de la política educativa de los Esta-dos nacionales latinoamericanos. En la Argentina, la mayo-ría de los docentes se manifiesta en desacuerdo con los ope-rativos nacionales de evaluación, mientras que esta actitudcrítica es minoritaria en el caso del Perú y el Uruguay. En laArgentina, otras evidencias indican que éste es uno de loscapítulos de las reformas educativas recientes que generaronmás resistencias entre los docentes. Incluso otras dimensio-nes sustantivas de las reformas, tales como el cambio en loscontenidos, las políticas compensatorias, etc., gozan de másaceptación que los operativos nacionales de evaluación de lacalidad de la educación. Estas diferencias en las actitudespueden deberse a una combinación de factores que tienenque ver con la cultura de los docentes y con el tipo y formaen que se llevaron a cabo las experiencias de evaluación porparte de los respectivos ministerios de Educación. También

178


Cuadro Nº 6: Grado de acuerdo de los docentes con las Evaluaciones Nacionales de Rendimiento.


Muy de acuerdo 6.6 16.6 9.9 De acuerdo 34.3 53.2 48.0 Sub total 40.9 69.8 57.9 En desacuerdo 30.4 15.3 22.8 Muy en desacuerdo 17.3 3.2 6.5 Sub total 47.7 18.5 29.3 Ns/Nc 11.4 11.6 12.8 Total 100.0 100.0 100.0

puede ayudar a rendir cuenta de estas diferencias observa-das la capacidad que tienen los sindicatos de orientar la acti-tud y la opinión de los docentes en los países considerados.En la Argentina los sindicatos mayoritarios tuvieron una ac-titud abiertamente crítica respecto de la reforma educativa engeneral y especial de los denominados “Operativos Naciona-les de Evaluación de la Calidad de la Educación implementa-dos desde 1993 en adelante.

La opinión de los docentes respecto de esta cuestióntambién varía según algunas características básicas de losdocentes. En la Argentina, por ejemplo, la actitud crítica esmás frecuente entre los docentes de más edad (45 años omás), las profesoras de enseñanza media, los que trabajanen el sector público, los que se perciben como formando par-te de las clases media baja y baja y los que manifiestan estaren una situación social peor que sus padres (cuando elloseran niños).

En el caso del Perú, país donde la evaluación de cali-dad goza de más consenso, las posiciones favorables a laevaluación son aún más frecuentes entre los docentes de me-nos de 30 años y los que trabajan en establecimientos reli-giosos católicos.

En el Uruguay también se registran algunas asociacio-nes interesantes. Por ejemplo, el acuerdo con las evaluacio-nes nacionales de aprendizaje es más frecuente entre los do-centes que dicen tener una situación económica mejor o iguala la de sus padres (es decir, que mantienen o mejoran su po-sición en la estructura social). En cambio, quienes experi-mentan una situación de decadencia social son significativa-mente más críticos en relación con esta cuestión. Por último,los docentes que se identifican con el rol de “transmisor decultura y conocimiento” son más favorables a las evaluacio-


179

nes de calidad (casi un 70% de acuerdo) que sus colegas quese definen como “facilitadores del aprendizaje”, quienes ex-presan un porcentaje de acuerdo significativamente menor(57%). Resulta plausible que aquellos que definen su oficioen relación con la idea de transmisión de conocimiento semuestren más favorables a la idea misma de evaluar la cali-dad de los aprendizajes efectivamente desarrollados en losalumnos.

Es sabido que los resultados de las evaluaciones de ca-lidad de la educación tienen varios usos posibles, entre ellos,el que tiene que ver con la evaluación de la tarea de los do-centes. Uno puede preguntarse cuál es la opinión de los do-centes al respecto. El Cuadro Nº 7 provee información acercade la distribución de estas opiniones. Los datos indican quela opinión de los docentes tiene un comportamiento total-mente diferente en los países analizados. Mientras que en laArgentina, que es el país donde la opinión crítica respecto delas evaluaciones de rendimiento son más frecuentes, la opi-nión acerca de su uso en la evaluación de los docentes semuestra muy dividida. A su vez, en el Perú y en Uruguay lasposiciones son completamente opuestas: mientras que en elprimero una mayoría absoluta está de acuerdo con esta pro-puesta, en el Uruguay sucede exactamente lo contrario. Eneste último país, donde la mayoría acuerda con las evaluacio-nes de rendimiento, también se manifiesta una oposicióncontundente al uso de las mismas como factor para evaluarla calidad del trabajo docente.

180


Resulta de interés conocer qué factores están asocia-dos con las opiniones predominantes en cada país. En la Ar-gentina, el desacuerdo con el uso de los resultados de lasevaluaciones como insumos para la política laboral docentees más frecuente entre los docentes del sector público (50%)en relación con los del sector privado (38%), los de nivel so-cioeconómico bajo (51.3%) en relación con los de nivel alto(43.1%), y las profesoras de secundario (49%) en compara-ción con sus colegas varones (36.5%).

En el Uruguay, país donde se registra el más alto por-centaje de rechazo a esta propuesta, el desacuerdo es másfuerte entre los docentes del sector público (66%) que entrelos privados (57.8%), y entre los que no son titulares (68%)frente a los titulares (60.9%).

En el Perú, donde el acuerdo con la proposición es am-pliamente mayoritario, esta actitud es aún más frecuente en-t re los docentes del sector privado (laico y religioso) y entreaquellos que se perciben como pertenecientes a las clases me-dias (en relación a los que se perciben como de clase baja).

Todo parece indicar que de la posición favorable a laimplementación de un sistema nacional de evaluación de lacalidad de la educación no se infiere automáticamente un


181

Cuadro Nº 7: Opinión acerca del uso de los resultados de lasevaluaciones de calidad para evaluar a los docentes.


Acuerdo 42.4 68.4 29.2 Desacuerdo 47.1 29.1 63.9 Ns/Nc 10.5 2.5 6.9 Total 100.0 100.0 100.0

acuerdo con su uso como herramienta para evaluar la calidaddel trabajo de los docentes.

En verdad, los tres países presentan situaciones domi-nantes diferentes. Mientras que en la Argentina se presentauna especie de polarización de opiniones respecto de estasdos cuestiones, en el Uruguay se combina una mayoría quemanifiesta su acuerdo con los sistemas nacionales de evalua-ción de rendimiento, pero también un rechazo mayoritariopara usarlos como instrumentos de la evaluación de los do-centes. En el Perú, en cambio, la mayoría de los docentes le-gitima tanto una cosa como la otra.

182


CuadroNº 8: Relaciones entre acuerdo con la evaluación de la calidad de la educación y su uso para evaluar la calidaddel trabajo de los docentes.

ARGENTINAUso de los resultados de la evaluación para evaluar la calidad del trabajode los docentes.

Operativos de evaluación de la calidad de la educación Sí No No sabe Total De acuerdo 53.8 38.3 7.9 100.0 En desacuerdo 35.7 55.9 8.4 100.0 No sabe 35.2 39.1 25.7 100.0 Total 43.1 46.8 10.2 100.0

PERÚ Sí No Ns / Nc Total

De acuerdo 72.6 25.3 2.2 100.0 En desacuerdo 59.5 38.0 2.4 100.0 No sabe 57.1 38.1 4.8 100.0 Total 68.4 29.1 2.5 100.0

Como puede observarse en el Cuadro Nº 8, en el casode la Argentina y del Perú existe una cierta asociación posi-tiva entre el acuerdo con los sistemas nacionales de evalua-ción y el uso de sus resultados para evaluar la calidad del tra-bajo docente. Sin embargo, también son frecuentes los casosde discordancia entre estas dos tomas de posición. A modode hipótesis, este fenómeno puede explicarse con el siguien-te razonamiento: muchos docentes están en desacuerdo conel modo o la forma en que se realizan las evaluaciones de ca-lidad (la metodología y técnicas de evaluación empleadas, lasdimensiones de los aprendizajes que se evalúan, el uso dadoa los resultados, la legitimidad de las instituciones evaluado-ras, etc.) pero no con el principio mismo de la evaluación, sunecesidad y pertinencia, y su eventual uso para definir la ca-lidad del trabajo docente. Si este argumento tuviera algunapertinencia, es obvio que obligaría a una revisión crítica delas políticas concretas de evaluación de la calidad de la edu-cación que se han venido desarrollando hasta el presente, almenos en los países aquí analizados.

4. Actitudes frente a la diferenciación y clasificación

Toda evaluación se traduce en una clasificación y en una di-ferenciación. Evaluar consiste en establecer un orden, una je-rarquía. En este sentido, consiste en algo más complejo queuna simple medición. Decimos que una escuela que obtieneun promedio elevado de rendimiento en un área del saber es“mejor” que otra que obtiene promedios más bajos. Como talimplica formular juicios de valor. Pero en todos los casos lasevaluaciones (de alumnos o de docentes) tienen como resul-


183

tado una formalización y objetivación de diferencias (en lacalidad y cantidad de aprendizajes desarrollados, en la cali-dad del trabajo docente, etc.). En este sentido resulta intere-sante interrogarse acerca de la legitimidad que tiene esta ideageneral en el cuerpo docente. Para aproximarnos a ella pode-mos recurrir al análisis de las respuestas dadas a dos cues-tiones conceptualmente asociadas.

La primera tiene que ver con la idea misma de estable-cer diferenciaciones salariales con el fin de premiar a “losmejores docentes”. La pregunta, a primera vista, puede pare-cer ingenua, o incluso obvia si fuera planteada a una mues-tra de profesionales tradicionales, tales como médicos o abo-gados. Es probable que la mayoría de estos encuestados hu-biera respondido positivamente a la pregunta “¿Usted creeque habría que encontrar los mecanismos adecuados paraque los mejores ingenieros ganen más que los demás?”. Sinembargo, esta pregunta no tuvo una respuesta consensuadaentre los docentes de los países aquí examinados. Por el con-trario, en los tres casos se manifiesta una cierta polarizaciónde las opiniones acerca de esta cuestión, que a primera vistaparecía apelar a una respuesta uniforme y de sentido común.

184


Cuadro Nº 9: Acuerdo con la proposición “Habría que encontrar mecanismos adecuados para que los mejores maestros ganen más que los demás”.

Acuerdo ARGENTINA PERÚ URUGUAY

Sí 42.9 64.1 39.1No 40.1 31.8 45.9No sabe 16.9 4.1 15.0Total 100.0 100.0 100.0

Una vez más, el caso del Perú difiere del de la Argen-tina y el Uruguay. Mientras en ese país existe una clara ma-yoría en favor de la proposición, en el Uruguay sucede locontrario y en la Argentina se presenta un cierto equilibrioentre las respuestas posibles. En el Perú también es bajo elporcentaje de docentes que no está en condiciones de tomarposición, mientras que esa actitud es más numerosa entre losdocentes de la Argentina y el Uruguay.

El Cuadro Nº 10 muestra algunos factores asociadoscon la probabilidad de manifestar una posición crítica respec-to de una propuesta que pretende establecer diferenciacionesy recompensas en función de la calidad del desempeño en eltrabajo de los docentes. El desacuerdo es más probable entrelos maestros de primaria, los que trabajan en el sector públi-


185

Cuadro Nº 10: Factores asociados con la oposición a la propuesta de establecer mecanismos adecuados para que losmejores docentes ganen más que los demás.


de nivel primario X X Xdel sector público X X Xmujeres X Xde clase media baja y baja Xque viven en hogares pobres Xcon movilidad social descendente X X Xcon movilidad social ascendente “facilitadores del aprendizaje” X“transmisores de conocimiento y cultura” Xinseguridad en el trabajo X

co, las mujeres y los que tienen posiciones y trayectorias so-ciales más desfavorecidas.

Otra variable cuyo comportamiento puede ayudar acomprender las resistencias al establecimiento de diferenciassalariales entre los docentes es la que tiene que ver con el va-lor que los mismos asignan a la igualdad (frente a la liber-tad). En efecto, el cuestionario propone a los docentes queopten entre las proposiciones siguientes:

• “A. Para mí la libertad y la igualdad son igualmente im-portantes. Pero si tuviera que decidirme por una o porotra, consideraría la libertad personal como lo más impor-tante, es decir, el que cada cual pueda vivir en libertad ydesarrollarse sin obstáculos”.

• “B. La libertad y la igualdad son las dos importantes, pe-ro si tuviera que decidirme por una de las dos, considera-ría la igualdad como lo más importante, es decir, que na-die se vea desfavorecido y el que las diferencias de clasesocial no sean tan fuertes”.

186


Cuadro Nº 11: Orientaciones hacia la libertad y la igualdad.


la libertad 34.4 40.8 33.5 la igualdad 39.3 47.6 42.2 ninguna de las dos/depende 19.6 8.4 20.7 Ns/Nc 6.7 3.2 3.6 Total 100.0 100.0 100.0

Los resultados que aparecen en el Cuadro Nº 11 indicanque los docentes tienden a privilegiar el valor de la igualdadpor sobre el de la libertad. Esta predisposición a valorar laigualdad tiene un significado particular en un contexto histó-rico social signado por el incremento de las desigualdades enla distribución de bienes y recursos tan estratégicos como lariqueza, los ingresos y el poder. Desde este punto de vista, losdocentes constituyen una categoría social que se opone y re-siste a las políticas públicas que producen desigualdades.

Pero esta actitud también puede estar asociada con lasresistencias que se presentan en proporciones significativasde docentes al establecimiento de diferenciaciones salarialesen función de criterios de calidad de su trabajo profesional.Cabe tener en cuenta que el estatuto mismo de este oficio,que se desempeña en contextos institucionales muy estruc-turados, con una matriz histórica de tipo legal burocrático,no favorece el establecimiento de criterios de desempeño quefavorezcan las diferenciaciones en las recompensas materia-les en función de su calidad. Al respecto, cabe recordar queen estos contextos todavía tiene cierta vigencia el clásicoprincipio “a igual trabajo igual remuneración” que regía enlas ocupaciones asalariadas.

También en este caso la preferencia por estos valores–que de alguna manera estructuran el campo ideológico cul-tural de la mayoría de las sociedades capitalistas contempo-ráneas– se asocia con determinadas propiedades de los suje-tos estudiados. El cuadro Nº 12 ofrece alguna informaciónacerca de los factores positivamente asociados con la prefe-rencia por la igualdad.


187

A primera vista la posición y la trayectoria de los do-centes en la estructura social estarían asociadas a la proba-bilidad de adherir a determinados valores políticos y sociales.Los más desfavorecidos (tanto en términos objetivos comosubjetivos) estarían más predispuestos a valorar la igualdadque la libertad. En el caso de la Argentina, los docentes queviven en las regiones más pobres del territorio nacional y sesienten inseguros en su puesto de trabajo manifiestan lamisma preferencia.

Por otra parte, en el caso de la Argentina y el Perú, losdocentes del sector público adhieren preferentemente al valorde la igualdad, mientras que en el Uruguay se da la situacióninversa, es decir, esta preferencia es más frecuente entre losdocentes del sector privado.

Otro indicador del valor que los docentes asignan a laigualdad se deduce de la respuesta dada a una pregunta acer-ca del salario que deberían percibir distintas categorías ocu-

188


Cuadro Nº 12: Factores asociados con la preferencia por la igualdad.

FACTORES ARGENTINA PERÚ URUGUAY

jóvenes (menores de 30 años) X Xmovilidad descendente X Xclase percibida baja X X Xsector público X Xsector privado Xprofesores varones Xdocentes jefes de hogar Xinseguridad en el trabajo Xregiones pobres X

pacionales (y entre ellas los docentes de primaria y secunda-ria). Las respuestas producidas permiten tener una idea delas diferencias salariales que los docentes están dispuestos areconocer entre distintos grupos sociales. En general se ob-serva que los docentes de Argentina y Uruguay compartenuna imagen ideal de la estructura social que es muy igualita-ria. La brecha entre los salarios más elevados y los más ba-jos va de 2.8 en Uruguay a 3.3 en la Argentina y 4.5 en elPerú. En todos los casos estas brechas ideales son “igualita-rias” frente a las distribuciones reales de salarios e ingresosen las sociedades consideradas.

En síntesis, todo parece indicar que la cultura domi-nante entre los docentes privilegia fuertemente el valor de laigualdad. Este apego al igualitarismo debe ser tenido en cuen-ta cuando se trata de instituir mecanismos que de alguna ma-nera pueden ser percibidos como una amenaza a la re a l i z a-ción de este ideal objetivamente valorado por los docentes.

Resumen y conclusiones

A modo de breve síntesis de lo expuesto pueden hacerse lassiguientes observaciones:

• 1. La evaluación es un aspecto particularmente problemá-tico de la dimensión pedagógica del trabajo docente. Ellopuede deberse al hecho de que esta operación requiere eldominio de un conjunto de competencias técnicas relati-vamente complejas que requieren un aprendizaje perma-nente. Por otra parte, la evaluación lleva tiempo y tiene unaspecto rutinario que requiere un esfuerzo particular. Mu-chos docentes manifiestan que es escaso el tiempo que


189

tienen para realizar tareas de corrección de exámenes,cuadernos, etc. Sin embargo, cuando se le ofrece tiempoadicional de trabajo, pocos lo emplearían en realizar acti-vidades de evaluación. Por último, no hay que olvidar quela evaluación por su naturaleza (estructuralmente arbitra-ria) y función (acreditación, asignación de premios y cas-tigos, clasificación y jerarquización de los alumnos, etc.)tiene implicaciones fuertemente conflictivas, tanto en re-lación con los alumnos como con sus familias.

• 2. Las opiniones de los maestros acerca de los mecanis-mos y procedimientos para su propia evaluación son pre-dominantemente críticas. Cuando se les pregunta por loscriterios a tener en cuenta, en general todos incluyen (condiversas valoraciones) la evaluación periódica de su tra-bajo, junto a otras dimensiones más tradicionales. El pro-blema surge cuando se trata de construir un consensoacerca de los agentes que participan en su evaluación y enlos mecanismos concretos empleados. Como el educativoes un sistema todavía fuertemente burocratizado y jerár-quico, las autoridades formales (directores de estableci-mientos y supervisores) son las únicas instancias queuna mayoría absoluta de docentes reconoce como agenteslegítimos de su propia evaluación. Es probable que paraintroducir nuevos sistemas y, sobre todo, nuevos agentes–la comunidad escolar, representantes de organizacioneslocales, etc.– en los procesos de evaluación de la calidaddel trabajo docente haya que introducir primero reformasen los modelos de trabajo y de organización de las insti-tuciones escolares.

• 3. La opinión de los docentes acerca de los sistemas na-

190


cionales de evaluación de la calidad de la educación yacerca de su uso eventual como insumo para determinarpolíticas laborales no es homogénea. En general, puededecirse que ante estas cuestiones las opiniones y actitu-des de los docentes son bien diversificadas. En el caso dela Argentina llama la atención el bajo grado de legitimi-dad que tienen tanto la evaluaciones realizadas, como suuso eventual para medir la calidad del trabajo docente.Este no es el caso del Perú y el Uruguay. Para explicar losfactores asociados al rechazo o la aceptación habría quehacer otro tipo de indagación. Sin embargo, es probableque la forma y el contexto en que se llevaron a cabo lasevaluaciones, así como los usos que se hicieron de la in-formación producida, pueden explicar en parte estas dife-rencias de opinión. El grado de legitimidad de una deter-minada política pública es siempre una construcción so-cial. No existen secuencias únicas del tipo “primero elconsenso, luego la política”. En muchos casos primero espreciso intervenir, aun contra la oposición de muchos, eincluso de una mayoría. El consenso puede llegar des-pués, por ejemplo, cuando pueden observarse los efectos(positivos) de las políticas adoptadas.Por otra parte, y también a modo de hipótesis, el re c o n o-cimiento diferencial que tienen determinados dispositi-vos y políticas no sólo se explica en función de sus bon-dades intrínsecas o percibidas por los actores, sino tam-bién por el grado de legitimidad que tienen quienes losp romueven y ejecutan. Argentina, donde se produce elmás alto rechazo a los operativos de evaluación, es tam-bién el país donde las instituciones responsables de for-mular y ejecutar políticas educativas (Ministerio nacio-nal y ministerios provinciales de Educación) son objeto


191

del nivel de desconfianza más alto por parte de los do-c e n t e s .

• 4. Por último, el campo del debate sobre la evaluación pa-reciera estar organizado alrededor de dos polos típicos.Por una parte están los defensores de una especie deigualitarismo formalista. Este es el caso de aquellos quese niegan a medir y evaluar porque este operativo tienecomo efecto una objetivación de las diferencias. La matrizburocrática del sistema educativo introduce en los miem-bros de las organizaciones una especie de igualdad esta-mental (por ejemplo entre alumnos y entre docentes).Desde una perspectiva racional/legal, los poseedores delos mismos títulos y certificados escolares son iguales, esdecir, son intercambiables. El título, como capital culturalinstitucionalizado y garantizado por el Estado, es iguala-dor, y en cierta medida oculta las diferencias reales quecaracterizan a sus poseedores. Las evaluaciones de rendi-miento ponen al descubierto diferencias (en competen-cias, conocimientos, actitudes, etc.) que los títulos y cer-tificados ocultan y de esta manera introducen clasificacio-nes y jerarquías más detalladas y personalizadas. A par-tir de entonces un grupo puede compartir el mismo título(de bachiller, por ejemplo), pero al título se le agrega unacalificación (por ejemplo, un promedio de rendimiento enuna prueba final de evaluación) que distingue.

Por lo anterior, algunos sostienen que las evaluaciones derendimiento tienen que servir para formalizar y hacer públi-cas esas diferencias entre individuos (o instituciones) queantes tenían sólo una existencia “de hecho” y no de derecho.Esta concepción se basa en que el simple hecho de medir y

192


hacer públicas las desigualdades tiene un efecto positivo enla medida que provee información tanto a los proveedores delservicio como a los usuarios (“consumidores”) del mismo.Sin embargo, cuando los resultados de las evaluaciones deindividuos o instituciones se hacen públicos y se usan paraestablecer rankings “oficiales”, se produce un operativo deconstrucción social. El reconocimiento público y formal de lasdiferencias agrega su propia fuerza específica a esas diferen-cias reales. En este sentido contribuye a reproducirlas en eltiempo. Las evidencias indican que el simple conocimiento dela desigualdad y su “oficialización”, lejos de contribuir a su-perarlas, puede incluso “naturalizarlas” y, por lo tanto, con-solidarlas en el tiempo.

Es posible construir una estrategia alternativa entre eligualitarismo formal y burocrático que cree superar las desi-gualdades por su negación burocrática y la consolidación dela desigualdad a través de su objetivación y formalización(mediante el establecimiento de jerarquías de calificaciones,tipologías de establecimientos, etc.). Ésta consiste en desple-gar mecanismos que permitan conocer tanto las desigualda-des como la lógica de su producción, pero no para establecerrankings o acreditaciones jerarquizadas (bachiller de 7, de 8o de 10), sino para usar ese conocimiento para contrarrestarlos factores que producen y reproducen las desigualdades, enespecial en el salón de clases. Desde esta perspectiva, lasevaluaciones ofrecen, más que una utilidad pública, un ser-vicio técnico-pedagógico. Desde esta perspectiva es una he-rramienta que produce información para uso práctico de loseducadores, los alumnos y sus familias. Esta estrategia sepropone conocer las desigualdades, no para formalizarlas einstitucionalizarlas, sino para combatirlas.

Si la evaluación ha de servir sobre todo como una he-


193

rramienta pedagógica, los docentes se constituyen en losusuarios privilegiados de sus productos. Por lo tanto, debenconstituirse en protagonistas tanto de su diseño como de suimplementación. Este no ha sido siempre el caso en los pro-cesos de re f o rma educativa que se implementaron en la re-gión durante las dos últimas décadas. Es de desear que deahora en más las políticas que evalúen la calidad de la edu-cación (la definición de qué es lo que se mide, cómo se mi-de y qué uso se le da a la evaluación) no sea un tema ex-clusivo de expertos y funcionarios de los ministerios deEducación.

194


Instituto Internacional de Planeamiento de la Educación

El Instituto Internacional de Planeamiento de la Educación fue creado porla UNESCO en París, en 1963 con el propósito de fortalecer las capacida-des nacionales de los Estados Miembros de la UNESCO en el campo de laplanificación y la gestión educativas.

El IIPE contribuye al desarrollo de la educación en todo el mundo, di-fundiendo los conocimientos y formando a los especialistas en este cam-po. Su misión es la de promover el desarrollo de competencias en mate-ria de definición e implementación de estrategias de cambio educativo.

La creación de su primera sede regional en Buenos Aires, en abril de1997, se fundamenta en las especificidades de la situación latinoameri-cana y, particularmente, en el interés despertado por el proceso de trans-formación educativa que están llevando a cabo la mayoría de los paísesde la región.

Visite el sitio web del IIPE - UNESCO Sede Regional BuenosAires para acceder a información actualizada sobre nuestrasactividades de formación, investigación, asistencias técnica,así como también a publicaciones y documentos referidos adistintos aspectos de la planificación y gestión educativas.

h t t p : / / w w w. i i p e - b u e n o s a i re s . o rg . a r

Miembros del Consejo de Administración del IIPE

Presidente:Dato’Asiah bt. Abu Samah (Malasia) Directora, Lang Education, Kuala Lumpur, Malasia.

Miembros designados:Carlos FortínSecretario General Adjunto, Conferencia de las Naciones Unidas sobre

Comercio y Desarrollo (UNCTAD), Ginebra, Suiza.

Edgar OrtegónDirector, Programación de Proyectos e Inversiones, Instituto

Latinoamericano y del Caribe de Planificación Económica y Social

(ILPES), Santiago, Chile.

Jean Louis-Sarbib Vicepresidente Senior, Banco Mundial, Washington D.C, Estados Unidos

de América.

Ester Zulberti Jefe, Servicio de Extensión, Educación y Comunicación, División de

Extensión en Investigación y Capacitación, Departamento de Desarrollo

Sustentable, FAO.

Miembros elegidos:José Joaquín Brunner (Chile)Director, Programa de Educación, Fundación Chile, Santiago, Chile.

Klaus Hüfner (Alemania) Profesor, Free University, Berlín, Alemania.

Zeineb Faïza Kefi (Túnez) Embajador Extraordinario y Plenipotenciario de Túnez en Francia y

Delegado Permanente de Túnez ante la UNESCO.

Philippe Mehaut (Francia) Director Adjunto, Centre d’études et de recherches sur les qualifications,

(Céreq), Marsella, Francia.

Teboho Moja (Sudáfrica) Profesor de Educación Superior, Steinhardt School of Education, New

York University, New York, Estados Unidos de América.

Teiichi Sato (Japón) Embajador Extraordinario y Plenipotenciario y Delegado Permanente del

Japón ante la UNESCO.

Tuomas Takala (Finlandia) Profesor, University of Tampere, Tampere, Finlandia.


EVALUAR LAS EVALU ACIONES Una mirada...

Documents

Transcript of EVALUAR LAS EVALU ACIONES Una mirada...