1

SABER QU SABEN LOS ESTUDIANTES La Ciencia y el Diseo de la Evaluacin Educativa

RESUMEN DEL COMIT EJECUTIVO

La evaluacin educativa, parte integral de la bsqueda de una educacin mejorada, apunta a determinar qu tan bien estn aprendiendo los estudiantes. Proporciona informacin a estudiantes, educadores, padres de familia, legisladores y pblico en general, acerca de la eficacia de los servicios educativos. Con la tendencia a lo largo de las dos ltimas dcadas, de establecer estndares acadmicos retadores y de medir el progreso de los estudiantes en la satisfaccin de esos estndares, la evaluacin educativa est jugando un papel mucho ms importante que el que jugaba anteriormente en la toma de decisiones. A su vez, los interesados en la educacin se preguntan si las prcticas actuales de evaluacin masiva estn produciendo los tipos de informacin ms tiles para orientar y mejorar la educacin. Mientras tanto, a las evaluaciones en el aula, que tienen el potencial de fortalecer la instruccin y el aprendizaje, no se les saca todo el partido posible. El progreso logrado en las ciencias de la cognicin y de la medicin ofrece la oportunidad para revisar los principios cientficos y las premisas filosficas fundamentales de los enfoques conceptuales contemporneos de la evaluacin. Las ciencias de la cognicin han ampliado la concepcin de aquellos aspectos del aprendizaje que son ms importantes de evaluar. Y las ciencias de la medicin han expandido la capacidad de interpretar formas ms complejas de la evidencia que se recoge en el desempeo de los estudiantes. Se cre el Comit de Fundamentos para la Evaluacin, patrocinado por la National Science Foundation, para que revisara y sintetizara los avances en las ciencias de la cognicin y en la evaluacin, y para que explorara las implicaciones de ellas para el mejoramiento de la evaluacin educativa. El meollo del trabajo del comit era la trascendental importancia de desarrollar nuevos tipos de evaluaciones educativas que cumplan mejor la meta de la equidad. Se necesitan evaluaciones en el aula y pruebas masivas que ayuden a todos los estudiantes a aprender y tener xito en la escuela, aclarndoles, hasta donde sea posible, a ellos, a sus profesores y a otras personas involucradas en la educacin, la naturaleza de sus logros y el progreso de su aprendizaje.

CONCLUSIONES

LA NATURALEZA DE LA EVALUACIN Y RAZONAMIENTO A PARTIR DE LA EVIDENCIA

Este informe aborda evaluaciones utilizadas en contextos tanto de aula como masivos con tres propsitos amplios: apoyar el aprendizaje, medir el logro individual y evaluar programas. El propsito de una evaluacin determina prioridades, y el contexto de uso impone restricciones al diseo. As que es esencial reconocer que no es adecuado aplicar solo un tipo de evaluacin para todos ellos.

Con frecuencia, se utiliza un solo tipo de evaluacin para mltiples propsitos; sin embargo, por

lo general, mientras ms propsitos busque satisfacer una evaluacin nica, menos claridad

tendr cada propsito . Por ejemplo, muchas pruebas de Estado se usan para propsitos de evaluacin tanto de individuos como de programas. Esto no es necesariamente un problema mientras los diseadores y usuarios reconozcan las implicaciones y las concesiones de parte y parte que ese uso implica.

2

Aunque las evaluaciones usadas en varios contextos y para diferentes propsitos, con frecuencia

parecen bastante diferentes, ellas comparten ciertos principios comunes. Uno de estos principios es que la evaluacin siempre es un proceso de razonamiento a partir de la evidencia. Adems, por su misma naturaleza, la evaluacin es imprecisa hasta cierto punto. Los resultados de las evaluaciones son solamente aproximaciones acerca de lo que una persona sabe y puede hacer.

Cada evaluacin, independientemente de su propsito, se apoya en tres pilares: un modelo de

cmo los estudiantes representan su saber y desarrollan su competencia en el rea de estudio;

tareas o situaciones que permiten observar el desempeo de los estudiantes; y un mtodo de

interpretacin para hacer inferencias a partir de la evidencia del desempeo que, de esta

manera, se ha obtenido. En el contexto de la evaluacin masiva, el mtodo de interpretacin es, por lo general, un modelo estadstico que caracteriza patrones esperados de datos, a partir de diversos niveles de competencia de los estudiantes. En la evaluacin en el aula, menos formal, la interpretacin la efecta el profesor con un modelo intuitivo o cualitativo, ms que con uno estadstico formal.

En todas las evaluaciones, subyacen tres elementos fundamentales, que abarcan lo que en este informe se denomina "el tringulo de la evaluacin". Estos tres elementos -cognicin, observacin e interpretacin- deben conectarse y disearse explcitamente como un todo

coordinado. De lo contrario, se ver en peligro la significacin de las inferencias sacadas de las evaluaciones.

El problema central que se aborda en este informe es que las evaluaciones ms utilizadas de logros acadmicos se basan en creencias bastante restrictivas acerca del aprendizaje y la competencia, que no estn muy acordes con el conocimiento actual acerca de la cognicin y el aprendizaje humanos. De igual manera, los elementos de observacin e interpretacin que subyacen a la mayora de las evaluaciones actuales se crearon para adaptarse a concepciones anteriores del aprendizaje, y necesitan ampliarse para sustentar las clases de inferencias que la gente ahora quiere hacer acerca de los logros de los estudiantes. Un modelo de cognicin y de aprendizaje debe servir como piedra angular del proceso de diseo de la evaluacin. Este

modelo debe basarse en la mejor comprensin de cmo los estudiantes representan su saber y

desarrollan su competencia en el rea [de conocimiento].

El modelo de aprendizaje puede servir como un elemento unificador -un ncleo que da cohesin al currculo, la instruccin y la evaluacin. Esta funcin de cohesin es crucial, porque la evaluacin educativa no existe aisladamente, sino que tiene que alinearse con el currculo y la

instruccin, si ha a de servirle de soporte al aprendizaje.

Finalmente, los aspectos de aprendizaje que se evalan y enfatizan en el aula, idealmente deberan ser consistentes con los aspectos de aprendizaje que se examinan masivamente (aunque no necesariamente deben ser los mismos). En la realidad, sin embargo, estas dos formas de evaluacin, con frecuencia no coinciden. Esto puede crear conflicto y frustracin tanto en los maestros como en los aprendices. Por eso se necesita una mejor convergencia entre las evaluaciones que se usan para diferentes propsitos y en diferentes contextos.

PROGRESOS EN LAS CIENCIAS DEL PENSAMIENTO Y DEL APRENDIZAJE

Teoras contemporneas del aprendizaje y del conocimiento hacen nfasis en la manera en que el conocimiento se representa, organiza y procesa en la mente. Tambin hacen nfasis en las

3

dimensiones sociales del aprendizaje, entre las que se incluyen las prcticas participativas que apoyan el conocimiento y la comprensin. Este cuerpo de conocimiento implica de manera importante que las prcticas de evaluacin deben moverse ms all del enfoque actual en los componentes de una destreza y en porciones aisladas de conocimiento, para pasar a abarcar los

aspectos ms complejos del logro de los estudiantes.

Entre los elementos fundamentales de la cognicin, est la arquitectura cognitiva de la mente. Esta incluye la memoria de trabajo o de corto plazo, sistema bastante limitado; y la memoria de largo plazo, depsito de conocimiento virtualmente ilimitado. Lo que importa en la mayora de las situaciones es qu tan bien se puede evocar el conocimiento almacenado en la memoria de largo plazo, y usarse para razonar eficazmente acerca de la informacin y los problemas en un momento dado. Por consiguiente, dentro del alcance normal de las habilidades cognitivas, es probable que las apreciaciones acerca de cmo la gente organiza la informacin en la memoria

de largo plazo sean ms importantes que las apreciaciones de la capacidad de la memoria de

trabajo.

Comprender los contenidos de la memoria de largo plazo es especialmente crucial para

determinar qu sabe la gente; cmo lo sabe; y cmo puede utilizar ese conocimiento para

responder preguntas, resolver problemas y emprender otros aprendizajes. Aunque los contenidos incluyen conocimiento tanto general como especfico, mucho de lo que alguien sabe es especfico de un rea de conocimiento y sus tareas; y se organiza en estructuras que se conocen como esquemas. Las evaluaciones deben valorar qu esquemas tiene una persona y bajo qu circunstancias ella considera pertinente esa informacin. Esta evaluacin debe incluir cmo organiza una persona la informacin adquirida; lo que abarca tanto las estrategias para la solucin de problemas como las formas de agrupar la informacin pertinente, en unidades manejables.

La importancia de evaluar estructuras de conocimiento surge de la investigacin en experticia o competencia. Estudios de diferencias entre novatos y expertos en reas temticas, revelan rasgos crticos de competencia que deben ser objeto de evaluacin. Los expertos en un rea temtica tpicamente organizan el conocimiento de datos y de procedimientos, en esquemas que posibilitan el reconocimiento de patrones y la rpida recuperacin y aplicacin del conocimiento.

Uno de los aspectos ms importantes de la cognicin es la metacognicin (el proceso de reflexionar sobre el pensamiento propio, y orientarlo). La metacognicin es crucial para el pensamiento efectivo y la solucin de problemas. Y es uno de los rasgos distintivos de la experticia en reas especficas de conocimiento y habilidad. Los expertos utilizan estrategias metacognitivas para observar de cerca la comprensin durante la solucin de problemas, y para efectuar la autocorreccin. La evaluacin debe, por consiguiente, intentar determinar si una persona posee buenas habilidades metacognitivas.

No todos los nios aprenden de la misma manera o siguen las mismas sendas hacia la competencia. Las estrategias de los nios para la solucin de problemas se hacen ms efectivas con el tiempo y la prctica. Pero el proceso de crecimiento no es una progresin simple y uniforme, ni pasa directamente de unas estrategias de solucin errneas a unas ptimas. Las evaluaciones deben centrarse en la identificacin de las estrategias especficas que los nios

estn usando para la solucin de problemas, y prestarle especial atencin a dnde encajan esas

estrategias en un continuum de desarrollo de eficiencia y apropiacin, para un rea particular de

conocimiento y habilidad.

4

Los nios tienen, de su mundo, un rico conocimiento intuitivo que sufre cambios significativos a medida que ellos maduran. El aprendizaje implica la transformacin del entendimiento ingenuo en una comprensin ms completa y exacta. Y la evaluacin puede usarse como una herramienta para facilitar este proceso. Para este fin, las evaluaciones, especialmente las que se adelantan en el contexto de la instruccin en el aula, deben centrarse en hacer visible el

pensamiento de los estudiantes tanto a ellos mismos como a los profesores, de tal manera que

puedan escogerse estrategias de instruccin que apoyen la orientacin apropiada para el

aprendizaje futuro.

La prctica y la informacin retrospectiva son aspectos vitales del desarrollo de destrezas y experticia. Uno de los papeles ms importantes de la evaluacin es la retroalimentacin oportuna e informativa a los estudiantes durante la instruccin y el aprendizaje, para que la

prctica de una destreza y la subsiguiente adquisicin de esta sean efectivas y eficaces.

Como funcin del contexto, el conocimiento con frecuencia se desarrolla de manera inflexible y muy ceido a este. Y a menudo no se transfiere con mucha eficacia. La transferencia depende del desarrollo de un entendimiento explcito de cundo aplicar lo que se ha aprendido. Las evaluaciones de los logros acadmicos necesitan analizar cuidadosamente el conocimiento y las

habilidades que se requieren para comprender y responder una pregunta o resolver un

problema. Esto incluye el contexto en que se presenta, y si una tarea o situacin de evaluacin

funciona como una prueba de transferencia cercana, lejana o nula.

Mucho de lo que las personas aprenden lo adquieren a travs del discurso o de su interaccin con otros. As, pues, con frecuencia el conocimiento est incrustado en contextos sociales y culturales particulares. stos incluyen el contexto del aula y abarcan la comprensin del significado de prcticas especficas tales como hacer y responder preguntas. Se necesita que las evaluaciones examinen qu tan bien participan los estudiantes en las prcticas comunicativas

apropiadas para un rea de conocimiento y habilidad, qu entienden ellos sobre estas prcticas y

qu tan bien emplean las herramientas apropiadas para esa rea.

Los modelos de cognicin y aprendizaje proporcionan una base para el diseo y realizacin de las prcticas de instruccin y evaluacin apoyadas por la teora. Tales programas y prcticas ya existen y se han utilizado productivamente en ciertas reas curriculares. Sin embargo, la mayor parte de lo que se sabe no se ha aplicado todava al diseo de la evaluacin para propsitos del aula o de fuera de ella. Por consiguiente, se necesita ms trabajo para trasladar a la prctica de la evaluacin lo que ya se sabe en la ciencia del conocimiento, como tambin para desarrollar

ms anlisis cognitivos del conocimiento y la competencia (experticia) especficos de un rea.

Existen muchas herramientas muy efectivas para sondear y modelar el conocimiento de una persona y para examinar los contenidos y contextos de aprendizaje. Los mtodos que se emplean en la ciencia de la cognicin, para disear tareas, observar y analizar la cognicin, y

hacer inferencias acerca de qu sabe una persona son aplicables a muchos de los retos de

disear evaluaciones educativas efectivas.

CONTRIBUCIONES DE LA MEDICIN Y DEL MODELADO ESTADSTICO A LA EVALUACIN

Los progresos en los mtodos de la medicin educativa incluyen el desarrollo de modelos

(psicomtricos) de medicin formal, que representan una forma particular de razonamiento a

5

partir de la evidencia. Estos modelos proporcionan reglas formales explcitas para integrar las numerosas porciones de la informacin obtenida por medio de tareas de evaluacin. Ciertas clases de aplicaciones de evaluacin requieren de las capacidades de modelos estadsticos

formales, para el elemento interpretativo del tringulo de la evaluacin. stas tienden a ser aplicaciones que exhiben una o ms de las caractersticas siguientes: intereses importantes en juego, usuarios distantes (i.e., intrpretes de evaluacin que no tienen contacto permanente con los estudiantes), complejos modelos de aprendizaje, y grandes volmenes de datos.

Los modelos de medicin actualmente disponibles pueden sustentar las clases de inferencias que

la ciencia de la cognicin sugiere que es importante buscar. En particular, ahora es posible caracterizar el logro de los estudiantes en trminos de mltiples aspectos de competencia, y no en trminos de un solo puntaje; hacer el seguimiento del progreso de los estudiantes a lo largo del tiempo, en lugar de simplemente medir el desempeo en algn momento particular; ocuparse de mltiples caminos o mtodos alternos del desempeo valorado; modelar, vigilar y mejorar los juicios sobre la base de evaluaciones bien informadas; y modelar el desempeo no solamente a nivel de los estudiantes sino tambin en grupos, clases, escuelas y estados.

Sin embargo, muchos de los modelos y mtodos ms recientes no se emplean ampliamente porque no son fciles de entender o no se presentan en formas accesibles para quienes no

poseen una slida formacin tcnica. La tecnologa ofrece la posibilidad de superar esta deficiencia. Por ejemplo, la construccin de modelos estadsticos en ambientes de aprendizaje basado en la tecnologa para uso en las aulas, posibilita a los profesores el emplear tareas ms complejas, captar y revisar los desempeos de los estudiantes, compartir ejemplos de desempeo competente y, en el proceso, obtener informacin crtica acerca de la competencia de los estudiantes.

Falta mucho trabajo y arduo, para centrar la construccin de modelos psicomtricos tanto en los rasgos crticos de los modelos de cognicin y aprendizaje, como en observaciones que revelen procesos cognitivos significativos en un rea particular de conocimiento. Para completar, la tarea se ha hecho ms difcil. Ahora se requiere un paso ms: determinar simultneamente las inferencias que se deben hacer, las observaciones que se necesitan, las tareas que las proveern, y los modelos estadsticos que, de la manera ms eficiente, representarn los patrones necesarios. Por consiguiente, disponer de una amplia gama de modelos no significa que se ha resuelto el problema del modelo de medicin. La ms seria barrera para el progreso la representa, quiz, la larga tradicin de dejar aislados en sus campos respectivos, a los cientficos, educadores, diseadores de tareas y psicmetras.

IMPLICACIONES DE LOS NUEVOS FUNDAMENTOS PARA EL DISEO DE EVALUACIONES

El diseo de evaluaciones de alta calidad, tanto para el aula como masivas, es un proceso

complejo que involucra numerosos componentes que se caracterizan por ser reiterativos e

interdependientes, ms que lineales y secuenciales. Una decisin de diseo que se tome en una etapa posterior, puede afectar a una que ocurra ms temprano en el proceso. Como resultado, los productores de evaluaciones deben con frecuencia repasar sus selecciones y refinar sus diseos.

Uno de los principales rasgos que distinguen entre los enfoques actuales y el enfoque terico

propuesto por el comit, para el diseo de evaluaciones, es el papel central de un modelo de

6

cognicin y aprendizaje, como se ha destacado con anterioridad. Este modelo puede ser refinado y muy elaborado o ms burdo, segn el propsito de la evaluacin; pero siempre debe basarse en estudios empricos de aprendices en un rea de conocimiento. Lo ideal es que el modelo proporcione tambin una perspectiva de desarrollo, en la que muestre formas tpicas en que los aprendices progresan hacia la competencia.

Otro rasgo esencial de un buen diseo de evaluacin es un modelo de interpretacin que se

ajuste al modelo de cognicin y aprendizaje. As como las tcnicas de interpretacin refinadas que se empleen con tareas de evaluacin basadas en deficientes modelos de aprendizaje producirn informacin limitada acerca de la competencia de los estudiantes; las evaluaciones basadas en una comprensin contempornea detallada de cmo aprenden los estudiantes no arrojarn toda la informacin posible, si las herramientas estadsticas disponibles para interpretar los datos , o los datos mismos, no son suficientes para realizar la tarea. Las observaciones, que incluyen tareas de evaluacin junto con los criterios para evaluar las

respuestas de los estudiantes, deben disearse cuidadosamente para producir informacin sobre

el conocimiento y los procesos cognitivos que el modelo de aprendizaje sugiere son de mxima

importancia para la competencia en el rea. El modelo de interpretacin debe incorporar esta evidencia en los resultados, de una manera que sea consistente con el modelo de aprendizaje.

La validacin de [la idea de] que las tareas ponen al descubierto procesos cognitivos y saberes

pertinentes, con frecuencia ausentes en el desarrollo de la evaluacin, es otro aspecto esencial

del esfuerzo de desarrollo. Para analizar los procesos mentales de los estudiantes examinados durante la ejecucin de las tareas, pueden emplearse algunas estrategias como: comenzar con hiptesis acerca de las exigencias cognitivas de una tarea; aplicar una variedad de tcnicas de investigacin tales como entrevistas, hacer que los estudiantes piensen en voz alta cuando estn resolviendo problemas, y analizar los errores. Adelantar tales anlisis en el comienzo del proceso de elaboracin de la evaluacin puede contribuir a que las evaluaciones, en efecto, s midan lo que intentan medir.

Las descripciones precisas del aprendizaje en el rea de conocimiento son claves para poder comunicar efectivamente acerca de la naturaleza del desempeo [esperado] de los estudiantes. Aunque el informe de los resultados se produce al final de un ciclo de evaluacin, las

evaluaciones deben disearse desde el principio, para asegurarse de que el reporte podr incluir

los tipos de informacin deseados. A los educadores, estudiantes y pblico en general, deben mostrrseles y hacrseles tan reconocibles como sea posible las formas en que la gente aprende la materia de estudio, al igual que los diferentes tipos o niveles de competencia.

La justicia es un aspecto clave en la evaluacin educativa. Una manera de abordar la justicia en la evaluacin es tomar en cuenta las historias de instruccin de los examinados -o las

oportunidades para aprender el material sobre el que se examinan- cuando se disean

evaluaciones e interpretan las respuestas de los estudiantes. Se han ensayado maneras de hacer estas inferencias condicionales, que, aunque principalmente aplicadas en pequea escala, prometen ser de utilidad para atacar los persistentes problemas de equidad en las pruebas. Ya existen algunos ejemplos de evaluaciones que se aproximan a los rasgos mencionados antes. Ellos ilustran claramente la nueva visin terica acerca de la evaluacin, que propugna el comit; y sugieren principios para el diseo de nuevas evaluaciones que sean ms tiles para las metas de aprendizaje establecidas.

LA EVALUACIN EN LA PRCTICA

7

El trabajo del comit se orient con estas premisas: (1) de cada situacin de evaluacin, algo importante debe aprenderse; y (2) la informacin obtenida debe, en ltimas, ayudar a mejorar el aprendizaje. El poder de la evaluacin en el aula radica en sus conexiones ntimas con la instruccin y con el conocimiento que los profesores tienen de las historias de instruccin de sus estudiantes. Las evaluaciones masivas y estandarizadas pueden dar informacin a travs del tiempo y el espacio, pero restringen el contenido y la oportunidad del mensaje hasta el punto en que con frecuencia tienen una utilidad limitada para el aula. Entonces, el contraste entre las evaluaciones en el aula y las masivas surge de que se usan para propsitos diferentes y en

contextos diferentes. Ciertas concesiones de parte y parte son un aspecto ineludible del diseo de las evaluaciones.

Los estudiantes aprendern ms si la instruccin y la evaluacin estn integralmente relacionadas. Para maximizar el aprendizaje en el aula, es de vital importancia proporcionarles a los estudiantes informacin acerca de caractersticas particulares de su trabajo y acerca de lo

que ellos pueden hacer para mejorar. Es en el contexto de la evaluacin en el aula donde las teoras de la cognicin y del aprendizaje pueden ser de especial utilidad, al proporcionar ilustracin sobre la comprensin de los estudiantes, en los estadios que median en su recorrido desde novicio hasta actor competente en un rea de conocimiento.

Los hallazgos de la investigacin en cognicin no siempre pueden transferirse directa o

fcilmente a la prctica del aula. Son ms efectivos los programas que interpretan los hallazgos de la investigacin en cognicin, en formas tiles para los profesores. Los docentes necesitan entrenamiento terico, tanto como prctico y herramientas de evaluacin, para poder aplicar eficazmente la evaluacin formativa en sus aulas.

Las evaluaciones masivas estn bastante alejadas de la instruccin, pero aun as pueden ser de utilidad para el aprendizaje si se disean bien y se utilizan adecuadamente. De tales evaluaciones podran hacerse inferencias ms vlidas y tiles si, durante el proceso de diseo, se aplicaran los principios que se plantean en este informe. Las evaluaciones masivas no solo sirven como un medio para reportar acerca de los logros de los estudiantes, sino que tambin reflejan aspectos de la competencia acadmica que las sociedades estiman dignas de reconocimiento y recompensa. Entonces, las evaluaciones masivas pueden proporcionar objetivos que vale la pena que profesores y estudiantes busquen alcanzar. No es deseable ensear directamente para resolver los puntos de una prueba. En cambio, ensear a la luz de la teora de la cognicin y del aprendizaje que subyace a una evaluacin puede orientar positivamente la instruccin.

Para alcanzar beneficios reales de la fusin de la teora de la cognicin y de la medicin en la evaluacin masiva, ser necesario disear maneras de cubrir una amplia gama de competencias, y obtener informacin sustancial acerca del entendimiento de los estudiantes. En realidad, para sacar todo el partido de los fundamentos que se describen en este informe, se requerirn

cambios sustanciales en la manera en que se aborda la evaluacin masiva, a la par que distender algunas de las restricciones que actualmente orientan a las prcticas de evaluacin masiva. Existen alternativas que se pueden pedir para las pruebas censales. Si se necesitan puntajes individuales de los estudiantes, pueden ampliarse las muestras del rea de conocimiento, extrayendo evidencia del desempeo de los estudiantes en trabajos de aula producidos durante el proceso de instruccin. Si el propsito primordial de la valoracin es la evaluacin del programa, puede distenderse la restriccin de tener que producir puntajes confiables de estudiantes especficos; en este caso, puede ser til un muestreo de la poblacin.

8

Para que la evaluacin en el aula o la masiva sean efectivas, los estudiantes deben entender y

compartir las metas de aprendizaje. Los estudiantes aprenden ms cuando entienden (y hasta participan en elaborar) los criterios con los que se va a evaluar su trabajo, y cuando se involucran en la evaluacin de sus compaeros o de ellos mismos, aplicando esos criterios. Estas prcticas desarrollan las habilidades metacognitivas de los estudiantes, que, como ya se recalc anteriormente, son necesarias para el aprendizaje efectivo.

El ambiente actual de la evaluacin educativa en los Estados Unidos les da un valor y una credibilidad mucho mayores a las evaluaciones masivas externas de los individuos y programas que a la evaluacin en el aula diseada para ayudar al aprendizaje. La inversin en dinero, tiempo de instruccin, investigacin y desarrollo de las pruebas masivas supera de lejos a la de la evaluacin efectiva en el aula. Ms inversin en investigacin, desarrollo y entrenamiento debe trasladarse al aula, donde ocurren la enseanza y el aprendizaje.

Una visin para el futuro es que las evaluaciones en todos los niveles ? desde el aula hasta las

estatales - operarn juntas en un sistema comprensivo, coherente y continuo. En un sistema as, las evaluaciones proporcionarn una variedad de evidencia para apoyar la toma de decisiones. La evaluacin en todos los niveles estara ligada al mismo modelo que subyace el aprendizaje de los estudiantes y dara indicios del crecimiento de stos a lo largo del tiempo.

TECNOLOGAS DE INFORMACIN (TICs): OPORTUNIDADES PARA EL AVANCE DE LA EVALUACIN EDUCATIVA

Las tecnologas de la informacin estn ayudando a eliminar algunas de las restricciones que han

limitado la prctica de la evaluacin. Las tareas de evaluacin ya no tienen que restringirse a formatos de lpiz y papel; y la carga de la evaluacin en el aula ya no tiene que recaer sobre el profesor. Al mismo tiempo, la tecnologa en s y por s no mejorar la evaluacin educativa. Los mtodos mejorados de evaluacin requieren de un proceso de diseo que conecte los tres elementos del tringulo de evaluacin. As se asegura que la teora de la cognicin, las observaciones y el proceso de interpretacin operen juntos como soporte de las inferencias que se intentan realizar. Por fortuna, existen muchos ejemplos de herramientas y aplicaciones de la tecnologa que fortalecen los nexos entre cognicin, observacin e interpretacin.

Algunas de las aplicaciones ms interesantes de la tecnologa amplan la naturaleza de los

problemas que pueden presentarse, y los saberes y procesos cognitivos que pueden evaluarse. Al enriquecer los ambientes de las tareas con el uso de los multimedios, de la interaccin y del control de la reaccin a la presentacin de estmulos, es posible evaluar una gama de competencias cognitivas mayor que la que hasta ahora ha sido posible evaluar. Entre las nuevas capacidades que la tecnologa posibilita se incluyen la evaluacin directa de las destrezas de solucin de problemas, hacer visible las secuencias de las acciones ejecutadas por los aprendices en la solucin de problemas, y el modelado y la simulacin de tareas de razonamiento complejo. La tecnologa posibilita, igualmente, la recoleccin de datos acerca de la organizacin de conceptos y otros aspectos de las estructuras del saber de los estudiantes, as como las representaciones de su participacin en discusiones y proyectos de grupo. Una de las contribuciones significativas de la tecnologa ha sido en el diseo de sistemas para realizar, en el

aula, refinadas prcticas de evaluacin formativa. Se han desarrollado sistemas basados en la tecnologa para apoyar la instruccin personalizada. Esto, mediante la obtencin de rasgos claves de las respuestas de los aprendices, el anlisis de los patrones de razonamiento correcto

9

e incorrecto, y el aporte de informacin retrospectiva rpida tanto al profesor como al estudiante.

Uno de los mayores cambios en la educacin ha resultado de la influencia de la tecnologa en

qu se ensea y cmo se ensea. Las escuelas estn haciendo ms nfasis en la enseanza de

contenidos crticos con mayor profundidad. Entre los ejemplos se cuenta la enseanza de habilidades de pensamiento y razonamiento avanzados en una disciplina, a travs de proyectos mediados por la tecnologa y que requieren investigacin a largo plazo. Tales proyectos con frecuencia integran contenidos y aprendizaje interdisciplinarios, y a la vez hacen una poderosa integracin de la evaluacin y el currculo.

Una de las posibilidades para el futuro surge del proyectado crecimiento, en todas las reas

curriculares, de la evaluacin basada en la tecnologa e incorporada en escenarios educativos. La mayor disponibilidad de tales sistemas posibilitara adelantar diseos equilibrados que representen un sistema de evaluacin ms coordinado y coherente. La informacin obtenida a partir de tales evaluaciones talvez podra usarse para propsitos mltiples, entre los que est la funcin de intervencin asociada con muchas evaluaciones externas existentes.

Finalmente, la tecnologa parece muy prometedora para fortalecer la evaluacin educativa en

muchos niveles de la prctica. Pero su uso para este propsito tambin despierta interrogantes

sobre utilidad, sentido prctico, costo, equidad y privacidad. A estos problemas habr que hacerles frente a medida que las aplicaciones de la tecnologa en la educacin y la evaluacin continan expandindose, evolucionando y convergiendo.

RECOMENDACIONES PARA POLTICAS Y PRCTICA

Como en grupos anteriores a este, el comit reconoce que el puente entre la investigacin y la prctica es difcil de construir y que la investigacin y la prctica se deben seguir desarrollando e intercomunicando. Es poco probable que la claridad ganada con el conocimiento nuevo o actualizado sobre la cognicin, el aprendizaje y la medicin sea suficiente por si misma para generar transformaciones en la evaluacin como las descritas en este reporte. La investigacin y la prctica necesitan conectarse ms directamente mediante la construccin de una base de conocimiento acumulativa que sirva ambos intereses. En el contexto de este estudio, esa base de conocimiento se enfocar en el desarrollo y utilizacin de la evaluacin basada en la teora. Adems, es esencial reconocer que la investigacin tiene un impacto indirecto en la prctica ya que influencia la base de conocimiento existente en cuatro reas mediadoras importantes: los materiales de instruccin; la formacin y el desarrollo profesional de los docentes; las polticas educativas y; la opinin pblica y el cubrimiento de los medios. Si se influencia cada una de ellas, y se expande la base de conocimiento a los principios y prcticas de la evaluacin efectiva, se puede cambiar la prctica educativa. Y a su vez, el estudio de los cambios en la prctica, puede lograr un mayor desarrollo en la base de conocimiento.

Las siguientes recomendaciones se pueden constituir en su conjunto, en las propuestas de una agenda de investigacin y desarrollo con el objeto de expandir la base de conocimiento en la integracin de la cognicin y la medicin. E incluir, las implicaciones de esta base de conocimiento para cada una de las cuatro reas mediadoras que influencian directamente la prctica educativa. Antes de continuar queremos dejar plasmadas dos propuestas de la forma en que debe continuar el trabajo en el futuro:

10

El comit es partidario de que se incremente y sostenga la colaboracin entre las diferentes

disciplinas en cuestiones tericas y prcticas de la evaluacin. Este precepto se debe aplicar no solo a la colaboracin entre investigadores en las ciencias cognitivas y de medicin, sino tambin a la colaboracin de estos grupos con los docentes, los especialistas en desarrollo curricular y los encargados de desarrollar evaluaciones.

El comit hace un llamado urgente a las personas y a las comunidades de investigadores,

prctica y polticas, para que tengan en cuenta el esquema conceptual y el lenguaje que se

ha usado en este reporte y lo utilicen como gua para estimular pensamientos futuros y

discusiones sobre los temas principales asociados con el uso productivo de la evaluacin en

la educacin. El tringulo de la evaluacin ofrece un marco conceptual sobre el pensamiento basado en los principios de los supuestos y las bases que subyacen en una evaluacin.

PRIMERA RECOMENDACIN:

Los desarrolladores de instrumentos de evaluacin que van a ser utilizados tanto en el aula de clase cmo en forma masiva, deben prestar atencin muy especial a los tres elementos del tringulo de evaluacin (cognicin, observacin e interpretacin) y a que estn coordinados. Todos estos elementos deben tener como base el conocimiento que se tiene actualmente de cmo aprenden los estudiantes [1] y cul es la mejor manera de medir ese aprendizaje. Antes de hacer uso de uso las evaluaciones, se debe dedicar tiempo y esfuerzo considerables al diseo guiado por una teora y al proceso de validacin.

SEGUNDA RECOMENDACIN:

Los desarrolladores de Currculos educativos y de evaluaciones para el aula de clase, deben crear herramientas que les permitan a los maestros implementar prcticas de instruccin y de evaluacin de alta calidad, consistentes con la comprensin moderna de como aprenden los estudiantes [1] y como puede medirse ese aprendizaje. Evaluaciones y materiales instructivos de soporte deben interpretar los hallazgos hechos por las investigaciones en el rea cognitiva de maneras que sean tiles para los maestros. Es urgente que los desarrolladores aprovechen las oportunidades que ofrece la tecnologa para valorar en detalle lo que los estudiantes estn aprendiendo, con la frecuencia adecuada y de maneras que estn ntimamente integradas a al instruccin.

TERCERA RECOMENDACIN:

Las evaluaciones masivas deben contener un amplio rango tanto de modalidades de comprensin como de competencias que se destacan en la investigacin como aspectos importantes del aprendizaje del estudiante. Una variedad de ejemplos de matrices, incluidas en el currculo y otras aproximaciones a la evaluacin, deben utilizarse para cubrir el amplio espectro de las competencias cognitivas que constituyen las metas de aprendizaje en un dominio especfico del currculo. Las herramientas de evaluacin masiva y el material de soporte para la instruccin deben desarrollarse de manera que las metas de aprendizaje y los desempeos importantes se compartan con claridad entre docentes, estudiantes y otros interesados, a lo largo del camino que conduce a la competencia. El conocimiento y las habilidades que se van a evaluar as como los criterios para juzgar el

11

desempeo deseado, deben especificarse claramente y estar disponibles para todos los potenciales evaluados y las otras personas que tengan que ver con el proceso. Las personas que desarrollan evaluaciones deben buscar nuevas formas de reportar los resultados de estas que especifiquen las diferencias importantes de desempeo en los distintos niveles de competencia de maneras que sean claras para los diferentes usuarios incluyendo educadores, padres y estudiantes.

CUARTA RECOMENDACIN:

Instruccin en como aprenden los estudiantes [1] y cmo puede ser evaluado el conocimiento [2] debe ser un componente muy importante en los programas de desarrollo y prctica profesional. Este entrenamiento debe estar ligado a experiencias reales en el saln de clase que tengan que ver con la evaluacin e interpretacin del desarrollo de la competencia en los estudiantes. Para asegurarse de que eso ocurra, los estndares nacionales para la acreditacin de programas de licenciatura en educacin deben incluir requerimientos especficos que se enfoquen en la integracin adecuada del conocimiento y la evaluacin en las experiencias educativas de los maestros.

QUINTA RECOMENDACIN:

Es urgente que las personas encargadas de elaborar las polticas reconozcan las limitaciones existentes en las evaluaciones actuales para que apoyen sistemas nuevos que tengan mltiples formas de evaluar. Esto va a mejorar su habilidad para tomar decisiones respecto a programas educativos y destinacin de recursos. Decisiones importantes que conciernen a personas no deben tomarse en base al resultado de un solo examen o prueba. En cambio las personas encargadas de elaborar las polticas deben invertir en el desarrollo de sistemas de evaluacin que utilicen una multitud de medidas para determinar el desempeo del estudiante, especialmente cuando dependen de esos resultados, intereses importantes. La evaluacin tanto en el aula de clase y como masiva debe partir de una base de conocimiento compartido sobre la naturaleza del aprendizaje. Las personas encargadas de las polticas deben promover tambin el desarrollo de sistemas de evaluacin que midan el aumento den progreso tanto de los estudiantes como del sistema educativo en el transcurso del tiempo y deben apoyar el anlisis en los distintos niveles para establecer las influencias responsables de estos cambios.

SEXTA RECOMENDACIN:

El balance entre las exigencias y los recursos debe desplazarse del nfasis dado a las formas externas de evaluacin, hacia un nfasis incremental en la evaluacin formativa en el aula diseada para ayudar el aprendizaje.

SPTIMA RECOMENDACIN:

Programas que suministren informacin al pblico sobre el papel que juega la evaluacin en mejorar el aprendizaje y sobre las aproximaciones contemporneas a ella, se deben desarrollar con ayuda de los medios.

12

Se hace necesario realizar esfuerzos para promover el entendimiento del pblico acerca de los principios bsicos de la interpretacin y uso adecuado de las pruebas (exmenes). NOTAS DEL EDITOR: [1] Cmo Aprende la Gente (How People Learn): Libro publicado por la editorial de la Academia Nacional de Ciencias de Estados Unidos que examina los ltimos descubrimientos cientficos sobre el significado de saber; desde los procesos neuronales presentes durante el aprendizaje, hasta la influencia que tiene la cultura en lo que la gente percibe y asimila. Analiza las implicaciones que estos hallazgos tienen respecto de lo que enseamos, cmo lo hacemos y cmo evaluamos lo aprendido. EDUTEKA tradujo al espaol el primer captulo de este libro:

http://www.eduteka.org/ComoAprendeLaGente.php3 [2] Ver el artculo La Valoracin Autntica, escrito por Daniel Callison, director de la Biblioteca de la Escuela de Medios de la Universidad de Indiana, quien afirma que la evaluacin debe tener en cuenta mltiples formas de desempeo de los estudiantes. Eduteka, Agosto 24 de 2002,

http://www.eduteka.org/profeinvitad.php3?ProfInvID=0013 CRDITOS: Traduccin realizada por EDUTEKA del Resumen Ejecutivo del libro "Knowing What Students Know: The Science and Design of Educational Assessment (2003)" Saber qu saben los Estudiantes: La Ciencia y el Diseo de la Evaluacin Educativa. Publicado por la Editorial de la Academia Nacional de Ciencias de Estados Unidos. http://books.nap.edu/catalog/10019.html Traductor: Tito Nelson Oviedo A. Fecha de publicacin en EDUTEKA: Febrero 07 de 2004.

Fecha de ltima actualizacin: Febrero 07 de 2004. Etiquetas: Libros Evaluaciones