1

Instituto N acional para laEvaluación de la Educación

Contenido

Presentación

Importancia de la evaluación

¿Qué son los Excale?

Niveles, grados y dominios curriculares

Otras áreas sujetas a evaluación

Cuestionarios de contexto

Plan de evaluación del aprendizaje

Proceso general de diseño, construcción, aplicación y validación de los Excale

Esquema del proceso de diseño, construc-ción, aplicación y validación de los Excale

Preguntas para la refl exión

Para saber más sobre el tema

En México la cobertura educativa de la educación básica se ha ido resolviendo gradualmente y, des-de hace más de una década, el interés se ha cen-

trado en indagar qué es lo que efectivamente aprende la población escolar y cuáles son los aprendizajes bási-cos que forman parte del repertorio de los estudian-tes.

Ante esta perspectiva, recientemente en nuestro país, al igual que en muchos otros, se estableció un sis-tema nacional de evaluación (el Instituto Nacional para la Evaluación de la Educación), el cual emplea pruebas diseñadas para tal efecto, además de cuestionarios de contexto que buscan encontrar las variables explicati-vas de los resultados obtenidos.

En ese sentido, una de las funciones del INEE es eva-luar lo que los estudiantes mexicanos aprenden del cu-rrículo nacional. Es decir, proveer información del logro educativo de los alumnos a lo largo del tiempo, así co-mo de la calidad de los servicios que se ofrecen en la educación básica y media superior.

Para el INEE el propósito fundamental de la evalua-ción del aprendizaje es proporcionar un conocimien-to general del rendimiento académico de los estudian-tes a niveles estatal y nacional, así como de los factores más importantes que influyen en éste.

A fin de lograr este objetivo, el INEE planteó la ne-cesidad de contar con instrumentos teóricos y técnica-mente sólidos; idea que se consolidó con el desarrollo de una nueva generación de pruebas nacionales -de-nominadas Exámenes de la Calidad y el Logro Educati-vos (Excale)-, mismas que se utilizaron por primera oca-sión en junio de 2005.

Por lo anterior, el propósito del presente folleto es, precisamente, difundir a toda la sociedad la naturaleza de los Excale, su plan de evaluación a largo plazo y la metodología utilizada para su desarrollo.

Presentación

2

¿Qué son los Excale?largo del tiempo entre di-versos grupos de alum-nos y áreas temáticas; y d) mejorar la evaluación a gran escala de las discipli-nas evaluadas.

Para fundamentar la propuesta de esta nue-va generación de prue-bas (Excale), el INNE reali-zó una revisión cuidadosa del conocimiento acumu-lado en materia de eva-luación, así como de los resultados que han apor-

tado las evaluaciones na-cionales e internacionales en las últimas décadas.

De esta manera, el IN-NE se adhiere a plantea-mientos que han recibido el consenso de la comu-nidad educativa interna-cional, como son: desta-car la complejidad e inte-racción de los múltiples factores que intervienen y afectan el logro edu-cativo; centrarse en las oportunidades de apren-dizaje de cada estudian-te; colectar información de las diversas esferas so-cioeducativas (la escuela,

el aula y el estudiante); y, finalmente, reconocer el hecho de que los conte-nidos de aprendizaje se manifiestan en tres dife-rentes niveles o tipos de currículo: formal (referido a los aprendizajes que el sistema educativo de un país se propone alcanzar), implementado (relativo a la interpretación o adap-tación que cada docente realiza en aula), y logrado (expresado por la apro-piación de conocimien-tos, habilidades y actitu-des que cada estudian-te, de manera individual,

Para el INEE los resultados de la evaluación del aprendizaje tienen sentido en la medida que impacten positivamente en los diferentes

ámbitos o esferas educativas, entre otras: 1) las po-líticas educativas nacionales y estatales; 2) el currí-culo nacional, los programas de estudio y los libros de texto; 3) las prácticas pedagógicas; 4) la adminis-tración y gestión escolares; 5) la formación y actua-lización docente; y 6) la opinión de especialistas y de la sociedad en general.

Para lograr dicho impacto, el INEE ha definido que la evaluación que realice debe partir de las si-guientes premisas:

Ser considerada como una evaluación externa del Sistema Educativo Nacional.Ser de alta calidad y estar apegada a normas y prácticas reconocidas internacionalmente. Proporcionar información válida y confiable con respecto a los resultados de aprendizaje que lo-gran los estudiantes en México.Asegurar el respeto por la equidad de género y de grupos étnicos.Ser realizada de manera clara y transparente, mediante la participación colegiada de docen-tes y especialistas.Estar legitimada académica y socialmente.Proporcionar elementos que ayuden a mejorar la calidad del sistema educativo del país.

Importancia

de la evaluación

Los resultados que produzcan los Exca-le deben permitir: a)

construir una visión ge-neral de lo que los estu-diantes aprenden como resultado de su escolari-zación formal; b) conocer los puntos fuertes y débi-les del currículo nacional, atendiendo variables co-mo grado y asignatura, modalidad educativa, gé-nero y estrato social; c) es-tablecer comparaciones del rendimiento escolar, así como de las tenden-cias de aprendizaje a lo

3

Instituto N acional para laEvaluación de la Educación

logra con respecto a los contenidos que fueron enseñados en su grupo).

Para lograr sus objeti-vos, el INNE ha definido que sus pruebas a gran escala tengan tres carac-terísticas distintivas: 1) ser de tipo criterial, 2) estar

alineadas al currículo na-cional, y 3) tener un dise-ño matricial.

1. Criteriales. Los Exca-le se diseñan para evaluar el dominio que tienen los estudiantes de una disci-plina en particular. Es decir, el interés central es cono-

cer el nivel de aprendiza-je de contenidos específi-cos que logran los alum-nos como producto de su escolarización formal. Por lo anterior, cada contenido temático se evalúa a pro-fundidad, procurando in-cluir todos los conocimien-

tos, habilidades y actitudes de importancia para la dis-ciplina y grado escolar.

2. Alineadas al currí-culo. El propósito de las pruebas es evaluar los aprendizajes pretendidos por el currículo mexica-no. El hecho de contar en nuestro país con un plan de estudios nacional pa-ra la educación básica, así como también con li-bros de texto gratuitos y una formación magiste-rial bastante uniforme, fa-cilita la identificación de lo que aprenden los estu-diantes en relación con lo que se espera de ellos.

3. Matriciales. Toman-do en consideración que los alumnos sólo pueden trabajar eficientemente dentro de ciertos límites de tiempo y, por otra par-te, que la pretensión de las pruebas nacionales es evaluar todos los conteni-dos curriculares importan-tes, los Excale se diseñaron con un modelo matricial, en el cual los reactivos que conforman una prueba se agrupan en bloques pa-ra ser distribuidos unifor-memente entre los alum-nos, por lo que no todos contestan las mismas pre-guntas. Por esta razón, ca-be decir que la calificación individual del estudiante pierde precisión, no así los resultados agregados a ni-vel de escuela, entidad fe-derativa, modalidad edu-cativa y estrato social; to-dos ellos centro de interés del INEE.

Niveles, grados y dominios curriculares

El INNE considera que la evaluación del aprendizaje que realice ha de cen-trarse en asignaturas propiamente instrumentales, tales como Matemáti-cas y Español, además de aquéllas que cubren grandes áreas curriculares

relacionadas con las Ciencias Naturales y Sociales, identifi cando en cada caso la selección idónea de contenidos conforme al currículo nacional y al grado es-colar a evaluar.

Respecto a los grados, se seleccionaron estratégicamente los terminales de cada ciclo escolar y los que representan momentos de inflexión en el desarrollo del aprendizaje en nuestro sistema educativo. De este modo, se han estableci-do las siguientes áreas temáticas para cada nivel y grado escolar.

NIVELES, GRADOS Y ASIGNATURAS A EVALUAR

Nivel Grado Dominio curricular

Preescolar 3º Razonamiento NuméricoRazonamiento Verbal

Primaria 3º y 6º

MatemáticasEspañolCiencias NaturalesCiencias Sociales

Secundaria 3º

MatemáticasEspañolCiencias NaturalesCiencias Sociales

Bachillerato 3º

MatemáticasEspañolCiencias Humanidades

4

Cuestionarios de contexto

Los resultados gene-rados a partir de la aplicación de los Ex-

cale permiten conocer lo que los estudiantes apren-den del currículo ofi cial; sin embargo, esta información no es sufi ciente para en-tender las diferencias en el logro académico. Por ello, el INEE desarrolla como es-trategia paralela los cues-tionarios de contexto, cu-yo objetivo primordial es identifi car los factores im-portantes asociados al ren-dimiento escolar.

Estos cuestionarios están basados en el Mo-delo de Logro Educa-tivo del INEE, en el que se plantea que el rendi-miento académico de los estudiantes se deriva de una compleja red de va-

riables que interactúan entre sí para desencade-nar efectos diferenciales en los distintos niveles del sistema educativo. En suma, este modelo pro-pone que el logro acadé-mico está poderosamen-te influenciado por el es-fuerzo coordinado de los alumnos, la familia, los docentes y las autorida-des educativas.

Al igual que las prue-bas de logro, los instru-mentos de contexto se construyen siguiendo li-neamientos y estándares apegados a una metodo-logía robusta, en la que investigadores del INEE y un cuerpo colegiado de expertos externos deter-minan por consenso los dominios que deben in-

cluir los cuestionarios que se aplican a los estu-diantes evaluados, a sus maestros y al director de escuela.

Bajo este panorama, la información del contexto debe ser sufi-ciente y rele-vante para lo-grar conocer las diferencias en el aprendizaje (por género, grupos étnicos, nivel socioeconómico, situación laboral, moda-lidad o estrato educati-vo, y entidad federati-va). Asimismo, permiti-rá identificar los factores personales, económicos y sociales que influyen en el aprendizaje.

El sistema integrado de información de los cuestionarios de con-texto posibilitará, final-mente, dar sustento a las políticas públicas que consideran, en su hacer, las prácticas más eficaces de alumnos, padres de familia, do-centes y directores.

5

Instituto N acional para laEvaluación de la Educación

Criterios generales para revisar la calidad técnica de las evaluaciones del aprendizaje que desarrolla el INEE, basados en la propuesta del National Center for Research on Evaluation, Standards and Student Testing (CRESST) de los Estados Unidos.

Alineamiento con el currículo nacional. Los Excale deberán reflejar los resultados de aprendizaje que se espera que los estudiantes logren del currículo de cada asignatura y grado escolar.

Calidad del contenido. Los contenidos de los Excale deberán representar los conoci-mientos y habilidades más importantes del currículo, de tal forma que representen un re-to para los estudiantes.

Complejidad cognitiva. Los reactivos de los Excale buscarán evaluar diversos grados de habilidades cognitivas, tales como la comprensión de conceptos y procedimientos, la so-lución de problemas y el pensamiento crítico.

Evaluación significativa. Las tareas evaluativas deberán tener sentido para que los estu-diantes aprecien su valor e importancia.

Propiedad del lenguaje. Las preguntas de los Excale deberán estar claramente redactadas, utilizando un lenguaje apropiado para el nivel y grado escolar que cursa el estudiante.

Transferencia y generalización. Los resultados de las evaluaciones deberán permitir ha-cer generalizaciones válidas respecto a la habilidad para realizar otras tareas escolares.

Consecuencias pretendidas. Las evaluaciones del aprendizaje servirán para evaluar al Sistema Educativo Nacional y de ninguna manera deberán tener efectos indeseables para los alumnos evaluados, ni para sus escuelas, directores o maestros.

Plan de evaluación del aprendizaje

PROGRAMA DE EVALUACIÓN DEL APRENDIZAJE DEL INEE

Grados Años escolares

2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016

3º Preescolar E, M E, M E, M

3º PrimariaE, MN, S

E, MN, S

E, MN, S

6º Primaria E, M E, ME, MN, S

E, ME, MN, S

E, M

3º Secundaria E, ME, MN, S

E, ME, MN, S

E, ME, MN, S

3º Bachillerato E, ME, MN, S

E, MN, S

Evaluaciones especialesPEMPECL

Nota: E = Excale-Español; M = Excale-Matemáticas; N = Excale-Ciencias Naturales; S = Excale-Ciencias Sociales; PEM = Pruebas de Estándares Nacionales de Matemáticas; PECL = Pruebas de Estándares Nacionales de Comprensión Lectora. Las áreas sombreadas indican muestras nacionales sin representatividad estatal.

Dado que la mi-sión del INEE es evaluar al Siste-

ma Educativo Nacional; que los resultados de aprendizaje no cambian signifi cativamente de un año a otro; y que la apli-cación de pruebas na-cionales a gran escala es muy onerosa, se diseñó un esquema de evalua-ción racional con el cual se puede hacer un se-

guimiento de las gene-raciones de estudiantes a lo largo de su escolari-dad.

El plan de evaluación de los Excale se basa en un programa cuatrianual; es decir, un mismo grado escolar se evaluará cada cuatro años. La implemen-tación de este esquema se hará en forma gradual, de manera que poco a po-co se evaluarán todos los

grados y áreas temáticas, de conformidad con la si-guiente tabla.

Como se puede apre-ciar, en 2005 se aplicarán los Excale de Español y Matemáticas en los gra-dos de 6º de primaria y 3º de secundaria. En 2006 se evaluará, además, Cien-cias Sociales y Ciencias Naturales en 3º de prima-ria. En 2007 se evaluarán las habilidades de Len-

guaje y Matemáticas en 3º de preescolar. Final-mente, en 2008 se eva-luarán las cuatro asigna-turas mencionadas en 3º de secundaria, así como Matemáticas y Español en bachillerato. A partir de 2009 se aplicarán en for-ma regular todas las áreas previstas en el modelo.

Esta propuesta de-ja abierta la posibilidad de que se apliquen otras

evaluaciones de aprendi-zaje; como puede ser una prueba de Comprensión Lectora y otra de Habili-dad Matemática para al-gunas modalidades edu-cativas y grados escolares que el Consejo Técnico creyera conveniente (por ejemplo, las Pruebas de Estándares Nacionales de 6º de primaria y 3º de se-cundaria para el estudio comparativo 2000-2005).

6

Con el fi n de evaluar los aprendi-zajes que logran los estudiantes del Sistema Educativo Nacional,

es preciso desarrollar una serie de li-neamientos y estándares rigurosos en la construcción de instrumentos de evaluación educativa, lo cual implica la adaptación de una metodología ro-busta que haya probado su validez para los propósitos que se persiguen. Éste es el caso del modelo de cons-trucción de pruebas criteriales alinea-das al currículo, donde un aspecto central es el trabajo colegiado de es-pecialistas y docentes (para mayor in-formación consultense los trabajos de Anthony Nitko, Ronald Hambleton y James Popham, entre otros).

Esta metodología, adaptada en los Exámenes de la Calidad y el Logro Edu-cativos (Excale) que el Instituto Nacional para la Evaluación de la Educación (INEE) diseña, establece un proceso definido en siete fases y 16 etapas, mismas que se muestran gráficamente en el diagrama que aparece al final del folleto. En dicho diagrama se puede apreciar: a) el proce-so completo para diseñar, construir, apli-car y validar los Excale; b) los diversos es-pecialistas y comités que intervienen en el proceso; c) los principales productos que se generan en cada etapa; y d) el sis-tema de supervisión cíclico que garanti-za el control de calidad.

Es importante señalar que, por lo ge-neral, los productos de cada etapa sir-ven como insumos de la siguiente, por lo que en el propio proceso de genera-ción de este tipo de pruebas se contem-pla, en parte, el proceso de validación de las mismas.

EXAMEN DE LA CAEDUCATIVO DE ESPA

LÍNEA DE EVALUACIÓN

¿QUÉ SE E

Comprensión de lectura

Estrategias de comp

Refl exión sobre los códigos escritos

Conocimientos en usgramática

RedacciónEscritura de palabrasde textos descriptivoargumentativos

* Estos seis reactivos son de respuesta construida y

Fase I: Plan generalLa primera fase del proceso tiene

el propósito principal de establecer un plan de pruebas a largo plazo, por lo que resulta de particular importan-cia la participación del Consejo Técni-co del INEE y de los asesores externos en medición y validación; todos ellos encargados de definir los propósitos, principios y referentes conceptuales de los cuales dependerán las fases restantes del proceso. Esta fase cons-ta de tres etapas:

En la primera se diseña el Plan Ge-neral de Evaluación del Aprendizaje, donde se plasman: el Marco de Refe-rencia de los Excale; el proceso de di-seño, construcción, aplicación y vali-dación de pruebas; el diseño matricial; y el modelo de niveles de logro. Asi-mismo, se elabora el marco teórico y el programa para validar las interpreta-ciones de los Excale.

En la segunda etapa se diseñan y elaboran los cuestionarios de contex-to –dirigidos a estudiantes, docentes y directores de escuela– que se aplicarán junto con las pruebas para poder expli-car los resultados de aprendizaje que se obtengan.

Finalmente, en la tercera etapa, se diseña y desarrolla un sistema auto-matizado de información para alojar, mantener y manejar la base de datos (estructura curricular de la asignatu-ra, tabla de contenidos de la prueba, especificaciones y plantillas de reacti-vos, resultados de la validez, paráme-tros del piloteo de reactivos, etcétera) relativa a las distintas pruebas que se vayan generando.

Fase II: Estructuración de los Excale

A partir de esta fase todas las etapas del proceso son específi-cas para cada Excale. Ésta tiene el propósito de diseñar y justificar la estructura del examen y, por otra parte, elaborar las especificaciones de todos los reactivos que confor-marán la prueba. En ella participan especialistas en currículo, en la en-señanza de la disciplina, autores de libros de texto, representantes de asociaciones, así como docen-tes en ejercicio de los distintos es-tratos y modalidades educativos.

En esta fase se establecen la cuar-ta y quinta etapas del proceso. En la cuarta etapa, el Comité Académico de cada prueba, formado por un nú-mero deseable de diez especialistas, realiza un análisis curricular exhaus-

Proceso general de diseño, construcción, aplicación y

validación de los Excale

7

Instituto N acional para laEvaluación de la Educación

ma detallada las características de cada reactivo. Es decir, se precisa el conteni-do a evaluar, su ubicación en el currí-culo, su importancia, la habilidad inte-lectual requerida al alumno y el forma-to del reactivo mismo (características de forma, fondo, redacción, etcétera), de tal manera que esta descripción sir-va como guía o modelo para construir reactivos similares y, hasta donde sea posible, equivalentes. El número de es-pecificaciones para cada prueba es va-riable, éste depende de la extensión cu-rricular de la asignatura.

Fase III: Construcción de reactivos de los Excale

Esta fase del proceso corresponde a la elaboración de los reactivos, su vali-dación y piloteo. Su propósito es produ-cir reactivos de alta calidad para la con-formación de la prueba. Dentro de esta fase se ubican la sexta, séptima y octava etapas del proceso.

En la sexta etapa, miembros del Co-mité Constructor de Reactivos de cada prueba, constituido aproximadamen-te por una decena de autores de libros de texto y docentes en ejercicio, formu-lan de manera independiente tres reac-tivos para cada especificación, los cua-les serán revisados por otros especialis-tas conforme al manual de revisión de reactivos, haciendo énfasis principal-mente en la congruencia reactivo-espe-cificación. El proceso se repite hasta que los reactivos quedan terminados a satis-facción de los revisores.

Los reactivos resultantes se pre-edi-tan, se alojan en el sistema informáti-co, y pasan al Comité de Validez y Ses-go con el cual se inicia la séptima eta-pa del proceso. Cabe resaltar que dicho Comité es constituido por docentes en ejercicio de las 32 entidades federativas del país, y representantes de los diver-sos estratos y modalidades educativos. Este Comité revisa cada reactivo en re-lación a su contenido (pertinencia curri-cular, grado de dificultad, etcétera), re-

LIDAD Y EL LOGRO ÑOL 6º DE PRIMARIA

EVALÚA?ESPECIFICACIONES

Y REACTIVOS

rensión68

so de ortografía y 52

s, copia y redacción os, narrativos y 6*

se califican con 40 rúbricas.

tivo de la asignatura y grado corres-pondientes, a fin de generar una retí-cula (tabla de doble entrada) donde se explicite la estructura curricular y los contenidos que son esenciales y muy importantes de evaluar. A par-tir de la retícula, se elabora la tabla de contenidos de la prueba y la jus-tificación de los contenidos curricu-lares que la conforman. En esta tabla se establecen las áreas temáticas o componentes, los temas y los subte-mas que derivan en los contenidos curriculares y habilidades intelec-tuales a evaluar, así como la forma y número de reactivos con que serán evaluados.

En la quinta etapa, el Comité Elaborador de Especificaciones de Reactivos de cada prueba, forma-do por una decena de especialistas y docentes, define y describe en for-

dacción (lenguaje utilizado y construc-ción sintáctica, entre otros) y sesgos cultural y de género (características de contenido y redacción que favorezcan o perjudiquen a algún grupo social). Ca-da reactivo es revisado independiente-mente por dos profesores y, en caso de discrepancia, por un grupo de ocho do-centes quienes deben llegar a consen-so. En su caso, se proponen recomen-daciones para mejorar los reactivos o se justifica su eliminación.

En la octava etapa se realiza un es-tudio piloto con una muestra intencio-nal de aproximadamente cinco mil es-tudiantes por prueba con el fin de cono-cer el comportamiento psicométrico de los reactivos y detectar los problemas que enfrentan los alumnos al respon-derlos. Este estudio piloto ensaya las condiciones reales de aplicación, misma que incluye la capacitación a coordina-dores y responsables de evaluación, la aplicación de encuestas a alumnos, do-centes y directores, así como la logísti-ca completa de los estudios evaluativos. Esta etapa culmina con la lectura de las respuestas de los estudiantes y la con-formación de una base de datos con los resultados obtenidos.

Fase IV: Conformación de los ExcaleEl propósito de esta fase es editar los

cuadernillos de cada una de las pruebas nacionales con la información recabada en las dos etapas anteriores. En esta fase se seleccionan los reactivos que confor-marán las pruebas nacionales, se agru-pan en bloques y se definen las diversas formas de cada uno de los Excale.

Para llevar a cabo dicha selección, se efectúa un análisis del comportamiento psicométrico de los reactivos (en diver-sos grupos de estudiantes) y se conside-ran las observaciones efectuadas por los docentes en cuanto a su validez de conte-nido y ausencia de sesgo. Este análisis se realiza considerando los estándares de las pruebas criteriales, es decir, dándole ma-yor preferencia al aspecto de contenido

8

EXAMEN DE LA CAEDUCATIVO DE ESPAÑ

LÍNEA DE EVALUACIÓN

¿QUÉ SE E

Comprensión de lectura

Estrategias de comp

Refl exión sobre los códigos escritos

Conocimientos en usgramática

Redacción

Escritura de palabrasenunciado y redacciódescriptivo, uno narrargumentativo

* Estos seis reactivos son de respuesta construida y

EXAMEN DE LA CAEDUCATIVO DE MATEMÁ

Eje temático ¿Qué se eva

Los números, sus relaciones y sus operaciones

Números naturales, fy decimales

MediciónLongitudes, áreas, vopeso, tiempo

GeometríaUbicación espacial, fi cuerpos geométricos

Tratamiento de la información

Organización de la inen tablas, diagramas,barras y pictogramas

Predicción y azarIdentifi cación de la mmenor probabilidad d

Procesos de cambioTablas de variación py cálculo de porcenta

Total 6

EXAMEN DE LA CAEDUCATIVO DE MATEMÁT

Área ¿Qué se eva

AritméticaNúmeros naturales, dracionales, con signooperaciones; proporc

ÁlgebraPreálgebra, monomiopolinomios, ecuacionfunciones

GeometríaEstudio de la forma, smedición y cálculo ge

Presentación y tratamiento de la información

Tablas y gráfi cas, medtendencia central

ProbabilidadConteo y cálculo de probabilidades

Total 5

que al comportamiento psicométrico. En la décima etapa, se forman distin-

tos bloques de reactivos y con ellos dis-tintas formas. Los bloques se conforman con una pequeña cantidad de reactivos, que en conjunto puedan ser contesta-dos en 15 minutos y compartan ciertas características que los hagan equivalen-tes en cuanto a su contenido, nivel de di-ficultad y varianza, así como en su exten-sión. Una vez conformados los bloques de reactivos, éstos se combinan con el fin de armar distintas formas, de tal mane-ra que todos los bloques se encuentren, hasta donde sea posible, en igual pro-porción y distribución. El número de for-mas puede variar de una prueba a otra. Finalmente, a cada forma se le agrega el cuestionario de contexto del alumno pa-ra mandar a imprimir los cuadernillos re-sultantes, y con esto, concluir la fase.

Fase V: Aplicación de los ExcaleLa quinta fase del proceso tiene co-

mo propósito principal administrar las pruebas considerando una muestra na-cional de estudiantes, así como los cues-tionarios de contexto que serán aplica-dos a alumnos, docentes y directores. Asimismo se desarrolla la captura de los resultados en una base de datos para su posterior análisis.

Durante esta fase se diseña la mues-tra poblacional de alumnos de confor-midad a los estudios evaluativos que se planeen realizar; se capacita al personal encargado de la coordinación de la apli-cación en las entidades federativas; se distribuyen los cuadernillos y, finalmen-te, se aplican las pruebas nacionales a las muestras poblacionales seleccionadas.

El diseño de estas muestras se reali-za en la etapa décimo primera; acción que implica la selección de escuelas y estudiantes de las 32 entidades fede-rativas del país. El diseño depende de muchos factores, entre los que se en-cuentran: el marco muestral disponi-ble, los propósitos del(los) estudio(s) a realizarse, la representatividad de las

subpoblaciones que se deseen evaluar (rurales, urbanas, privadas, etcétera), el grado de confianza de la muestra, y el tipo de diseño matricial de las prue-bas. Una vez diseñada la muestra alea-toriamente, ésta se valida con la infor-mación que proporcionan las escuelas seleccionadas.

En la décimo segunda etapa se reali-za el proceso de capacitación a los coor-dinadores y responsables de la aplica-ción, se distribuyen los cuadernillos a las 32 entidades federativas, se adminis-tran las pruebas a los estudiantes selec-cionados, se aplican los cuestionarios de contexto a docentes y directores de escuelas de los dos niveles educativos y, por último, se leen y capturan los resul-tados de las pruebas y cuestionarios en una base de datos.

Para el caso de los reactivos de res-puesta abierta donde sólo se utiliza una muestra nacional sin representati-vidad estatal, como es el caso de la sec-ción de Redacción de la prueba de Es-pañol, dos jueces califican cada reacti-vo con base en una rúbrica o protocolo de calificación para que, posteriormen-te, se agreguen los resultados a la base de datos correspondiente.

Esta etapa del proceso es muy deli-cada, pues en ella se presenta una di-versidad de problemas que fácilmente podrían invalidar los resultados de las evaluaciones.

Fase VI: Análisis e interpretación de resultados de los Excale

Esta fase consta de tres etapas y tie-ne como propósito final la elaboración de los informes técnicos sobre los resul-tados de las pruebas y los cuestionarios de contexto; elementos que serán el sus-tento de los reportes anuales relaciona-dos con el aprendizaje que publique el INEE. Para lograr esta meta, es necesario realizar un análisis inicial de los resulta-dos, a fin de establecer los niveles de lo-gro de los estudiantes e incluirlos en los reportes técnicos correspondientes.

9

Instituto N acional para laEvaluación de la Educación

LIDAD Y EL LOGRO OL 3º DE SECUNDARIA

EVALÚA?ESPECIFICACIONES

Y REACTIVOS

rensión64

so de ortografía y 48

s, copia de un ón de un texto rativo y uno

6*

se califican con 40 rúbricas.

LIDAD Y EL LOGRO ÁTICAS 6° DE PRIMARIA

alúa? Especifi caciones Reactivos

raccionarios 34 76

olúmenes, 19 28

guras y s

12 12

nformación , gráfi cas de

s 3 4

mayor o de eventos

6 6

proporcional ajes

7 10

81 136

LIDAD Y EL LOGRO TICAS 3° DE SECUNDARIA

alúa? Especifi caciones Reactivos

decimales, y sus

cionalidad 35 44

os y nes, 37 37

sólidos, eométrico

36 49

didas de 4 4

5 5

117 139

Así, en la etapa décimo tercera, se rea-lizan los primeros análisis estadísticos, tanto de estudiantes como de reactivos, poniendo especial énfasis en el compor-tamiento psicométrico de estos últimos.

En la etapa décimo cuarta, el Comité de Establecimiento de Niveles de Logro de cada prueba, compuesto por auto-ridades educativas, especialistas en cu-rrículo, autores de libros de texto y do-centes en ejercicio, define las categorías y niveles de logro de los estudiantes de acuerdo con: 1) la ejecución que en “teo-ría” se esperaría de ellos y 2) los resulta-dos reales en la prueba respectiva. Con esta información se definen los puntos de corte (puntuaciones mínima y máxi-ma) de cada nivel de logro.

Finalmente, en la etapa décimo quin-ta, se elaboran los informes técnicos so-bre los resultados de aprendizaje de los estudiantes evaluados, consideran-do para ello las variables de contexto y de oportunidades de aprendizaje apor-tadas en los cuestionarios aplicados a alumnos, docentes y directores.

De especial interés para el INEE es conocer el logro del aprendizaje en las distintas subpoblaciones muestreadas (entidades federativas; estratos y moda-lidades educativos), así como los conte-nidos que los estudiantes dominan del currículo nacional. No está por demás subrayar que la información generada en esta etapa nutre significativamente la publicación anual del INEE: La Calidad de la Educación Básica en México.

Fase VII: Validación de los ExcalePor último, esta fase consta de una

sola etapa y tiene como meta aportar información diversa sobre la validez de las pruebas y las interpretaciones que se deriven de su uso.

Aunque para fines prácticos la eta-pa décimo sexta se ubica al final del pro-ceso de construcción de las pruebas, en realidad inicia desde el momento en que termina el diseño de una prueba (cuar-ta etapa). Podemos ver dos momentos

de los estudios de validez de los Excale: 1) durante el proceso mismo de su cons-trucción y 2) posterior a su terminación.

En el primer caso, los estudios van di-rigidos a evaluar la calidad y congruencia de cada una de las etapas del proceso, y tiene como finalidad verificar el proce-so mismo, así como generar información tendiente a corregir los problemas detec-tados mientras se construye la prueba.

En el segundo caso, los estudios tie-nen el propósito de aportar evidencias de la veracidad y limitaciones de las inter-pretaciones que se generen como resul-tado del uso de una prueba. Su finalidad es doble: por un lado, legitimar académi-camente las evaluaciones generadas por el INEE y, por el otro, iniciar un proceso de mejora de las pruebas con base en la in-formación y documentación de estos es-tudios. El proceso de validación de una prueba nunca termina; sólo se van acu-mulando evidencias de la veracidad o fal-sedad de sus interpretaciones.

Conclusiones

Para conocer el logro educativo de los estudiantes mexicanos, el INEE plantea la necesidad de contar con

instrumentos teóricos y técnicamente só-lidos, que se basen en normas y prácticas de alta calidad utilizadas internacional-mente. Esta premisa ha consolidado el diseño de una nueva generación de prue-bas nacionales –los Excale– que se basa en el trabajo colegiado de diversos comi-tés, donde intervienen docentes de todas las entidades federativas del país, así co-mo especialistas nacionales y extranjeros de reconocido prestigio académico. Con estos instrumentos podremos proporcio-nar información válida y confi able que ayude a la toma de decisiones destinada a mejorar la calidad del sistema educati-vo del país.

Un compromiso ineludible que tiene el INEE con la sociedad en general, es ha-cer transparentes todas sus actividades evaluativas; razón por lo cual se publica esta información.

10

INEE

/ Sub

dire

cció

n PE

: ana

liza

resu

ltado

s Se

lecc

ión

de

Sí

Ase

sore

s: a

porta

n id

eas.

INEE

/ Dire

ccio

nes:

pre

para

n pl

an.

Con

sejo

Téc

nico

: rev

isa,

com

plem

enta

y

apru

eba

plan

.

INEE

/ Sub

dire

ccio

nes:

det

erm

inan

cara

cter

ístic

as d

e la

bas

e de

dat

os.

Espe

cial

ista

s en

base

de

dato

s: d

iseñ

an e

l si

stem

a.IN

EE/ P

erso

nal T

écni

co: a

poya

.

INEE

/ Per

sona

l Dire

ctiv

o: c

apac

ita c

omité

s.C

omité

s: c

onst

ruye

n re

activ

os.

Espe

cial

ista

s: re

visa

n re

activ

os.

INEE

/ Per

sona

l Téc

nico

: apo

ya.

Con

sejo

Técn

ico

apru

eba

INEE

y re

viso

res

apru

eban

Junt

aD

irec

tiva

apru

eba

Etapa 1 Etapa 3 Etapa 6

Dis

eño

del

Plan

Gen

eral

de

Eva

luac

ión

Dis

eño

y de

sarr

ollo

del

si

stem

ain

form

átic

o

Elab

orac

ión

dere

activ

os

Espe

cial

ista

s:el

abor

an p

ropu

esta

s.IN

EE/ D

irecc

ione

s, Su

bdire

ccio

nes:

revi

san

y co

mpl

emen

tan

prop

uest

as.

INEE

/ Per

sona

l Téc

nico

: ela

bora

o a

dapt

a cu

estio

nario

s.

Etapa 2

Dis

eño

y el

abor

ació

n de

cu

estio

nario

sde

con

text

o

Plan

Gen

eral

de

Eval

uaci

ón d

el

Apr

endi

zaje

Sist

ema

de

info

rmac

ión

(bas

e de

da

tos d

e re

activ

os)

Car

peta

s con

tres

re

activ

os p

or

espe

cific

ació

n

Cue

stio

nario

s de

Con

text

o de

l alu

mno

, do

cent

e y

dire

ctor

Sí SíNo No

INEE

/ Per

sona

l Dire

ctiv

o: c

apac

ita c

omité

s.C

omité

s: d

iseñ

an p

rueb

as.

INEE

/ Per

sona

l Téc

nico

: apo

ya.

Etapa 4

Dis

eño

de

las p

rueb

as

INEE

/ Per

sona

l Dire

ctiv

o: c

apac

ita c

omité

s.C

omité

s: e

labo

ran

espe

cific

acio

nes d

e re

activ

os.

Espe

cial

ista

s: re

visa

n es

peci

ficac

ione

s.

Etapa 5

Espe

cific

a-ci

ón d

e re

activ

os

Tabl

as d

e co

nten

idos

de lo

s Exc

ale

Car

peta

s con

las

espe

cific

acio

nes d

e re

activ

os d

e lo

s Ex

cale

SíNo

SíNo No

SÍNo

INEE

/ Per

sona

l Dire

ctiv

o: c

apac

ita c

omité

s. C

omité

s: v

alid

an c

onte

nido

s y a

usen

cia

de

sesg

o.

Etapa 7

Valid

ació

n de

re

activ

os

INEE

/Coo

rdin

ació

nPr

ueba

s:co

rrig

ere

activ

os.

INEE

/Sub

dire

cció

nPE

:def

ine

mue

stra

.Im

pren

taco

ntra

tada

:im

prim

ecu

ader

nillo

s.IN

EE/P

erso

nalT

écni

co:c

apac

itaa

coor

dina

dore

s.A

lgun

as C

oord

inac

ione

s Est

atal

esde

Eval

uaci

ónap

lican

pilo

teos

dere

activ

os.

Etapa 8

Pilo

teo

de

reac

tivos

y

cues

tiona

rios

de c

onte

xto

Car

peta

con

reac

tivos

va

lidad

os, p

or c

orre

gir

y el

imin

ados

Bas

e de

dat

os c

on

resu

ltado

s de

pilo

taje

Sí SíNo

No

INEE

apru

eba

INEE

apru

eba

INEE

apru

eba

Fas

e I

Plan

eaci

ónge

nera

l

Fas

e II

Est

ruct

urac

ión

de lo

s Exc

ale

Fas

e II

IC

onst

rucc

ión

de

reac

tivos

de

los E

xcal

e

INEE

revi

sore

sap

rueb

an

INEE

revi

sore

sap

rueb

an

11

Instituto N acional para laEvaluación de la Educación

INEE

/ Dep

to d

e Ed

ició

n: a

rma

prue

bas.

Impr

enta

con

trata

da: i

mpr

ime

cuad

erni

llos.

INEE

/ Dep

to E

dici

ón: s

uper

visa

.

Etapa 10

Edic

ión,

arm

ado

e im

pres

ión

Bas

e de

dat

os c

on lo

s re

sulta

dos c

aptu

rado

s

Sí

Espe

cial

ista

s de

mue

stre

o: e

labo

ran

prop

uest

a.IN

EE/ S

ubdi

recc

ión

PE: r

evis

a y

apru

eba

prop

uest

a.IN

EEap

rueb

a

Etapa 11

Mue

stre

opo

blac

iona

l

de p

ilote

o.IN

EE/ S

ubdi

recc

ione

s de

Prue

bas:

sele

ccio

na

reac

tivos

.IN

EE/ S

ubdi

recc

ión

PE: c

onfo

rma

bloq

ues

de re

activ

os.

Etapa 9

reac

tivos

e

inte

grac

ión

de

bloq

ues y

fo

rmas

Dis

eño

de m

uest

ra

pobl

acio

nal p

or g

rado

es

cola

r

Rea

ctiv

os se

lecc

iona

dos

en b

loqu

es p

ara

conf

orm

ar lo

s Exc

ale

Sí No

Fas

e IV

Con

form

ació

n de

lo

s Exc

ale

Fas

e V

Apl

icac

ión

de lo

sE

xcal

eTo

das l

as C

oord

inac

ione

s Est

atal

es d

e Ev

alua

ción

coo

rdin

an a

plic

ació

n.Pe

rson

al c

ontra

tado

: apl

ica

prue

bas.

INEE

/ Per

sona

l Dire

ctiv

o: c

apac

ita c

omité

s. C

omité

s: e

stab

lece

n ni

vele

s de

com

pete

ncia

.IN

EE/ P

erso

nal T

écni

co: a

poya

.

Etapa 12 Etapa 14Adm

inis

traci

ónde

las p

rueb

as

y ca

ptur

a de

re

sulta

dos

Est

able

-ci

mie

nto

deni

vele

sde

logr

o

INEE

/ Sub

dire

cció

n PE

: ana

liza

resu

ltado

s y

elab

ora

repo

rtes t

écni

cos y

psi

com

étric

os d

ere

activ

os.

Etapa 13

Aná

lisis

inic

iale

s de

resu

ltado

s

Bas

e de

dat

os c

on lo

s re

sulta

dos c

aptu

rado

s

Esta

blec

imie

nto

de

nive

les d

e co

mpe

tenc

ia

y pu

ntos

de

corte

Rep

orte

de

com

porta

mie

nto

psic

omét

rico

de

reac

tivos

Rea

ctiv

ospa

rade

scar

tar

Rea

ctiv

ospa

rapu

blic

ar

Rea

ctiv

ospa

rare

visa

r

Fas

e V

IA

nális

is e

in

terp

reta

ción

de

res

ulta

dos d

e lo

s Exc

ale

Fas

e V

IIVa

lidac

ión

de lo

s E

xcal

e

Ase

sore

s en

valid

ació

n: p

ropo

nen

estu

dios

.IN

EE/ I

nves

tigad

ores

: rea

lizan

est

udio

s.

Etapa 16

Estu

dios

de

valid

ez d

e pr

oces

os y

re

sulta

dos d

e la

s pr

ueba

s

Rep

orte

s téc

nico

s de

estu

dios

de

valid

ez d

e lo

s Exc

ale

Ase

sore

s: h

acen

pro

pues

tas s

obre

tipo

s de

anál

isis

a re

aliz

ar.

INEE

/ Sub

dire

cció

n PE

: ana

liza

resu

ltado

s y

elab

ora

info

rme

prel

imin

ar.

INEE

/ Sub

dire

cció

n de

Pru

ebas

: rev

isa

y en

rique

ce in

form

e.IN

EE/D

irecc

ión

PM: i

nter

pret

a re

sulta

dos y

e

stru

ctur

a in

form

e.

Etapa 15Elab

orac

ión

de

info

rme

técn

ico

de

resu

ltado

s de

apre

ndiz

aje

Info

rme

técn

ico

de

resu

ltado

s de

apre

ndiz

aje

No

SíNo SíNo

INEE

apru

eba

INEE

apru

eba

INEE

apru

eba

SíNo

SíNo

SíNo

INEE

apru

eba

INEE

apru

eba

INEE

apru

eba

Rei

nici

ode

la

fase II

12

Preguntas para la reflexiónDocentes

Si su escuela ha participado en los Excale ¿cómo describe su experiencia al respecto? ¿Qué aspectos conviene mejorar en la organización del operativo para la aplicación de

pruebas y cuestionarios de contexto? ¿Considera usted que los contenidos que manejan los Excale es-

tán bien seleccionados y son suficientes para medir los cono-cimientos y habilidades curriculares? ¿Considera que las preguntas de los cuestionarios de

contexto son suficientes y pertinentes para conocer la realidad familiar y escolar de los estudiantes?

¿Cómo reaccionan los estudiantes ante las prue-bas?

¿Cuáles serían sus propuestas para mejorar los as-pectos relacionados con la selección de contenidos de las pruebas nacionales y de los cuestionarios de contexto?

Padres

¿Qué información tiene usted sobre las pruebas na-cionales de matemáticas y comprensión lectora que se aplican en algunas escuelas del país?

En caso de que su (s) hijo (s) haya (n) sido evaluado (s) mediante estas pruebas ¿ha (n) comentado con usted

la experiencia tenida al respecto? ¿Encuentra positiva la aplicación de pruebas que reali-zan instancias externas a la escuela para identificar los

logros educativos de los alumnos? ¿Tiene usted alguna recomendación para obtener mayor pro-

vecho de la aplicación de las pruebas nacionales (los Excale)? ¿Sabía usted que a la par de las pruebas, también se aplican cues-

tionarios para conocer aspectos del entorno familiar y escolar de los alumnos?

En caso de que su (s) hijo (s) haya (n) sido encuestado (s) y conozca (n) de manera general la información que se pretende obtener, ¿tendría al-

guna propuesta que nos permitiera mejorar la calidad de los datos?