GRUPO DE TRABAJO SOBRE EVALUACIN DEL DESEMPEO DE ESTUDIANTES DE LA COCOEES.ELEMENTOS DEL DIAGNSTICO1. En los ltimos aos en Mxico, los responsables de definir las polticas pblicas y de supervisar el manejo eficiente de los recursos pblicos, los empleadores, los estudiantes y la sociedad en general han puesto una marcada atencin sobre los resultados de la educacin superior, en especial, sobre el grado en que las IES efectivamente desarrollan en los estudiantes los conocimientos y habilidades que son necesarios para incorporarse a una economa basada en el conocimiento. Sin embargo, en trminos generales, nos encontramos en una situacin de dficit con respecto a la posibilidad de contar con informacin comparativa confiable, a escala nacional o regional, sobre los resultados del aprendizaje alcanzado por los estudiantes y los egresados de las IES, no obstante ser este el objetivo prioritario de todo proceso educativo. Las siguientes son algunas de las caractersticas de los procesos de evaluacin del desempeo de los estudiantes que se llevan a cabo en las IES y de las formas como esta variable se pondera en los marcos referenciales de los organismos responsables de la evaluacin y la acreditacin de programas educativos en el pas que pueden explicar esta circunstancia:1.1. Las IES evalan el desempeo de los alumnos, durante su trayectoria escolar, conforme a sus propios criterios y estndares y, en muy pocos casos, estas evaluaciones y criterios mediante los cuales se acreditan las asignaturas o, incluso, se otorga el ttulo profesional, se realizan complementando las evaluaciones que hace cada profesor en su prctica cotidiana, con los resultados de las observaciones y evaluaciones que hacen las academias o los departamentos acadmicos o con instrumentos y estndares externos a las propias IES. En sus procesos de admisin, una gran mayora de IES utiliza ya exmenes estandarizados desarrollados y aplicados por instancias externas (como es el caso del Examen Nacional de Ingreso a la Educacin Superior EXANI II, el Examen de Habilidades y Conocimientos Bsicos, EXHCOBA o el Scholastic Aptitude Test SAT) para determinar su ingreso. Sin embargo, son pocos los casos en los que las decisiones de admisin consideran los resultados obtenidos por los aspirantes en estas evaluaciones, junto con otros indicadores de su trayectoria acadmica previa, como el promedio de calificaciones del ciclo inmediato anterior o los resultados de otras evaluaciones, tal y como lo recomiendan las agencias especializadas en este tipo de procesos; en muy pocos casos, tambin, se definen los puntos de corte para el ingreso, de manera tal que se garantice la formacin mnima adecuada de la cohorte de ingreso. Asimismo, tampoco es comn que los resultados encontrados en las evaluaciones de ingreso se utilicen en la planeacin de medidas remediales o para orientar adecuaciones en el currculo o en el proceso de enseanza aprendizaje, para apoyar a estudiantes en situaciones de riesgo o para el desarrollo de lneas investigacin ligadas a los propios procesos de admisin o a la trayectoria acadmica de los estudiantes. Por otro lado, los datos comparables que sobre la formacin de sus estudiantes al trmino del programa educativo tienen las IES derivan, fundamentalmente, de los resultados que sus egresados alcanzan en los Examen General de Egreso de la Licenciatura,EGEL; sin embargo, solo en pocos casos dichos resultados permiten hacer inferencias vlidas sobre la calidad de la enseanza que se ofrece en los programas educativos en virtud de que, en muchas de estas, se contempla el uso del EGEL, nicamente como una opcin de titulacin o como un simple requisito administrativo, sin consecuencias acadmicas de ningn tipo para el estudiante. Ello se traduce, en muchas ocasiones, en que no presentan el EGEL el total de los egresados del programa, ni tampoco una muestra estadsticamente representativa de ellos y que, en algunos casos, los estudiantes lo sustenten sin realizar su mximo esfuerzo. Por supuesto, esta condicin impide que las IES puedan utilizar el anlisis de resultados para la mejora del currculo o de los procesos de enseanza aprendizaje.Por ltimo debe sealarse que la expedicin de la cdula profesional en el pas se realiza mediante un cotejo de datos de los expedientes de las IES que no implica, en ningn caso, la evaluacin externa como un mecanismo para asegurar al pblico que los individuos que pretenden desempearse en una determinada profesin, satisfacen ciertos estndares y estn calificados para practicarla, no obstante que la cdula profesional tiene vigencia ilimitada en todo el pas, con independencia del grado de pertinencia y actualidad de los conocimientos y habilidades de quien la posee.1.2. En los marcos referenciales en los que se basan los procesos de evaluacin y acreditacin de programas educativos que se realizan en el pas, existen algunos indicadores relacionados con resultados de la educacin superior, como titulacin, eficiencia terminal, aprobacin, retencin, rezago o nmero y tipo de investigaciones realizadas; sin embargo, no se incluye algn indicador que permita contar con evidencia emprica, comparable a escala nacional o regional, sobre los resultados del aprendizaje alcanzado por los estudiantes durante su trayectoria escolar o al trmino de la misma. Los indicadores que se vinculan con la categora de evaluacin del aprendizaje en estos marcos de referencia, en trminos generales, solo permiten saber cules son los instrumentos y procedimientos que se utilizan para evaluar el desempeo de los estudiantes, muchos de los cuales se refieren a la valoracin y decisin de cada profesor.1.3. El Ceneval cuenta actualmente con un repertorio de 33 EGEL, que el prximo ao se extender a 40, con la inclusin de los correspondientes a Arquitectura, Ingeniera en Alimentos, Diseo Grfico, Criminologa, Relaciones Internacionales, Gastronoma y Ciencia Poltica y Administracin Pblica. Esto ha permitido que en 2011, hayan sustentado un EGEL ms de 113,000 estudiantes o egresados de las IES, provenientes de ms de 580 campus educativos, pblicos y privados de todo el pas, en un clima de plena aceptacin entre las academias, las autoridades y los propios estudiantes. Asimismo, el Ceneval ha desarrollado una estrategia que promueve el uso de los resultados en el EGEL como indicador de calidad o de rendimiento acadmico de los programas de licenciatura, la cual consiste en establecer un indicador de rendimiento acadmico, con base en los resultados alcanzados en el EGEL, a partir del cual se definen estndares de referencia para la evaluacin y comparacin del rendimiento acadmico de los programas de licenciatura de las IES. El nombre dado a este indicador es Indicador de Desempeo Acadmico por Programas de Licenciatura (IDAP). Los programas educativos clasificados en estos estndares de referencia dan lugar al Padrn de Programas de Licenciatura de Alto Rendimiento. El total de solicitudes programas/campus de IES pblicas y privadas de todo el pas recibidas para la segunda convocatoria, que incluye el periodo julio 2011 - junio 2012, asciende a ms de 800. Tambin, desde 2005 el Ceneval puso a disposicin de las IES un nuevo tipo de exmenes, de carcter diagnstico, que provee informacin oportuna y confiable sobre el desarrollo acadmico de los estudiantes en distintos momentos de su trayectoria escolar y permite la toma de decisiones orientadas a identificar acciones remediales y de mejora en beneficio de la formacin de los futuros profesionistas. Estos Exmenes Diagnsticos para la Licenciatura (ExDiaL) son instrumentos de cobertura nacional que evalan niveles de dominio en los sustentantes con respecto a los conocimientos, habilidades y competencias comunes a un conjunto de licenciaturas o, incluso, a todas estas. Hasta el momento el Ceneval ha desarrollado tres ExDiaL: el Examen Intermedio de Licenciatura en Ciencias Bsicas de Ingenieras (EXIL-CBI), el Examen de Competencia Comunicativa y Pensamiento Crtico (ECCyPEC) y el Examen Transversal por Campos de Conocimiento en Estadstica (ExTra-Es).2. En el contexto internacional, al igual que en Mxico, en los ltimos 20 aos las IES han tenido una demanda creciente para proveer informacin comparable sobre la calidad de la enseanza y el aprendizaje alcanzado por sus estudiantes, tanto desde los mbitos de la gestin pblica como desde la sociedad en general. A pesar de ello, solo en pocos pases se han hecho esfuerzos relevantes por desarrollar instrumentos para obtener informacin comparativa a nivel nacional sobre la calidad del aprendizaje alcanzado por los estudiantes de las IES. En los pases de Latinoamrica, no es sino hasta 1996 que se crea el Examen Nacional de Cursos (ENC) tambin conocido como Provo, que es una prueba obligatoria, mandatada por el estado brasileo, cuyo objetivo es determinar el nivel de dominio que los estudiante prximos a egresar de la licenciatura tienen de los conocimientos y habilidades que se consideran esenciales y comunes a los currculos de las IES que las ofrecen. Este examen es sustituido en 2004 por el Examen Nacional de Desempeo de los Estudiantes (ENADE) el cual evala los conocimientos y habilidades especficos de la profesin en la que se estn formando los estudiantes, as como conocimientos generales y habilidades genricas, con un formato mixto de preguntas objetivas y preguntas de ensayo. La participacin en este examen tambin es obligatoria para los estudiantes incluidos en la muestra y para las IES. Por otro lado, en Colombia, hasta el ao 2010, se crea el Examen de Estado de Calidad de la Educacin Superior (ECAES), que es un examen de preguntas de opcin mltiple (250 reactivos en promedio) orientado a evaluar conocimientos y habilidades especficos que son necesarias para el adecuado desempeo profesional o acadmico de los futuros egresados de la educacin superior, en 33 reas de formacin profesional, el cual se aplica a estudiantes de programas de pregrado que han aprobado al menos 75% de los crditos acadmicos de su licenciatura. La presentacin de este examen es obligatoria como requisito de grado y censal en 33 programas profesionales predeterminados. Con los resultados de estas pruebas, tanto en Brasil como en Colombia, los estudiantes reciben informacin de su desempeo con respecto a un estndar nacional para su potencial empleo, las IES analizan tendencias, evalan programas y definen mejoras al currculo, y el gobierno los utiliza como uno de los principales indicadores para la evaluacin de las IES. Asimismo, los empleadores suelen preguntar a los candidatos por sus resultados en la prueba como una evidencia objetiva de su idoneidad profesional.En contraste, en los Estados Unidos de Norteamrica, desde 1990 existe en operacin la prueba denominada Major Field Tests (MFT), la cual es una prueba objetiva, de opcin mltiple, que permite evaluar la habilidad de los estudiantes que estn por egresar de los programas de pregrado para analizar y resolver problemas, comprender relaciones e interpretar material de una disciplina o campo de estudio profesional particular, en 15 reas disciplinares de pregrado y 3 de posgrado en administracin y negocios. Se trata de una prueba estandarizada, que permite a las IES comparar la calidad del aprendizaje alcanzado por sus estudiantes, con el alcanzado por los estudiantes de otras IES de programas equivalentes y con respecto a un estndar de desempeo nacional. En este caso, las IES deciden la participacin de sus estudiantes, determinan el tamao y caracterstica de la muestra y solicitan y administran los materiales a los estudiantes. Asimismo, tal vez por las caractersticas de este nivel educativo en ese pas, el cual es menos profesionalizante que los modelos latinoamericanos y ms orientado al desarrollo de habilidades y conocimientos de tipo genrico, se ha desarrollado un buen nmero de pruebas centradas en este tipo de aprendizajes, las cuales pueden aplicarse a estudiantes de cualquier nivel (ingreso, medio camino o egreso) y de cualquier campo de formacin. Entre ellas se destacan las siguientes: La prueba denominada Collegiate Assessment of Academic Proficiency (CAAP), creada en 1988, la cual contiene seis mdulos independientes de habilidades genricas: escritura, lectura, razonamiento cientfico y matemtico, matemticas y ciencia, entre los cuales, las IES son libres de seleccionar aquellos que deben aplicar sus estudiantes; la prueba Measure of Academic Proficiency and Progress (MAPP), que opera desde el ao 2006, la cual evala distintas habilidades genricas: lectura, escritura, razonamiento matemtico y pensamiento crtico, en el contexto de las humanidades y las ciencias sociales y naturales; la prueba Collegiate Learning Assessment (CLA), creada en 2002, la cual evala habilidades genricas, como el pensamiento crtico y el razonamiento analtico en el contexto de tareas de la vida real (v.g., hacer una recomendacin sobre diversas propuestas de polticas pblicas para la solucin de un problema concreto como la criminalidad) o en la construccin de argumentos y contra argumentos sobre tpicos de actualidad. Por otro lado, en Australia, en el ao 2000, se desarrolla la prueba Graduate Skills Assessment (GSA), la cual, a semejanza de las pruebas norteamericanas antes mencionadas, mide habilidades genricas cognitivas, como el pensamiento crtico, la solucin de problemas y la comunicacin escrita pero, adems, mide habilidades no cognitivas de comprensin interpersonal. Con los resultados de estas pruebas, los estudiantes reciben informacin de su desempeo con respecto a un estndar nacional y las IES satisfacen requerimientos para la acreditacin y rendicin de cuentas, valoran tendencias de efectividad de los programas a lo largo del tiempo, identifican posibles mejoras al currculo, determinan la elegibilidad de los estudiantes para estudios posteriores y desarrollan programas individualizados de apoyo acadmico a los estudiantes.Adems de estas herramientas y prcticas de evaluacin directa del aprendizaje, diversos pases miembros de la Organizacin para la Cooperacin y el Desarrollo Econmicos, OCDE han desarrollado y operan distintos instrumentos de evaluacin indirecta de resultados de aprendizaje, que permiten medir el impacto de las experiencias educativas vividas en las IES en el aprendizaje alcanzado, el nivel de satisfaccin de los estudiantes en aspectos como la enseanza, los estndares, las cargas de trabajo, las evaluaciones y los servicios de las mismas, as como el nivel de involucramiento de los estudiantes en las diversas actividades que organizan las IES, como es el caso del CEQ (Course Experience Questionnaire) de Australia o el NSSE (National Survey of Student Engagement) en Estados Unidos y Canad. Otras como el NGS (National Graduate Survey) de Canad o el DLHE (Destination of Leavers from Higher Education) del Reino Unido, proveen informacin sobre la competencia ocupacional y el nivel de empleabilidad de los egresados (dos y cinco aos despus de la graduacin, en el primer caso y seis meses despus en el segundo). Los resultados de estas encuestas y cuestionarios, en trminos generales, proveen evidencia indirecta sobre la calidad de la enseanza recibida en las IES y los aprendizajes alcanzados y les proporciona informacin til para analizar tendencias, desarrollar mejoras al currculo y definir estrategias de retencin de estudiantes. Asimismo, los datos son utilizados como indicador de efectividad institucional en los procesos de acreditacin y aseguramiento de la calidad y desempeo de las IES.LA VISIN DE LO DESEABLE1. Respecto a la evaluacin del desempeo de los estudiantes que realicen las IES, se propone:1.1. Que las observaciones y evaluaciones que hace cada profesor en su prctica cotidiana mediante exmenes, ensayos, portafolios de evidencias de aprendizaje u otros procedimientos, se complementen con las evaluaciones que realicen las academias o los departamentos acadmicos y con las que realicen agencias externas a la IES o bien, se verifiquen por una instancia de tercera parte, de carcter nacional, donde exista la posibilidad de contar con criterios de desempeo y perfiles profesionales estandarizados nacionalmente. De esta forma, se mantendra la preeminencia del profesor que es quien tiene la informacin de primera mano sobre avance de sus estudiantes en los distintos mbitos de su formacin, al tiempo que se reducira la subjetividad en la valoracin de lo alcanzado y se evitara la autocomplacencia. En los procesos de admisin a las IES, debe promoverse que los resultados obtenidos por los aspirantes en los exmenes estandarizados desarrollados y aplicados por instancias externas a las IES se ponderen junto con otros indicadores de la trayectoria acadmica de los aspirantes, como el promedio alcanzado en el ciclo escolar previo o los resultados obtenidos en otras evaluaciones sobre aspectos relevantes para la IES (como por ejemplo, la inteligencia interpersonal, la capacidad para trabajar en equipo, la expresin escrita, etctera) en los criterios de admisin, con el fin de hacerlos ms justos y confiables. Asimismo, estos criterios de admisin deben definirse de manera tal que se garantice la formacin mnima adecuada de la cohorte de ingreso, de conformidad con los perfiles de ingreso previamente definidos o, cuando esto no sea posible, que los resultados encontrados en las evaluaciones se utilicen para identificar las medidas remediales necesarias para apoyar a estudiantes en situaciones de riesgo. Los resultados de las evaluaciones de ingreso deben, tambin, ser la base para el desarrollo de lneas investigacin educativa que arrojen informacin sobre aspectos relevantes para las propias IES como, por ejemplo, la calidad predictiva de los criterios y procedimientos de admisin utilizados o la ganancia educativa obtenida por los estudiantes durante su trayectoria escolar.1.2. Las evaluaciones sumarias, sumativas o de trmino de programa, destinadas a certificar logros, deben entenderse como un proceso adicional, a manera de corolario, de las evaluaciones formativas, las cuales ofrecen, a su vez, referencias que orientan las estrategias cotidianas para el logro de los aprendizajes. En este sentido, debe promoverse entre las IES el uso de los EGEL y utilizar sus resultados como un indicador de calidad de los programas de licenciatura, que complementen los que estas mismas generen con sus propias evaluaciones. Esto permitir, adicionalmente, que las IES tengan la posibilidad de incorporar los programas de licenciatura que administran al Padrn de Programas de Licenciatura de Alto Rendimiento EGEL, en el cual las IES: a) contarn con un referente confiable con el cual comparar, ao con ao, el resultado del conjunto de sus egresados, como un indicador de la eficacia con que operan los distintos programas de licenciatura que administran, b) podrn compararse con programas/campus equivalentes de otras IES de todo el pas, c) recibirn un reconocimiento pblico a sus programas de licenciatura con alto rendimiento acadmico, y d) contarn con un indicador vlido y confiable de rendimiento acadmico para los procesos de evaluacin interinstitucional y los de acreditacin de los programas de licenciatura.1.3. Por ltimo, para el caso de las profesiones cuyo ejercicio implica una alta responsabilidad social (aquellas en las que una mala prctica, pone en riesgo la salud, la seguridad o el patrimonio de las personas) debe analizarse la conveniencia de establecer una evaluacin, externa e interinstitucional, adicional a las evaluaciones que realiza cada IES para otorgar un ttulo profesional, conforme a sus propios criterios y niveles de exigencia, como requisito de la autoridad gubernamental para sustentar con mejores elementos de juicio la expedicin de la cdula profesional.2. Respecto a los marcos referenciales y las prcticas de los organismos evaluadores como son los Comits Interinstitucionales para la Evaluacin de la Educacin Superior,A.C., CIEES y los acreditadores de programas como el Consejo para la Acreditacin de la Educacin Superior, Copaes y sus Organismos reconocidos, as como los que realicen acreditacin institucional se propone lo siguiente:

2.1. Incluir como una categora de anlisis esencial a la evaluacin de resultados del aprendizaje, dado que un criterio imprescindible al evaluar programas educativos es la eficacia, es decir, la medida en que estos logran sus objetivos y en la educacin, el objetivo prioritario es el aprendizaje de los educandos. En esta categora de anlisis, debe establecerse para las IES el requerimiento de evaluar los aprendizajes mediante estrategias complementarias que combinen procedimientos internos (tanto unipersonales como colegiados) y externos, y presentar, como evidencias verificables, muestras de los resultados o de los productos obtenidos en cada una de estas. En aquellos programas en los que existe EGEL se sugiere incorporar el IDAP como indicador de rendimiento acadmico de los programas educativos y como informacin complementaria (o alternativa en los casos de los programas que no cuenten con EGEL) los indicadores de resultados de aprendizaje derivados de los ExDial.2.2. Definir estndares de calidad que permitan una valoracin integral de la categora de anlisis evaluacin de resultados del aprendizaje, tanto para programas educativos como para instituciones, as como el indicador que integre los resultados de los distintos elementos de evaluacin del aprendizaje aqu propuestos, con la finalidad de tener una visin de conjunto de esta categora y, con base en ello, poder emitir un juicio sobre la calidad del programa o la institucin en este rubro.3. Con el fin de poder contar con informacin confiable y actualizada sobre la situacin de los estudiantes una vez que egresan de las IES, se propone que una agencia externa a las mismas desarrolle un instrumento, de alcance nacional, que permita medir, ao con ao, aspectos como la percepcin de los egresados acerca de la formacin profesional adquirida, el nivel de satisfaccin respecto al proceso educativo, servicios recibidos en las IES y el nivel de empleabilidad. Los resultados de estas mediciones podrn ponderarse como evidencia indirecta de la calidad de la enseanza y los aprendizajes alcanzados en los programas educativos y proveern a la IES informacin de gran utilidad para analizar posibles mejoras al currculo, las actividades cocurriculares y los servicios que, en general, se ofrecen a los estudiantes. De la misma manera, estos resultados podrn ser utilizados por los organismos evaluadores y acreditadores, como un indicador de efectividad en el rengln de evaluacin de resultados del aprendizaje.Glosario Resultados de aprendizaje: Lo que una persona sabe o puede hacer como resultado del aprendizaje (Otter, 1992). Puede ser observado, demostrado o medido (Spady, 1988; Melton, 1996).

Resultados cognitivos: Dominio de conocimientos y habilidades intelectuales (Posner, 1992).

Conocimientos: Reconocimiento de ideas, principios, procedimientos, materiales o fenmenos (Bloom, 1965). Conocimientos generales: Conocimiento de un determinado contenido del plan de estudios bsico que se considera aprendizaje indispensable (Maeroff, 2006). Dominio especfico: Conocimientos de una disciplina o campo en particular como Biologa o Literatura Habilidades: Procesos complejos de pensamiento como razonamiento cuantitativo, procesamiento de informacin, operaciones analticas, pensamiento crtico, solucin de problemas y evaluacin de nuevas ideas. Habilidades genricas: Habilidades que son crticas para la adquisicin de conocimientos y habilidades en cualquier disciplina. Son transferibles a reas y situaciones contextuales diferentes a las que originalmente fueron adquiridas. Habilidades de dominio especfico: Implican la comprensin de cmo, cundo y por qu ciertos conocimientos pueden aplicarse a la resolucin de problemas en una disciplina o campo especfico (Shavelson and Huang, 2003). Resultados no cognitivos: Cambio en las creencias, percepciones o valores (Ewell, 2005). Son una consecuencia de la experiencia educativa institucionalmente organizada sea en el saln de clases o a travs de actividades extracurriculares.