43

5 _____________

No. 5 noviembre 15 de 1992 Guía metodológica para la evaluación de los curricula de licenciatura.

El material que presentamos en esta ocasión, gira en torno a diversos conceptos y procedimientos que manejan los organismos dedicados al mejoramiento de la educación superior en México. Buscando proporcionar algunos criterios, parámetros y referencias que sean de utilidad a las instituciones, se reproduce un texto que contiene elementos evaluativos tratados en la IX Asamblea Extraordinaria de la ANUIES

*Este documento está basado en las discusiones que se han tenido al interior de la Coordinación General de Apoyo a la Planeación de ANUIES.

45

GUÍA METODOLÓGICA PARA LA EVALUACIÓN DE LOS

CURRICULA DE LICENCIATURA*

Carmen Carrión Carranza I. CONCEPTOS DE EVALUACIÓN

EDUCATIVA Las definiciones sobre los temas de evaluación son múltiples, y cada una tiene su justificación. En este entendido, hemos elegido sólo algunas de ellas sin más pretensión que ubicar, metodológicamente, los conceptos y las técnicas que se han mencionado recurrentemente en el proceso de instrumentación de la política nacional de evaluación de la educación superior; los conceptos que se proponen fundamentan la selección de procedimientos e instrumentos, relacionados con la interpretación valorativa de los curricula de educación superior. Este es uno de los temas de evaluación interinstitucional, acordados en la IX Asamblea Extraordinaria de ANUIES celebrada en 1990. La construcción de una metodología responde a preguntas como: ¿qué es evaluar?, ¿para qué se evalúa?, ¿quién evalúa?, etc. Asimismo, la selección de procedimientos está determinada por: los motivos para evaluar, la utilización de resultados, el origen de la iniciativa para evaluar, los niveles de desarrollo técnico, etc. I.1 ¿Qué es evaluar?

El sentido lexicológico de la palabra evaluar (o valuar o valorar) es fijar el valor de un objeto determinado. Cuando se menciona que "tal universidad es muy eficiente" o que "tal colegio es muy bueno", está otorgando un valor a la institución educativa de que se trate, y califica el tipo de educación que imparte. El valor otorgado a la institución, que se expresa en palabras como "bueno", "eficiente", "de calidad", etc., depende tanto de las características objetivas de la educación o institución educativa, como de la idea que tiene el sujeto que evalúa acerca de lo que es (o debe ser) bueno, eficiente o de calidad. En tal sentido, una valoración no puede ser más que la apreciación subjetiva de las cualidades de una institución educativa y de sus componentes (por ejemplo, el curriculum que ha desarrollado), que puede ser individual o compartido con otros. I.2 Evaluar la educación En el caso de la educación, las valoraciones generalmente se hacen con fundamento en una serie de cualidades que, por acuerdo

social, debe tener un servicio educativo institucionalizado.

En concreto, se evalúa la educación en

47

relación con lo que se considera el ideal educativo. Técnicamente, la evaluación se realiza cuando se compara la educación tal como se imparte y lo que debiera y lo que debiera ser idealmente la educación. I.3 Caracterización de la educación

institucionalizada Para conocer a la institución educativa o a alguno de sus elementos educativos (como lo es el curriculum) los evaluadores han desarrollado diversos procedimientos y técnicas, que pueden clasificarse de múltiples formas: experimentales, empíricos, etnográficos, etc. Estos procedimientos están dirigidos a la obtención de información a fin de configurar las características de la educación impartida en alguna institución determinada. Por cuestiones de orden práctico, clasificamos aquí a estas técnicas y procedimientos en cuantitativos y cualitativos, pero no se puede dejar de considerar que, en la práctica evaluativa, ambos tipos de procedimiento arrojan datos sobre facetas diferentes, y al mismo tiempo, complementarias del mismo objeto que se está evaluando. a) Procedimientos cuantitativos Son los que se diseñan para obtener información que puede ser clasificada mediante algún procedimiento numérico o estadístico. Las encuestas dirigidas a conocer la opinión social dominante sobre algún tema, la aplicación de cuestionarios con preguntas preclasificadas, las listas de cotejo, la comparación entre variables cuantificadas (p.e. ingreso-egreso en una institución educativa), etc., se consideran procedimientos cuantitativos de evaluación. b) Procedimientos cualitativos

Se diseñan para obtener información basada en la experiencia, conocimientos e impresiones de sujetos relacionados con la educación. El análisis de expertos sobre algún tema, las técnicas de análisis grupal (como el TKJ o el DELPHI), las técnicas de dinámica de grupos (panel, mesa redonda, foro, etc.), las investigaciones de campo o las investigaciones participativas, son algunos de los procedimientos de orden cualitativo utilizados por los evaluadores. Ambos tipos de procedimiento necesitan de una base interpretativa que permita traducir la información obtenida en frases valorativas. Dicha base está dada por la explicitación de la educación ideal (p.e. la educación debe ser cien por ciento eficiente en la formación de hombres competentes). De esta forma, en la práctica evaluativa, los procedimientos se eligen de acuerdo con la caracterización de la educación tal como debe ser, con las finalidades que se persiguen al evaluar y con las dificultades inherentes al proceso evaluativo de la educación (tales como sus elementos políticos, el conservadurismo institucional, la naturaleza del objeto que se está evaluando, etc.). I.4 Caracterización del ideal educativo Si la educación tal como se imparte se conoce a través de información confiable, el objeto ideal (la educación tal como debe ser) se construye y se propone para su validación social. Esta construcción responde a preguntas como las siguientes: ¿cómo debe ser la educación?, ¿qué funciones debe cumplir?, ¿qué tipo de formación debe dar?, etc. Las respuestas a estas cuestiones se han desarrollado, a través de la historia, de acuerdo con lugares y circunstancias diversos pero, en toda

48

ocasión, han requerido del consenso social para tener validez y aplicabilidad en el conjunto de instituciones que imparten el servicio educativo. Estas respuestas están basadas en nociones acerca de lo que es la cultura, lo que debe ser la civilización y las cualidades que debe tener el hombre educado, es decir, en los valores que tienen primacía en lugares y épocas históricas determinadas. Al mismo tiempo, dan respuesta a las necesidades, expectativas y aspiraciones que el conjunto social tiene respecto de la educación. De esta forma, la caracterización de la educación ideal es una descripción de los valores o cualidades que debe tener la "buena educación". Por ejemplo: una institución puede tener como ideal educativo formar individuos competentes y emprendedores, y esto se considera una tarea civilizadora y cultivadora de buenas costumbres; otra, en cambio, puede establecer la solidaridad social como norma de conducta y, en este entendido, guía todos sus esfuerzos educativos hacia la formación de individuos solidarios. En la historia moderna existen diversos ejemplos de proposiciones para caracterizar a la educación ideal (p.e. el discurso de inauguración de la Universidad Nacional de Justo Sierra en 1910; la exposición de motivos de la reforma educativa española de 1982; el congreso constituyente de 1917, etc.). Estas caracterizaciones, a la vez que sintetizan "el espíritu de los tiempos", responden a intensos debates sobre la educación como institución social. En consecuencia, la construcción de la idea del deber ser de la educación, tiene un componente político que se manifiesta en la negociación de acuerdos sociales, de búsqueda de consensos para la primacía de ciertos valores. Este componente político da

como resultado la especificación de derechos y obligaciones de las administraciones gubernamentales, de los individuos y de la sociedad civil con respecto a las instituciones educativas. La construcción de la educación ideal y de cada uno de sus componentes es, de esta forma, una tarea altamente compleja. Una de las soluciones que se ha dado al problema de la caracterización del deber ser educativo, ha sido mediante la construcción de algunos conceptos propuestos por los evaluadores profesionales que objetivizan, cuantifican o describen elementos o atributos de la educación, que incluyen, de una manera explícita, las cualidades o valores de la misma. A estos conceptos se les denomina, en el léxico técnico de la evaluación, como: criterios, parámetros o normas de referencia o patrones, estándares de calidad, normas mínimas de funcionamientos, etc. a) Se entiende por criterio de evaluación la expresión de algún atributo que debería tener la institución educativa. Su función es fundamentar el juicio o estimación acerca del funcionamiento de la institución educativa o de alguno de sus componentes. Es una norma o regla del "buen funcionamiento" de las instituciones. Dicha regla expresa, también, el valor o cualidad que debe caracterizar a la buena educación. Se entiende que es una norma preestablecida, que es utilizada por quien hace el juicio. En materia de educación se han acordado algunos criterios de funcionamiento de las instituciones educativas. Estos criterios, en conjunto, son la expresión de los valores que dominan en la actualidad las actividades de las instituciones educativas. Entre ellos se

49

encuentran: la eficiencia, la eficacia, la vigencia, la pertinencia, la congruencia, etc. Se dice que la educación es de buena calidad cuando se le pueden aplicar dichos criterios como calificativos. La selección de los criterios generalmente se hace de común acuerdo entre individuos o colectivos relacionados con las instituciones educativas. b) Los parámetros o normas de referencia o patrones son construcciones empíricas que expresan, de forma objetiva, algún elemento ideal o un conjunto de expectativas relacionados con un proyecto educativo o institución. P.e. la eficiencia terminal, la proporción maestro-alumnos, el tamaño de la institución, etc. Su función es, en el proceso técnico de la evaluación, proporcionar un marco de comparación que fundamente la aplicación de un calificativo. También son normas preestablecidas, generalmente cuantificadas, de lo que se considera un buen funcionamiento de las instituciones o de los procesos educativos. Algunos de los procedimientos que se pueden emplear para la construcción de los parámetros son: los estudios comparativos entre diferentes sistemas educativos, la investigación de necesidades educativas, el análisis de variables de un sistema educativo, el análisis del avance del conocimiento, etc. Puede haber parámetros autorreferidos, esto es, normas de buen funcionamiento de una institución especificadas en los idearios educativos, en sus reglamentos internos o en sus políticas institucionales. Hay parámetros ya construidos en el ámbito internacional; por ejemplo, las recomendaciones de centros de política cultural y educativa como la UNESCO, o los utilizados para la acreditación de instituciones en EUA o Inglaterra, etc.

Otro tipo de parámetros son los modelos educativos, curriculares, de enseñanza, etc., que son base para la creación de instituciones o de innovaciones educativas. Ejemplos de patrones, parámetros o normas de referencia son: la idea de que un buen contexto para el aprendizaje se da cuando hay una proporción de 20 alumnos por maestro; la idea de que una institución debe tener un investigador por cada cinco maestros, las especificaciones para la programación de materias o módulos, etc. c) Las normas mínimas y estándares de calidad son también elementos de referencia para establecer las comparaciones, que resultan de la aplicación de calificativos a la educación. Las normas mínimas, como su nombre lo indica, son las reglas o condiciones necesarias o elementos indispensables sin los que no podría constituirse una buena institución educativa. Por ejemplo, puede ser una norma mínima el hecho de que una universidad pública necesariamente debe realizar tres funciones: docencia, investigación y difusión. O bien debe tener, cuando menos, una Ley Orgánica y un reglamento de profesores, etc. Los estándares de calidad son normas promedio, obtenidas de la suma del conjunto de variables de una institución o de un sistema educativo. Generalmente, estos promedios tienen "grados de libertad" o márgenes de tolerancia para los promedios obtenidos. Por ejemplo, si la medida de eficiencia terminal de las universidades públicas del país es de 50%, esto podría tomarse como referencia para calificar la eficiencia terminal de cada universidad considerada individualmente.

50

1.5 Proceso técnico de evaluación Con los conceptos descritos en los puntos anteriores, podemos ejemplificar el proceso técnico de evaluación. En síntesis, la evaluación consiste en: a) La especificación de los criterios que expresan lo que se considera una buena educación. Es indispensable acordar una definición sobre cada criterio a fin de facilitar la comunicación entre los evaluadores y la obtención y procesamiento de la información. b) Definir la información que es necesaria obtener sobre los componentes y el funcionamiento de una institución educativa, de acuerdo con los objetivos de la evaluación y con los criterios de funcionamiento de la misma. La información puede centrarse en alguna parcela del proceso educativo. Por ejemplo, puede analizarse solamente el currículum, o el procedimiento didáctico, o la provisión de experiencias de aprendizaje, o los productos de la investigación, etc. Esta guía propone un procedimiento para obtener información sobre el curriculum. En el siguiente apartado abundaremos sobre la evaluación curricular. c) La captura de información que debe estar circunscrita a la indagación de la presencia de las cualidades de una institución, expresadas en los criterios. En otras palabras, la información con fines evaluativos no puede ser indiscriminada, porque se corre el riesgo de sobreabundar en datos que no tienen ninguna relevancia. d) La construcción o identificación de normas, patrones o estándares de calidad que cumplen una doble función en el proceso

técnico de la evaluación: proporcionar un marco de comparación para detectar problemas o desviaciones del funcionamiento y estructura de la institución educativa o de sus componentes; y fundamentar la aplicación de un criterio como calificativo en el sentido positivo o negativo (eficiente-ineficiente, vigente-obsoleto, congruente-incongruente, etc.). Las normas, patrones o estándares pueden referirse a uno o varios criterios; asimismo, la aplicación de un criterio puede estar basada en varios patrones, estándares o normas. e) La comparación entre los datos obtenidos y los patrones, normas o estándares. Por ejemplo, un patrón curricular podría ser la programación de cuatro cursos de matemáticas para las carreras de ingeniería, al inicio de la formación profesional; si se observa que en alguna licenciatura de ingeniería de alguna institución sólo se han programado dos cursos de la materia apuntada, se podría concluir que el currÍculum correspondiente tiene una programación deficiente y carece de la base matemática necesaria para una buena formación de los futuros ingenieros. f) Finalmente, las conclusiones derivadas de la comparación entre normas, patrones o estándares con los datos obtenidos en el proceso de indagación del funcionamiento educativo, fundamentan la aplicación de un calificativo, como se apuntaba en el inciso d. Siguiendo con el ejemplo se puede afirmar que el curriculum de la carrera de ingeniería impartida en la institución de referencia, es inadecuado en su estructura programática y que ésta es obsoleta en relación con los requerimientos de formación profesional.

51

II. EVALUACIÓN DEL CURRICULUM El proceso técnico de evaluación descrito, tiene algunas particularidades en su aplicación a la evaluación de los currícula de nivel superior. Las primeras cuestiones a resolver, en estos casos, son: ¿qué se quiere evaluar del currículum, cuál es el propósito de la evaluación y quién la ha sugerido? Las respuestas a estas preguntas tienen varias vertientes: se puede valorar un modelo curricular o alguno de sus aspectos (su contenido y estructura, el proceso de diseño, los perfiles profesionales, la programación, etc.). Los propósitos y la iniciativa para empezar un proceso evaluativo se definen a partir de las políticas institucionales, o bien de la aplicación de las políticas nacionales relacionadas con la educación superior. Haremos referencia a esto último en la sección final del escrito. Describiremos los componentes que debe tener un curriculum, de manera muy general, para definir el carácter de los requerimientos de información en el transcurso de un proceso de evaluación. a) Los componentes de un curriculum: Un currículum debe considerar, cuando menos, los siguientes aspectos: * La selección de un subconjunto del conocimiento universal acerca de una materia o una área de actividad profesional que será objeto de enseñanza. *El plan de estudios, que incluye: - La parcelación del conocimiento seleccionado en unidades curriculares

(materia o módulo) y la agrupación de éstas en bloques de formación profesional: troncos, especializaciones, propedéuticos, etc. - La programación de las unidades curriculares que incluyen los temarios, los objetivos de la unidad, la bibliografía básica, etc. - La secuencia programática seguida por los principios de desarrollo epistemológico de la materia y del aprendizaje humano. Estos principios pueden resumirse en lo siguiente: todo conocimiento tiene un desarrollo y una evolución que dan como resultado conceptos que describen o explican la realidad de una manera cada vez más sofisticada y precisa. Asimismo, el aprendizaje de conceptos sofisticados sólo puede darse sobre la base de conocimientos ya adquiridos, más simples y elementales, que permiten la asimilación de nuevos conceptos, (p.e. no se puede ejecutar una raíz cuadrada sin haber aprendido la multiplicación y la división). * En estrecha relación con lo anterior, un modelo curricular debe considerar un estilo específico de didáctica o de proceso de enseñanza-aprendizaje, en el que se describa cómo se enseña y cómo es esperable que se aprenda. Esto incluye las características de la evaluación del aprendizaje o del rendimiento académico de los estudiantes. * El perfil del aspirante a ingresar en el nivel superior. * El perfil del maestro idóneo para el tipo de conocimiento que se desea enseñar y el estilo didáctico que se desea practicar. * Los apoyos didácticos: bibliografía, bibliotecas, laboratorios, espacios recreativos, espacios de formación

52

complementaria (artística, deportiva, de entretenimiento, etc.), orientación educativa y profesional, etc. * Los perfiles profesionales, que incluyen no sólo los aspectos de desarrollo intelectual, sino también la formación de actitudes y valores y el área y tipo de ejercicio profesional. * El soporte normativo y administrativo de la formación profesional. b) Otros aspectos relacionados con la formación profesional: Si bien los currícula tienen un objetivo educativo, los evaluadores han considerado otros elementos de análisis extraeducativos que dan cuenta de la calidad de la formación profesional, es decir, son elementos que tienen una relación funcional con la educación y, en específico, con los currícula; algunos de estos son: - La inserción de los egresados de una institución educativa en los medios laboral, artístico, científico, gubernamental, etc. - La movilidad social y económica de los egresados de una institución. La movilidad social y económica de las profesiones, etc. II.1 El curriculum ideal La especificación de los aspectos arriba considerados conformarían el modelo curricular para la formación de profesionales en una institución educativa. Siguiendo con la terminología empleada en el apartado I, sobre el proceso técnico de evaluación, diríamos que el modelo configura el curriculum tal como debe ser o el curriculum

ideal. Es muy posible que el modelo no esté plenamente diseñado y sólo sea considerado lo correspondiente a los planes de estudio. El resto de los componentes del modelo pueden estar implícitos o se encuentran en los idearios de la institución, o en los discursos de los funcionarios, en investigaciones educativas, etc. En cualquier caso, es necesario que se verifique que los aspectos curriculares que hayan de evaluarse tengan referentes de su deber ser ya sea en documentos donde se describa el modelo curricular o educativo, en reglamentos de programación de planes de estudio, en reglamentos de alumnos o profesores, etc. Esta referencia podría ubicarse, también, en modelos internacionales de enseñanza de la profesión de que se trate o en patrones educativos propuestos en otros países, etc. Si no se encuentran estos referentes de manera explícita, esto sería un dato más a considerar en una evaluación. En cualquier caso, existen algunas normas del proceso educativo que pudieran ser de observancia general para cualquier modelo y para las cuales no habría mayor discusión, por ejemplo: * Todo alumno que ingrese a la universidad debe terminar sus estudios. * Todo plan de estudios debe tener programadas y secuenciadas sus materias. * Todo egresado debe emplearse en el área profesional que corresponde a sus estudios. * El plan de estudios debe contener los conocimientos desarrollados, a nivel internacional, en los últimos diez años.

53

Enunciados como estos podría configurar las características de un currículum en términos de lo que debe ser. II.2 Procedimientos para la obtención de información relacionada con el curriculum Como se mencionó más arriba, los procedimientos de levantamiento de información pueden diferenciarse entre aquellos que proporcionan información cualitativa de los que arrojan datos cuantitativos. Es necesario mencionar que los evaluadores del curriculum, generalmente eligen diversos tipos de procedimientos con objeto de analizar un mismo problema en sus diferentes facetas, con un sentido de complementariedad1 a) En materia de evaluación curricular pueden mencionarse, cuando menos, dos técnicas consideradas "cualitativas": DELPHI y TKJ. Se analizarán brevemente las dos: - DELPHI. En la aplicación de esta técnica participa un grupo de expertos, formado por personas que poseen un amplio conocimiento sobre el tema a tratar. Este grupo se apoya en uno o varios especialistas en evaluación que son los encargados de diseñar un cuestionario al cual deben dar respuesta los expertos. Dicho cuestionario es rehecho, de acuerdo con las respuestas de los expertos, tantas veces como sea necesario hasta llegar a un acuerdo sobre el tema de que se trate. - TKJ. En este procedimiento participa un experto evaluador y un grupo de expertos en el tema de que se trate, a fin de identificar, discutir y delinear conclusiones acerca de las cualidades o defectos del currículum. Las discusiones son dirigidas por algún evaluador

profesional, y su función es lograr consensos alrededor del tema. La diferencia con el procedimiento anterior es que en éste las discusiones se hacen cara a cara y la dinámica del grupo es dirigida. b) Procedimientos cuantitativos. Se describirán sólo algunas técnicas mencionando algunas de sus funciones: - Listas de cotejo. Se pueden utilizar para verificar el cumplimiento de normas de programación curricular. - Observación directa. Esta es una verificación in situ de alguno de los componentes del curriculum o bien, de las características de su puesta en operación: p.e. el "estilo" didáctico de los profesores. Cuestionarios con escalas de calificación. Las preguntas se construyen de acuerdo con criterios de funcionamiento de los currícula, previamente establecidos, y se presenta una escala de calificación para cada criterio. La calificación es dada por sujetos cuya opinión interesa de acuerdo con los propósitos de la evaluación, a partir de apreciaciones particulares. III LA EVALUACIÓN

INTERINSTITU-CIONAL La política nacional de evaluación de la educación superior, acordada en 1990, contempla la realización de evaluaciones interinstitucionales a través de "comités de pares". Los comités están programados para, entre otras cosas, evaluar la formación profesional en las seis áreas del conocimiento (según el criterio de ANUIES) en que están agrupadas las carreras de licenciatura y los posgrados. Esta propuesta está influenciada por la experiencia

54

internacional (sobre todo de EUA y el Reino Unido), en materia de acreditación de programas educativos. La acreditación, tanto de instituciones como de programas de formación profesional, está basada en la información que la institución de referencia aporta en un "auto estudio", así como en la verificación y recomendaciones que grupos de "pares" hacen respecto de las cualidades identificadas. El propósito de la acreditación es asegurarle a los usuarios del servicio educativo un nivel de calidad acorde con sus aspiraciones profesionales, así como dar un fundamento para las decisiones en materia de financiamiento educativo. La base de esta política es diversa y está relacionada con las características culturales idiosincrásicas del país de que se trate: p.e. en Inglaterra, la política tiene un fundamento legal que determina la prerrogativa gubernamental de vigilar el funcionamiento de las instituciones educativas; en EUA la evaluación es una costumbre de cara al prestigio social y la competencia interinstitucional, cuya iniciativa parte de las comunidades académicas. En México, la evaluación interinstitucional tiene un carácter voluntario y tiene como propósito delinear recomendaciones para el mejoramiento de la formación profesional. La utilidad de la guía metodológica descrita habrá de ponderarse en este contexto.

NOTA 1 Resulta artificioso considerar ambos tipos de procedimientos como compartimientos aislados pero, en razón de claridad de la exposición, se analizarán por separado