Conferencia maría elena barrera
description
Transcript of Conferencia maría elena barrera
La evaluación de programas y estudiantes en instituciones de educación superior
mexicanas
Universidad Autónoma de Baja California
18 de septiembre de 2012
Internacionalización de la educación superior
Expansión de la demanda de ES y, sobre todo, de una educación de calidad
Nuevas demandas originadas en el aparato productivo y mercado laboral (economía del conocimiento
Nuevos enfoques de gestión, planeación y administración de las IES
Factores que favorecen los procesos de evaluación, acreditación y aseguramiento de la calidad
1
• Propicia el acceso a información relevante y actualizada sobre la calidad y pertinencia de los programas e instituciones.
2• Fomenta la confianza en las instituciones educativas
del país.
3• Brinda mayor credibilidad a las instituciones
educativas y credenciales académicas.
Los beneficios tangibles
Desde Hacia
Evaluación de insumos Evaluación integral, incluida la
evaluación de resultados
Preeminencia de la autoevaluación
Mayor valorización de la evaluación externa y la acreditación
Evaluación académica Evaluación de múltiples dimensiones
Modelo burocrático Modelo de agencia independiente
Evolución de las prácticas de evaluación y acreditación
Evaluación y acreditación en México
Antecedentes
La difusión de las prácticas de evaluación y acreditación, con sus múltiples propósitos, enfoques e instancias, es resultado de un largo y complejo proceso.
En este proceso han participado diversos actores:
La SEP y el CONACYT.
Los organismos más representativos de las IES (ANUIES y FIMPES, entre otros).
Y las instancias evaluadoras (CENEVAL, CIEES, CONACyT y COPAES, entre otros).
Las instituciones de educación superior.
Tipos e instancias de evaluación
• Existen diferentes tipos de evaluaciones:– A nivel individual. Exámenes de ingreso y egreso de estudiantes a
las instituciones de Educación Superior; evaluación y estímulos a la carrera docente y de investigación; CENEVAL, SNI, Programas de estímulos a la carrera docente, PROMEP, IES.
– A nivel de programas académicos. Evaluación diagnóstica y procesos acreditación. CIEES, COPAES, Programa de Posgrados de Calidad, SEP-RVOE.
– A nivel institucional. Acreditación social. CIEES, PIFI, FIMPES, ANUIES y CUMEX, entre otros
– De política pública o evaluación sistémica. De eficacia, eficiencia, pertinencia, equidad, calidad. Especialistas de la OCDE, ANUIES, SEP-Hacienda-Congreso, entre otros.
A nivel individual
Alumnos
Ámbito Trayectoria Proceso Organismo
Ingreso
Trayecto
EgresoEvaluación y Certificación
Evaluación
EvaluaciónIES
CENEVAL
IESCENEVAL
IES, SEP yCENEVAL
Ámbito Trayectoria Proceso Organismo
A nivel individual
Personal Académico
Ingreso EvaluaciónIES: Exámenes de Oposición
Promoción y Permanencia
Evaluación
IES: Procesos de promoción y permanencia
SEP-IES: Programas de estímulos
SNI y PROMEP
Alumnos Personal Académico
Ámbitos e instancias de evaluación a nivel individual
ProgramasAcadémicos
Ámbito Proceso Organismo
Evaluación
Organismos acreditadores de
COPAESAcreditación
IES
CIEES
SEP-CONACYT
SEP y gobiernos estatales (RVOE)
Ámbitos e instancias de evaluacióny acreditación en el nivel de programas
Instituciones
Ámbito Proceso Organismo
AcreditaciónSocial o
Institucional
FIMPES
ANUIES
CUMEX
Evaluación CIEES
Ámbitos y organismos de evaluación,acreditación y certificación a nivel institucional
Los retos de la coordinación: COCOEES
Evaluación Acreditación Certificación
Ind
ivid
uo
sP
rog
ram
as
Inst
itu
cio
nes
EGEL, EXANI
COPAES
CIEES CUMEX
Certificación
RVOE
FIMPES
NIV
EL
ES
PROCESOS
SNI
PNPC
PROMEP
El desarrollo de los organismos de evaluación y acreditación condujo a instancias estructuralmente aisladas
EVALUACIÓN DE LOS
ESTUDIANTES
Evaluación de los estudiantes
• ¿Quién la realiza?
• En las IES los profesores• En evaluación externa el
CENEVAL– El ingreso (EXANI)– El egreso (EGEL)– El trayecto (ExDial)– Certificación
profesional (apoyo a los Colegios y Asociaciones)
– Escoba UABC– College Board– Entre otras
Los Exámenes que opera el Ceneval
Exámenes de Ingreso• EXANI I (educación media superior)• EXANI II (educación superior)• EXANI III (posgrado)
Exámenes de Egreso para la Licenciatura • EGEL Ciencias de la vida y la conducta (11)• EGEL Ciencias sociales y humanidades (10)• EGEL Ingenierías y tecnologías (12)
Exámenes Diagnósticos para la Licenciatura • EXIL-CBI• ExTra-Es• ECCyPEC
Otros proyectos por demanda• Exámenes para la Certificación del Ejercicio Profesional (EUC)• Acuerdo 286• Enlace para educación media superior• Instrumentos para las Universidades Tecnológicas (EGETSU)• Exámenes para los egresados de Escuelas Normales• Entre otros
EXÁMENES DE INGRESO
Características y uso de los
Características: aspectos técnicos
1. El diseño y elaboración del Perfil referencial del
examen es establecido por un Consejo
Técnico, integrado por especialistas en evaluación
educativa.
2. El contenido temático de las áreas es definido por
un Comité de Diseño en el que participan
representantes de instituciones públicas y privadas
de distintas regiones geográficas del país.
3. Exploran una muestra representativa de
conocimientos y habilidades.
4. Son pertinentes porque tienen una cobertura
suficiente y relevante de lo que se desea medir.
5. Pueden aplicarse a gran escala.
6. Cumplen con reglas de diseño y aplicación
estandarizadas, por lo que sus versiones son
equivalentes en contenido y grado de dificultad
aunque contengan una mezcla distinta de reactivos.
Características: aspectos técnicos
3. Exploran una muestra representativa de
conocimientos y habilidades.
4. Son pertinentes porque tienen una cobertura
suficiente y relevante de lo que se desea medir.
5. Pueden aplicarse a gran escala.
6. Cumplen con reglas de diseño y aplicación
estandarizadas, por lo que sus versiones son
equivalentes en contenido y grado de dificultad
aunque contengan una mezcla distinta de reactivos.
Características: aspectos técnicos
11. Contienen reactivos de diferentes grados de
dificultad.
Características: aspectos técnicos
Preguntas de un área
Dif
icu
ltad
(%)
11. Contienen reactivos de diferentes grados de
dificultad.
Características: aspectos técnicos
Dif
icu
ltad
(%)
Preguntas de un área
12. Se califican de manera automatizada, a fin de
aplicar los mismos criterios para toda la población
13. Los reactivos son elaborados y validados por
distintos Comités, integrados por académicos
adscritos a diversas instituciones públicas y
privadas y fueron capacitados en la generación y
revisión de reactivos, siguiendo especificaciones
puntuales para cada tarea.
Características: aspectos técnicos
14. Antes de integrarse a un examen, los reactivos son
probados en muestras nacionales.
15. Las versiones únicamente incluyen reactivos que
cumplen con los parámetros de
dificultad, discriminación y correlación punto
biserial exigidos por la Dirección Técnica y de
Investigación del Ceneval.
Características: aspectos técnicos
Normativo Comparara el resultado del sustente respecto
de los demás individuos que presentan el
mismo examen.
Sustentantes no aceptados
Sustentantes aceptados
Características: aspectos técnicos
Criterial Compara el desempeño del sustentante
respecto de niveles de logro que definen
qué debe saber hacer y qué debe conocer.
Elemental
Satisfactorio
Sobresaliente
Características: aspectos técnicos
Impacto
Sensibilidad
¿Qué tanto afecta a la vida
académica del sustentante?
¿Qué tanto se relaciona con
los contenidos curriculares del
nivel previo?
Alto
Bajo
Alta
Moderada
Baja
Características: aspectos técnicos
Características: oferta de pruebas
IMPACTO SENSIBILIDADA LA INSTRUCCIÓN
ALTO BAJO
ALTA
MODERADA
BAJAPre
EXANI-IIEXANI-II
Selección
EXANI-III
Investig.
EXANI-III
Profesion.
EXANI-I
Selección
EXANI-II
Módulos
EXANI-I
MódulosEGREMS
Pronóstico AdmisiónDiagnóstico al egreso Diagnóstico al ingreso
IMPACTO SENSIBILIDADA LA INSTRUCCIÓN
ALTO BAJO
ALTA
MEDIA
BAJAPre
EXANI-IIEXANI-II
Selección
EXANI-III
Investig.
EXANI-III
Profesion.
EXANI-I
Selección
EXANI-II
Módulos
EXANI-I
MódulosEGREMS
Pronóstico AdmisiónDiagnóstico al egreso Diagnóstico al ingreso
¿Cómo me
preparé en el
nivel previo?
¿Cómo me iría en
el examen de
admisión?
¿Puedo cursar
estudios del
siguiente nivel?
¿Cuento con los
conocimientos y
habilidades que me
exige la institución?
Normativo CriterialCriterial Normativo
Características: oferta de pruebas
El examen general para el egreso de la licenciatura EGEL
Objetivo y alcance del EGEL
Objetivo:
– Identificar la medida en que los egresados de la Licenciatura cuentan con los conocimientos y habilidades que son esenciales para el inicio del ejercicio profesional en el país.
Provee información válida y confiable que contribuye a establecer, fundamentalmente, tres aspectos:
1. El grado de idoneidad de cada egresado con respecto a un estándar de formación nacional;
2. El nivel de eficacia de los programas y modalidades de formación profesional que administran las IES;
3. Indicadores de rendimiento a partir de los cuales, los organismos evaluadores y acreditadores respectivos, pueden identificar los méritos de cada programa de licenciatura en cada IES.
ATRIBUTO DEFINICIÓN
Especializado por carrera profesional
Evalúa conocimientos y habilidades específicos de la Licenciaturaque son críticos para iniciarse en el ejercicio de la profesión. Noincluye conocimientos y habilidades profesionales genéricos.
De alcance nacional
Se diseñan y preparan para que tengan validez en todo el país. Noestá referido a un currículo en particular.
Estandarizado Cuenta con reglas fijas de diseño, elaboración, aplicación ycalificación.
Criterial Los resultados de cada sustentante se comparan contra unestándar de desempeño nacional.
De máximo esfuerzo
Permite establecer el nivel de rendimiento del sustentante, sobrela base de que éste hace su mejor esfuerzo al resolver losreactivos de la prueba.
De alto impacto Con base en sus resultados los sustentantes pueden titularse y lasIES obtienen un indicador de rendimiento académico.
Características del EGEL (1)
ATRIBUTO DEFINICIÓN
De opción múltiple
Cada pregunta se acompaña de cuatro opciones de respuesta,entre las cuales sólo una es la correcta.
Contenidos centrados en problemas
Permite determinar si los sustentantes son capaces de utilizarlo aprendido durante su Licenciatura en la resolución deproblemas y situaciones a los que típicamente se enfrenta unegresado al inicio del ejercicio profesional.
Sensible a la instrucción
Evalúa resultados de aprendizaje de programas de formaciónprofesional, los cuales son una consecuencia de la experienciaeducativa institucionalmente organizada.
Contenidosvalidadossocialmente
Contenidos validados por comités de expertos y centenares deprofesionistas en ejercicio en el país.
Características del EGEL (2)
Organización de contenidos de los EGEL
Los EGEL organizan sus contenidos en cuatro niveles de anidamiento o desagregación, los cuales se corresponden con la forma como se organiza la propia práctica profesional
1. Las Áreas: Se corresponden con las funciones o ámbitos de actuación en los que se organiza el ejercicio de la profesión
2. Las Subáreas: Se corresponden con las actividades que típicamente realiza el profesionista en las funciones profesionales (Áreas) contempladas en la prueba
3. Los Temas: Se corresponden con las tareas o acciones que son necesarias para llevar a cabo las actividades profesionales (Subáreas) consideradas en la prueba
4. Los Contenidos específicos: Se corresponden con los conocimientos y habilidades asociados a la realización de las tareas profesionales contempladas. Se definen en términos observables y son utilizados como referentes para la elaboración de reactivos
Criterios para asignar Testimonios de Desempeño
En cada EGEL el Consejo Técnico establece el criterio que debe cumplirse
para el otorgamiento de un Testimonio de Desempeño Satisfactorio o
Sobresaliente. En todos los casos, dicho criterio refiere a una determinada
cantidad de áreas en las que el sustentante debe alcanzar un resultado
satisfactorio o sobresaliente.
Ejemplo:
SPEEDY GONZÁLEZ
Reporte individual de resultados
Dictamen general
en el examen
Satisfactorio
Desempeño en cada área del examen
Didáctica y
currículo
Políticas
educativas,
gestión y
evaluación
Docencia,
formación y
orientación
educativa
Investigación
educativa
DS DSS DS DS
1127 1188 1139 1091
Descripción de los Niveles de Desempeño
El Examen General para el Egreso de la Licenciatura en Pedagogía-Ciencias de la Educación (EGEL-EDU) permite identificar el nivel de dominio o desempeño logrado por el sustentante con respecto a los conocimientos y habilidades que el Consejo Técnico del Examen ha definido como necesarios para iniciarse eficazmente en el ejercicio profesional. Para estos efectos, se definen dos niveles de dominio o desempeño para cada una de las áreas que lo componen:
Nivel de desempeño satisfactorio Nivel de desempeño sobresaliente
Didáctica y currículo. El sustentante considera y analiza referentes teórico-metodológicos para el desarrollo de procesos específicos de diseño, intervención y evaluación en los campos del currículo y de la didáctica. Reconoce los criterios y procedimientos para la elaboración de propuestas curriculares o didácticas que respondan a necesidades específicas, así como los mecanismos para su evaluación.
Didáctica y currículo. El sustentante, además de lo logrado en el nivel satisfactorio, toma decisiones sobre las características y procedimientos para el diseño, aplicación y evaluación de propuestas curriculares y didácticas, y reconoce el impacto de aplicación de dichas propuestas. Propone acciones de mejora y actualización en el campo didáctico y curricular.
Políticas educativas, gestión y evaluación educativa. El sustentante es capaz de identificar el marco jurídico que fundamenta las corrientes y políticas educativas en México, los postulados rectores de las políticas educativas nacionales vigentes, los componentes de un plan de desarrollo institucional y diferenciar los elementos de las prácticas de gestión educativa.
Políticas educativas, gestión y evaluación educativa. Además de las capacidades demostradas en el nivel de desempeño satisfactorio, el sustentante es capaz de analizar los elementos implícitos de la política, la gestión y la evaluación educativa.
Docencia, formación y orientación educativa. El sustentante es capaz de identificar necesidades y desarrollar propuestas de formación, capacitación y actualización docente al definir perfiles, contenidos, metodología y estrategias de evaluación. Además, es capaz de elaborar diagnósticos y propuestas de orientación educativa (seleccionar objetivos, técnicas, procedimientos e instrumentos, y metodologías aplicables al contexto y a los proyectos); identificar características generales y seleccionar medios, recursos y materiales didácticos tecnológicos pertinentes para el diseño de propuestas educativas.
Docencia, formación y orientación educativa. Además de las capacidades del nivel de desempeño satisfactorio, el sustentante puede dar seguimiento y determinar adecuaciones a las acciones consideradas en una propuesta de formación, capacitación y actualización docente; determinar y evaluar el impacto de estrategias de intervención en orientación educativa que permitan brindar atención a necesidades de los involucrados; evaluar el impacto de propuestas educativas que utilicen tecnologías de la información y la comunicación.
Investigación educativa. El sustentante es capaz de identificar de manera general, las técnicas de investigación en educación.
Investigación educativa. El sustentante, además de demostrar el nivel de desempeño satisfactorio, es capaz de identificar los elementos constitutivos de una investigación educativa: fuentes de información, preguntas de investigación, hipótesis, conceptos clave y marco teórico.
Examen General para el Egreso de la Licenciatura en Pedagogía - Ciencias de la Educación
EGEL-EDU
Informe comparativo anual
68.1
52.8
49.3
48.9
47.2
46.8
44.8
42.9
38.8
38.7
38.2
35.3
33.3
32.6
32.3
31.2
30.6
28.6
24.1
23.6
22.9
22.5
22.4
21.0
18.9
15.6
15.4
15.0
11.8
9.5
9.1
7.03.4
31.9
35.4
46.4
44.4
47.2
44.2
52.2
47.5
50.7
51.6
58.8
61.8
56.7
44.2
57.0
54.1
63.3
65.7
62.5
70.9
68.8
60.0
57.6
67.7
67.9
54.4
76.0
68.6
37.3
41.1
72.7
39.546.6
11.8
4.3
6.7
5.7
9.1
3.0
9.6
10.4
9.7
2.9
2.9
10.0
23.3
10.8
14.7
6.1
5.7
13.4
5.5
8.3
17.5
20.0
11.3
13.2
30.0
8.7
16.4
51.0
49.5
18.2
53.550.0
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
IES 1213 (47)
IES 1295 (127)
IES 1152 (69)
IES 942 (45)
IES 1236 (53)
IES 1286 (77)
IES 1284 (67)
IES 1292 (198)
IES 1239 (67)
IES 1264 (31)
IES 123 (34)
IES 1192 (34)
IES 1571 (30)
IES 2101 (43)
IES 1225 (186)
NACIONAL (3,164)
IES 1400 (49)
IES 1191 (35)
IES 2192 (112)
IES 2432 (55)
IES 1053 (109)
IES 1577 (40)
IES 1185 (85)
IES 1018 (62)
IES 1194 (53)
IES 917 (90)
IES 1021 (104)
IES 1090 (220)
IES 908 (51)
IES 905 (95)
IES 1016 (33)
IES 921 (43)
IES 899 (58)
11.8 37.3 51.0IES 908
(51)
SIN TESTIMONIO TESTIMONIO DE DESEMPEÑO
SATISFACTORIO
TESTIMONIO DE DESEMPEÑO
SOBRESALIENTE
36
EGEL aplicados(1994 – 2011)
853,305(18 años)
2343,353
8,294
9,325
11,014 18,065
24,122 28,666
37,67448,427
53,73060,800
74,569
76,932
84,72794,995
104,806
113,572
0
10,000
20,000
30,000
40,000
50,000
60,000
70,000
80,000
90,000
100,000
110,000
120,000
1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011
Año
Nú
me
rod
e s
us
ten
tan
tes
37
Resultados del EGEL-EDU
Fortalezas y debilidades en la formación
35.7%
53.9%
10.3%
Sin Testimonio (ST)
Testimonio de Desempeño Satisfactorio (TDS)
Testimonio de Desempeño Sobresaliente (TDSS)
Distribución en testimonios de desempeño del
conjunto de sustentantes del EGEL en Pedagogía –
Ciencias de la Educación durante 2011.
21.9%32.9% 33.4% 33.1%
69.0% 44.0%
58.2%64.2%
9.1%
23.1%
8.5%
2.7%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Didáctica y
currículo
Políticas educativas,
gestión y evaluación
educativa
Docencia, formación y orientación educativa
Investigación educativa
PO
RC
EN
TA
JE
DE
SU
ST
EN
TA
NT
ES
.
Aún No Satisfactorio (ANS) Desempeño Satisfactorio (DS) Desempeño Sobresaliente (DSS)
Comparativo de los niveles de desempeño
alcanzados por el conjunto de sustentantes del
EGEL durante 2011 por área de conocimiento.
44.0%
45.5%
10.5 %
Aún no satisfactiorio
Testimonio de desempeño satisfactorio
Testimonios de desempeño sobresaliente
Distribución en testimonios de
desempeño del conjunto de
sustentantes del EGEL en Pedagogía –
Ciencias de la Educación durante 2012.
30.0%
41.9% 39.5% 43.2%
60.9% 37.1%51.6%
54.7%
9.2%
21.0%
8.9%
2.1%
0.0
20.0
40.0
60.0
80.0
100.0
120.0
Didáctica y currículo Polílicas, gestión y evaluación educativas
Docencia, formación, orientación educativa y tutoría
Investigación educativa
TDSS
TDS
ANS
Comparativo de los niveles de desempeño
alcanzados por el conjunto de
sustentantes del EGEL durante 2012 por
área de conocimiento.
El Premio Ceneval al Desempeño de
Excelencia-EGEL
Este premio tiene el propósito de reconocer y estimular a los
egresados de diversos programas de licenciatura que alcanzan un
desempeño excepcional en el EGEL y, con ello, promover la cultura
del mérito y la excelencia académica en las instituciones de
educación superior del país.
Se otorga a los egresados que:
a) alcancen un desempeño sobresaliente en todas y cada una de las
áreas que integran el EGEL
b) presenten por primera vez el EGEL y
c) tengan un año máximo de haber egresado de la licenciatura o estén
próximos a hacerlo
El Premio Ceneval al Desempeño
de Excelencia-EGEL
Los premiados obtienen:
Un diploma y una medalla alusivos
El reconocimiento público del logro alcanzado en el EGEL, en un
medio impreso de comunicación de alcance nacional
La participación en la ceremonia de entrega de los premios en la que
estarán presentes las autoridades de la SEP y funcionarios del
Ceneval.
El Premio Ceneval al Desempeño
de Excelencia-EGEL
Nombre(orden alfabético)
Institución de procedencia Campus
Castrejón Gutiérrez María Fernanda Universidad del Valle de México Texcoco
Lecuona González Marcela Universidad de la Salle Bajío León
Osuna Márquez Josefa Universidad del Valle de México Hermosillo
Tijerina Villarreal Diana Marcela Universidad Panamericana Insurgentes
Villafuerte Díaz Yunuen Centro Universitario ETAC Nodo Tulancingo
Relación de sustentantes que obtuvieron el Premio
Ceneval al Desempeño de Excelencia en el EGEL en
Pedagogía – Ciencias de la Educación durante el tercer
cuatrimestre de 2011.
Relación de sustentantes que obtuvieron el Premio
Ceneval al Desempeño de Excelencia en el EGEL
de Pedagogía – Ciencias de la Educación
en el primer cuatrimestre de 2012.
Nombre Institución Campus
González Valles Nancy Universidad Autónoma de Cd Juárez
Cd Juárez
Hernández Hidalgo ZayraAlicia
Universidad Autónoma de Cd Juárez
Cd Juárez
Gutiérrez Miranda María del Carmen
Universidad Autónoma de Hidalgo
Pachuca
Valdez Huerta DebraSerelh
Universidad del Desarrollo Profesional
Puerto Peñasco
Martínez Sánchez Luz Adriana
Universidad Anáhuac Norte
Hacia donde vamos a…
• Incorporar a los marcos de referencia de los procesos de evaluación y acreditación de programas educativos e instituciones vigentes, los indicadores de rendimiento académico de los programas educativos basados en los resultados de los EGEL, como una categoría de análisis esencial.
• Incorporar, como información complementaria (o alternativa en los casos de los programas que no cuenten con EGEL) los indicadores de resultados de aprendizaje derivados de pruebas que midan perfiles de egreso.
• Desarrollar un instrumento, de alcance
nacional, que mida la percepción de los egresados
de las IES acerca de las competencias adquiridas durante su formación y la
empleabilidad.
Conclusiones
• El modelo de evaluación, acreditación y aseguramiento de la calidad en México está en fase de revisión y mejora.
– Aún está desarticulado pero a través de COCOEES se busca su armonización y congruencia interna.
– En 2012, se espera concluir con nuevos marcos de referencia integrados.
México necesita para internacionalizarse esta integración y establecer claras políticas en este sentido.
Muchas gracias
Evaluar…
Una buena medida para educar mejor.
¿Preguntas?