LA EVALUACIÓN DE COMPETENCIAS: UN MARCO METODOLÓGICO

Mtra. María Elena Rivera HerediaUniversidad Simón Bolívar

Mtro. Jose Alberto Bazaldua ZamarripaInstituto de Estudios Superiores de Tamaulipas

Dr. Iván Matthew Rovira GutiérrezInstituto Universitario del Estado de México

L.A.E. Rafael Gerardo Conde CamachoUniversidad Realística de México

Mtro. Jaime Rodríguez GómezUniversidad de Montemorelos

Resumen A partir de la necesidad de diversas IES de obtener retroalimentación sobre la formación que imparten, se propone el modelo de competencias para realizar un seguimiento de egresados. Primeramente se analizan los factores determinantes de la formación de profesionistas y se revisa el concepto de evaluación para estructurar una definición de la evaluación de competencias, señalando sus ventajas sobre la evaluación tradicional. Se enfatiza su fundamentación en dos tipos de evidencias, la directa y la indirecta, describiendo los pasos de una estrategia y diversos métodos para evaluar las competencias tales como la simulación, el análisis de expediente, la evidencia extraída de situaciones de trabajo y la entrevista evaluativa. Se describen las experiencias en México de la evaluación de competencias laborales por CONOCER y de competencias profesionales por el CENEVAL. Se revisan diversos instrumentos o metodologías para la evaluación de competencias profesionales o laborales utilizados en diferentes países, y el empleo de una escala de calificación en la mayoría de los casos. Se concluye con un análisis comparativo de las ventajas y desventajas del autoreporte, la entrevista y la evaluación de evidencias como alternativas para dicha evaluación, y se propone el uso del autoreporte para evaluar competencias genéricas en el seguimiento de egresados.

INTRODUCCIÓN

El reto educativo en México es muy grande: proporcionar servicios

educativos de calidad, con equidad y pertinencia (Programa Nacional de

Desarrollo Educativo 2001-2006). Para lograr dicho reto son necesarios múltiples

procesos, uno de ellos, fundamental para la mejora continua es la evaluación.

Heverly y Fitt (1994) señalan que las instituciones educativas que no están

autoevaluando su efectividad serán evaluadas por agentes externos y que esto se

hará en base a las competencias desarrolladas por sus egresados.

1

Ante esta demanda se considera necesario que las universidades realicen

un seguimiento de sus egresados en base a un esquema de competencias para

contar con una retroalimentación a sus programas actuales y como insumo para

los programas a desarrollar. El uso del modelo de competencias para el

seguimiento de egresados resulta válido aun cuando los planes de estudio no lo

tomen como base, ya que cualquier perfil de egreso incluye los principales

elementos que conforman las competencias: conocimientos, habilidades y

actitudes. Por lo tanto, el presente trabajo tiene como objetivo realizar una revisión

de las experiencias nacionales e internacionales en evaluación de competencias

para proponer un esquema general de evaluación que sirva de base para que

cada universidad interesada en este objetivo lo ajuste a sus propias necesidades.

Antes de considerar algunos fundamentos teóricos en la evaluación de

competencias, es necesario tener en mente que el proceso de formación de los

egresados está influido por diversos factores contextuales, los cuales se pueden

observar en la figura 1.

Figura 1. Contexto para realizar la formación de los egresados.

Deber ser de la Educación

Plan de Desarrollo Nacional

Necesidades del sector

laboral

Modelo Educativo de

las IES

ESTUDIANTE ACTUAL

Y

EGRESADO

PLANES Y PROGRAMAS DE ESTUDIO

COMPETENCIAS EDUCATIVAS, PROFESIONALES Y LABORALES

. Nota. Desarrollado por Rivera Heredia para el presente documento

Desde una perspectiva sistémica, las competencias educativas, profesionales y

laborales de los egresados de las distintas instituciones de educación superior van

transformándose al paso del tiempo, por lo que éstas pueden ser diferentes en sus

egresados de distintas generaciones. Son los planes y programas de estudio el

medio a través del cual se van desarrollando los perfiles de conocimientos,

2

habilidades y actitudes que, en su conjunto, constituyen las competencias. Para la

construcción de dichos planes y programas de estudio, en su primer contexto se

contempla el “Deber Ser” de la Educación, su interrelación con el “Plan Nacional

de Desarrollo” y con las necesidades y requerimientos del “Sector Laboral” y con

la filosofía y misión de cada institución de Educación Superior aplicados en su

“Modelo Educativo”.

Con respecto a las necesidades del sector laboral es importante considerar las

diferentes expectativas que puedan tener las empresas pequeñas y micros de las

medianas y grandes y el posicionamiento que puedan tener en ellas los egresados

de la propia universidad en relación con los de otras universidades.

CONCEPTO DE EVALUACIÓN DE COMPETENCIAS

Conviene aclarar que medición y evaluación no se refieren a lo mismo.

Brown (2000) comenta que la medición únicamente responde a la pregunta:

¿cuánto?, proporcionando una descripción de la ejecución de una persona sin

brindar información sobre el valor de dicha ejecución. Sin embargo, cuando la

medición es interpretada, se le atribuye un cierto valor. En este punto se llega

más allá de la descripción. Es así como al evaluar se intenta responder a la

pregunta: ¿hasta qué punto es bueno? .

La evaluación no es algo que se hace una vez y se acaba para siempre.

En muchos casos, es un proceso progresivo, incluso un proceso cotidiano, para el

conocimiento de la situación actual, la toma de decisiones o para la solución de un

problema (Trull y Phares, 2003).

Para los autores del presente trabajo, la evaluación de competencias es un

proceso de recolección de evidencias explícitas sobre el desempeño profesional,

laboral o educativo, con el propósito de formarse un juicio a partir de un criterio o

referente estandarizado para identificar aquellas áreas de desempeño que han

sido desarrolladas y aquellas que requieren ser fortalecidas.

3

Algunas diferencias con respecto a la evaluación tradicional de acuerdo con

Vargas (2001) son:

• Su base en el juicio “competente” o “aún no competente”.

• Su sustento en evidencias del desempeño real, no en preguntas sobre lo

que se sabe.

• Su consideración como un proceso más que un momento.

El propósito de la evaluación consiste en realizar juicios acerca del desempeño

individual (Whitear, 1997, p. 177). El conocimiento es sólo un aspecto del

desempeño ya que el desempeño competente requiere la habilidad de aplicar el

conocimiento de manera adecuada. Para evaluar una competencia es necesario

evaluar lo que se sabe, lo que se hace y cómo se hace. “Para desempeñar tareas

confiables, se debe entender el conocimiento que soporta sus acciones, y sus

acciones deben ser apropiadas para el establecimiento en el cual se aplican”

(p.178), de ahí que un sistema de evaluación deberá hacer juicios confiables sobre

si los individuos cumplen con las normas de desempeño en el rango requerido de

contextos o situaciones.

La evaluación de competencias toma en cuenta criterios de desempeño, por

lo que no se compara al sujeto con otros, sino en función a si es competente o

todavía no es competente para determinada tarea o función.

En Australia, al igual que en otros países de habla inglesa, se han desarrollado

estándares de evaluación basados en competencias, los cuales inicialmente se

pensaban que eran útiles únicamente para las ocupaciones de nivel medio, sin

embargo, Gonczi (1994) señala que éstos se pueden utilizar tanto en ocupaciones

como en profesiones, llegando a ser evaluaciones mas válidas que las de

aproximaciones tradicionales. Menciona las siguientes ventajas del enfoque de

competencias:

• Permite incorporar un rango mayor de atributos en la descripción de las

competencias de muchas profesiones

4

• Se describe públicamente lo que deben hacer los profesionistas

competentes y lo que se puede esperar de ellos

• Proporciona metas mas claras para quienes imparten la educación

profesional

• Clarifica a los aprendices lo que se espera que logren

• Da bases para elaborar procedimientos mas sólidos de evaluación de las

habilidades profesionales.

Para evaluar competencias se debe tener muy claro para qué se va a evaluar, qué

se va a evaluar y cómo se hará.

TIPOS DE EVIDENCIA

La evaluación exitosa depende de la evidencia presentada, la cual podría provenir

de su experiencia anterior, de su desempeño actual, o de un cuestionario. Los

criterios para evaluar la calidad de la evidencia son: validez, autenticidad,

confiabilidad, suficiencia, actualidad, transferibilidad y claridad de la presentación

(Whitear, 1997).

Existen dos formas de evidencia a recolectar: evidencia directa (constituida

por bienes y servicios producidos por el candidato) y evidencia indirecta (evidencia

e información de apoyo respecto del candidato). La evidencia puede ser

recopilada en un ambiente real o en una situación de formación, capacitación o

simulación. Los productos de evidencia pueden ser videos, grabaciones,

ejercicios, reportes, proyectos terminados, entre otros (Fletcher, 2000).

Tabla 1. Tipos de evidencias para evaluar competencias

TIPOS DE EVIDENCIA EJEMPLOS

5

EVIDENCIA DIRECTA

Evidencia de desempeño

Ejemplos del trabajo realObservación del trabajoSimulación del trabajo

Evidencia suplementaria

CuestionariosPruebas fuera del empleo

Productos o artefactos producidosPlanes y programas de trabajoInformes o documentosDiseños y dibujosProgramas de computaciónDatos financierosCartas de clientes, proveedores, etc.Evaluaciones de desempeñoBitácoras

EVIDENCIA INDIRECTA

TestimoniosTestimonio presencialMaterial publicadoCertificaciones

ESTRATEGIAS PARA LA EVALUACIÓN DE COMPETENCIAS

No existe un método exclusivo para evaluar las competencias, señalan

Norman, Watson, Murrells, Calman y Redfern (2002), sino una amplia estrategia

de medición que incluye múltiples métodos para asegurar que las personas hayan

adquirido el complejo repertorio de conocimientos, habilidades y actitudes que se

requieren para demostrar competencias.

Cuando se pone énfasis en la ejecución, Gonczi (1994) recomienda tres

principios para la evaluación de competencias:

• Los métodos de evaluación deben ser usados en una forma integrada, es

decir, que combinen la evaluación de conocimiento, comprensión, solución

de problemas, habilidades técnicas, actitudes y ética, aunque se reconoce

que en algunos casos los conocimientos se pueden evaluar

independientemente de la ejecución.

• Se deben elegir los métodos que sean mas directos y relevantes para lo

que está siendo evaluado.

• Mientras más amplia es la evidencia de la que se infiere la competencia,

mas se podrá generalizar la ejecución a otras tareas.

Como estrategia para evaluar las competencias de una profesión plantea los

siguientes pasos:

6

1. Definir y agrupar los componentes de cada competencia y los criterios de

ejecución, por ejemplo (ver tabla 2), la competencia para recopilar, analizar

y evaluar información que requiere desarrollar un abogado.

Tabla 2. Ejemplo de definición, componente y criterio de una competencia para un abogado

COMPETENCIA COMPONENTE CRITERIO

Recopilar, analizar y evaluar información

Tomar instrucciones del cliente

Ayuda al cliente a desarrollar una historia y a obtener la declaración inicialIdentifica la naturaleza del problema, lo que el cliente desea lograr, el relato del cliente de los hechos relevantes, el punto de vista del opositor y de terceras partesSeñala al cliente vacíos e inconsistencias

2. Analizar los métodos de evaluación disponibles para determinar cuales

pueden realizar una evaluación mas integrada y directa

3. Valorar los métodos de acuerdo a aspectos prácticos como tiempo y costo

4. Establecer una tabla de especificación con los métodos seleccionados y las

competencias que cada uno de ellos evaluará para asegurar que todos los

elementos de todas las competencias estén cubiertos por lo menos por una

actividad.

5. Decidir cómo se va a juzgar a los candidatos, ya sea en forma cuantitativa

(calificaciones) o por cumplimiento de estándares o criterios cualitativos, lo

cual implica un juicio profesional, basado en la experiencia, por parte de los

asesores

El autor señala que para evaluar utilizando este esquema se requiere entrenar a

los evaluadores además de que se les proporcione manuales y procedimientos de

evaluación. También implica una mayor necesidad de asegurar la confiabilidad

entre evaluadores que en una evaluación centrada solo en la tarea.

De los diversos métodos existentes para evaluar competencias, Gonczi (1994), al

estudiar los sistemas de evaluación de competencias de los egresados en

7

Australia, habla en particular de dos métodos que permiten la evaluación directa e

integrada.

• La simulación, en la cual un actor entrenado se presenta como cliente

mientras se está videograbando la interacción. Implica preparar diversos

escenarios o situaciones que plantean problemas distintos pero con la

misma estructura: una necesidad inmediata, asuntos a largo plazo,

información no revelada a menos que se pregunte, agendas ocultas del

cliente, problemas que requieren soluciones fuera de la profesión, aspectos

culturales que requieren un manejo con mucho tacto, aspectos éticos y

arreglo de costo.

• El archivo o expediente sobre un problema es una tarea que se lleva el

egresado a su casa, que implica un análisis y presentación del caso basado

en conocimiento de reglas y procedimientos y en la preparación de

documentos, además de una investigación sobre lo que se sabe y lo que se

ha hecho en casos similares.

También menciona otros métodos útiles tales como: relatar la forma en que

abordó los casos, un examen de conocimientos (opción múltiple) de tres horas, la

interpretación de datos de medición, un estudio de casos en computadora, una

entrevista de diagnóstico y otra de manejo, tres evaluaciones diferentes en un

caso, entre otros.

Otra estrategia para la evaluación de competencias es la de Colardyn (2002) quien

enlista las siguientes acciones:

• Preexistencia de estándares laborales y de aprendizaje o especificaciones

• Especificación de un contexto en el que se va a recopilar la evidencia del

desempeño. Implica definir cómo evaluar, con que herramienta y con qué

procedimiento.

• Recopilación de la evidencia. Las evidencias a recolectar deben ser

definidas antes de la práctica de la evaluación. Menciona cinco tipos:

8

1. Examen: el evaluado contesta preguntas, ya sea orales o escritas, cerradas

o abiertas, relacionadas con su conocimiento y comprensión del campo de

estudio.

2. Declaración y entrevista evaluativa: el candidato describe lo que hace o

ha hecho, en forma oral y escrita, fundamentando que lo que ha hecho

implica un dominio del aspecto evaluado. Los evaluadores formulan

preguntas acerca del contexto laboral, de las actividades que desempeña,

de los resultados obtenidos y de la transferencia de competencias a otros

contextos.

3. Observación: se registra el desempeño del candidato en un escenario real,

en una experiencia del pasado o en una situación simulada. Requiere una

estructura metodológica bien definida y una alta capacitación a los

evaluadores para que recopilen información relevante y sus registros sean

confiables. En esta técnica los evaluadores solo observan sin hacer

preguntas y califican el desempeño en base a indicadores predefinidos.

4. Simulaciones: el evaluado se desempeña en una situación muy parecida

al contexto real de trabajo. Su dificultad radica en realizar un análisis laboral

adecuado para asegurar que la situación es adecuada para obtener

información válida y confiable.

5. Evidencia extraída de situaciones laborales: el evaluador observa lo que

hizo el evaluado y éste puede explicar sus acciones y decisiones y describir

los resultados que obtuvo.

Otra técnica válida y confiable en la evaluación de competencias es la descrita por

McClelland (1994), entendida como la entrevista de eventos conductuales. En esta

entrevista el evaluado describe en sus propias palabras lo que dijo, hizo, pensó y

sintió en seis situaciones de su trabajo (tres positivas y tres negativas). Se

establecen procedimientos estandarizados para asegurar que las entrevistas sean

comparables. Se definen las competencias y se codifican por su frecuencia y nivel

de complejidad o amplitud con que se observaron en la entrevista.

9

Por su parte, Benítez (2006) describe dos de las metodologías mas aplicadas para

evaluar las competencias.

a) Las tablas descriptivas: consisten en párrafos que describen las conductas

observables en cada nivel de dominio de la competencia en orden

ascendente. Para cada competencia se determina, según el puesto, en qué

nivel se debe poseer la competencia y se compara con el nivel en que se

ubica al empleado que ocupa dicho puesto.

b) Los Indicadores de dominio: consisten en frases cortas que describen

conductas observables y que, en conjunto, permiten evaluar el dominio de

la competencia determinando qué nivel tiene la persona en cada uno de

todo el conjunto de indicadores. Los niveles son: A (satisface plenamente o

supera las exigencias del puesto), B (satisface las exigencias mínimas) ó C

(requiere entrenamiento formativo para alcanzar el desempeño requerido).

A partir del nivel de cada uno de todos los indicadores de la competencia se

asigna una puntuación. Esta se compara con lo esperado y se clasifica la

brecha como pequeña, moderada, considerable o critica. La brecha

aceptable es menor en competencias importantes para el puesto que en las

competencias complementarias.

La evaluación de las competencias con base en las Normas Técnicas de

Competencia Laboral (NTCL), de acuerdo con Samperio (2002) incluye las

siguientes etapas:

• Determinar las técnicas e instrumentos para evaluar la competencia laboral

de candidatos

• Determinar los planes de evaluación de la competencia laboral en una

función específica

• Integrar portafolios de evidencias de los candidatos a certificar sus

competencias laborales.

• Emitir juicios de competencia de candidatos para certificación

• Orientar a los candidatos en relación con el resultado de la evaluación de

su competencia laboral.

10

LA EVALUACIÓN DE COMPETENCIAS EN MÉXICO

A partir de la globalización de los mercados y de la acelerada innovación

tecnológica, se presentan para México nuevos requerimientos hacia la fuerza

laboral en materia de capacitación y educación.

Medel y Flores (2002) relatan que, como respuesta a esta demanda, la Ley

General de Educación, en su artículo 64 publicado en 1993, establece que se

podrán crear procedimientos para otorgar certificados o títulos a personas que

acrediten los conocimientos que correspondan a cierto nivel educativo, adquiridos

ya sea por experiencia laboral o por medios autodidactas.

Con el fin de validar conocimientos y experiencias de trabajadores adquiridos por

medios no formales, surge el Consejo de Normalización y Certificación de

Competencia Laboral conocido por sus siglas como CONOCER, el cual fue

establecido en agosto de 1995 como organización tripartita, no lucrativa, de

carácter nacional, integrada por seis representantes del sector empresarial, seis

del sector social y los titulares de seis secretarías de estado. Su función consiste

planear, operar, fomentar y actualizar el Sistema Normalizado y de Certificación de

Competencia laboral mediante el desarrollo y establecimiento de metodologías y

procedimientos para la elaboración de Normas Técnicas de Competencia Laboral,

a través de los comités de Normalización así como la definición de los criterios

para el establecimiento y operación de organismos certificadores e instancias de

evaluación.

Para CONOCER, el concepto de competencia laboral implica el saber, el saber ser

y el saber hacer. Existen tres tipos de competencias laborales: las básicas, las

genéricas y las específicas. El trabajo de normalización se está llevando a cabo

mediante la aplicación de una metodología llamada análisis funcional. Para iniciar

el proceso de normalización se usa como herramienta de trabajo el mapa

funcional La estrategia de CONOCER consisten en la definición de 12 áreas de

trabajo que abarcan todo el sector laboral. El objetivo final es contar con las

11

Normas Técnicas de Competencia Laboral para cada sector y después definir el

mecanismo para aplicarlas (CONOCER Y SAGAR, 1999).

Debido a que el proceso de establecimiento de una norma a nivel nacional

es prolongado, en la experiencia Chilena (SENCE, 2003) señalan que tener un

referencial de competencias no implica necesariamente contar con un marco

nacional de competencias, se trata de contar con un modo de evaluar las

competencias de los programas. Inicialmente es posible desarrollar una norma

provisoria que certifique estas competencias. Luego, esa norma provisoria puede

convertirse en un referencial de competencia. Esto es especialmente útil en

materia de capacitación, en donde se hacen normas provisorias de competencias

para responder a las demandas que en el tiempo son más urgentes, quizás una

descripción de funciones sería lo más cercano, aunque hacer una norma

provisoria es mejor.

EXPERIENCIA EN MÉXICO DE EVALUACIÓN DE COMPETENCIAS A EGRESADOS: EL CASO DEL EXAMEN GENERAL DE EGRESO DE LA LICENCIATURA EN PSICOLOGÍA DE CENEVAL

Entre las experiencias que existen en México para la evaluación de competencias

profesionales en los egresados de licenciatura se encuentra el EGEL-

PSICOLOGÍA (Examen General para el Egreso de la licenciatura en Psicología) el

cual es un instrumento de evaluación especializado, cuyo objetivo es identificar la

medida en la que se tienen los conocimientos, las habilidades y los valores que

debe mostrar un recién egresado de sus estudios de licenciatura para iniciar su

vida profesional. Tiene como finalidad el ser un instrumento útil, valido y confiable

para valorar las competencias necesarias para iniciar una práctica psicológica de

buena calidad en todas las regiones geográficas de México. Se construyó

tomando en cuenta el perfil referencial de validez establecido por los cuerpos

interinstitucionales, multirregionales y multisectoriales de académicos del país.

También pretende ser un instrumento complementario al currículo que

retroalimente y facilite la inserción laboral adecuada. El EGEL puede ser un

instrumento indicativo previo a la presentación del examen profesional, o un

12

instrumento complementario a otros indicadores de las IES a lo largo de la

trayectoria académica del estudiante.

En la tabla 3 se observan los tres niveles de actividad intelectual

considerados por el CENEVAL para la evaluación de competencias.

Tabla 3. Niveles de la actividad intelectual para evaluar las competencias logradas en la formación profesionalCOMPETENCIAS COMPLEJIDAD HABILIDADES EVALUADAS

COMPRENDER Y ORGANIZAR LO APRENDIDO

Básico

Evalúa la capacidad para identificar, clasificar, ordenar y jerarquizar hechos, conceptos, principios y fundamentos de manera no literal a como aparecen en los documentos originales.

APLICAR LO APRENDIDO

Intermedio

Evalúa la capacidad para integrar la teoría con las habilidades técnico-metodológicas en la práctica profesional. Se demuestran el dominio y pericia en la comprensión y utilización adecuada de conceptos, principios, procedimientos, técnicas, rutinas e instrumentos.

RESOLVER PROBLEMAS

Alto

Evalúa la capacidad para analizar, sintetizar y evaluar conceptos, principios, métodos, técnicas, procedimientos, estructuras de tarea y de planes de acción, en función de los principios de adecuación, organización y valores profesionales requeridos ante situaciones problemáticas diversas, novedosas o rutinarias, así como para identificar y corregir errores importantes y proponer cursos de acción adecuados.

Adaptado de CENEVAL, p.13

Las estrategias que se siguieron para la construcción del examen fueron:

1) Diseño del objeto a evaluar a partir de la definición de categorías de

análisis derivadas de la información recabada y del debate de expertos.

Posteriormente se identificaron los criterios a partir de los cuales se

seleccionarían los cuales fueron: escencialidad, generalidad,

especificidad, diversidad, relevancia y calidad.

2) Elaboración del perfil referencial de validez, que fue acordado

colectivamente por las instituciones participantes, y establecido por los

cuerpos colegiados interinsitucionales, intersectoriales y multirregionales

tanto de las IES públicas como de las privadas. Se identificó el deber

ser establecido en los planes y programas de estudio vigentes, así como

lo recomendado por especialistas. Se consideraron datos de

13

investigaciones y estudios realizados por agencias internas y externas

sobre la realidad de la enseñanza de la profesión, el quehacer

profesional demandado, la opinión de los egresados y la satisfacción de

necesidades que el profesionistas debe cubrir a la luz de las demandas

actuales y las emergentes previstas en un lapso de 5 años.

3) Definición de la naturaleza y estructura del examen.

4) Delimitación de los contenidos.

5) Estrategias para la elaboración, piloteo y calibración de reactivos; diseño

de la guía y del examen.

De igual manera, a partir del 2000, se delega al CENEVAL la función de acreditar

conocimientos de niveles educativos y grados académicos adquiridos por medios

no formales, con base en el Acuerdo 286 de la Secretaría de Educación Pública,.

Quien desea acreditar su experiencia profesional para obtener un título de

licenciatura debe pasar por las siguientes etapas de evaluación:

• Presentar el EGEL (Examen General de Egreso de Licenciatura)

correspondiente a la carrera

• Responder sobre su experiencia profesional en una entrevista con un

sinodal

• Elaborar una tesina sobre sus conocimientos teóricos y prácticos

• Defender la tesina en réplica oral ante sinodales.

• Presentar un examen práctico (en algunos casos)

Aclaran Medel y Flores (2002, p. 258) que “solamente personas con una probada

capacidad para instrumentar conocimientos complejos en decisiones concretas y

verificables, se encuentran en condiciones de aprobar las evaluaciones descritas”.

OTRAS EXPERIENCIAS EN EVALUACIÓN DE COMPETENCIAS

A lo largo del mundo se han tenido otras experiencias en evaluación de

competencias profesionales, principalmente con estudiantes que están terminando

el estudio de su carrera. McClelland (1994) describe la entrevista de eventos

14

conductuales como un método válido y confiable para evaluar competencias. En

esta entrevista el evaluado describe con sus propias palabras lo que dijo, hizo,

pensó y sintió en seis situaciones de su trabajo (tres positivas y tres negativas).

Para el análisis de las competencias, los evaluadores establecen procedimientos

estandarizados para asegurar que las entrevistas sean comparables. Además,

definen las competencias y se codifican por su frecuencia y nivel de complejidad o

amplitud con la que éstas se observaron en la entrevista.

Heverly y Fitt (1994) evalúan las competencias de investigación con una

autocalificación del estudiante en una escala del 1 al 5. Por su parte, Harrington

(1995) describe tres formatos para la evaluación de habilidades en base a un

autoreporte:

• Una lista de habilidades con sus definiciones en las que el evaluado indica

en cuáles se siente mas fuerte

• Una escala de Likert en la que el evaluado se compara con su grupo de

edad para indicar en qué nivel está en cada habilidad: excelente, arriba del

promedio, promedio, abajo del promedio o deficiente

• Se presentan ejemplos de aplicaciones de cada habilidad en las cuales el

evaluado se ubica en un nivel de bajo a alto y se obtiene una suma total de

cada habilidad.

También Warn y Tranter 2001 usaron un cuestionario con diversas preguntas para

cada competencia (algunas tomadas de otros instrumentos) para una

autoevaluación, fundamentando la validez de este método en que se ha

encontrado correspondencia con la evaluación de calificadores independientes

(aunque en la autoevaluación se califiquen un poco mejor). Para minimizar la

deseabilidad social, en este cuestionario se pidió a los egresados que evaluaran

en qué grado había contribuido su institución educativa para que desarrollaran las

diferentes competencias evaluada. Se usó una escala de 5 puntos: pobre

desarrollo, menos del adecuado, adecuado, mejor que el adecuado y buen

desarrollo.

15

Otros parámetros de evaluación son los propuestos por Martha Alles (2002) quien

proporciona 160 competencias laborales que pueden ser evaluadas en uno de

cuatro niveles:

1) Alto

2) Bueno, por encima del promedio

3) Mínimo necesario para el puesto (de acuerdo al perfil requerido). No implica una

subvalorización de la competencia

4) Insatisfactorio

Considera que cada empresa debe elaborar su propio diccionario de

competencias y definir sus propios niveles de evaluación, ya que algunas

empresas establecen el nivel cuatro como el mínimo satisfactorio. De su

diccionario se reproducen en la tabla 4 los niveles para una de sus competencias.

Tabla 4. Ejemplo de los niveles de desarrollo de la Competencia Analítica

COMPETENCIA ANALÍTICA(análisis de prioridad, criterio lógico, sentido común)Este tipo de competencia tiene que ver con el tipo y alcance de razonamiento y la forma en que un candidato organiza cognitivamente un trabajo. Es la capacidad general que tiene una persona para realizar un análisis lógico, la capacidad de identificar los problemas, reconocer la información significativa, buscar y coordinar los datos relevantes. Se puede incluir aquí la habilidad para analizar, organizar y presentar datos financieros y estadísticos y para establecer conexiones relevantes entre datos numéricos.

A Realiza análisis lógicos, identifica problemas, reconoce información significativa, busca y coordina datos relevantes. Tiene mucha capacidad y habilidad para analizar, organizar y presentar datos financieros y estadísticos y para establecer conexiones relevantes entre datos numéricos.

B Analiza información e identifica problemas coordinando datos relevantes. Tiene mucha capacidad y habilidad para analizar, organizar y presentar datos y para establecer conexiones relevantes entre datos numéricos.

C Puede analizar e identificar problemas, coordinar datos relevantes, organizar y presentar datos numéricos.

D Tiene escasa capacidad para el análisis y para identificar problemas y coordinar los datos relevantes.

Alles(2002, p. 142)

En otra publicación, la misma autora describe el uso de la entrevista para

ubicar a los candidatos en los niveles de evaluación de cada competencia. Para

16

mostrar un ejemplo se reproducen en la tabla 5 las preguntas para evaluar la

competencia analítica mencionada anteriormente.

Tabla 5. Ejemplo de preguntas para evaluar la Competencia Analítica

COMPETENCIA ANALÍTICAPreguntas asociadas

1 Conseguir la resolución de una asignación implica recoger información y datos de otros. Cómo lo hace usted?. Deme ejemplos.

2 ¿Recuerda alguna situación problemática que haya tenido que solucionar recientemente?¿Qué pasó?¿Cómo la identificó? ¿Cómo la analizó?¿Cómo la resolvió?¿Cómo organizó el trabajo suyo y el de sus colaboradores?

3 Cuénteme una decisión importante que haya tenido que tomar recientemente en su trabajo. ¿Cuál era la situación?¿Porqué escogió esa alternativa?

4 Describa un desafío importante que usted haya asumido en los últimos meses. ¿Qué elementos consideró para hacer frente a la situación?¿Cuáles de éstos consideró prioritarios?¿Cómo manejó la situación?

5 ¿Alguna vez tuvo un producto o servicio que estuviera en problemas?¿Cuáles eran las causas del problema?¿Qué decisiones tomó?¿Qué consecuencias previó que podrían suscitarse al tomar esos cursos de acción?¿Cuál fue el resultado final?

6 ¿Cómo identifica problemas potenciales en su sector?

7 Descríbame una situación compleja por la que haya atravesado su departamento en los últimos años. ¿Cómo analizó la situación? ¿Qué decisiones tuvo que tomar?¿Cómo coordinó su equipo de trabajo?

8 ¿Utiliza datos financieros en su trabajo?¿Qué estadísticas presenta en sus informes?

9 ¿Considera usted que las tareas que realiza son relevantes para la organización?¿Cuál es su grado de importancia y porqué?

(Alles, 2003, p.149)

Dados los grandes avances tecnológicos, existe un nuevo grupo de cuatro

competencias básicas que permiten clasificar a las personas como alfabetos o

analfabetas tecnológicos.(Graham, 2003, citada en Gaide, 2004), las cuales son:

• Creación de documentos electrónicos (procesador de palabras y

publicaciones electrónicas)

• Organización de datos (administración de hojas de datos y bases de datos,

elaboración de tablas y gráficas)

• Presentación para comunicar ideas y pensamientos

• Comunicación electrónica (correo electrónico, mensajería instantánea y

navegación en Internet)

17

Ubica cada competencia en dos niveles: 1, que corresponde a habilidades básicas

y 2 que hace referencia a habilidades avanzadas. Agrega que las universidades

deben considerar estas competencias como centrales y que deben evaluar no solo

lo que enseñan sino también lo que aprenden los alumnos. Considera que las

universidades deben proponerse que por lo menos el 80% de sus alumnos

manejen estas habilidades en el nivel 2.

En el estudio de la OCDE conocido como PISA (Kjaernsli y Lie, 2004), se

evaluaron las competencias en estudiantes de secundaria presentando textos

reales, como artículos de periódicos o revistas, y formulando preguntas de opción

múltiple o de respuesta construida.. En un ejemplo que proporcionan, partir del

texto se pedía a los estudiantes que dieran una explicación para diversas

situaciones del texto (para evaluar el proceso intelectual de valorar críticamente

datos científicos, el conocimiento de hechos y la comprensión conceptual).

Por su parte, Kersh y Evans (2005) describen un proceso de autoevaluación de

habilidades y competencias que fue utilizado para evaluar el aprendizaje de

adultos y promover el aprendizaje posterior, no para certificar ni acreditar

competencias

Benítez (2006) diferencia la perspectiva gerencial de la curricular sobre las

competencias. Desde el punto de vista curricular o educativo competencia es la

“aptitud para desempeñar idóneamente un oficio u ocupación” (p.1) y el concepto

se utiliza para certificar la competencia. Por lo tanto, la competencia se considera

una variable discreta y binaria que solo puede tener dos valores: competente o no

competente. Para proporcionar el juicio anterior se puede utilizar una variable

continua que ubica el 100 como la competencia requerida pero proporciona cierto

margen de error de modo que establece un punto de corte indicando que de 92

puntos en adelante la persona se considera competente.

Desde el punto de vista gerencial, el desempeño adecuado de cada puesto

requiere la aplicación de cierto número de competencias, entendiendo éstas como

18

“características personales subyacentes que soportan el desempeño superior” (p.

2). Aunque dos o más puestos compartan como requisito una misma

competencia, no necesariamente en cada puesto se requiere un nivel de dominio

del 100 por ciento. Por lo tanto, se establecen, generalmente, de 1 a 4 niveles de

dominio que varían desde básico hasta intermedio, avanzado y maestría.

Posteriormente, este nivel se interpreta en base a lo requerido por el puesto en los

niveles de “por debajo de”, “a nivel de” o “por encima de las exigencias del cargo”.

CONCLUSIONES

Aunque la evaluación de competencias se basa en el principio de la

evidencia del desempeño, para el seguimiento de egresados con base en este

enfoque se propone el uso de un instrumento de auto-reporte en el cual los

egresados evalúen, de acuerdo a su percepción, el grado en el cual su institución

educativa les proporcionó las competencias evaluadas.

Para ello es posible retomar las definiciones utilizadas por Alles (2002 y 2003) y

adaptarlas al esquema de autoreporte en donde éstas sean calificadas con una

escala tipo Likert, con el énfasis en la instrucción, de evaluar el grado en el cual su

institución educativa promovió el desarrollo de cada competencia, tal como fue

indicado por Warn y Tranter (2001)

Tabla 6. Propuesta

SEGUIMIENTO DE EGRESADOS(Nombre de la Universidad)

Con el fin de determinar en que grado nuestros planes de estudio están cumpliendo con su objetivo, te pedimos que indiques en qué grado contribuyó tu universidad, a lo largo del estudio de tu carrera, al desarrollo de las siguientes competencias profesionales de acuerdo a la siguiente escala:

A.- No me proporcionaron ninguna experiencia relacionada con el desarrollo de esta competenciaB.- Me proporcionaron algunas experiencias aisladas relacionadas con el desarrollo de esta competenciaC.-Me proporcionaron pocos experiencias, bien organizadas y supervisadas, relacionadas con el desarrollo de esta competencia D.- Me proporcionaron muchas experiencias, bien organizadas y supervisadas, relacionadas con el desarrollo de esta competencia

19

COMPETENCIAS A B C D

HABILIDAD ANALÍTICA Es la capacidad general que tiene una persona para realizar un análisis lógico, la capacidad de identificar los problemas, reconocer la información significativa, buscar y coordinar los datos relevantes.

Para que ésta evaluación pueda ser común a todos los planes y programas

de estudio se recomienda considerar solo las competencias profesionales

genéricas, es decir, las comunes a todas las profesiones como trabajo en equipo,

análisis, integración, organización, etc., (en particular, a las indicadas en la

filosofía institucional y en el perfil de egreso de cada universidad) sin entrar a las

específicas de cada profesión (ya éstas están siendo evaluadas por otras

instancias como el CENEVAL).

Para la evaluación de competencias genéricas se puede elaborar un instrumento

que contenga un máximo de veinte competencias de modo que se pueda

responder en poco tiempo y que se pueda ajustar a un formato electrónico para

ser contestada en el portal de la universidad.

Los esquemas alternativos de entrevistas y evaluación de evidencias resultan más

difíciles de elaborar, implican entrenamiento a los evaluadores, son más costosos

y los beneficios no compensan todos estos costos. (Ver tabla 7)

Entre las ventajas del esquema de autoreporte están su viabilidad, sencillez,

rapidez y menor costo económico.

:

Además, autores como Hollon y Bemis (1981) indican que la precisión de los

autoreportes (entendida como el grado en que lo que se reporta concuerda con lo

que realmente ha ocurrido) puede ser alta y confiable, sobre todo cuando se está

enfocando la atención en evaluar a la institución educativa ( y no a sí mismo).

Tabla 7. Comparación de ventajas y desventajas de las alternativas de evaluación

de competencias

AUTOREPORTE ENTREVISTA EVALUACION DE

20

EVIDENCIASVentajas:

• Elaboración sencilla

• Aplicación fácil y rápida

• Rapidez al calificar• Bajo costo• Confiabilidad

aceptable

Ventajas:• Basada en un

número limitado de evidencias

• Evaluación que considera conocimientos, actitudes y valores

• Se basa en pocos casos reales e hipotéticos

Ventajas:• Evaluación integral• Basada en

diversas evidencias

• Combina información de diversas fuentes: examen, entrevista, expedientes, portafolios, casos trabajados, casos simulados o hipotéticos, etc.

Desventajas:• No es integral• No se apega a la

recolección de evidencias

Desventajas:• Solo evalúa

parcialmente habilidades

• Necesidad de definir criterios de calificación

Desventajas:• Dependencia de la

disponibilidad del evaluado

• Alto costo• Elaboración

complicada (definición de estándares y elaboración de técnicas)

• Ocupa mas tiempo de evaluado y evaluadora

• Necesidad de sistematizar la aplicación con manuales y entrenamiento)

• Necesidad de asegurar la confiabilidad en la calificación

Aunque se recomienda la primera alternativa (autoreporte) por ser la mas viable

para aplicar con egresados que ya tengan tiempo de haber terminado sus

estudios, siguen existiendo las dos opciones restantes con un nivel intermedio y

21

alto de elaboración (entrevista y evidencias) para cuando la universidad pueda

disponer de los recursos y facilidad de contacto con los egresados.

Para completar esta propuesta, se plantean una serie de preguntas que deberán

ser contestadas por cada IES: ¿cuál es el nivel de cercanía al que se puede tener

acceso en torno a sus egresados?, ¿en qué momentos puede evaluar sus

competencias?, ¿cuándo están próximos a salir?, ¿un año después?, ¿cinco, diez

o más años?, ¿de qué manera se puede evaluar a los egresados?, ¿cuáles serían

los beneficios de realizar una investigación sobre los egresados basados en un

modelo de competencias?, ¿qué limitaciones tendría este tipo de abordaje? ¿cuál

sería su unidad de estudio: un egresado, una empresa en particular o ambos?,

¿podrán ser las instituciones certificadoras de los distintos campos o áreas

profesionales las que proporcionen información sobre sus egresados?, ¿de que

manera es posible retroalimentar la formación en cada institución educativa?.

Las respuestas a estos cuestionamientos abren una serie de posibilidades

respecto a la postura de cada institución en torno a la formación de sus

estudiantes y del grado de cercanía en el seguimiento de egresados. Incorporar el

modelo de educación por competencias profesionales o evaluar el desarrollo de

las mismas durante su formación profesional o años después del egreso, es una

decisión particular y respetable de cada Institución Educativa, sin embargo, en

éste momento, es el modelo con el que se construyen los nuevos planes y

programas de educación básica en México (de preescolar a secundaria) y es el

modelo de selección de personal de las empresas trasnacionales y de varios

países desarrollados (Inglaterra, Francia, Canadá, Australia, Estados Unidos).

Incorporar este esquema permitiría compartir el lenguaje común cada vez mas

globalizado de formar y evaluar por competencias (demostrando, con acciones,

que se tienen las habilidades, actitudes, conocimientos y valores para realizar

determinada tarea), que se está formando en competencias profesionales y

laborales, pero sobre todo en competencias para la vida: para saber, saber ser,

saber hacer y saber convivir.

22

Referencias

Alles, M. (2002). Gestión por competencias: El diccionario. Buenos Aires: Granica.

Alles, M. (2003). Elija al mejor. Como entrevistar por competencias. Buenos Aires: Granica.

Benitez, J.(2006). Medición, evaluación y diagnóstico de competencias. Accesado el 21 de febrero de 2006 en www.gestiopolis.com/canales5/rrhh/medivay. htmI

Brown, F.G. (2000). Principios de la medición en Psicología y educación. Primera edición 9ª. Reimpresión. México: Manual Moderno, 1976.

Centro Nacional de Evaluación para la Educación Superior, A.C. (1999). Guía del Examen General para el egreso de la licenciatura en Psicología, México: CENEVAL

Colardyn, D. (2002). La evaluación basada en competencias. Documento conceptual. Accesado el 21 de febrero de 2006 en www.ons.org/udse/ secondary/documentos/1-Trad%20ASSESSMENT20%base-1.DOC

CONOCER Y SAGAR. (1999). La competencia laboral y la inocuidad alimentaria. México: Nacional Financiera, SNC, Fiduciaria del fideicomiso de los Sistemas Normalizado de Competencia laboral y de Certificación de competencia laboral.

Fletcher, S. (2000). Diseño de Capacitación basada en Competencias laborales. México; Panorama.

Gaide, S. (2004). Are technical skills “core competencies”? How do we measure them?. Distance education Report, november 15.

Gonczi, A. (1994). Competency based assessment in the professions in Australia. Assessment in Education: Principles, Policy and Practice, 1(1), pp. 27-41

Harrington, T.(1995). Assessment of abilities (ERIC Digest). Greensboro, NC: ERIC Clearinghouse on Counseling and Student Services [ED 389960]

Herverly, M y Fitt, D. X. (1994) Classroom assessment of student competencies. Assessment and Evaluation on higher education, 19(3). pp.215-224.

Hollon, S. D. y Bemis, K. M. (1981 ) Self-report and the assessment of cognitive functions. En: M. Hersen y A.S. Bellack. Behavioral Assessment. A practical handbook.(2nd Edition). New York: Pergamon Press.

Kersch, N y Evans, K. (2005). Self evaluation of tacit skills and competences of adult learning. European Education, 37(2), pp. 87-98.

Kjaernsli , M y Lie, S. (2004). PISA and Scientific Literacy: similarities and differ-ences between the Nordic countries. Scandinavian Journal of Educational Research, 48(4), pp. 271-286.

23

McClelland, D. (1998). Identifying competencies with behavioral-event interview. Psychological science, 9(5), pp. 331-339

Medel, J. O. y Flores, C. A. (2002). Acuerdo 286: La experiencia del CENEVAL en la acreditación de competencias profesionales. Memorias del Quinto Foro de Evaluación Educativa.

Norman, I. J., Watson, R. Murrells, T, Calman, L. & Redfern, S. (2002). The va-lidity and reliability of methods to assess the competence to practise of pre-registration nursing and midwifery students. International Journal of Nursing Studies, 39(2), 133-145.

Samperio, L. M. (2002). Reflexiones sobre la evaluación de las competencias laborales. Memorias del Quinto Foro de Evaluación Educativa

SENCE (2003). Enfoque de Capacitación por competencias, Innovación y Desarrollo. Subdepartamento de Estudios. Apuntes Técnicos. Recuperado el 2 de enero de 2006 de http://www.sence.cl/CAPACITxCOMPETENCIA/ ApunteTEcnicoCapacitaciOnbasadAenCompetencias2.pdf

SEP (2001). Programa Nacional de Educación 2001-2006. D. F. México: Secretaria de Educación Pública.

Trull, T. T. y Phares, E. J. (2003). Psicología clínica. Conceptos, métodos y aspectos prácticos de la profesión. 5ª. Edición. México: Thompson.

Vargas, F. (2001). La evaluación basada en competencias. Una breve guía ilustrada con un caso de aplicación práctica. Documento CINTERFOR

Warn, J. y Tranter, P. (2001). Measuring Quality in Higher Education: a competen-cy approach. Quality in Higher Education, 7(3). pp. 191-

Whitear, G. (1997). Para entender la evaluación. Competencia laboral. Normalización, certificación, educación y capacitación. Antología de lecturas, tomo 1. México: Conocer y Alambra Mexicana.

24