Post on 19-Sep-2018
AÑO 2013
Formación por competencias laborales para Diseñadores de
Instrumentos de Evaluación
DIRIGIDO A: Funcionarios de la Red de IFPs de Centroamérica,
Panamá y República Dominicana
F E C H A D E E L A B O R A C I Ó N
MODALIDAD VIRTUAL: MÓDULO 2
MÓDULO 2:
ELABORAR INSTRUMENTOS DE
EVALUACIÓN BASADOS EN
NORMAS TÉCNICAS DE
COMPETENCIA LABORAL
Red de Institutos de
formación profesional de
Centroamérica, Panamá y
República Dominicana.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
2
Este segundo módulo del curso para diseñadores de instrumentos de evaluación basados en
Normas Técnicas de Competencia Laboral- NTCL, tiene como objetivo principal que el profesional
interesado en certificar dicha competencia obtenga la base teórica fundamental para seleccionar
los distintos instrumentos a seleccionar basado en criterios sólidos definidos por el tipo de
evidencia que se evaluará, elabore los ítems respectivos y que tenga bien claro el procedimiento
estandarizado para realizar las pruebas de validez y de confiabilidad requeridos para liberar los
instrumentos diseñados y que los mismo sean empleados para certificar las competencias a los
cuales pertenecen.
Es recomendable que la lectura de esta información sea acompañada de otras fuentes para
complementar la presente. De igual manera, la tutoría asignada deberá dar seguimiento al
aprendizaje del participante y proponer todos los ejercicios prácticos que sean necesarios para
lograr comprobar los principios inmersos en esta base teórica.
Los instrumentos señalados en este módulo, se acompañan de son archivos anexos a este curso de
capacitación por lo que será muy importante realizar las consultas que sean necesarias para
interiorizar los aprendizajes.
EL método que aquí se emplea en la presente formación es el transductivo, por lo que se incluyen
ejemplos prácticos en los formularios recomendados, los que guiados por el tutor/a, o por
iniciativa personal, los participantes pueden elaborar otros similares para consolidar los
aprendizajes.
El presente módulo se complementa con la información, actividades y evaluaciones que estarán
disponibles en la plataforma, que se usará para ejecutar la formación a distancia.
INTRODUCCIÓN PARA EL MÓDULO 2
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
MODULO 1
RECONOCEREVALUACIÓNTÉCNICAS DE
MODULO 2
ELABORAR INSTRUMENTOSBASADOS ENCOMPETENCIA
MODULO 3
COMPILAR ELPARA LOGRARESPECIALISTAINSTRUMENTOSEN NORMASLABORAL
MODULOS
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
3
LOS CONCEPTOS BÁSICOS DE LAEVALUACIÓN BASADOS EN NORMAS
DE COMPETENCIA LABORAL
INSTRUMENTOS DE EVALUACIÓNEN NORMAS TÉCNICAS DE
COMPETENCIA LABORAL
EL PORTAFOLIO DE EVIDENCIASLOGRAR LA CERTIFICACIÓN COMO
ESPECIALISTA EN EL DISEÑO DEINSTRUMENTOS DE EVALUACIÓN BASADOS
NORMAS TÉCNICAS DE COMPETENCIA
MODULOS QUE FORMAN LA CAPACITACIÓN
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
LANORMAS
EVALUACIÓNDE
USTED SE
ENCUENTRA AQUI
QUE FORMAN LA CAPACITACIÓN
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
4
1. El participante de este curso debe seleccionar la Norma Técnica de Competencia Laboral a
la que le elaborará los instrumentos de evaluación previamente al comenzar su formación.
2. Si el participante no tiene dominio en la competencia a la que le diseñará los instrumentos
de evaluación es indispensable contar con el apoyo de uno o dos expertos con dominio en
la competencia para que apoye en la elaboración de los instrumentos.
3. De preferencia se debe de elaborar los instrumentos de evaluación donde demuestre
todas las evidencias solicitadas en la NTCL, salvo que el responsable de la capacitación diga
lo contrario.
4. Para completar este módulo deberá realizar los ejercicios prácticos y los teóricos
solicitados, los cuales deben de pasar los estándares solicitados.
5. Solo asistirán al evento presencial, donde se desarrollará el módulo 3, quienes aprueben
todas las evaluaciones propuestas en el presente módulo y que las mismas cumplan con
los estándares solicitados.
RECOMENDACIONES PARA EMPLEAR EL MÓDULO 2
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
5
Contenido 1.- CLASIFICAR LOS INSTRUMENTOS DE EVALUACIÓN .................................................................... 6
1.1.- TÉCNICAS RECOMENDADAS ............................................................................................... 6
1.2.- INSTRUMENTOS RECOMENDADOS ..................................................................................... 6
1.6.- EJERCICIO PRÁCTICO ....................................................................................................... 16
1.7.- EVALUACIÓN DE LA PRIMERA UNIDAD DIDÁCTICA MÓDULO 2 ......................................... 16
2.- ELABORAR ITEMS PARA DISTINTOS TIPOS DE INSTRUMENTOS DE EVALUACIÓN ..................... 17
2.1.-ELABORAR ÍTEMS PARA EVIDENCIAS DE DESEMPEÑO ....................................................... 18
2.-2.- ELABORAR ÍTEMS PARA EVIDENCIAS DE PRODUCTOS ...................................................... 19
2.3.- ELABORAR ÍTEMS PARA EVIDENCIAS DE CONOCIMIENTOS ............................................... 19
2.4.- CALIDAD ESPERADA EN LOS INSTRUMENTOS DE EVALUACIÓN DISEÑADOS ...................... 20
2.5.- EJEMPLOS ....................................................................................................................... 21
2.6.- EJERCICIO PRÁCTICO ....................................................................................................... 22
2.7.- EVALUACIÓN DE LA SEGUNDA UNIDAD DIDÁCTICA DEL MÓDULO 2 ................................ 23
3.- RECONOCER LOS TIPOS DE PRUEBAS APLICADAS A LOS INSTRUMENTOS DE EVALUACIÓN
DISEÑADOS .................................................................................................................................. 23
3.1.- LA PRUEBA DE VALIDEZ DE LOS INSTRUMENTOS DISEÑADOS ........................................... 25
3.2.- LA PRUEBA DE CONFIABILIDAD DE LOS INSTRUMENTOS DISEÑADOS ............................... 27
3.3.- COMPILACIÓN DE LOS INSTRUMENTOS ............................................................................ 30
3.4.- EJEMPLOS DE PRUEBA DE VALIDEZ Y CONFIABILIDAD ....................................................... 31
3.5.- EJERCICIO PRÁCTICO ........................................................................................................ 31
3.6.- EVALUACIÓN DE LA TERCERA UNIDAD DIDÁCTICA DEL MÓDULO 2 ................................... 31
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
6
1.- CLASIFICAR LOS INSTRUMENTOS DE EVALUACIÓN Definir los tipos de instrumentos a emplear para realizar una evaluación de la competencia laboral
es vital para la recopilación de la evidencia respectiva las cuales se deben de definir a partir del
análisis previo que debe de realizarse a la Norma Técnica de Competencia Laboral;
específicamente esta vinculación está ligada al tipo de técnica que se empleará de acuerdo a las
respetivas evidencias de producto o de desempeño o en casos menores a evidencias de
conocimiento.
Normalmente para determinar las evidencias de actitud se asocian a las evidencias de producto o
desempeño, y por lo tanto, no requieren de algún instrumento en especial.
1.1.- TÉCNICAS RECOMENDADAS La técnica la entendemos como un marco concreto o enfoque que permite estructurar acciones
para obtener información útil en la solución de problemas. En el caso de la evaluación por
competencias laborales representa un marco a partir del cual se construye una estrategia y se
determina el tipo de instrumento de evaluación que será utilizado. Consideraremos para nuestro
interés dos técnicas principales:
La técnica documental Se refiere a la estrategia donde se privilegia la utilización de instrumentos de evaluación que no
requieren de una observación directa del desempeño pero que plantea situaciones de evaluación
en las que es necesario la aplicación de conocimientos a la solución de situaciones problemáticas.
Técnica de campo Se refiere a la estrategia en donde se privilegia la utilización de instrumentos de evaluación que
requieren de una observación directa del desempeño o de los productos generados a partir de él.
1.2.- INSTRUMENTOS RECOMENDADOS Los instrumentos de evaluación constituyen la herramienta fundamental para el desarrollo de la
evaluación de los candidatos interesados en certificar sus competencias. Su propósito principal es
producir evidencias y recopilarla. Entre los instrumentos más empleados tenemos la guía de
observación, listas de cotejo, los cuestionarios, ejercicios prácticos, planteamiento de problemas,
estudio de casos y entrevistas entre otros.
Fuentes de evidencias. Las fuentes de evidencias es una situación de donde obtenemos la evidencia que solicita la Norma
Técnica de Competencia Laboral (NTCL) y existen cuatro posibles fuentes de evidencias:
o El desempeño del individuo en el sitio de trabajo o en condiciones simuladas (lo más
parecido posible).
o Los conocimientos que se tienen respecto a la función laboral desempeñada.
o El aprendizaje previo en relación con la competencia.
o Los informes de otras personas.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
7
Las técnicas de evaluación pueden clasificarse en dos grandes categorías: documental y de campo.
Estas técnicas tienen asociadas diferentes tipos de instrumentos de recopilación de evidencias que
pueden aplicarse en un centro de formación, en el lugar de trabajo o en un sitio que simule las
condiciones de este último. Antes de seleccionar la técnica y los instrumentos de evaluación, el
evaluador deberá asegurarse que tanto la técnica como los instrumentos son validos, es decir, que
con base en ellos se recopila la evidencia determinada en la unidad o calificación evaluada.
En la tabla siguiente se relacionan las técnicas con los instrumentos de evaluación más usados
(guía de observación, lista de cotejo, cuestionario). Los que están marcados en color gris, son los
más recomendados por su practicidad, economía y pertinencia.
Tabla 1 Relación entre técnicas e instrumentos.
Instrumentos de evaluación
Técnicas de evaluación
Documental De campo
Lista de cotejo X
Guía de observación X
Ejercicio práctico X
Estudio de caso X
Cuestionario X
Entrevistas personales X
Planteamientos de problemas X
Juego de roles X
Bitácora o diario X
Pruebas orales X
A continuación se amplían las características de cada uno de los instrumentos propuestos para
evaluar a los candidatos.
Lista de cotejo Es un instrumento que permite al evaluador comparar los aspectos esperados y marcados por la
NTCL contra las evidencias que muestra el participante. Sus ítems están formados por enunciados
breves y sencillos, que describen las características deseables o positivas que debe presentar lo
que se está evaluando. Para aplicar una lista de cotejo se debe registrar si la evidencia cumple o no
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
con los aspectos que marca cada uno de los
que se observa o del produc
utilizar como herramientas de evaluación documental o de campo: En una lista de cotejo, los
aspectos por evaluar se establecen de manera puntual, el registro es más concreto que en el
de las guías de observación.
completo en el archivo denominado
plataforma virtual).
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
8
con los aspectos que marca cada uno de los ítems. El registro se realiza a partir del desempeño
que se observa o del producto que se revisa. Dada su flexibilidad, las listas de cotejo, se pueden
utilizar como herramientas de evaluación documental o de campo: En una lista de cotejo, los
aspectos por evaluar se establecen de manera puntual, el registro es más concreto que en el
. Ver el formato recomendado para la lista de cotejo
archivo denominado INSTRUMENTO 1 – LISTA DE COTEJO. (Archivo disponible en la
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
. El registro se realiza a partir del desempeño
to que se revisa. Dada su flexibilidad, las listas de cotejo, se pueden
utilizar como herramientas de evaluación documental o de campo: En una lista de cotejo, los
aspectos por evaluar se establecen de manera puntual, el registro es más concreto que en el caso
lista de cotejo con un ejemplo
(Archivo disponible en la
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
Guía de observación
Una guía de observación se puede utilizar solamente para evaluar evidencias por desempeño. En
este tipo de instrumento se establecen categorías de observación amplias que permiten al
evaluador mirar las actividades del
presenciar algún evento o actividad y registrar los detalles observados. Se recomienda el uso de
las guías de observación para evaluadores que cuentan con más experiencia en estos procesos y
dominan de manera ágil la NTCL de referencia.
observación con un ejemplo completo en el
OBSERVACIÓN. (Archivo disponible en la plataforma virtual).
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
9
observación se puede utilizar solamente para evaluar evidencias por desempeño. En
este tipo de instrumento se establecen categorías de observación amplias que permiten al
mirar las actividades del participante de manera más global. Su aplicación
presenciar algún evento o actividad y registrar los detalles observados. Se recomienda el uso de
las guías de observación para evaluadores que cuentan con más experiencia en estos procesos y
dominan de manera ágil la NTCL de referencia. Ver el formato recomendado para la guía de
un ejemplo completo en el archivo denominado INSTRUM
(Archivo disponible en la plataforma virtual).
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
observación se puede utilizar solamente para evaluar evidencias por desempeño. En
este tipo de instrumento se establecen categorías de observación amplias que permiten al
de manera más global. Su aplicación consiste en
presenciar algún evento o actividad y registrar los detalles observados. Se recomienda el uso de
las guías de observación para evaluadores que cuentan con más experiencia en estos procesos y
formato recomendado para la guía de
INSTRUMENTO 2 – GUÍA DE
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
10
Ejercicios prácticos Un ejercicio práctico es cualquier actividad que permite a las personas que se evalúa demostrar
directamente su desempeño en condiciones lo más parecidas posibles al trabajo real. La
característica principal de un ejercicio práctico es que se diseña y ejecuta para una situación
simulada. Un ejercicio práctico propicia de antemano las condiciones físicas, de material y de
condiciones en las que se desenvolverá la persona que se evalúa. La evaluación mediante ejercicio
puede realizarse sobre:
o El resultado final de la actividad (el producto).
o Durante la actividad (el desempeño) o
o Una combinación de ambas.
Es importante señalar que, junto con el escenario de acción que plantea el ejercicio, se deben
considerar formatos complementarios que permitan al evaluador registrar los resultados del
candidato. Estos formatos pueden tener el perfil de una lista de cotejo o una guía de observación.
Los ejercicios prácticos se utilizan cuando las evidencias por recopilar no son fáciles de obtener en
el trabajo real, dado lo esporádico de su ocurrencia, los riesgos para otras personas o los costos
económicos que generaría.
Estudio de caso. Un estudio de caso es la descripción de una situación real o ficticia que el candidato debe analizar
con base en criterios predeterminados. Tiene como propósito evaluar la comprensión de
concepciones, enfoque o conceptos, también sirve para identificar el dominio del candidato sobre
las variantes en el trabajo ante circunstancias diferenciadas o la posible reacción ante
contingencias. Para aplicar un estudio de casos, el evaluador debe contar, además con un formato
de registro para evaluar todos los aspectos que el participante respondió, este formato puede ser
una lista de cotejo.
Cuestionario. Un cuestionario es un interrogatorio oral o escrito, constituido por un conjunto de preguntas
agrupadas por áreas temáticas y con una estructura tipo que debe contestar el candidato. Un
cuestionario puede conformarse con preguntas de diversos tipos, entre ellas: afirmación / razón
(si-no-por qué), respuestas cortas, opciones múltiples, respuestas múltiples, respuesta amplia,
complementación, etc. Los cuestionarios se usan fundamentalmente para evaluar evidencias de
conocimiento y solo en el caso que las situaciones en la recopilación de evidencias por otros
medios no es suficiente: En cuanto a los de tipo oral, generalmente se utilizan como
complementos de evaluación, posterior a la observación de un desempeño en el lugar de trabajo,
en este caso el instrumento corresponda a una técnica de campo. Los cuestionarios escritos, no
requieren de la presencia del evaluador para que el evaluado los conteste, por lo tanto, en esta
situación el instrumento corresponde a una técnica documental.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
Además del conjunto de preguntas que conforma el cuestionario, el evaluador deberá contar con
una guía que contenga las respuestas o aspectos esperados del cuestionario, esto lo orienta pa
decidir si los resultados del participante
formato recomendado para
INSTRUMENTO 3 – CUESTIONARIO.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
11
Además del conjunto de preguntas que conforma el cuestionario, el evaluador deberá contar con
una guía que contenga las respuestas o aspectos esperados del cuestionario, esto lo orienta pa
participante cumplen o no con los requerimientos de la NTCL.
formato recomendado para el cuestionario con un ejemplo completo en el
CUESTIONARIO. (Archivo disponible en la plataforma virtual).
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
Además del conjunto de preguntas que conforma el cuestionario, el evaluador deberá contar con
una guía que contenga las respuestas o aspectos esperados del cuestionario, esto lo orienta para
cumplen o no con los requerimientos de la NTCL. Ver el
un ejemplo completo en el archivo denominado
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
12
Entrevistas personales .
Una entrevista también es un interrogatorio, sin embargo, difiere de los cuestionarios en que
siempre se efectúa en forma de conversación, es más abierta, flexible y el evaluado tiene la
oportunidad de cuestionar al evaluador. Usadas con propósitos de evaluación, la entrevista
personal debe estar sustentada por una guía temática, en la que el evaluador se apoya para
realizar preguntas o dirigir el discurso de la plática hacia los tópicos que interesa evidenciar. Es
importante que en la guía de entrevista se incluyan también los aspectos por obtener de la
respuesta de la persona evaluada con el fin de identificar si los aspectos de la NTCL se cubren o no.
Planteamiento de problemas Este instrumento está basado en ejercicios escritos que plantean situaciones de trabajo necesarias
para resolver un dilema, una disyuntiva, tomar una decisión o contestar una incógnita. Tienen un
formato parecido al de los cuestionarios, sin embargo, los ítems son mucho más extensos y se
ubican en un contexto específico. Los problemas como instrumentos de evaluación, deben estar
acompañados por una hoja de respuestas o aspectos esperados, así el evaluador puede decidir si
los resultados del evaluado cumplen con lo especificado en la NTCL.
Juegos de roles En el juego de roles se presenta una situación problemática para la cual debe tener una respuesta
o solución. El aspecto distinto de los juegos de roles, es que la persona evaluada debe representar
un papel y actuar como si estuviera en condiciones de trabajo reales. Una evaluación basada en
juego de roles es más abierta y centrada en la persona, es muy útil para evaluar la interacción con
otras personas o en situaciones de contingencia (atención al cliente, coordinación de equipos de
trabajo, conducción de equipos, reacción ante situaciones de emergencia, entre otros). Además
de la situación a representar, el evaluador debe contar con un formato de registro para evaluar los
comportamientos o respuestas del evaluado durante la escenificación, este formato debe ser una
lista de cotejo o una guía de observación
Bitácora o diario Una bitácora o diario puede proporcionar medios útiles para evaluar el desempeño y/o los
conocimientos de una persona. Consiste en un registro donde la persona evaluado reseña,
describe y documenta todas las actividades de trabajo que realiza durante un período
determinado. La utilización de un diario requiere un trabajo de orientación fuerte por parte del
evaluador, ya que el evaluado debe contar con elementos claros sobre cómo recopilar y registrar
la información. El uso de este tipo de instrumentos se recomienda para participantes que ya han
pasado por procesos de evaluación de competencias previos, es decir: cuentan con experiencia en
la integración de portafolios de evidencias. También puede ser útil como herramienta de apoyo
para la evaluación de evidencias históricas.
Pruebas orales Proporciona la oportunidad de evaluar la habilidad de para escuchar, interpretar, comunicar ideas
y sostener una conversación.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
1.3.- DOCUMENTOS FUENTES PARA LA ELABORACIÓN DE INSTRUMENTOS DE EVALUACIÓN
Fundamentalmente el documento fuente para la elaboración de los instrumentos de evaluación es
la NTCL que recopila los desempeños y evid
certificar su competencia. El diseñador de
importante documento. En el curso de evaluadores se logra integrar en forma pr
competencia; derivado de este principal documento se encuentra la matriz de evidencia que se
construye al momento de elaborar la NTCL (si no se cuenta con este documento se puede
reconstruir a partir de la NTCL) y la tabla de contenidos que rep
se emplea para elaborar los ítems de manera
sistematizada.
La Norma Técnica de Competencia Laboral La Norma Técnica de Competencia Laboral NTCL
(Ver en la plataforma, el formato recomendado
para la NTCL con un ejemplo
archivo denominado INSTRUM
expresión de las especificaciones que sirven de
patrón de referencia para el desempeño de una
función productiva, considerando las posibles
situaciones de contingencia en el puesto de
trabajo.
Resume las prácticas exitosas de los expertos
trabajadores. Se integra por un conjunto de
conocimientos, habilidades y actitudes que son
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
13
UENTES PARA LA ELABORACIÓN DE INSTRUMENTOS
Fundamentalmente el documento fuente para la elaboración de los instrumentos de evaluación es
recopila los desempeños y evidencias que debe de demostrar la
certificar su competencia. El diseñador de instrumentos de evaluación debe de poder analizar este
importante documento. En el curso de evaluadores se logra integrar en forma pr
competencia; derivado de este principal documento se encuentra la matriz de evidencia que se
construye al momento de elaborar la NTCL (si no se cuenta con este documento se puede
reconstruir a partir de la NTCL) y la tabla de contenidos que representa la herramienta gráfica que
se emplea para elaborar los ítems de manera
La Norma Técnica de Competencia
La Norma Técnica de Competencia Laboral NTCL
el formato recomendado
un ejemplo completo en el
INSTRUMENTO 4 – NTCL) es la
expresión de las especificaciones que sirven de
patrón de referencia para el desempeño de una
función productiva, considerando las posibles
situaciones de contingencia en el puesto de
Resume las prácticas exitosas de los expertos
trabajadores. Se integra por un conjunto de
conocimientos, habilidades y actitudes que son
aplicados al desempeño de una función y que al
ser verificados en las situaciones de trabajo,
permiten determinar si la persona ha alcanzado el
tipo, nivel y calidad de desempeño esperado por
el sector productivo. En este sentido, una NTCL
describe:
o Lo que una persona es capaz de hacer;
o La forma en que puede juzgarse si lo que
hizo esta bien hecho;
o Las condiciones en que el individuo debe
mostrar su actitud.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
UENTES PARA LA ELABORACIÓN DE INSTRUMENTOS
Fundamentalmente el documento fuente para la elaboración de los instrumentos de evaluación es
encias que debe de demostrar la persona que desea
debe de poder analizar este
importante documento. En el curso de evaluadores se logra integrar en forma práctica esta
competencia; derivado de este principal documento se encuentra la matriz de evidencia que se
construye al momento de elaborar la NTCL (si no se cuenta con este documento se puede
resenta la herramienta gráfica que
aplicados al desempeño de una función y que al
ser verificados en las situaciones de trabajo,
la persona ha alcanzado el
tipo, nivel y calidad de desempeño esperado por
el sector productivo. En este sentido, una NTCL
Lo que una persona es capaz de hacer;
La forma en que puede juzgarse si lo que
ue el individuo debe
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
La Matriz de Evid enciasLa matriz de evidencias se deberá elaborar como parte del desarrollo del elemento de
competencia; se trata de una matriz de doble entrada en la cual una corresponde a los criterios de
desempeño y la otra al campo de aplicación; los cruces entre estos dos componentes
corresponden a las evidencias por desempeño o por producto.
la Matriz de Evidencia con un ejemplo completo en el
DE EVIDENCIA. (Archivo disponible en la plataforma virtual).
confirmación de la relación existente entre las evidencias, los criterios de desempeño y el campo
de aplicación para un elemento de competencia
matriz de evidencia son:
o No se deben repetir evidencias para los criterios de desempeño.
o Solo deberá haber una evidencia en cada casilla.
Modelo de la matriz de evidenciaLa matriz de evidencia se configura en dos partes, una se refiere a las evidencias por desempeño y
por producto en su relación con los criterios de desempeño y con el campo de aplicación y otra
que se refiere a las evidencias de conocimiento relacionadas con el element
general.
Para la elaboración de las Normas Técnica de Competencia Laboral se emplea la matriz de
evidencia como un formato especial para recolectar la información que los expertos trabajadores
proporcionan en los talleres para la elabor
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
14
encias La matriz de evidencias se deberá elaborar como parte del desarrollo del elemento de
competencia; se trata de una matriz de doble entrada en la cual una corresponde a los criterios de
desempeño y la otra al campo de aplicación; los cruces entre estos dos componentes
corresponden a las evidencias por desempeño o por producto. Ver el formato recomendado para
un ejemplo completo en el archivo denominado INSTRUM
(Archivo disponible en la plataforma virtual). Su utilización da sustento a la
confirmación de la relación existente entre las evidencias, los criterios de desempeño y el campo
de aplicación para un elemento de competencia determinado. Los principios que se aplican a la
No se deben repetir evidencias para los criterios de desempeño.
Solo deberá haber una evidencia en cada casilla.
Modelo de la matriz de evidencia . evidencia se configura en dos partes, una se refiere a las evidencias por desempeño y
por producto en su relación con los criterios de desempeño y con el campo de aplicación y otra
que se refiere a las evidencias de conocimiento relacionadas con el element
Para la elaboración de las Normas Técnica de Competencia Laboral se emplea la matriz de
evidencia como un formato especial para recolectar la información que los expertos trabajadores
proporcionan en los talleres para la elaboración.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
La matriz de evidencias se deberá elaborar como parte del desarrollo del elemento de
competencia; se trata de una matriz de doble entrada en la cual una corresponde a los criterios de
desempeño y la otra al campo de aplicación; los cruces entre estos dos componentes
Ver el formato recomendado para
INSTRUMENTO 5 – MATRIZ
Su utilización da sustento a la
confirmación de la relación existente entre las evidencias, los criterios de desempeño y el campo
Los principios que se aplican a la
evidencia se configura en dos partes, una se refiere a las evidencias por desempeño y
por producto en su relación con los criterios de desempeño y con el campo de aplicación y otra
que se refiere a las evidencias de conocimiento relacionadas con el elemento de competencia en
Para la elaboración de las Normas Técnica de Competencia Laboral se emplea la matriz de
evidencia como un formato especial para recolectar la información que los expertos trabajadores
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
Nomenclatura: La matriz de evidencias es un documento de trabajo en el cual se vacía la
expertos trabajadores proporcionan en los talleres correspondientes. Se emplea por comodidad
cierta nomenclatura relacionada a las evidenci
descarta emplear para las de actitud. A continuación se despliegan las relaciones.
• ED: Evidencia de desempeño.
• EP: Evidencia de producto.
• EC: Evidencias de Conocimiento.
• EA: Evidencia de actitud.
Todas las evidencias llevan un número correlativo entre
EC.2; EA.1 y EA.2. El número representa el correlativo del criterio de desempeño de interés.
La Tabla de Contenidos
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
15
La matriz de evidencias es un documento de trabajo en el cual se vacía la
expertos trabajadores proporcionan en los talleres correspondientes. Se emplea por comodidad
cierta nomenclatura relacionada a las evidencias por desempeño, producto y conocimiento y no se
descarta emplear para las de actitud. A continuación se despliegan las relaciones.
ED: Evidencia de desempeño.
EP: Evidencia de producto.
EC: Evidencias de Conocimiento.
EA: Evidencia de actitud.
Todas las evidencias llevan un número correlativo entre sí, ejemplo: ED.1. ED.2; EP.1, EP.2;
l número representa el correlativo del criterio de desempeño de interés.
a Tabla de Contenidos
La tabla de contenidos es una
herramienta gráfica que permite
visualizar rápidamente
que se tienen entre las técnicas e
instrumentos de evaluación con las
evidencias y los criterios definidos en
la NTCL. Ver el formato recomendado
para la Tabla de Contenidos
ejemplo completo en el
denominado INSTRUM
CONTENIDOS. (Archivo disponible en la
plataforma virtual).
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
La matriz de evidencias es un documento de trabajo en el cual se vacía la información que los
expertos trabajadores proporcionan en los talleres correspondientes. Se emplea por comodidad
as por desempeño, producto y conocimiento y no se
descarta emplear para las de actitud. A continuación se despliegan las relaciones.
, ejemplo: ED.1. ED.2; EP.1, EP.2; EC.1,
l número representa el correlativo del criterio de desempeño de interés.
La tabla de contenidos es una
enta gráfica que permite
rápidamente las relaciones
que se tienen entre las técnicas e
instrumentos de evaluación con las
evidencias y los criterios definidos en
Ver el formato recomendado
Tabla de Contenidos con un
leto en el archivo
INSTRUMENTO 6 – TABLA DE
(Archivo disponible en la
plataforma virtual).
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
16
1.4.- EJEMPLOS DE INSTRUMENTOS DE EVALUACIÓN Ver los ejemplos prácticos señalados en los instrumentos 1, 2 y 3.
1.5.- EJEMPLO DE DOCUMENTOS FUENTES Ver los ejemplos prácticos en los instrumentos 4, 5 y 6.
1.6.- EJERCICIO PRÁCTICO De la NTCL que le señale su tutor/a elabore:
1. La matriz de evidencia.
2. Los instrumentos para evaluar la competencia en forma parcial a total de acuerdo a las
indicaciones de su tutor/a.
3. Deberá dejar la evidencia de elaboración de los ítems en la tabla de contenidos respectiva.
Nota: si no tiene dominio de la competencia respectiva deberá apoyarse uno o dos expertos que la
dominen para elaborar los instrumentos de evaluación.
1.7.- EVALUACIÓN DE LA PRIMERA UNIDAD DIDÁCTICA MÓDULO 2 Ingrese a la plataforma y conteste el cuestionario m201
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
17
2.- ELABORAR ITEMS PARA DISTINTOS TIPOS DE INSTRUMENTOS DE EVALUACIÓN Un ítems se refiere a un enunciado, una pregunta por contestar, afirmación a valorar, problema
por resolver o indicaciones a seguir. Los ítems están siempre contenidos en un instrumento de
evaluación específico, tienen la intención de provocar o identificar la manifestación de algún
comportamiento, respuesta o cualidad. Los ítems seleccionan la información relevante para la
evaluación de una situación o evento en general. En el caso de la evaluación por competencias
laborales, los ítems de un instrumento organizan la recopilación de evidencias de acuerdo con los
diferentes criterios de desempeño o al tipo de conocimiento. Un ítems por sí mismo no tiene
sentido, debe estar integrado a un conjunto que estructura la información de manera
complementaria y da cuenta de la suficiencia, eficiencia o eficacia de la evidencia en sus diferentes
requerimientos. El formato y especificaciones de un ítem varían de un tipo de instrumento a otro.
Para la elaboración de los ítems es conveniente consultar constantemente el formato de
contenidos con toda su información correspondiente.
Tabla 2: El qué y el cómo para completar la tabla de contenido para de criterio de desempeño y las
evidencias solicitadas.
TABLA DE CONTENIDOS
EL QUÉ EL CÓMO
ED: comportamientos, conductas, acciones, pasos, subrutinas entre otras.
Características particulares de modo o forma de desarrollo.
EP: productos totales, parciales o subproductos.
Características que deben de cumplir en cada etapa.
EC: conceptos, principios, normas entre otras.
Nivel de profundidad y aplicabilidad.
Proceso para elaborar los ítems.
En la elaboración de los ítems para criterios de desempeños, productos o conocimientos es
necesario contar con la participación de los expertos trabajadores que vayan señalando el
producto y sus características, qué se hace y cómo, el saber y el nivel de conocimientos necesarios;
para recolectar está información. Se recomienda el empleo alojado en el archivo denominado
INSTRUMENTO 7 – TABLA DE CONTENIDOS AMPLIADA. (Archivo disponible en la plataforma virtual).
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
El instrumento 7 es una ampliación de la tabla de contenidos diseñado para abrir las posibilidades
de los criterios propuestos y asegurarnos que en la evaluación se consideren todas las
posibilidades.
Para completar la tabla anterior, es necesario considerar el tipo de cri
desempeño, de producto o de conocimiento, y definido
correspondiente con el fin de efectuar las preguntas para cada caso.
2.1.-ELABORAR ÍTEMS
Para el caso de los criterios de desempeño
pero con la ayuda de los expertos de trabajadores se definen las posibles subrutinas que se
necesitan, y esto se logra efectuando las preguntas: ¿qué debe de hacer? y ¿cómo debe hacerl
Con estas sencillas preguntas vamos llenando las casillas correspondientes, y conseguimos en el
¿cómo debe hacerlo?, los potenciales
se incluye la tabla siguiente.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
18
una ampliación de la tabla de contenidos diseñado para abrir las posibilidades
de los criterios propuestos y asegurarnos que en la evaluación se consideren todas las
Para completar la tabla anterior, es necesario considerar el tipo de criterio
producto o de conocimiento, y definido esto ubicarlos en la casilla
correspondiente con el fin de efectuar las preguntas para cada caso.
ÍTEMS PARA EVIDENCIAS DE DESEMPEÑO
erios de desempeño, la actividad central es la evidencia de desempeño,
pero con la ayuda de los expertos de trabajadores se definen las posibles subrutinas que se
necesitan, y esto se logra efectuando las preguntas: ¿qué debe de hacer? y ¿cómo debe hacerl
Con estas sencillas preguntas vamos llenando las casillas correspondientes, y conseguimos en el
¿cómo debe hacerlo?, los potenciales ítems. Para una mejor comprensión de este procedimiento
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
una ampliación de la tabla de contenidos diseñado para abrir las posibilidades
de los criterios propuestos y asegurarnos que en la evaluación se consideren todas las
terio por analizar, si es de
ubicarlos en la casilla
la actividad central es la evidencia de desempeño,
pero con la ayuda de los expertos de trabajadores se definen las posibles subrutinas que se
necesitan, y esto se logra efectuando las preguntas: ¿qué debe de hacer? y ¿cómo debe hacerlo?
Con estas sencillas preguntas vamos llenando las casillas correspondientes, y conseguimos en el
. Para una mejor comprensión de este procedimiento
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
19
Tabla 3: Cuestionamientos que se deben hacer para elaborar los ítems vinculados a evidencias de
desempeños.
TABLA DE CONTENIDOS
ED: ACTIVIDAD CENTRAL
SUBRUTINAS
1º QUÉ DEBE HACER
1º CÓMO DEBE DE HACERLO
2do QUÉ DEBE HACER
2do CÓMO DEBE DE HACERLO
3er QUÉ DEBE HACER
3er CÓMO DEBE DE HACERLO
2.-2.- ELABORAR ÍTEMS PARA EVIDENCIAS DE PRODUCTOS Para el caso de los criterios de desempeño por producto, la evidencia por producto (producto
final) es el referente, y a partir de él se pueden obtener subproductos y esto se logra con las
preguntas: ¿qué debe producir? y ¿atributos del producto? ¿Qué se obtiene? y las características.
Ver la tabla 4.
Con estas sencillas preguntas vamos llenando las casillas correspondientes, y conseguimos en el
atributo del producto (características), los potenciales ítems.
Tabla 4: Preguntas que se deben hacer para elaborar los ítems vinculados a evidencias de
productos.
TABLA DE CONTENIDOS
EP: PRODUCTO FINAL
PRODUCTOS
1º QUÉ DEBE PRODUCIR
1º ATRIBUTO DEL PRODUCTO
2do QUÉ DEBE PRODUCIR
2do ATRIBUTO DEL PRODUCTO
3er QUÉ DEBE PRODUCIR
3er ATRIBUTO DEL PRODUCTO
2.3.- ELABORAR ÍTEMS PARA EVIDENCIAS DE CONOCIMIENTOS Para determinar los posibles ítems para las evidencias de conocimiento se parte de la evidencias
de conocimiento general y se deben efectuar las preguntas ¿qué se debe saber? y con qué nivel de
profundidad; el nivel de profundidad considera los conocimientos específicos, de comprensión y
de aplicación.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
20
Con estas sencillas preguntas vamos llenando las casillas correspondientes, y conseguimos lo que
debemos saber, los potenciales ítems. Para una mejor comprensión de este procedimiento se
incluye en la tabla siguiente.
Tabla 5: Preguntas que se deben hacer para elaborar los ítems vinculados a evidencias de
conocimiento.
TABLA DE CONTENIDOS
EC: CONOCIMIENTO GENERAL
COMPONENTES
1º QUÉ DEBO DE HACER
1º NIVEL DE PROFUNDIDAD
2do QUÉ DEBO DE HACER
2do NIVEL DE PROFUNDIDAD
3er QUÉ DEBO DE HACER
3er NIVEL DE PROFUNDIDAD
2.4.- CALIDAD ESPERADA EN LOS INSTRUMENTOS DE EVALUACIÓN DISEÑADOS Lineamientos generales para la construcción de ítem s.
1. Los ítems deben estar redactados en enunciados breves y afirmativos.
2. Deben estar redactados en el lenguaje propio del sector productivo a que se dirigen.
3. Deben ser precisos, no considerar interpretaciones de parte del evaluador.
4. Sólo deben tener una respuesta (expresión y demostración) posible y valida.
5. Cada criterio de desempeño debe estar cubierto al menos por un ítem.
6. Cada ítems debe cubrir solamente un criterio de desempeño, aunque varios ítems evalúen
un mismo criterio.
7. Elabore los ítems necesarios para cada una de las características, formas de hacer o nivel
de conocimiento de la tabla de contenidos. Pueden considerarse uno, dos o más ítems.
8. Los ítems que integran un instrumento deben ser los suficientes y necesarios para
recopilar la evidencia requerida. Una cantidad de 60 ítems dan seguridad en el dictamen
de competencia.
9. Los ítems relativos a desempeño deben estar organizados en los instrumentos con base en
la secuencia operativa de la función por evaluar: paso 1, ítem 1; paso 2, ítem 2.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
21
Formas de redactar los ítems para evidencias de des empeño – (comúnmente el instrumento empleado es una guía de observación)
1. Se inicia con un verbo en 3ª persona y presente. Debe ser activo y observable.
2. Se indican las características o secuencias de la acción.
3. Descripción del escenario o campo de aplicación en el que se verificará el desempeño.
4. Puede incluir el número de veces que debe realizarlo.
2.5.- EJEMPLOS
1. Determina el número de circuitos para toma corriente, identificándolo directamente del
proyecto o tomando en cuenta la demanda de carga según necesidades del cliente.
2. Define la cantidad de material considerando el número de circuitos.
3. Contempla la cantidad de material considerando las distancias reales o las señaladas en el
plano.
4. Determina la cantidad de conductores por circuito, basándose en el número de contactos
por toma corriente.
5. Determina el diámetro de los ductos considerando la cantidad, calibre y tipo de
conductores y/o auxiliándose de la tabla de conductores por tubería.
6. Selecciona las herramientas de acuerdo con las tareas a realizar, para instalaciones
empotradas y superficiales.
7. Utiliza las herramientas de acuerdo con la función para la cual fueron diseñadas,
instalaciones empotradas y superficiales.
8. Alambra el circuito utilizando una guía de alambre galvanizado o guía acerada.
9. Hace el amarre del conductor con la guía y lo encinta cubriendo totalmente la unión.
10. Ordena los conductores jalándolos a través del ducto y los hace llegar hasta el punto
indicado.
Para evidencias de productos (comúnmente el instrum ento empleado es una lista de cotejo)
1. Se inicia enunciando la evidencia o el objeto a revisar.
2. Se continúa con un verbo en 3ª persona presente o en su caso pasivo.
3. Se concluye con las características, condiciones, especificaciones, campos de aplicación,
número de veces o atributos a revisar.
EJEMPLOS
1. El presupuesto contiene especificaciones del material, costos unitarios, cantidades de
material, valor de mano de obra, tiempo de ejecución, costo total, imprevistos y
condiciones.
2. El ducto instalado en instalaciones empotradas no presenta dobleces, quebraduras ni
perforaciones.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
22
3. El ducto instalado en instalaciones empotradas presenta curvas con ángulos iguales o
mayores a 90 grados.
4. El ducto instalado en instalaciones empotradas presenta dos o menos curvas en su
trayectoria.
5. El ducto colocado en instalaciones empotradas está libre de humedad.
6. El ducto puesto en instalaciones empotradas está libre de obstrucciones.
7. El ducto ubicado en instalaciones superficiales no presenta dobleces, quebraduras ni
perforaciones.
8. El ducto colocado en instalaciones superficiales presenta curvas con ángulos iguales o
mayores a 90 grados.
9. El ducto puesto en instalaciones superficiales presenta dos o menos curvas en su
trayectoria.
10. El ducto en instalaciones superficiales está libre de humedad.
11. El ducto en instalaciones superficiales está libre de obstrucciones.
Para evidencias de conocimiento (comúnmente el inst rumento empleado es el cuestionario).
1. La indagación del conocimiento deberá considerar por lo menos tres niveles de
complejidad:
o Conocimientos específicos.
o Comprensión.
o Aplicación.
2. La redacción de ítems podrá ser variada dependiendo de las circunstancias propias del
proceso y del candidato.
EJEMPLO
1. ¿Cuál es el calibre del conductor utilizado para la salida del tablero a la primera caja de
derivación?
2. ¿Cuáles son los tipos de luminarias existentes?
3. ¿Cuáles son los tipos de caja existentes?
4. ¿Cuáles son los tipos de interruptores para el control de las luminarias?
5. ¿Cuál es la diferencia entre un circuito general, combinado y uno especial?
2.6.- EJERCICIO PRÁCTICO De la NTCL que le señale su tutor/a elabore:
1. Los instrumentos de evaluación de desempeño, producto y conocimientos que permite
evaluar las competencias indicadas en la NTCL.
Nota: Si no tiene dominio de la competencia respectiva, deberá apoyarse uno o dos expertos que
la dominen para elaborar los instrumentos de evaluación.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
2.7.- EVALUACIÓN DE LA Ingrese a la plataforma y conteste el cuestionario
3.- RECONOCER LOS TIPOS DE PRUEBAS APLICADAS A LOS INSTRUMENTOS DE EVALUACIÓN DISEÑADOS
Los instrumentos de evaluación basados y elaborados en NTCL, deben pasar por dos pruebas
fundamentales para asegurarnos de su buen diseño:
1. Las pruebas de validez donde
expertos en las competencias que se
desean evaluar leen los
contestan verificando que sean
entendibles y en cantidad suficientes
para recolectar las evidencias en los
participantes que deseen evaluarse.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
23
EVALUACIÓN DE LA SEGUNDA UNIDAD DIDÁCTICA DEL Ingrese a la plataforma y conteste el cuestionario m202.
RECONOCER LOS TIPOS DE PRUEBAS APLICADAS A LOS INSTRUMENTOS DE EVALUACIÓN DISEÑADOS
Los instrumentos de evaluación basados y elaborados en NTCL, deben pasar por dos pruebas
fundamentales para asegurarnos de su buen diseño:
Las pruebas de validez donde
expertos en las competencias que se
desean evaluar leen los ítems y los
contestan verificando que sean
entendibles y en cantidad suficientes
para recolectar las evidencias en los
que deseen evaluarse.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
DEL MÓDULO 2
RECONOCER LOS TIPOS DE PRUEBAS APLICADAS A LOS
Los instrumentos de evaluación basados y elaborados en NTCL, deben pasar por dos pruebas
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
Si existen discrepancias en cualquiera de las pruebas se efectúan los ajustes correspondientes o se
toman decisiones sobre los datos obtenidos y la factibilidad de dar como validados los
instrumentos.
Esquema 1: Pruebas que se realizan a los instrumentos
Instrumento
Validez
Confiabilidad
Validación del InstrumentoPRUEBAS DEL INSTRUMENTO
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL
24
2. Las pruebas de confiabilidad
que consiste en qué varios
evaluadores someten a un mismo
candidato a las evaluaciones
correspondientes en los distintos
escenarios que solicita la NTCL y
obtienen los mismos resultados.
cualquiera de las pruebas se efectúan los ajustes correspondientes o se
toman decisiones sobre los datos obtenidos y la factibilidad de dar como validados los
ruebas que se realizan a los instrumentos de evaluación
Instrumento
AjusteValidez
Confiabilidad
Validación del Instrumento
PRUEBAS DEL INSTRUMENTO
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
Las pruebas de confiabilidad
que consiste en qué varios
evaluadores someten a un mismo
candidato a las evaluaciones
correspondientes en los distintos
escenarios que solicita la NTCL y
obtienen los mismos resultados.
cualquiera de las pruebas se efectúan los ajustes correspondientes o se
toman decisiones sobre los datos obtenidos y la factibilidad de dar como validados los
de evaluación diseñados.
Ajuste
Validación del InstrumentoPRUEBAS DEL INSTRUMENTO
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
25
3.1.- LA PRUEBA DE VALIDEZ DE LOS INSTRUMENTOS DISEÑADOS Procedimiento práctico para determinar la validez de los instrumentos elaborados con base en
NTCL.
PASO DESCRIPCIÓN
1.
Identifique los escenarios posibles de validación. Seleccione al menos tres, aquellos en
que existe mayor factibilidad de contar con la colaboración de un experto. Los
escenarios son los lugares donde se desarrolla la función laboral que refiere el
instrumento y accesibles para el centro de evaluación. Estos pueden ser empresas e
instituciones.
2.
Seleccione a los expertos, considere los siguientes criterios:
1. Que sean expertos en la función laboral.
2. Que conozcan la Unidad de Competencia Laboral UCL de referencia.
3. Se recomienda considerar la participación de tres a cinco expertos, uno por
cada escenario.
3.
Desarrolle un formato para demostrar la validez de los instrumentos que contega:
1. Lugar donde se realizará la demostración.
2. Fecha y periodo en que se realizará.
3. Criterios para la selección de expertos a consultar para la demostración.
4. Criterios de análisis de ítems a seguir durante la demostración.
Se recomienda emplear el formato de validez mostrados en el archivo denominado:
INSTRUMENTO 8 – VALIDACIÓN DE INSTRUMENTOS. (Archivo disponible en la plataforma
virtual).
4.
Programe una reunión de apertura con los jueces expertos y explique en qué consiste la
validación, cómo debe revisar los instrumentos, los criterios por considerar para la
revisión y los formatos que debe llenar.
5.
Entregue toda la documentación requerida a los expertos para la revisión:
1. Diseño de demostración de validez.
2. Unidad de Competencia Laboral UCL de referencia.
3. Instrumentos a revisar.
4. Formato de análisis de instrumentos e ítems (tabla de contenidos)
5. Acuerde con ellos la fecha de entrega de los resultados de la revisión y la
documentación correspondiente.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
26
PASO DESCRIPCIÓN
6.
Someta a revisión de los expertos, los instrumentos que diseñó. Los expertos deben
identificar los siguientes criterios:
1. Los ítems recopilan información correspondiente con el criterio de desempeño
al que pertenecen.
2. Los ítems son pertinentes para el tipo de evidencias que se obtiene con el
instrumento de evaluación.
3. Las evidencias que recopilan los instrumentos, cualitativamente son las
requeridas en la Unidad de Competencia Laboral UCL.
4. Las evidencias que recopilan los instrumentos, cuantitativamente son las
requeridas en la Unidad de Competencia laboral UCL.
7.
Solicite a los expertos, una vez hayan revisado los instrumentos, establezcan el
dictamen de validez. Este dictamen puede ser de dos tipos:
1. Instrumentos validados.
2. Instrumentos todavía no validados.
En caso que los instrumentos sean considerados todavía no validados, los expertos
deben registrar los aspectos de mejoras identificados en el instrumento
correspondiente.
8.
Realice una sesión de asesoría, una vez transcurrido el periodo acordado con los
expertos para la revisión de los instrumentos.
Si al menos dos terceras partes del número total de jueces, emitieron un dictamen de
validez favorable, usted puede considerar sus instrumentos validados.
Si una porción menor de las dos terceras partes del número total de expertos emitieron
un dictamen de validez favorable, establezca las modificaciones que son necesarias
efectuar a los instrumentos de acuerdo con la revisión efectuada.
1. Eliminar ítems.
2. Crear nuevos ítems.
3. Cambiar redacción de items.
4. Replantear el significado de los ítems.
5. Esta información la puede obtener del formato de análisis de instrumentos e
ítems.
9. Realice los cambios en los ítems e instrumentos de evaluación de acuerdo con las
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
27
PASO DESCRIPCIÓN
recomendaciones de los expertos.
10.
Someta a consideración de los expertos los instrumentos ajustados. De existir acuerdo
con el instrumento se considerará como válido, de no ser así, realice nuevamente los
cambios pertinentes. Una vez validados los instrumentos recabe la firma de dictamen
de validez de los expertos.
11. Concentre la documentación y resultados de la demostración de validez con el fin de
integrarlos al reporte final.
Programa de Validación
1. Determinar de tres a cinco escenarios (empresas e instituciones educativas donde se
desarrolla la función) y que cuenten con expertos en la función por evaluar.
2. Los expertos deberán ser distintos a quienes participaron en la creación de la Norma
Técnica de Competencia Laboral – NTCL y/o instrumentos.
3. Explicar a los expertos la finalidad de crear Norma Técnica de Competencia Laboral – NTCL
e instrumentos de evaluación.
4. Explique en qué consistirá su función como experto de los instrumentos.
5. Entregue la Norma Técnica de Competencia Laboral – NTCL, los instrumentos y el formato
para validar instrumentos de evaluación.
6. Acuerde fecha para recoger los resultados.
7. Si el 75% de los expertos están de acuerdo con la validez del instrumento, Ud. puede
validarlo; si es inferior el porcentaje entonces realice los cambios pertinentes y vuelva a
solicitar la validación de los expertos. Máximo tres validaciones.
8. Genere reporte.
3.2.- LA PRUEBA DE CONFIABILIDAD DE LOS INSTRUMENTOS DISEÑADOS Procedimiento práctico para determinar la confiabilidad de los instrumentos elaborados con base
en NTCL.
PASO DESCRIPCIÓN
1.
Seleccione un equipo de expertos en la función laboral que refiere los instrumentos.
Éstos fungirán como evaluadores aplicadores de los instrumentos en el piloteo con las
consideraciones siguientes:
1. De los escenarios que determinó en el procedimiento práctico para la validación
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
28
PASO DESCRIPCIÓN
de los instrumentos, seleccione expertos en la función laboral, dos por cada
escenario. Estos expertos fungirán como evaluadores en el piloteo.
2. Considere los criterios para seleccionar al experto: que desarrolle la función por
evaluar, que conozca la función de evaluar competencias laborales y que no sea
de las mismas personas que participaron en el diseño de los instrumentos.
2.
Seleccione la muestra de trabajadores por evaluar con las consideraciones siguientes:
1. De los escenarios definidos en el paso 1 del procedimiento de validación
seleccione trabajadores a evaluar, dos por cada escenario.
2. Los criterios a tener en cuenta para seleccionar la muestra de piloteo son: que
los trabajadores seleccionados desarrollen la función laboral, que no sean las
mismas personas que fungen como evaluadores, no hayan participado en el
diseño de los instrumentos y seleccionar los trabajadores al azar.
3.
Desarrolle un formato para recolectar los datos de la prueba de confiabilidad que
contenga:
1. Fecha y período en que se realizará la demostración.
2. Escenarios donde se realizará el piloteo de los instrumentos.
3. Criterios para la selección de los evaluadores que aplicarán los instrumentos en
el piloteo.
4. Criterios para la selección de personas que conformarán la muestra del piloteo.
5. Evaluadores seleccionados para la demostración.
6. Criterios de análisis a seguir para la demostración.
Se recomienda emplear el archivo denominado: INSTRUMENTO 9 – CONFIABILIDAD DE
INSTRUMENTOS. (Archivo disponible en la plataforma virtual).
4.
Reúnase con los aplicadores de instrumentos seleccionados y realice las siguientes
actividades:
1. Presente los instrumentos e imparta la capacitación necesaria para la aplicación
de los mismos.
2. Exponga la estrategia de aplicación contenida en el diseño de la demostración.
3. Entregue toda la documentación requerida a los evaluadores para aplicar los
instrumentos, concentrar la información y los resultados obtenidos.
5. Aplique en binas de manera independiente, en la fecha señalada en el diseño de
demostración de confiabilidad, los instrumentos, es decir, dos evaluadores aplicarán
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
29
PASO DESCRIPCIÓN
simultáneamente los instrumentos para un mismo trabajador. Cada pareja de
evaluadores debe aplicar los instrumentos al menos dos veces, de preferencia en
escenarios diferentes. El diseñador de instrumentos debe estar presente durante la
aplicación de los instrumentos con la finalidad de asegurar la homogeneidad del
proceso y coordinar las actividades.
6.
Solicite, después de la aplicación, a los evaluadores registrar la experiencia de aplicación
de acuerdo con los siguientes criterios:
1. Dificultades enfrentadas para la aplicación de los instrumentos.
2. Dificultades enfrentadas para registrar la información.
3. Dificultades enfrentadas por los sujetos de prueba para comprender algún
ítems.
4. Dificultades enfrentadas por los sujetos de prueba para contestar o emitir
respuestas a los ítems.
7. Solicite a cada pareja de evaluadores que concentren los resultados de la aplicación por
separado y emitan su juicio de competencia.
8.
Establezca la confiabilidad de los instrumentos de acuerdo con los criterios siguientes:
1. Si las opinión de los evaluadores que participaron en la misma aplicación sobre
un mismo evaluado coincide, entonces el instrumento puede considerarse
confiable.
2. Si no es así, es necesario discutir con los evaluadores y establecer el tipo de
cambios que requieren los instrumentos.
9.
Con base en los resultados del piloteo, determine los aspectos por cambiar en los
instrumentos:
1. Cambiar redacción de los ítems.
2. Eliminar ítems.
3. Incorporar nuevos ítems.
4. Modificar el orden de los ítems.
5. Cambiar formato de algún instrumento.
6. Cambiar las indicaciones de aplicación o llenado de algún instrumento.
10.
Desarrolle un reporte de la demostración que justifique la confiabilidad de los
instrumentos de evaluación. El reporte debe contener:
1. Diseño para la demostración de confiabilidad.
2. Resumen del proceso de confiabilidad.
3. Resultados de la demostración de confiabilidad.
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
30
PASO DESCRIPCIÓN
4. Cambios efectuados a los instrumentos.
11. No olvide ajustar el formato de contenidos con los resultados derivados de la
demostración de validez y confiabilidad.
Programa de Confiabilidad
1. Seleccione una muestra de tres a cinco participantes para aplicar piloteo de instrumentos
de evaluación.
2. Determine cuatro evaluadores para cada participante a evaluar.
3. Explique a cada participante los procedimientos de evaluación.
4. Cada evaluador aplicará un juego de instrumentos de evaluación al participante al mismo
tiempo y bajo las mismas circunstancias.
5. Cada evaluador emitirá un resultado de competencia.
6. Determinar confiabilidad de cada ítem bajo el criterio de 75% o más de coincidencia.
7. Determinar confiabilidad del instrumento bajo el criterio de 75% o más de coincidencia en
el resultado de competencia.
3.3.- COMPILACIÓN DE LOS INSTRUMENTOS Procedimiento práctico para compilar los instrumentos de evaluación.
PASO DESCRIPCIÓN
1. Recupere el formato de contenidos y elija el instrumento que se aplicará en primer
lugar, según la secuencia operativa.
2. Ordene y enumere los ítems. Con la ayuda de un experto en la función laboral, de
acuerdo con la secuencia operativa especifica. Es necesario organizar los ítems
considerando la probable sucesión de las demostraciones o respuestas que solicitan, en
concordancia con el proceso de trabajo y con las etapas de la evaluación.
3. Incorpore, una vez ordenados y numerados los ítems, las indicaciones al instrumento,
éstas deben:
1. Ser redactadas en un lenguaje preciso y claro.
2. Utilizar un tipo y tamaño de letra resaltada.
3. Explicar cuándo, cómo y dónde se deben registrar los resultados.
4. Describir la situación de evaluación especifica por aplicar.
5. Señalar qué lugar ocupa en el orden de aplicación de todos los instrumentos de
ESPECIALISTA EN EL DISEÑO DE INSTRUMENTOS DE EVALUACIÓN BASADO EN NORMAS TÉCNICAS DE COMPETENCIA LABORAL – MODULO 2
31
PASO DESCRIPCIÓN
evaluación diseñados.
4. Proceda a darle formato al instrumento:
1. Identifique al instrumento con un código, número o clave.
2. Establezca un nombre distintivo para el instrumento.
3. Identifique claramente los espacios para registrar la información que solicita
cada ítem.
4. Establezca un espacio para colocar el nombre del evaluador y del evaluado.
5. Si lo considera necesario, registre el elemento de competencia al que
corresponde, el instrumento y los criterios de desempeño.
5. Desarrolle este mismo procedimiento por cada instrumento de evaluación seleccionado
para la Unidad de Competencia Laboral UCL de referencia.
6. Complete el formato de contenidos añadiendo, modificando o confirmando el número
asignado a los instrumentos e ítems.
3.4.- EJEMPLOS DE PRUEBA DE VALIDEZ Y CONFIABILIDAD Ver los formatos en los instrumentos 8 y 9 del módulo 3.
3.5.- EJERCICIO PRÁCTICO Realice las pruebas de validez y confiabilidad de los instrumentos que ha diseñado en la unidad 2
siguiendo las indicaciones que su tutor/a le den. Estas pruebas podrán ser totales o parciales
según indicaciones.
3.6.- EVALUACIÓN DE LA TERCERA UNIDAD DIDÁCTICA DEL MÓDULO 2 Resuelva el cuestionario m203.