Post on 12-Jan-2015
PROFESORA: Mª Teresa Sanz de Acedo Baquedano
Curso 2009-10
TEMA 3. Los instrumentos de medición psicológica.
I: Construcción y aplicación
1.- Introducción
2.- Objetivo del test
2.1. Variables de interés
2.2. Población diana
2.3. Utilización prevista
3.- Especificación del test
3.1. Contenido
3.2. Formato
3.3. Longitud
3.4. Características psicométricas
TEMA 3: LOS INSTRUMENTOS DE MEDICIÓN PSICOLÓGICA I: CONSTRUCCIÓN Y APLICACIÓN
4.- Confección de los ítems
4.1. Recomendaciones generales
4.2. En el dominio cognitivo
4.3. En el dominio no cognitivo
4.4. Revisión de los ítems
5.- Confección de la prueba
5.1. Instrucciones de administración
5.2. Formato de presentación de la prueba
5.3. Formato de registro de las respuestas
6.- Aplicación de la prueba
7.- Puntos básicos, Ejercicios, Soluciones, Bibliografía, Lecturas y Material complementario
Comprender la lógica que permite pasar del plano teórico al plano empírico en el proceso de medición psicológica.
Comprender la lógica que permite pasar del plano teórico al plano empírico en el proceso de medición psicológica.
Entender las distintas estrategias que permiten representar empíricamente el constructo o característica que se desea medir.
Entender las distintas estrategias que permiten representar empíricamente el constructo o característica que se desea medir.
Conocer los tipos de ítems más frecuentemente utilizados.Conocer los tipos de ítems más frecuentemente utilizados.
Conocer las etapas para la construcción de un instrumento de medida.
Conocer las etapas para la construcción de un instrumento de medida.
Saber cuáles son las reglas básicas que hay que seguir para escribir buenos ítems o preguntas.
Saber cuáles son las reglas básicas que hay que seguir para escribir buenos ítems o preguntas.
Saber de qué posibilidades se dispone para pilotar una prueba.Saber de qué posibilidades se dispone para pilotar una prueba.
Conocer las distintas posibilidades de administración de una prueba.Conocer las distintas posibilidades de administración de una prueba.
1.- Introducción
Este tema se ocupa de la construcción y aplicación de
pruebas o tests que nos permiten pasar:
Del plano teórico, en el que se encuentran los constructos que
deseamos medir al plano empírico, en el que lo que
tenemos son ya respuestas directamente observables (las respuestas de los sujetos a los
ítems del test)
PLANO MATEMÁTICO
Representación formalizada del modelo y representación numérica de los indicadores
empíricos
PLANO EMPÍRICO
Objetos, eventos y propiedades, indicadores
empíricos
PLANO TEÓRICO
Incluye conceptos subyacentes
inobservables
Figura 2.1. EL PROCESO DE MEDICIÓN PSICOLÓGICA
Representación empírica de los
constructos
Representación numéricas de los
indicadores
Representación formal de modelos
LA CONSTRUCCIÓN DE UNA NUEVA PRUEBA O TEST
OBJETIVO DEL TEST
CONFECCIÓN DE LOS ITEMS
ESPECIFICACIÓN DEL TEST
CONFECCIÓN DEL TEST
2.- Objetivo del test
La primera fase en la construcción de un instrumento de medida es la DEFINICIÓN CLARA DEL OBJETIVO que
se persigue con ese nuevo test, lo cual supone responder:
1/ ¿Qué se va a medir con el test?
VARIABLE DE INTERÉS
2/¿A quién se va a medir?
POBLACIÓN DIANA
3/ ¿Qué se pretende?
UTILIZACIÓN PREVISTA
VARIABLE MANIFIESTA
El absentismo escolar
El rendimiento académico
VARIABLE LATENTE
COGNITIVA
Hay que tomar dos decisiones:
1) Si se va a medir una variable manifiesta o latente
2) Si se trata de una variable cognitiva o afectiva (no cognitiva)
VARIABLE LATENTE NO COGNITIVA
La actitud de los alumnos a los grupos
minoritarios
La consideración de la POBLACIÓN DIANA a la que va dirigida la prueba es una cuestión decisiva que
deber ser claramente explicitada al formular el objetivo de la misma, ya que ésta definirá en parte las
características que ha de tener la prueba.
Por ejemplo: no se puede evaluar con la misma prueba el rendimiento académico de los niños al comenzar y al finalizar la educación secundaria.
3.- Especificación del test
3. ESPECIFICACIÓN DEL TEST
• ¿Cuál va a ser el contenido del test?
CONTENIDO
• ¿Cuántos ítems debe tener la prueba?
LONGITUD
• ¿Qué tipo de ítems se van a utilizar en el
test?
FORMATO
•¿Qué propiedades métricas ha de mostrar?
CARACTERÍSTICAS PSICOMÉTRICAS
3.1. CONTENIDO DEL TEST
• Teniendo en cuenta a quién se dirige la prueba y para qué se va a utilizar, lo primero que ha de hacer el constructor del test es representar empíricamente la característica o constructo que se desea medir.
• La situación ideal sería que dicho constructo forme parte de un modelo teórico de cuya formulación se derive directamente la representación empírica del mismo. En Psicología no son muy frecuentes estos modelos.
• Para ello, hay que identificar las conductas que se pueden utilizar como indicadores empíricos de la variable o constructo que se desea medir (pasar del plano teórico al plano empírico).
• Por eso, Crocker y Algina (1986) proponen seguir alguna de las estrategias que nombraremos a continuación.
La aproximación, más habitual, la que utilizan, por ejemplo, las
empresas de tests más importantes de EEUU es la
conocida como: Tabla de especificación se utiliza
sobre todo para construir pruebas que miden variables
latentes en el ámbito cognitivo
Las columnas indican distintas áreas de contenido relevantes para el constructo en cuestión.
Las columnas indican distintas áreas de contenido relevantes para el constructo en cuestión.
Las celdillas indican el porcentaje de ítems que tiene que haber en la prueba que midan el área de contendido de la columna en cuestión y cuya resolución ponga en marcha el proceso cognitivo de la fila correspondiente.
Las celdillas indican el porcentaje de ítems que tiene que haber en la prueba que midan el área de contendido de la columna en cuestión y cuya resolución ponga en marcha el proceso cognitivo de la fila correspondiente.
Las filas indican las distintas operaciones o procesos cognitivos implicados en la resolución de las tareas planteadas por las preguntas o ítems de la prueba (Figura 3.2. Taxonomía de Bloom)
Las filas indican las distintas operaciones o procesos cognitivos implicados en la resolución de las tareas planteadas por las preguntas o ítems de la prueba (Figura 3.2. Taxonomía de Bloom)
Geome-tría
Medición Números y operaciones
Organ. e intrerpre.de datos
Rel., func. y expres.
algebráicas
Lógica y sol.
de prb.
CONOCIMIENTO 5 3 10 4 3 10 35
COMPRENSIÓN 3 2 2 7 3 3 20
APLICACIÓN 5 2 1 1 1 5 15
ANÁLISIS 1 2 1 4 1 6 15
SÍNTESIS 1 2 1 1 1 1 7
EVALUACIÓN 2 1 1 2 1 1 8
17 12 16 19 10 26
Tabla 3.2. Ej de una tabla de especificación de rendimiento en Matemáticas
3.2. FORMATO DEL TEST
VARIABLE COGNITIVA
VARIABLE NO
COGNTIVA
• Dos grandes categorías:
1/ Los que exigen que el sujeto seleccione una o varias opciones
de entre las propuestas.
2/ Los que requieren que el sujeto construya o elabore la respuesta.
• Dos tipos de ítems:
1/ Los ítems de respuesta abierta
2/ Los ítems de respuesta cerrada o escalas de valoración
(escalas de categorías y listados).
TRES TIPOS: Ítems de
elección múltiple, ítems
de elección binaria e
ítems de
emparejamiento
EJEMPLOS: Página 105
del libro.
DOS TIPOS: De respuesta corta o de completar y de respuesta extensa.
Ítems de valoración de la actuación (pj. El
portafolio)
EJEMPLOS: Página 106
del libro.
¿Qué tipo de ítem utilizar en cada caso? No hay respuestas unívocas. Depende de la variable que se
desea medir y de cómo se haya representado empíricamente dicha variable. Indicación general:
1) Ítems de elección y de respuesta corta (procesos cognitivos como adquirir conocimientos, su
comprensión y aplicación)
2) Ítems de respuesta extensa (procesos como el análisis, la síntesis y la evaluación)
La recomendación general sería trabajar con el tipo de ítem que proporcione la medida más directa de
aquello que queremos medir.
Gronlund (1991) recomienda en igualdad de condiciones optar por los ítems de elección (debido a su mayor cobertura de contenido). Aunque en la
última década los ítems de construcción han suscitado mucho interés (evaluar conocimientos de orden superior; interés educativo por la evaluación
formativa; etc.). Ver Tabla 3.3. (pág. 107).
ÁMBITO
NO COGNITIV
O
Los ítems de respuesta abierta: en los que el sujeto escribe directamente su
respuesta.
Los ítems de respuesta cerrada: en los que el sujeto responde eligiendo (una
de) entre las distintas opciones propuestas. Se denominan escalas de
valoración
LOS LISTADOSLAS ESCALAS DE
CATEGORÍAS
1/ LAS ESCALAS DE CATEGORÍAS
Ítems formados por un enunciado y un
conjunto de categorías, donde se pide al sujeto
que se posicione respecto a algo (sujeto, objeto, idea, etc.), que examine sus opiniones
y los sitúe en la categoría apropiada. TABLA 3.4. (pág. 110)
2/ LOS LISTADOS
Un conjunto o lista de términos, frases o
afirmaciones relativas a un objeto (sujeto, hecho o idea), en los
que la tarea del sujeto se reduce a marcar con una cruz los elementos
de la lista que en su opinión sean aplicables
al objeto que se está valorando (ejemplo en
pág.111).
ESCALAS DE VALORACIÓN
LOS LISTADOS Y LAS CATEGORÍAS DE VALORACIÓN
VENTAJAS DESVENTAJAS
• Resultan sencillos, baratos y precisos al describir o evaluar a
una persona.• Fáciles de construir, administrar
puntuar y versátiles en sus aplicaciones.
• Se pueden utilizar para evaluarse a uno mismo (autoinformes).
• No es conveniente cuando se desea obtener información sobre
una situación compleja o si se está interesado en saber qué
piensan realmente los sujetos de un tema particular.
3.3.- LONGITUD DE LA PRUEBA
• La longitud y la fiabilidad de una prueba están directamente relacionadas, de forma que cuanto más larga es la prueba más fiable resulta (desventajas: los efectos de la fatiga y la pérdida de motivación del sujeto).
• Hay que tener en cuenta las características de la población a la que se dirige la prueba (edad de los sujetos, ritmo de aprendizaje, etc.).
• Es importante tener en cuenta para qué se va a utilizar el test (pj.: para tomar una decisión importante o para ver el progreso educativo de un niño).
• Una forma de operar es decidir cuál es el número mínimo deseable de ítems en cada celdilla de la tabla de identificación.
• Otra forma es decidir el número mínimo de ítems por columna y fila.
Ya sabemos cuántos ítems y de qué tipo han de medir cada uno de los indicadores empíricos que
representa la característica o constructo que mide el test. La
siguiente pregunta es: ¿Cómo tienen que ser esos ítems? Cuál es su nivel de
dificultad y su capacidad para discriminar entre sujetos que poseen en distinto grado la
característica evaluada
Supongamos que
se desea detectar
a los alumnos
más brillantes de
la clase.
La prueba deberá estar formada por
ítems muy difíciles.
La prueba deberá estar formada por ítems de dificultad
media.
Si lo que se desea
es saber el nivel
general de
conocimientos de
una clase.
4.- Confección de los ítems
Lo primero es seleccionar a las personas que se van a encargar de redactar o construir los ítems.
Suelen ser:
Expertos en contenido, que además, deberán estar
familiarizados con la población a la que va a ir destinada la prueba. Lo ideal es que se construyan tres veces más ítems que los necesarios.
Escribir de forma clara, simple, precisa y concisa (escribir ítems cortos, evitando la inclusión de palabras o frases irrelevantes, no utilizar ítems generales o ambiguos, etc.)
Escribir de forma clara, simple, precisa y concisa (escribir ítems cortos, evitando la inclusión de palabras o frases irrelevantes, no utilizar ítems generales o ambiguos, etc.)
Cuidar el lenguaje (vocabulario apropiado, frases gramaticalmente correctas, fácil comprensión, evitar negaciones en el enunciado, etc.).
Cuidar el lenguaje (vocabulario apropiado, frases gramaticalmente correctas, fácil comprensión, evitar negaciones en el enunciado, etc.).
Expresar una única idea por ítem (incluir una sola idea por enunciado y no varias combinadas, evitar preguntar dos cosas al mismo tiempo).
Expresar una única idea por ítem (incluir una sola idea por enunciado y no varias combinadas, evitar preguntar dos cosas al mismo tiempo).
4.2.- EN EL DOMINIO COGNITIVO
1) El enunciado debe contener la idea central y la mayor parte del texto del ítem (evitando repetir palabras en las distintas opciones de respuesta).
2) Las opciones de respuesta deben aparecer al final del enunciado y no a la mitad de éste.
3) El ítem debe tener una única respuesta.
4) Hay que evitar como alternativas de respuesta -Todas las anteriores y Ninguna de las anteriores- porque confunden a los que responden.
4.2.- EN EL DOMINIO COGNITIVO
5) Ordenar las opciones de respuesta de forma lógica o secuencial y evitar que las alternativas se solapen.
6) Controlar la posición en la que aparece la opción correcta de respuesta en los ítems de una prueba para evitar un patrón sistemático que pueda ser detectado por los sujetos.
7) Evitar dar pistas acerca de la opción correcta de respuesta (indicios gramaticales, alternativas correctas e incorrectas deben ser razonables, etc.).
Para generar ideas para construir ítems se puede acudir a textos, manuales, libros de problemas, obras de referencia, etc.
Para generar ideas para construir ítems se puede acudir a textos, manuales, libros de problemas, obras de referencia, etc.
Para construir los distractores lo más habitual es recurrir a las interpretaciones erróneas frecuentes a los errores más comunes de los sujetos, etc.
Para construir los distractores lo más habitual es recurrir a las interpretaciones erróneas frecuentes a los errores más comunes de los sujetos, etc.
Para lo que no existe consenso generalizado es para la respuesta a la pregunta de cuántas opciones de respuesta incluir en el ítem: 3, 4 o más.
Para lo que no existe consenso generalizado es para la respuesta a la pregunta de cuántas opciones de respuesta incluir en el ítem: 3, 4 o más.
4.3.- EN EL DOMINIO NO COGNITIVO
1) Evitar expresiones coloquiales y procedentes del argot que pueden ser comprendidas únicamente por un segmento específico de la población y en un determinado periodo de tiempo.
2) Variar la dirección de la pregunta, incluyendo en la prueba el mismo número de ítems formulados de manera positiva y negativa.
3) Normalmente es conveniente incluir una categoría de respuesta que represente un punto medio (p.j.: ni de acuerdo ni en desacuerdo).
1/ LA DESEABILIAD SOCIAL: elegir
sistemáticamente la opción de
respuesta que se considera más
deseable socialmente
2/ LA AQUIESCENCIA: responder
sistemáticamente que se está de acuerdo o en
desacuerdo con lo que indica el enunciado, al
margen de lo que en él se afirma
3/ LA RESPUESTA EXTERNA: responder sistemáticamente eligiendo las categorías de respuesta de los
extremos, con independencia del contenido del ítem
Un SESGO DE RESPUESTA es la tendencia sistemática de un sujeto a responder a los ítems de la prueba de una determinada manera, con
independencia de cuál sea el contenido de los ítems:
4.4. REVISIÓN DE LOS ÍTEMS
• Lo ideal es poder pasar el conjunto de ítems redactados a un experto ajeno al constructor y pedirle que los revise
(lenguaje, redacción, contenido, etc.).
• El constructor deberá dejar pasar un día o más y volver a examinar todos los ítems revisando su contenido, claridad y lenguaje. Los seleccionados pasaran a la siguiente fase
(confección de la prueba) y después serán de nuevo chequeados en la última fase (evaluación de la prueba).
5.- Confección de la prueba
Confeccionar la prueba supone que resulte lo más fácil posible seguir las instrucciones del test, leer los ítems y
registrar sus respuestas (Fowler, 1995):
INSTRUCCIONES
DE
ADMINISTRACIÓ
N
FORMATO DE
PRESENTACIÓN
DE LA PRUEBA
FORMATO DE
REGISTRO DE LAS
RESPUESTAS
5.1. INSTRUCCIONES DE LA ADMINISTRACIÓN
OBJETIVO OBJETIVO
• Es proporcionar un marco de referencia común que nos
permita asegurarnos que todos los sujetos
comprenden perfectamente la mecánica del test.
• Se pretende uniformar y estandarizar las condiciones
de administración de la prueba, para que las
puntuaciones de los distintos sujetos sean comparables y
reflejen solo diferencias en la característica que mide el test.
5.1. INSTRUCCIONES DE LA ADMINISTRACIÓN
• Las instrucciones del test deben indicar con un lenguaje claro y sencillo cómo ha de responder, dónde ha de responder, de cuánto tiempo dispone para ello y , en el caso de las pruebas cognitivas, si es conveniente responder a todos los ítems o es mejor no responder al azar.
• Adicionalmente, en las instrucciones se puede indicar cuál es el objetivo del test, cómo van a ser puntuadas sus respuestas y se le puede sugerir cómo distribuir el tiempo de aplicación de la prueba.
• En ocasiones, es útil incluir ejemplos o ejercicios prácticos con el fin de clarificar aun más las instrucciones.
• Si la prueba se envía por correo, las instrucciones deberán estar más detalladas.
• Si la aplicación es presencial, es conveniente que el encuestador lea en voz alta las instrucciones.
5.2. FORMATO DE PRESENTACIÓN DE LA PRUEBA
• La simple ordenación de los ítems de un test puede llevar a que un sujeto dé por terminada la prueba antes casi de empezar. En pruebas cognitivas se recomienda empezar con ítems fáciles y en pruebas no cognitivas con preguntas de calentamiento que le hagan sentirse cómodo.
• Conviene agrupar por bloques las preguntas que traten del mismo tema, que comparten el mismo enunciado o material de referencia, que tengan las mismas instrucciones o que utilicen el mismo formato.
• Es importante que el orden en el que aparecen las preguntas sea lógico. Hay que evitar poner preguntas consecutivas que salten de un tema a otro o que cambien sucesivamente de formato.
• En pruebas largas si es aconsejable utilizar distintos formatos para los ítems con el fin de romper un poco la monotonía de la prueba.
• Tabla 3.6 (pág. 126 libro).
5.3. FORMATO DE REGISTRO DE LASRESPUESTAS
DOS POSIBILIDADES
SEGUNDA OPCIÓN
1) Los sujetos responden directamente en el mismo
cuadernillo en el que están las preguntas.
2) Los sujetos responden en hojas de respuesta que
son entregadas junto con el cuadernillo.
• La ventaja es que permite reutilizar posteriormente el
cuadernillo.
• El inconveniente es que el sujeto que no está muy
familiarizado le resulta más complicado (pj.: recordar la
opción elegida).
5.3. FORMATO DE REGISTRO DE LASRESPUESTAS
• Antes de embarcarse en la construcción de un nuevo tests o prueba es conveniente examinar si existe en el
mercado alguno ya comercializado que evalúe aquello que queremos medir con los requisitos métricos exigibles.
• Es útil crear un banco de ítems que nos permita construir distintas pruebas en distintos momentos con distintos
objetivos y para evaluar a diferentes sujetos.
INTERESANTE
6.- Aplicación de la prueba
Colectiva o individual.Colectiva o individual.
Como una prueba de lápiz y papel o como un test informatizado.Como una prueba de lápiz y papel o como un test informatizado.
Personal, por teléfono o por correo postal.Personal, por teléfono o por correo postal.
CÓMO LLEVAR A CABO LA PRIMERA APLICACIÓN
1ª/ OPCIÓN 2ª/ OPCIÓN
• Aplicación experimental: se aplica la prueba tal y como ha sido construida a una muestra
de sujetos. Es lo que se conoce como realización de un estudio
piloto de la prueba.
• Aplicación experimental en una prueba operativa: se incluyen los ítems de la nueva prueba en una
que ya ha sido previamente evaluada y al aplicar ésta se
añaden los ítems que se desea pilotar (se evalúan solo éstos).