Charo Repáraz |[email protected] Servicio de Innovación Educativa La construcción de pruebas...

Charo Repáraz |[email protected]

Servicio de Innovación Educativa

La construcción depruebas objetivas

Carlota Pérez Sancho |[email protected]

Introducción| La medida del rendimiento académico

Introducción

LA MEDIDA DEL RENDIMIENTO ACADÉMICO

• Medir (v. contínuas) contar (v. discontínuas)

• Distancia entre la medida y lo medido(> cuanto más abstracto sea lo medido)

• Teoría Clásica de los Test (TCT):X (puntuación) = V (puntuación verdadera) +e

(error)

•El mismo rasgo puede dar distintas medidas•Contar con el error de nuestra medida•Prudencia, es una orientación…

En consecuencia:

Construcción del test | Paso 1: Contenidos a evaluar

Conocer bien la estructura de los contenidos (especificar los distintos apartados del programa

de la asignatura) nos permitirá:

1. CONOCER LOS CONTENIDOS A EVALUAR

No olvidar ningún aspecto importante.

Prescindir de lo anecdótico.

Ponderar cada apartado en función de su relevancia intrínseca y relativa. Llegar a un aprueba equilibrada y coherenteOfrecer puntuaciones o diagnósticos diferenciados

¿Cómo construir un buen test?: Paso 1

Estimar la duración de la prueba

2. DETERMINAR LOS OBJETIVOS

Taxonomí a

Bloom

CONOCIMIENTO

Recuerdo de material aprendido anteriormenteCOMPRENSIÓN

Percepción del significado del material

APLICACIÓN

Utilización de la información en situaciones concretas

ANÁLISIS

Fraccionamiento del material en sus elementos constitutivos

SÍNTESISReunión de los elementos en un todoEVALUACIÓNFormulación de juicios sobre el valor de una cosa para un determinado propósito, utilizando ciertos criterios.

La diferencia principal entre…El método más empleado para…Las principales características…El mejor ejemplo del principio…¿Cuál es el significado de la fórmula….?

¿Cuál es la teoría que esta implícita en …?Después de analizar los datos que se presentan….¿Qué definición es aplicable para….?

¿Cuál es el procedimiento experimental más adecuado para …?¿Qué aplicación ejemplifica el principio de la….?

En el texto presentado ¿qué parte es la conclusión?¿Qué elementos de la siguiente comunicación… pueden considerarse factuales?¿Cuál es el error lógico del siguiente argumento?

¿Qué conclusión se puede extraer de…?¿Cuál es la hipótesis de…?¿Qué procedimiento es el más fiable para… ¿Cuál es el error lógico del siguiente argumento?


Construcción del test | Paso 2: Determinar los objetivos

3. RELACIONAR CONTENIDOS Y OBJETIVOS


Qué objetivos deben cubrir los distintos contenidos y viceversa.

No serán incluidos en el instrumento aquellos contenidos referidos a los objetivos para los que no se haya marcado X.

Tabla de especificaciones

Construcción del test | Paso 3: Relacionar contenidos y objetivos

4. SELECCIONAR EL CONTENIDO DEL TEST


Imposibilidad de incluir todos los elementos

SUFICIENCIA

REPRESENTATIVIDAD

El número de elementos debe ser al menos aquel que permita incluir a todos los grandes bloques de contenidos y objetivos.

Ejemplo: Si tenemos 3 grandes apartados de contenidos y trabajamos con 5 objetivos, debería haber, al menos, 3x5= 15 elementos.

VALIDEZ DE CONTENIDO. No todos los objetivos ni los contenidos son igualmente relevantes:

•Atribuir a los grandes bloques un mayor numero de elementos (dando a todos igual valoración).

•Valorar más los elementos referidos a tales objetivos y contenidos.

MUESTRA

Construcción del test | Paso 4: Seleccionar el contenido del test


Pero…

¿Cuántos ítems debe tener un

test?

Prueba diagnóstica 20-30

Prueba sumativa > 50

Cálculo: Minuto por ítem

no exceder de 90 ítems

(hora y media de duración)

Construcción del test | Paso 4: Seleccionar el contenido del test


5. REDACTAR LOS ITEMS

RESPUESTA ÚNICA

De las siguientes afirmaciones, ¿cuáles son correctas respecto a la literatura medieval portuguesa?

I. Un poema que narre el sufrimiento de una campesina, abandonada por el hidalgo que amaba por causa de otra mujer, es una “cantiga de amor”.II. Un poema que narre la desdicha de un hidalgo empobrecido que ama a una dama inaccesible es una “cantiga de amigo”.III. “Cantiga de amor” y “cantiga de amigo” son “poesías trovadorescas”.IV. “Cantiga de amor” y “cantiga de amigo” eran cantadas con acompañamiento musical.

A) I, II, III y IV.B) I, II y III.C) I, II y IV.D) I y II.E) III y IV.

EL USB fue creado en 1996:a) verdaderob) falso

RESPUESTA MÚLTIPLE

El conocimiento científico es:1) Un conocimiento fruto del pensar espontáneo2) Una forma de conocimiento práctico3) El único capaz de resolver nuestros problemas4) Un conocimiento demostrado

Máximo 5 alternativas

Construcción del test | Paso 5: Redactar los ítems | tipos de ítems


Elige la frase que presenta la forma correcta de redaccióna) Esté dicho: sólo sé que no se nada. b) Este dicho: sólo se que no se nada.c) Éste dicho: solo sé que no sé nada.d) Este dicho: sólo sé que no sé nada.e) Éste dicho: solo se que no se nada.

Anotar en los paréntesis de la columna A (países), los números de los elementos de la columna B (capitales) que correspondan:

Columna A Columna B( ) Japón (1) Pekín( ) India (2) Tel Aviv( ) China (3) Katmandú( ) Nepal (4) Nueva Delhi( ) Israel (5) Tokio

(6) Jerusalem

SUSTITUCIÓN

ASOCIACIÓN, EMPAREJAMIENTO O CORRESPONDENCIA

AFIRMACIÓN INCOMPLETAEl número de átomos de oxígeno que existen en 0,10 moles de nitrato de bario es:a) 0,6b) 6,0c) 3,6 x 1022

d) 6,0 x 1022

e) 3,6 x 1023

LAGUNA

El “gorjeo” es propio del bebe de …. meses:a) unob) dosc) tresd) cuatro



El gráfico siguiente muestra la duración, en días, del desarrollo embrionario del lepidóptero Ephestia kühniella en función de la temperatura. De su examen concluimos que:

1) el desarrollo más rápido se produce cerca de los 30ºC2) cuanto más alta es la temperatura, más rápido es el desarrollo3) el desarrollo sigue una curva logarítmica4) el animal sólo se encuentra en lugares tropicales5) a temperaturas inferiores a 10ºC el huevo se muere.

INTERPRETACIÓN

IDENTIFICACIÓN O LOCALIZACIÓN

Identifica en ésta célula el núcleo ( ), el citoplasma ( ) y la membrana ( ).

1

2

3




Cuestiones generales a tener en cuenta

Ofrecer en lo que se denomina el pie del elemento toda la información necesaria pero de forma breve y concisa.

Claridad en la formulación. Vocabulario correcto.

Brevedad del enunciado.

Corrección gramatical, ortográfica y sintáctica de los enunciados.

Redactar de forma afirmativa, evitando las dobles negaciones.

Ejemplo: La media no es una medida de variabilidad. SI-NO

Todas las alternativas deben ser plausibles.

Evitar situar la respuesta correcta en una posición preferente.

Evitar asociaciones entre el tronco del elemento y la respuesta correcta

Contar con un banco de preguntas lo suficientemente amplio para no repetir de un curso a otro.

Construcción del test | Paso 5: Redactar los ítems | cuestiones generales



La independencia de los ítems

Difícil asegurarla: cualquier palabra en un ítem puede servir de pista o ayuda para resolver otro u otros.

Procurar no incluir elementos en cadena, la forma de responder, o no, a uno de ellos permita contestar, o no, a varios que le siguen.

EJEMPLO: 1. El “gorjeo” es propio del bebe de …. meses:a) unob) dosc) tresd) cuatro

2. ¿Cuál de las siguientes afirmaciones es propia de la misma edad?a) Sólo me despierto y lloro si tengo hambre o estoy incómodob) Boca abajo estoy tranquilo y me sostengo apoyado sobre las manos.c) Si me pones un objeto en la mano seré capaz de sostenerlo y me lo llevaré a la boca.d) Soy capaz de sostenerme un ratito sentado pero necesito apoyarme delante con las manos para no caerme.

Construcción del test | Paso 5: Redactar los ítems | la independencia de los ítems

6. ORDENAR LOS ITEMS


Por tipos de elementos Para presentar al principio de cada bloque instrucciones necesarias para resolverlo.

Facilitar la corrección ya que cada tipo de elemento puede tener reglas específicas.

Por orden de dificultadSituar los elementos más fáciles al principio da ánimos para seguir adelante.

Lógica o cronológicaSeguir el orden que la estructura de la materia exige puede facilitar las contestaciones.

Al azarPresenta más dificultades que ventajas.

Construcción del test | Paso 6: Ordenar los ítems

7. VALORAR LOS ÍTEMS


A través de las siguientes fórmulas

La tendencia natural puede ser atribuir un punto a la respuesta correcta y cero para la incorrecta.

Pero la posibilidad de respuestas correctas por azar lleva a la necesidad de valorar los elementos de forma diferente para disuadir de contestarlos cuando se sabe que esa contestación es puramente al azar.

Pruebas verdadero-falso

Resultado (R) =Aciertos (A) – Errores (E)

Pruebas elección múltiple

Donde na es el numero de respuestas que se ofrecen.

1- n

E -A R

a

Construcción del test | Paso 7: Valorar los ítems

8. VALORAR LA PRUEBA


Según los diferentes tipos de objetivos evaluados

En ocasiones conviene que junto a la puntuación global obtengamos puntuaciones diferenciadas al menos en dos niveles:

Se trata de apreciar si hay objetivos claramente superados y otros deficientes, si el nivel es uniforme en sentido positivo o negativo.

0102030405060708090

100

Con

ocim

ient

o

Com

pren

sión

Cál

culo

Apl

icac

ión

Val

orac

ión

Tot

al

Puntuacióndiferenciada

Según las diversas unidades importantes de contenido

Un alumno puede obtener un valor global suficiente pero con determinadas unidades con puntuación elevada y otras muy bajas.

01020304050607080

Con

cepto

esta

dís

tica

Org

aniz

ació

ndat

os

Med

idas

indiv

idual

es

Cor

rela

ción

Puntuacióndiferenciada

Construcción del test | Paso 8: Valorar la prueba

9. ELEGIR LA MODALIDAD DE EVALUACIÓN


Evaluación referida a la norma

Comparación de la realización del alumno con la realización del grupo, muestra o población a la que pertenece.

Por ejemplo: MIR

Evaluación referida al criterio

Comparación entre la realización del alumno y la realización objetiva previamente establecida. Comparación con un criterio objetivo.

Por ejemplo: TOEFL

Construcción del test | Paso 9: Elegir la modalidad de evaluación

Características de un test | Fiabilidad y validez

1. FIABILIDAD

Características de un test

Mide el error (la distancia entre la medida y lo medido).

A menor error, mayor fiabilidad.

Indica hasta qué punto las diferencias entre puntuaciones de dos alumnos son atribuibles a diferencias reales entre ellos o a errores de medida del test.

Ejemplo: una fiabilidad rxx= 0.85 significa que el 85% varianza verdadera y 15% varianza error

No se deben admitir tests con fiabilidad menor de 0.80

CONDICIÓN NECESARIA PERO NO SUFICIENTE2. VALIDEZ

Qué medimos? ¿Medimos lo que queremos medir?

Ninguna prueba es válida y fiable para todos los sujetos y ocasiones

LA MAQUINA DE CORRECCIÓN DE CIENCIAS NO CALCULA

3. ANÁLISIS DE ÍTEMS


Estima la contribución de cada ítem a la fiabilidad y validez del test1.- Índice de dificultad / facilidad: cociente entre quienes aciertan el ítem y quienes lo intentan.

Muy difíciles: ID<0.25 (10%)Difíciles: ID >0.25 y <0.45 (20%)

Normales: ID >0.44 y <0.55 (40%)Fáciles: ID >0.54 y <0.75 (20%)

Muy fáciles: ID >0.74 (10%)

2.- Índice de discriminación: indica la capacidad del ítem para distinguir entre los sujetos de mayor conocimiento y los de menor. Cálculo: la diferencia entre el % del grupo superior que acierta el ítem y el % del grupo inferior que también lo acierta

D> 0.39 Excelente ConservarD entre 0.30 y 0.39 Buena MejorarD entre 0.20 - 0.29 Regular RevisarD entre 0.00 - 0.20 Pobre Descartar

D< -0.01 Pésima Descartar definitivamente

IDmax= 1Idmin= 0

Dmax= 1Dmin= -1

Características de un test | Análisis de ítems

Características de un test | Análisis de distractores

4. ANÁLISIS DE LOS DISTRACTORES


Nos informa del nº de alumnos del grupo superior (27%) y del grupo inferior (27%) que han seleccionado cada alternativa de respuesta. Cuántos aciertan y cuántos se distraen.

•¿Qué significa que un distractor sea elegido por un gran nº de alumno del grupo superior?:?:

•ítem mal redactado o confuso•problema generalizado de comprensión

•¿Qué pasa si algún distractor no es elegido por ningún alumno del grupo inferior? (mínimo un 10%):

•disminuye la fiabilidad y la validez del test pues aumenta el acierto por azar•no cumple su función

Informe de resultados de los alumnos

Características de un testPuntuación (29) % Rendimiento

ORDEN EXPEDIENTE NOMBRE Rendimiento sobre 10

1 27 95995 APELLIDOS, NOMBRE 13,75 47,40 4,742 42 96123 APELLIDOS, NOMBRE 15,75 54,30 5,433 21 99844 APELLIDOS, NOMBRE 10,75 37,00 3,704 13 98639 APELLIDOS, NOMBRE 26,50 91,30 9,135 8 100188 APELLIDOS, NOMBRE 15,75 54,30 5,436 30 98798 APELLIDOS, NOMBRE 10,25 35,30 3,537 41 99830 APELLIDOS, NOMBRE 25,50 87,90 8,798 7 99851 APELLIDOS, NOMBRE 4,25 14,60 1,469 18 99361 APELLIDOS, NOMBRE 13,75 47,40 4,74

10 125 98795 APELLIDOS, NOMBRE 12,50 43,10 4,3111 46 100167 APELLIDOS, NOMBRE 21,75 75,00 7,5012 103 99447 APELLIDOS, NOMBRE 20,25 69,80 6,9813 1 100235 APELLIDOS, NOMBRE 8,25 28,40 2,8414 108 98968 APELLIDOS, NOMBRE 11,25 38,70 3,8715 24 99355 APELLIDOS, NOMBRE 4,75 16,30 1,6316 2 97571 APELLIDOS, NOMBRE 14,00 48,20 4,8217 3 97273 APELLIDOS, NOMBRE 6,50 22,40 2,2418 122 99471 APELLIDOS, NOMBRE 17,50 60,30 6,0319 11 96624 APELLIDOS, NOMBRE 7,25 25,00 2,5020 15 98732 APELLIDOS, NOMBRE 10,25 35,30 3,5321 48 98786 APELLIDOS, NOMBRE 17,00 58,60 5,8622 10 96153 APELLIDOS, NOMBRE 11,50 39,60 3,9623 45 98689 APELLIDOS, NOMBRE 18,75 64,60 6,4624 39 100133 APELLIDOS, NOMBRE 21,50 74,10 7,4125 19 100092 APELLIDOS, NOMBRE 12,00 41,30 4,1326 37 97480 APELLIDOS, NOMBRE 7,75 26,70 2,6727 17 89238 APELLIDOS, NOMBRE 13,50 46,50 4,6528 9 98554 APELLIDOS, NOMBRE 14,75 50,80 5,0829 16 97143 APELLIDOS, NOMBRE 10,25 35,30 3,5330 4 96765 APELLIDOS, NOMBRE 9,00 31,00 3,1031 33 99819 APELLIDOS, NOMBRE 17,75 61,20 6,12

Características de un testNum. ITEM DISTRACTORES Num Porcentaje

Omisiones Num DOBLESACIERTOS INDICE FACILIDAD INDICE DISCRIMINACION1 2 3 4 5

1 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56(8) 12 10 4 0 0 0 23,53 %

2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,218 (23) 0 2 0 1 0 67,65 %

3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,567 (6) 11 2 0 8 0 17,65 %

4 2 0 0 (30) 0 1 0 88,24 % 0,72 0,326 0 5 (19) 0 4 0 55,88 %

5 (28) 0 1 3 0 2 0 82,35 % 0,57 0,50(11) 7 2 10 0 4 0 32,35 %

6 2 0 (24) 5 0 3 0 70,59 % 0,49 0,442 3 (9) 16 0 4 0 26,47 %

7 5 6 3 (17) 0 2 1 50,00 % 0,32 0,353 13 6 (5) 0 7 0 14,71 %

8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,355 (6) 12 2 0 9 0 17,65 %

9 6 (25) 0 1 0 2 0 73,53 % 0,47 0,5314 (7) 2 6 0 5 0 20,59 %

10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,038 (2) 7 6 0 11 0 5,88 %

Informe ordenado por número de ítem

Num. ITEM DISTRACTORES Num Porcentaje Omisiones Num DOBLESACIERTOS INDICE FACILIDAD INDICE DISCRIMINACION

1 2 3 4 51 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56

(8) 12 10 4 0 0 0 23,53 %

2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,218 (23) 0 2 0 1 0 67,65 %

3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,567 (6) 11 2 0 8 0 17,65 %

4 2 0 0 (30) 0 1 0 88,24 % 0,72 0,326 0 5 (19) 0 4 0 55,88 %

5 (28) 0 1 3 0 2 0 82,35 % 0,57 0,50(11) 7 2 10 0 4 0 32,35 %

6 2 0 (24) 5 0 3 0 70,59 % 0,49 0,442 3 (9) 16 0 4 0 26,47 %

7 5 6 3 (17) 0 2 1 50,00 % 0,32 0,353 13 6 (5) 0 7 0 14,71 %

8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,355 (6) 12 2 0 9 0 17,65 %

9 6 (25) 0 1 0 2 0 73,53 % 0,47 0,5314 (7) 2 6 0 5 0 20,59 %

10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,038 (2) 7 6 0 11 0 5,88 %

Índice de dificultad / facilidad --- Índice discriminación

muy fácil

Regular

INDICE DISCRIMINACIÓND> 0.39 Excelente Conservar

D entre 0.30 y 0.39 Buena MejorarD entre 0.20 - 0.29 Regular RevisarD entre 0.00 - 0.20 Pobre Descartar

D< -0.01 Pésima Descartar definitivamente

INDICE FACILIDADMuy difíciles: ID<0.25 (10%)

Difíciles: ID >0.25 y <0.45 (20%)Normales: ID >0.44 y <0.55

(40%)Fáciles: ID >0.54 y <0.75 (20%)

Muy fáciles: ID >0.74 (10%)

normal

Muy difícil

Excelente

Pobre

Num. ITEM DISTRACTORES Num Porcentaje Omisiones Num DOBLESACIERTOS INDICE FACILIDAD INDICE DISCRIMINACION

1 2 3 4 51 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56

(8) 12 10 4 0 0 0 23,53 %

2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,218 (23) 0 2 0 1 0 67,65 %

3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,567 (6) 11 2 0 8 0 17,65 %

4 2 0 0 (30) 0 1 0 88,24 % 0,72 0,326 0 5 (19) 0 4 0 55,88 %

5 (28) 0 1 3 0 2 0 82,35 % 0,57 0,50(11) 7 2 10 0 4 0 32,35 %

6 2 0 (24) 5 0 3 0 70,59 % 0,49 0,442 3 (9) 16 0 4 0 26,47 %

7 5 6 3 (17) 0 2 1 50,00 % 0,32 0,353 13 6 (5) 0 7 0 14,71 %

8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,355 (6) 12 2 0 9 0 17,65 %

9 6 (25) 0 1 0 2 0 73,53 % 0,47 0,5314 (7) 2 6 0 5 0 20,59 %

10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,038 (2) 7 6 0 11 0 5,88 %

Análisis de los distractores

muy fácil

¿Qué significa que un distractor sea elegido por un gran nº de alumno del grupo superior?

•ítem mal redactado o confuso•problema en la enseñanza

¿Qué pasa si algún distractor no es elegido por ningún alumno del grupo inferior? (mínimo un 10%):

•< la fiabilidad y la validez pues > el acierto por azar (0.25, 0.33, 0.50)

•no cumple su función

• Compilado por: Pérez Linda

• Obtenido de: www.universitasnavarrensis.net/innovacioneducativa/formacion/test/test.ppt

http://www.universitasnavarrensis.net/innovacioneducativa/formacion/test/test.ppt

http://www.universitasnavarrensis.net/innovacioneducativa/formacion/test/test.ppt

Charo Repáraz |[email protected] Servicio de Innovación Educativa La construcción de pruebas...

Documents

Transcript of Charo Repáraz |[email protected] Servicio de Innovación Educativa La construcción de pruebas...