Metodo de Angoff
-
Upload
mguerrero1001 -
Category
Documents
-
view
227 -
download
3
description
Transcript of Metodo de Angoff
-
6.11. Pruebas objetivas, puntuaciones mnimas, calificacin
Pedro Morales Vallejo Universidad Pontificia Comillas, Madrid 1
Pruebas objetivas: cmo calificar y establecer puntuaciones mnimas para el apto
Mtodos relativos al grupo
Cuestionables aunque el grupo siempre aporta una informacin til
Mtodos basados enuna proporcindeterminada de respuestas correctas
Quizs el procedimientoms habitual. Se puede tener en cuentael error tpico, o margenprobable de error
Mtodos basados enobjetivos conseguidoso teniendo en cuentapreguntas especficas
Incluir preguntas especficas para el aptoy corregirlas por separado
Diferenciar en la preparacin y correccin del examen bloques distintos de preguntas (que pueden tener una valoracin distinta)
Mtodos basados en elanlisis de lostems por mediode varios jueces
Mtodo de Nedelsky Mtodo de Angoff
(y variantes)
Debera haberms preguntas de lo ms importante
responsabilidad compartida en la determinacin del apto
tem respuestas [* correcta]
k = no eliminadas
valor del tem =
1/k
n 1 A B* C 2 1/2
= 0.50
n 2 A* B C 1 1/1
= 1
n 3 A B* C 3 1/3
= 0.33
n 4 A B C* 2 1/2
= 0.50
n 5 A* B C 2 1/2
= 0.50 total = 2. 83
Pruebas objetivas, determinacin de la puntuacin mnima para el apto (mtodo de Nedelsky)
1. Cada juez identifica las alternativas incorrectas que debera eliminar el alumno mnimamente competente (las tachadasen el cuadro).
2. La puntuacin esperada en cada tem es 1 dividido por el nmero de alternativas entre las que tendra que adivinar (las no eliminadas en el paso anterior).
3. La suma de los valores de todos los tems es la puntuacin total mnima para aprobar segn ese juez. Si un juez cree que el alumno mnimamente competente debe eliminar todas las alternativas falsas de todas las preguntas, la puntuacin mnima ser igual al nmero de preguntas.
4. La mediana de los valores aportados por los jueces es la puntuacin mnimapara aprobar.
Probabilidad de que responda correctamente el alumno
mnimamente competente
Preguntasn 1.......................................... .90n 2 .......................................... .80n 3 .......................................... .95n 4 .......................................... .30n 5 .......................................... .25n 6 .......................................... .25n 7 .......................................... .75n 8 .......................................... .50n 9 .......................................... .05n 10 .......................................... .00
Suma = 4.75Puntuacin mnima esperada = 4.75
Redondeando = 5.00
1. Cada juez estima la probabilidad de un sujeto mnimamente apto que responda correctamente cada pregunta.
Multiplicando por 100 tenemos el tanto por ciento de alumnos mnimamente aptos que responderan correctamente.
2. La suma de estas probabilidades es la puntuacin mnima de cada juez.
3. La puntuacin mnima es la mediana del conjunto de jueces.
Determinacin de la puntuacin mnima para el
apto (mtodo de Angoff)
Estos procedimientos pueden ser
especialmente tiles en exmenes con consecuencias
importantes; sobre todo cuando se desea una
responsabilidad compartida y que no dependa de una sola
persona la decisin de apto o no apto
Pensando en el alumno mnimamente competente:
Procedimiento de Nedelsky: en cada tem se evala cada alternativa
Procedimiento de Angoff: se evala globalmente cada tem
Mtodo de Angoff Pregunta a los jueces:
De 100 sujetos mnimamente competentes Cuntos cree Vd. que responderan correctamente? (no cuntos deberan responder correctamente)
O ms sencillamente:
Un alumno mnimamente competente respondera correctamente?
(S = 1, No = 0)
-
6.11. Pruebas objetivas, puntuaciones mnimas, calificacin
Pedro Morales Vallejo Universidad Pontificia Comillas, Madrid 2
Pedro Morales, Universidad Pontificia Comillas
Pruebas objetivas.Determinacin de la puntuacin mnima para el apto
(mtodo de Angoff, variante de Ebel)
Estos procedimientos admiten muchas variantes, por ejemplo
El grupo de jueces:
Discute sobre las caractersticas del alumno mnimamente competente, que sabe justo lo suficiente para el aprobado
Categoriza los temsen tres categoras:
Determina el nmero de tems que este alumno debe responder correctamente en cada categora
La puntuacin mnima se establece a partir de los anlisis anteriores
1
2
3
4
esenciales, importantesy no tan importantes
Pedro Morales, Universidad Pontificia Comillas
Pruebas objetivas.Determinacin de la puntuacin mnima para el apto
(mtodo de Angoff)
Se puede hacer algo anlogo cuando hay varias fuentes de datos (en vez de las preguntas de un nico examen):
-ejercicios-prcticas,-evaluaciones convencionales-etc.
El grupo de jueces determina la nota o nivel mnimo necesario para el apto en cada caso.
Plake, Barbara S.; Hambleton, Ronald K. and Jaeger, Richard M. (1997). A New Standard-Setting Method for Performance Assessments: The Dominant Profile Judgment Method and Some Field-Test Results. Educational and Psychological Measurement. Vol 57 (3) 400-41
Resmenes de los distintos procedimientos:
Downing, Steven M.; Tekian, Ara and Yudkowsky, Rachel (2006). Procedures for establishing defensible passing scores on performance examinations in health professions education. Teaching & Learning in Medicine, Vol. 18 Issue 1, p50-57
Measurement Research Associates (2004). Criterion Referenced Performance Standard Setting http://www.measurementresearch.com/media/standards.pdf
Case, Susan M. and Swanson, David B. (2001). Constructing Written Test Questions For the Basic and Clinical Sciences, 3rd Edition. Philadelphia: National Board of Examiners (181 pginas). http://www.nbme.org/PDF/2001iwg.pdf (pg. 112).