Las Pruebas Objetivas - 63 MODULO MODULO MODULO MODULO 5.C 5.C 5.C 5.C LA8 PRUEBA8 OBJETVA8 DE CONOCMENTO8 1Pruebas de correccin objetiva Enelapartadoanteriorvimoslaspruebasderespuestaabiertaycorreccin subjetiva,veremos,acontinuacinlasllamadaspruebasobjetivas.Eneste caso,elcorrectornohadejuzgarlasrespuestas;debe,simplemente, determinarsisoncorrectasono.Setratadeuntipodeexamenescrito estructuradoacadaalumnoselepresentanexactamentelasmismas preguntas o preguntas equivalentes-, cuyas caractersticas principales son: La presencia de un alto nmero de preguntas o tems. Las preguntas o tems se traducen en frmulas cerradas en las cuales elalumnonoelaboralarespuestasinoqueslohadesealarla respuestaobiencompletarlaconelementosmuyprecisosquese limitan a una sola palabra o frase breve (como en el caso de los tems de laguna o palabra a completar). No hay por tanto, elaboracin de la respuesta ni libertad para hacerlo. La determinacin de las respuestas aceptables o rechazables ha de ser unvocayexacta,locualdalugaraquesepuedancalificar objetivamente y significa que, independientemente de quin las valore, se llegar a los mismos resultados de medida. Las Pruebas Objetivas - 64 2Diversos usos de las pruebas objetivas. Asociamoslaspruebasobjetivasaexmenes,peroestossistemaspueden tenerotrosmuchosusos.Puedesucederquelaspruebastipotestnonos interesencomomodalidaddeexamen,peropuedeninteresarconotras finalidades.En el cuadro adjunto enumeramos una serie de usos de este tipo de preguntas. 1Testoexamenconvencional,conunnmero msomenos grande de preguntas; lo que se hace habitualmente. 2Pocaspreguntasdeciertadificultad(ydepreparacinnotanfcil) para evaluar objetivos muy especficos, como capacidad de anlisis, deinterpretacin,etc.(yparacondicionarunciertotipodeestudio enprofundidad,etc.).Estaspocaspreguntaspuedenser complemento de otras preguntas de respuesta abierta . 3Preguntasobjetivasconrespuestaabierta(comentartodaslas alternativas,escogerlacorrectayjustificarlaeleccin,etc.).En sentido propio ya no se trata de una prueba objetiva, pero el formato delapreguntapuedeservlidoparaorientarlarespuestade alumno en la direccin deseada. 4Pruebasobjetivassencillas,(puedenserdeltipoVerdadero-Falso) comoejerciciodeautoevaluacinrpida,-elprofesornorecogelos testsnicalifica;dalarespuestacorrectaenpblicoycadaalumno se corrige a s mismo.Util para verificar comprensin de lo que se acaba de explicar, al comienzo dela clase como repaso de lovisto en la clase precedente, al comienzo de un nuevo tema para ver qu saben ya los alumnos, qu piensan, etc. 5Pruebas relativamente cortas y sencillas de evaluacin formativa: no setratadecalificarsinodedarinformacinalprofesoryalos alumnos,reforzarelaprendizaje,clarificar,etc.Laspruebas objetivassencillas,yrelativamentecortas,llevanpocotiempode preparacinycorreccin,seprestanadevolverlosdatos organizados y comentados, etc. 6Pocaspreguntasbienpensadasutilizadasparadarestructuraa actividadesenlamismaclase.Lafinalidadnoesevaluaro comprobarsinofacilitarelaprendizaje(anlisisdecasosy actividades similares).Un proceso posible para dar estructura a una actividad puede ser ste: a)Respuesta individual a las preguntas; b)Discusinyrespuestaenpequeosgrupos;comoyaha habidoantesunbrevetrabajoindividualsefacilitala participacindetodos,quealmenostendrnque comunicar su respuesta inicial; c)Puesta en comn e intervencin del profesor para dar las respuestas correctas, responder a las dificultades, etc. Las Pruebas Objetivas - 65 7Preguntasobjetivasorientadasafacilitarelestudioreflexivodeun texto(ovarios)-setrataprepararmaterialdidcticodeusos mltiples,vieneaserunestudiodirigido,-porejemplo:Lodichoen el prrafo 1.1 de la pgina 25 comparado con lo dicho en el prrafo 2.1 de la pgina 23: [A] lo contradice [B] es una consecuencia [C] es una prueba[DI no tiene nada que ver 8Adaptacin de la enseanza programada: se formulan una serie de preguntas objetivas que cubren por orden todo un tema de especial inters o dificultad- al final de cada pregunta se, indica la pgina del texto (o textos) donde se encuentra la solucin correcta para que el mismoalumnosevayaautocorrigiendo.Estematerialescolar puedesertilparagarantizarelestudioorepasodedeterminados puntos,comorecursoencasodesuplencias,pararecuperaciones, etc.Si hay una hoja separada para las respuestas, el cuadernillo de preguntas se puede utilizar en otras ocasiones. 3Ventajas y limitaciones de las pruebas objetivas. VENTAJASLIMITACIONES 1 .Permitenevaluarsobreunabaseampliade conocimientos-,sepuedepreguntarsobremuchos temas. 2.Lasuertepuedeinfluirmenosqueenlaspruebas abiertasquetienenunnmeromslimitadode preguntas. 3.La fiabilidad es mayor: con otras pruebas similares los alumnoshubieranquedadoordenadosdemanera similar;diferencianadecuadamentenivelesde competencia entre los alumnos. 4.Nohaylugarparaambigedadesenlarespuestao para que el alumno responda a lo que no se pregunta; la correccin es muy objetiva. 5.Lacorreccinesfcilyrpida,-puedefacilitarsecon cartonesperforadosoconprogramasdeordenador,y tambin la puede corregir con objetividad otra persona distinta del profesor. 6.Tienengranvariedaddeaplicacionesysepueden comprobarconnitidezobjetivosmuydistintos:noslo memoria,sinotambinobjetivosdecomprensin, interpretacin, anlisis, etc. 7.Seprestaaanlisisestadsticosmuytilesque tambin pueden hacerse con programas de ordenador. 8.Tienenunvalordiagnsticodefcilinterpretacin, identificanconclaridadpuntosnosabidosono entendidos, etc. 9.Puedencondicionarunestudiointeligentesilas preguntas son las adecuadas y los alumnos conocen el tipo de pregunta para el que deben estudiar. 10.Lasmismaspruebaspuedenutilizarseenotras ocasionesolugares,oresultafcilmodificarlasya existentes. 1.Lapreparacinesmuylaboriosa;paraqueestas pruebas sean un instrumento til y eficaz de evaluacin hayqueprepararlasconcuidado,revisarmodelosde preguntas, etc. 2.Puedencondicionarnegativamenteloshbitosde estudiodelosalumnossinosepreparanbienose utilizancomomtodocasiexclusivo:memorismo,falta de visiones de conjunto, etc. 3.Aunquelasuerteenlostemaspreguntadosinfluye menos,ssepuedeadivinarlarespuestacorrectasin conocerla;tampocosedificultademaneraespecialel copiar,transmitirlarespuestaaotro,anoserquese haganvariasedicionesparalelas (alterandoelordende las preguntas, de las alternativas, etc.). 4.Nocompruebanobjetivosimportantes,comosontodos los relacionados con: a)la expresin escrita, estilo, etc. b)capacidaddeorganizacin,visionesdeconjunto, sntesis personales, etc. c)juicios personales,.originalidad, etc. d)solucindeproblemasoaplicacindenormasy mtodosensituacionesdemayorcomplejidad,o cuando se requiere justificacin personal, etc. Algunosdelosaspectosanterioresysegnsu complejidad,sepuedentambincomprobarenparte conpruebasobjetivas,peroentrminosgeneralesy aunque se trate de preguntas de calidad es un sistema limitado,que deja fuera cosasimportantes,sobretodo siseutilizacomounmtodocasiexclusivoynoest complementadoporotros(comopreguntasabiertas, trabajos hechos en casa, etc.). 5.Puedeserunsistemacaro,porlanecesidadde fotocopiarloscuadernosdepreguntasylashojasde respuesta. Las Pruebas Objetivas - 66 4Tipos de tems de las pruebas objetivas Unaprimeraclasificacindeltipodetemsobjetivosvienedadadeacuerdo con la elaboracin o bien la seleccin de la respuesta por parte del alumno. De elaboracinItems de laguna Tipo de tems Objetivos De seleccin Items de respuesta alterna Items de ordenacin Items de correspondencia Items de localizacin Items de eleccin mltiple Multitem objetivo 5Tabla de especificaciones. ObjetivosTotal ContenidoConocimientoComprensinAplicacinAnlisis Desarrollo histrico, medicin y evaluacin Autores Aportaciones 1 (1) 2 (2,3) 3 6% Conceptos bsicos Relativos a la medicin Relativos a la evaluacin 2 (4,5) 2 (6*,8) 2 (11,13) 1 (12) 7 13% Caractersticas mtricas Fiabilidad Conceptos Mtodos 1 (14) 3 (7,10*,9) 3 (21, 22,23) 5 (15,16,17,19,20) 1 (18*) 13 24% Validez Conceptos Mtodos 1 (24) 3 (26,28,32) 2 (35*,36) 5 (25,27,29,30,31) 2 (33,34) 13 24% Prueba de ensayo Caractersticas Formulacin de tems Correccin 1 (39) 1 (38) 2 (37,42) 2 (41,43) 1 (44) 7 13% Prueba objetiva Caractersticas Formulacin de tems Correccin 1 (40) 2 (45,46) 3 (52,47,49) 3 (48,50,51) 2 (53,54) 11 20% Total 10 19% 19 35% 19 35 6 11% 54 Las Pruebas Objetivas - 67 6Cmo redactar preguntas para pruebas objetivas Lascrticasquesuelenhacersealaspruebasobjetivassonmuchas,pero muchasdeestascrticasnosederivannecesariamentedelformatodelas pruebasobjetivassinodelamalacalidaddemuchasdeestaspruebas.Antesdeprepararunapruebaobjetivaestilrepasarlasnormasquela experienciadacomotiles.HaladynayDowning(1989)hanrevisado46 textos de evaluacin que vienen a coincidir, entre unos y otros, en 43 normas pararedactarbuenaspreguntasobjetivas.Aquresumimoslasnormas ms importantes. 1Loimportanteenprimerlugaresdeterminarqusedebepreguntary cmo se debe preguntar.Es muy til revisar modelos, de fcil adaptacin adiversosnivelesyasignaturas;haymuchosenbuenasobrasde evaluacin.Estarevisindemodelosesimportantesinohayprctica previa. 2Laspreguntasdebenversarsobrealgoquemerezcalapenasaber.Las preguntasobjetivas,sinoseponeuncuidadoespecial,seprestana comprobarnimiedadesypuedencondicionarhbitosdeestudiopobres, excesivamente memorsticos. Con estas preguntas se pueden comprobar con facilidad conocimientos de memoria,perotambincomprensin,capacidaddeanlisis,etc.(conlos tests de inteligencia se pretende medir inteligencia, y algo de eso se mide, ysonpruebasobjetivas).Auncuandolamateriaseprestesobretodoa unestudiobsicamentedememoria,noeslomismocomprobarel conocimientodehechosydetallesespecficosquedeprincipios,leyes, generalizaciones, etc. Si hay objetivos previamente formulados, habr que tenerlos en cuenta. 3Es til disponer de un plan previo (como las tablas de especificaciones o unplansimilar)paraqueelconjuntoseaequilibrado,yhayams preguntas de lo ms importante; de lo contrario cabe preguntar ms de lo que resulta ms fcil preguntar. la calificacin depender normalmente del nmeroderespuestascorrectas,ysihaymuchaspreguntastriviales,la nota depender de lo trivial, o de lo que es menos importante. 4Lapreguntacompletatienedoscomponentes,lapreguntapropiamente dichaylasalternativasderespuesta.Lapreguntapuedeformularse tambinenformadefraseIncompletaquesecompletaconlas alternativas de respuesta.En cualquier caso el conjunto debe equivaler a unapreguntaensentidopropio,demaneraquelasrespuestasno equivalganaunaseriedeafirmacionesinconexas.Losestudios experimentalessobreelusodeestosformatos(Crehan,1989)muestran que no hay diferencias importantes entre los mismos. 5La secuencia ms lgica para redactar las preguntas objetivas es: 1.)Redactar la pregunta o frase incompleta, 2 )Redactar la respuesta correcta; 3 )Redactar las alternativas falsas. 4)Reordenarlasrespuestasparaquelarespuestacorrectavaya variando de lugar Las Pruebas Objetivas - 68 6.Sobrelaredaccindelaspreguntas(enformadepreguntaodefrase incompleta) se puede seguir este proceso (Williams y Haladyna, 1982): 1Elprimerpasodebeserseleccionarlainformacinquemerecela penapreguntar,loquealprofesorlepareceporalgunarazn importante,-sepuedeempezarsubrayandounafrasedeltexto, determinadas palabras, etc.; hay tener en cuenta los objetivos si se han propuesto con claridad previamente, ejercicios hechos en clase, etc. 2Seseleccionainformacincomplementariadelainformacinya sealadaantes;puedensercaractersticas,consecuencias,etc.; estanuevainformacindacuerpo,completalaideasealada previamente. 3Sepiensaenlatareadelalumno,qutienequehacer,cmovaa utilizarlainformacindelapregunta,quverboqueremosque conjugue(yaqusertildisponerdeunaseriedesugerenciasya pensadasyqueequivalenaobjetivosoperativos):identificaruna reformulacincorrecta,predecirunaconsecuencia,evaluarunas conclusiones o interpretaciones, etc. 7.la pregunta propiamente dicha debe tener estas caractersticas: a)Debe ser clara, que centre la atencin del alumno.Puede contener datosoinformacinnecesariaparalarespuestaypuedehaber tambin datos comunes a varias preguntas. b)Se debe evitar una formulacin casi idntica a la del texto, apuntes, etc. para evitar un excesivo memorismo. c)No debe contener elementos irrelevantes para lo que se pide en las repuestas. d)Nodebecontenerpistasoinformacinpararesponder correctamente a otra pregunta del mismo test. e)Debeincluirlasexpresionesquedelocontrariohabraquerepetir en cada alternativa. f)No debe incluir en principio negaciones, al menos se deben utilizar concautelapreguntasnegativas(conpalabrascomono,nunca) porqueseprestanaequivocacionesaunconociendolarespuesta; siseutilizanlapartculanegativadebeirsubrayada,en MAYUSCULAS o en negrita (es decir, de manera destacada) para evitar confusiones.Los tems con formulacin negativa suelen ser dehechomsdifciles,yestoparececonfirmadoconalumnosde enseanzaprimariaysecundaria;conalumnosuniversitariosno est tan claro; les afectan menos las deficiencias en la formulacin delostems(Downingyotros,1991;analizanlasrespuestasde unos 18500 alumnos de medicina). 8.En la redaccin de las respuestas se deben tener en cuenta, en general, estas normas: 1 .Todas deben ser de una longitud aproximada (la respuesta correcta no debe ser la ms larga ... ); 2.Debenperteneceralmismombitoconceptual,-homogneas,con terminologa semejante; Las Pruebas Objetivas - 69 3.Debentenerconexingramaticalysintcticaconlapregunta propiamente dicha; 4.Sicabeunasecuenciauordenlgico(porejemploorden cronolgico, u orden alfabtico) es preferible seguir este orden en la presentacin de las respuestas; 5.Enelmodelohabitual(ypreferibleenprincipio)debehaberuna nica respuesta claramente correcta.A veces la respuesta correcta eslamejorrespuestaentrevarias;enestecaso,enelquevarias respuestaspuedenserverdaderasentrminosabsolutos,debe quedarclaroquelarespuestacorrectaloesentrminosrelativos (culeslacaractersticamsmportante, qujuicioexpresamejor larelevanciade...etc.).Endefinitivalanicarespuestacorrecta debe serio con toda claridad.La respuesta correcta no debe serlo en trminos de la opinin personal del alumno. 9Por lo que respecta a las respuestas incorrectas, 1.Cmo buscarlas: a)Unabuenafuentededistractoressonloserrorescomunes,las confusiones que por experiencia sabemos que; estos suelen ocurrir distractorestienenunvaloradicionaldiagnsticoporqueayudaa localizar los errores y dar feedback til a los alumnos; b)Enlasrespuestasapreguntasabiertassepuedentambin identificar errores y equvocos comunes que pueden sugerir buenos distractores. c)Sisehanhechoanlisisprevios,sepuedeverificarqutipode distractores funcionan mejor, cules conviene modificar. 2Qu se debe evitar en las respuestas incorrectas 1.Alternativas falsas que engaan a los alumnos que realmente saben y entienden (en los anlisis posteriores se pueden detectar fallos en la redaccin de estas preguntas). 2.Respuestas muy similares o sinnimos; si una es incorrecta, tambin lo ser la otra; 3.Expresionescomosiempre,nunca,etc.;generalmentesetratade respuestasfalsasqueelalumnoquenosabedetectaconfacilidad (sobre todo si se trata del tipo Verdadero-Falso); 4.Respuestasridculasonadaplausiblesinclusoparaqueelqueno sabe nada; 5.Respuestasquedanpistasindebidaspararesponderaotras preguntas; 6.Larespuestatodoloanterior,-sielalumnoconocequeunadelas anterioresesverdadera,slotienequeescoger(oadivinar)entre dos (la que sabe que es correcta y todas las respuestas anteriores) 7.En cambio ninguna de las anteriores puede utilizarse aunque no se debe abusar de esta respuesta.Los estudios experimentales sobre estarespuesta(Crehan,1989,mencionaunos11)tiendena presentarlasmismasconclusiones:estaalternativaderespuesta hace que las preguntas sean: Las Pruebas Objetivas - 70 1msdifcilesyenestoconcuerdancasitodoslosestudios experimentales, 2ligeramente menos discriminantes;3porlo querespectaal testcompleto,estaspreguntashacen que la fiabilidad baje algo. Esta respuesta (ninguna de las anteriores) se puede aconsejar: a)en lugar de distractores malos, a falta de otros mejores, b)en no ms de una cuarta o quinta parte de los tems, c)debe ser la respuesta correcta en una proporcin similar (en la cuarta o quinta parte de los tems que tienen esta opcin), d)enpreguntasrelativamentedifcilesyenlasquehay claramente una nica respuesta, d)en tems en los que no se preste a confusin la posible respuesta correcta enalgunadelasprimeraspreguntas,paraqueestarespuestaparezca creble (Rich y Johanson, 1990). 7 Nmero de respuestas o alternativas de los tems de las pruebas objetivas Engenerallarelacinentrenmerodealternativasenlostemsyelpoder discriminatorio de todo el test es la siguiente: a)Dosalternativas(unacorrectayotraincorrecta,verdadero-falso) discriminanmejorsolamenteenlapartealtadeladistribucin,quedan msdiferenciadoslosquesabenms(quesonquienesmenos responden al azar) pero en el resto de la distribucin, quedan todos ms indiferenciados. b)Tresalternativasdiscriminaneinformanmejorenelcentrodela distribucin (los mejores y los peores quedan menos diferenciados entre s). c)Cuatro o ms alternativas dan mejores resultados en la zona ms baja de ladistribucin,dondeeladivinaresmsfrecuenteylasalternativas falsaspuedensermsplausibles;amayornmerodealternativas quedan peor, obviamente, los que menos saben y tienden ms a adivinar. Lamayoradelostextosrecomiendancuatroocincoalternativas(una correcta y tres o cuatro falsas o distractores).La razn que suele aducirse es queconunmayornmerodealternativasdisminuyelaprobabilidadde adivinarlarespuestacorrecta.Elnorecomendarmsdetresocuatro alternativas incorrectas se debe a la dificultad de redactar respuestas falsas y a la vez plausibles. Sonmuchoslosestudiosquemuestranqueelnmeroptimoesdetres alternativas(Lord,1997a,1977b;HaladynayDowning,1985querevisan56 estudios experimentales sobre la redaccin de los tems; Haladyna y Downing 1988,conN=1.111estudiantesdemedicina;TrevisanySax,1990,y Trevisan,SaxyMichael,1994,quemuestranquelafiabilidades Las Pruebas Objetivas - 71 prcticamentelamismaentretresycincoopciones,inclusocuandose controla la capacidad intelectual de los alumnos). Enconjuntoelnmeroptimoeseldetresalternativasportodasestas razones avaladas por estudios experimentales: 1Lafiabilidadtiendeaaumentaralaumentarelnmerode alternativas (porque se discrimina mejor en la parte ms baja de la distribucin), pero a partir de tres alternativas (o cuatro todo lo ms) el aumento es mnimo y negligible. 2Laeficienciasuelesermayorcontresalternativas.Poreficiencia se entiende aqu la razn tiempo/informacin obtenida.La mxima informacin en menor tiempo se obtiene con tres, o incluso cuatro, alternativas.Msalternativasportemsuponemstiempode lecturaydecontestaraltestsinquecompenselainformacin adicional obtenida. 3Alreducirlalongituddeltestseahorratiempotantoenla preparacin del test como en su administracin. 4Contresrespuestassepuedenmantenerlascaractersticas deseablesentodotest(fiabilidad,informacinptimasobrelos examinados).Por lo que respecta a la fiabilidad, es preferible tener mspreguntasconmenosalternativasquemenospreguntascon msalternativas(cuatropreguntascontresalternativasson preferibles a tres preguntas con cuatro alternativas). 5Una razn ms para no incluir muchas alternativas incorrectas es la dificultadenencontrarunaterceraocuartaalternativaquesea incorrecta y a la vez plausible, de manera que funcione eficazmente comodistractorEsademsloquesueleobservarseconmucha frecuenciacuandoseanalizanlasrespuestas:enmuchas preguntashaydistractoresquenadieocasinadieescoge,ni siquieralosque,ajuzgarporelmismotestqueseanaliza,saben menos.Cuandohaymsdedosalternativasfalsas,raramente funcionanmsdedos,sobretodoenlosnivelesmediosy superiores. Aunquelainvestigacinexperimentalnosdicequeelnmeroptimoesde tresalternativas,unacorrectaydosincorrectas,elponertresincorrectas (cuatro en total, como es prctica corriente) puede ser prudente hasta que los anlisismuestrenqualternativasincorrectassepuedenireliminando.La orientacindeponerslodosrespuestasincorrectassuponequeestasson funcionales, es decir (Haladyna y Downing, 1988): 1Son escogidos por ms del 5 % de la muestra; 2Tienenunacorrelacinnegativaconeltotal.Esteanlisissuponetratar cada alternativa como si fuera una pregunta, con respuesta 0 1. Esto lo que se hace habitualmente con la alternativa correcta para determinar en qu grado discrimina cadatem; adems es til hacerlo con cada posible respuesta porque nos dice en qu medida el escoger una alternativa falsa est relacionado con estar bien o mal en el conjunto del test. Las Pruebas Objetivas - 72 8 Algunos esquemas para formular tems de pruebas objetivas. Estimulo: Informacin presentada en la pregunta Respuesta Eleccin entre varias alternativas, referida: o toda la informacin presentada; o toda una parte de la informacin un texto o ms de uno, citas; descripcindeunfenmenoodeuna situacin, representacingrfica,dibujo,esquema, etc., serie de datos, estadsticas, etc., ejemplos, casos, etc., etc. La informacin puede presentarse: 1.En un bloque nico, 2.Dividida en partes numeradas para identificarlas con ms facilidad; La informacin puede ser: 1.Idntica o muy parecida a la del texto, explicacin, ejercicios, etc. 2.Diferente a la vista en el texto o en clase Elqueestetipodepreguntas,basadaen unainformacinprevia,compruebe comprensin,capacidaddeinterpretar,de analizar,etc.dependernosolamentedel tipoderespuesta,sinodelanovedad relativa de la informacin. -Apropsitodelamismainformacin puedenhacersevariaspreguntasdela mismacategora(comoevaluar interpretaciones)odedistintascategoras (preguntassucesivas:escogerescuela, autor,supuestosimplcitos,conclusiones, etc.) Estasdoscolumnassepuedeninvertir: lostextos,datos,citas,ejemplos,etc., pueden ser categoras de respuesta. Estas preguntas-tipo equivalen a objetivos especficos y se pueden adaptar a diversos temas, asignaturas, etc. 1 .Identificarresumensntesiso explicacin, 2.Identificarejemplodelodichoenel texto, 3.Identificarcategoradeclasificacinen laquepuedeencuadrarsela informacinopartedeella(teora, escuela, clase, tipo, etc.), 4.Identificar interpretacin, 5.Identificarexpresinequivalente (sinnimo,reformulacin,formaverbal equivalente), 6.Identificarrepresentacingrfica adecuada, 7.Identificar consecuencias, conclusiones- extrapolar, 8.Identificarpremisas,supuestos implcitos,causas,motivaciones implcitas,etc.(loquenosedicepero se supone, etc.), 9.Identificar juicio sobre toda o parte de la informacin(verdadero,probable,falso, etc.)osobredeterminadas consecuencias,- 10.Identificarpreguntaalasqueresponde la informacin, 11.Identificardatosesenciales,olos necesariosparaunadeterminada conclusin, etc., 12. Identificarrelaciones(semejanzas, prioridades,subordinacin,efecto causa,etc.)entrelaspartesdela informacin,o valorar(verdadera,falsa, etc.) determinadas relaciones, etc. 13.Identificar orden, secuencia apropiada a los elementos de la informacin (orden cronolgico, lgico... Las Pruebas Objetivas - 73 9Ejemplos de tems. Respuesta alterna: si/no, verdadero/falso V/ F La prueba P tiene una fiabilidad de 0,84 y una desviacin tpica de 8. El error tpico de medida es 4 Es un tem de aplicacin de conocimientos para la resolucin de un problema V/FElmrmol,raramentecontienefsilesporquesetratadeunaroca ignia metamrfica Es un tem de comprensin de relacionas causa-efecto. V/FSIMCD(P(x),Q(x)=1,entoncesP(x)oQ(x)=0handetener todas sus races simples V/ F La ecuacin 5 x3 + 3 x2 + 3x 1= 0 tiene nada ms una raz positiva. Para la resolucin de estos tems, los alumnos tienen que comprender El mtodo de bsqueda de races mltiples de un polinomio. V/ F Si sometemos a vitropresin unos SCAULS rojos y vemos que estos tienden a desaparecer, podemos decir que se trata de un eritema. V/ F La manifestacin clnica ms evidente de insuficiencia renal aguda de origen obstructivo, se denomina anuria Para poder resolver estos tems, el alumno ha de recordar una informacin. Cules de las siguientes enfermedades son producidas por virus? SarampinV / FPaperasV / F DifteriaV/ FVaricelaV / F MalariaV/ FTuberculosisV / F EsuntemderecuerdodeinformacinqueagrupadiferentesV/F.Estetipodetemspermite integrar diferentes aprendizajes puntuales. Items de emparejamiento o correspondencia Acontinuacinsepresentanunalistadeestructurasdelcortexhumanoy de sus correspondientes funciones. Para cada estructura, colocad dentro del parntesiselnmeroquecorrespondeasufuncin.Dosdelasfunciones quedarn sin nmero. 1.Esresponsabledelentendimientodel lenguaje hablado y escrito. 2.Coordinalosmsculosutilizadosenla produccin del habla. 3.Contiene el crtex visual primario. ( ) Area de Broca. ( ) Lbulo frontal. ( ) Lbulo occipital. Las Pruebas Objetivas - 74 4.Controlalascontraccionesvoluntariasde los msculos del esqueleto. 5.Contiene las reas sensorio-somticas. 6.Recibemensajesaferentesdelapiely superficie del cuerpo. 7.Contiene el rea auditiva primaria. () Lbulo parietal. ( )Lbulo temporal () Area de Wernicke En este tipo de tem el alumno ha de reconocer una serie las diversas partes del cortex humano, conocer sus funciones y relacionar estos dos tipos de informacin. Items de eleccin mltiple Culesdelassiguientesafirmacionesreferidasalostemsdeeleccin mltiple son ciertas? 1.En la base del tem se ha de especificar lo que se demanda al alumno. 2.Son tems adecuados para medir la capacidad de expresin del sujeto. 3.Todas las alternativas han de ser gramaticalmente congruentes con el tronco. 4.Su correccin puede ser subjetiva 5.Su elaboracin consume bastante tiempo. a) 1,2 y 4b) 2,3,4 y 5c) 1 y 5d) 1,3 y 5 Si a, b y c son nombres reales, cules de los siguientes enunciados son necesariamente verdaderos? 1.S a < b ab0, entonces 1/a > 1/b 2.Si a< b,entonces ac < bc para todas las c. 3.S a < b, entoncesa + c -b. a) Slo la 1b) Slo la 1 y la 3c) Slo la 3 y la 4 d) Slo la 2, 3 y 4e) La 1,2,3 y 4 Cul de las siguientes tcnicas es ms sensible para describir un pequeo VESSAMENT pericardiaco? a)La radiografa de trax. b)La ecocardiografa. c)La electrocardiografa d)El cateterismo cardiaco. e)La auscultacin cardiaca. Qu procedimiento sencillo puede permitir distinguir si unos SACULS rojos son de origen vascular (eritema) o hemtico (petequias)? a)El raspado de su superficie. b)La distribucin a lo largo de la piel. c)La vitropresin. d)La presencia o no de PRUIJA De las siguientes afirmaciones relativas a la acalasia tpica idioptica, indique cual/es son verdaderas. 1.Se detectan alteraciones histopatolgicas en el vago. 2.Se observa ausencia de aire en el FUNDUS gstrico en el exmen radiolgico. 3.Cursa con una hipertonia del esfnter esofgico superior. 4.Presenta sntomas de denervacin del vago en la pared del esfago. 5.No aparecen casos familiares. a) 2,3 y 5b) 1,2 y 4c) 1 y 5d) 2,3 y 4 Las Pruebas Objetivas - 75 En relacin con la angina de pecho tpica, indicad las tres caractersticas fundamentales respecto a la localizacin ms frecuente del dolor, su duracin y tratamiento. a)Dolor retroesternal, duracin menor de 20 minutos y cede espontneamente o despus de la administracin de nitroglicerina sublingual. b)Dolor precordial, dura algunas horas y no cede despus de la administracin de nitroglicerina sublingual. c)Dolor retroesternal, duracin mayor de 20 minutos y no cede con la nitroglicerina sublingual. d)Dolor precordial, dura algunos das y cede despus de la nitroglicerina sublingual. Enid has been here ____________ half an hour. a) duringb) forc) whiled) since Ejemplo de un tem de espacio en blanco (laguna) Deficiente. El____________divergenteesunamanifestacindeunalesindel _______ocular comn de un lado. Mejorado Lalesindelmotorocularcomndeunladosemanifiestaporel ____________divergente. El hecho de incluir dos lagunas, una de estas al comienzo de la frase, obliga al alumno a leer el tem completo para saber qu se le pide y, adems, hace que no se entienda el tem. Multiitem objetivo Ejemplo 1 Problema1.Laenergapotencialdeuncuerpoforzadoamoverseen lnea recta es kx4 dnde kes una constante. La posicin de este cuerpo es x, su velocidad v, su momento lineal p y su masa m. Item1. En relacin al problema 1 la fuerza en el cuerpo es: a) mv2b) 4x3 c) kx4d) kx5/5e) mg Item2. En relacin al problema 2. La funcin Hamiltoniana para este sistema es: a) p2/2m + kx4b) p2/2m kx4c) kx4d) mv2 kx4e) mv2 Las Pruebas Objetivas - 76 Ejemplo 2 El siguiente diagrama ilustra las condiciones requeridas y suministradas para una industria competitiva. La recta del costo privado marginal describe el costo de unidades de produccin de out-puts sin incluir los costos de polucin. La recta del costo social marginal describe el costo de unidades de produccin de out-puts con la inclusin de los costos de polucin. Item 1: con relacin a la situacin A. Un sistema que impone tasas de polucin ptimas podra conducir a: OutputPrecio (incluyendo tasa de polucin) Tasa de polucin a)OIOBAB b)OIODBD c)OLOCAC d)OLOCHG e)OLLJKJ Item 2: En relacin a la situacin A. S el gobierno no regula la polucin cual ser el resultado? OutputPrecioPerdida de bienestar para la sociedad a)OIOBAHFD b)OIODADF c)OLOCFKH d)OLOCFJK e)OLLJFJK Ejemplo 3 Tabla B de matrices de respuestas de una prueba formada por 6 tems (el 6 y el 7 de eleccin mltiple) aplicada a 10 sujetos, en la cual los signos 1, 0 y expresan aciertos, errores y omisiones respectivamente. l/ | I 1 | | | 1 I K |||z1l11z1 |l |1sl1 s1s|z| mzr|1z| |1sl1 ;r|rz11 mzr|1z| smz1z1z Las Pruebas Objetivas - 77 tems 67 Sujetos 12345 abc*ab*c 11011111 2111-11--- 311110---1 41-10111 51101011 61101101 71011100 81101000 90101010 101000001 Item 1:A partir de la Tabla B. Cul es el mejor ndice de discriminacin que puede tener el tem 2? a) 0,6 b) 0,8 c) 0,9 d) 1 Item 2: A partir de la Tabla B. Entre los diferentes tems de la prueba, hay algn tem que habra de ser eliminado? a) 1 b) 6 c) 4 d) 5 Item3:A partir de la Tabla B. Deseamos comparar los tems 1 y 7 respecto a su discriminacin, Cul de las siguientes afirmaciones es la correcta? a)Los dos tems discriminan por igual. b)El tem 1 es lo ms discriminativo que puede ser, mientras que el 7 no los es. c)El 1 tiene un ndice terico de discriminacin mayor que el 7. d)El 7 tiene menos poder discriminativo que el 1. Item 4: A partir de la Tabla B, Cul es el ndice de homogeneidad del tem 3? a)0,45b) 0,63 c) 0,71 d) 0,59 Item 5: A partir de la Tabla B Cul es el ndice de facilidad de la prueba? a) 54% b) 73%c) 61% d) 43% Ejemplo de un tem de correspondencia Deficiente Relacionad los siguientes estadsticos con sus conceptos correspondientes: Media Moda Desviacin tpica Mediana Es el valor que ocupa la posicin central de un conjunto ordenado de datos. Es el valor medio de un conjunto de datos. Es el valor ms frecuente de una distribucin. Indica la dispersin de los datos en torno a la media. Las Pruebas Objetivas - 78 Nejorado Relacionadlossiguientesestadisticosconsusconceptoscorrespondientes, colocando dentro del parntesis que se encuentra al lado de cada estadistico el numero de su correspondiente concepto. Sobran dos estadisticos: ( ) Nedia ( ) Noda ( ) Desviacin tipica ( ) Nediana ( ) Percentil 30 ( ) Quartil 1 ( ) Nediana Es el valor que ocupa la posicin central de un conjunto ordenado de datos. Es el valor medio de un conjunto de datos. Es el valor mas frecuente de una distribucin. Indicaladispersindelosdatosentornoala media. En el item deficiente no aparecian instrucciones de respuesta y las dos columnas contenian el mismo numero de elementos. Ejemplo de un tem de eleccin mltiple Deficiente Los items de eleccin multiple se caracterizan por tener diversas alternativas de respuesta. Una ventaja de este tipo de items es: a)Que son faciles de corregir b)Que son faciles de elaborar. c)Que son aptos para medir la expresin oral del sujeto. d)Que son adecuados para medir la memoria. e)Ninguna de las anteriores Nejorado Una ventaja de los items de eleccin multiple es: a)Su facilidad de correccin. b)Su facilidad de elaboracin. c)Que son aptos para medir la expresin oral del sujeto. d)Su adecuacin para medir la memoria. En la formulacin deficiente, se le da al alumno una informacin totalmente innecesaria para la respuesta, la alternativa ninguna de las anteriores es incorrecta e innecesaria y tal y como se formulalapregunta,laexpresinquesondelasalternativassehabradepresentarenel tronco del tem. Las Pruebas Objetivas - 79 Preguntas basadas en la interpretacin de datos o informacin nueva con idnticas respuestas en todas las preguntas Ejemplo 1 Un ejemplo de este tipo es el ofrecido aqu, tomado tambin de la taxonoma deBloomycolaboradores.Deltextoinicialpuestocomobaseparalas preguntas reproducimos solamente el final. Respuestas comunes a todas las preguntas A.Laafirmacinesciertaysucertezaestconfirmadaporla informacin ofrecida en los prrafos anteriores B.Laafirmacinesciertaperoestacertezanoestconfirmadaporla informacin ofrecida C.Laafirmacinesfalsaysufalsedadestcorroboradaporlosdatos presentados en estos prrafos D.La afirmacin es falsa, pero esta falsedad no est demostrada por la informacin que se da en el texto anterior Afirmaciones (preguntas) 49.Losproductoresmarginalessevenmenosafectadosporun impuesto sobre la venta que por el que se carga sobre la renta. 50.Alosproductoresnomarginaleslesedifciltransferirunimpuesto sobre la renta lquida a cargo del consumidor bajo laforma de una elevacindeprecios,porqueentalcasolosconsumidores tenderanaacudiralosproductoresmarginalesparaefectuarsus compras. En las respuestas se combinan realmente dos respuestas: Afirmacin cierta o no, y probada o no en la Informacin aducida. ... un impuesto sobre las ventas por otra parte, provoca un alza en los costosdeproduccindelosproductoresmarginales,despertandoen ellosciertatendenciaaabandonarlaproduccin,anoserquesea posible transferir dicho impuesto al consumidor bajo la forma de un alza deprecios.Sillegaaproducirseunabandonodelaproduccin, disminuirnlasexistenciasyaumentarnlosprecioshastaabsorberlos impuestos sobre la renta. (Tomado de Introduction to Social Science, de Atterberry, Auble, Hunt y otros). El esquema de estas preguntas es el mismo: Informacin nueva, datos, etc. Interpretaciones(oconclusiones,etc.,quesonlaspreguntas presentadas al alumno). Repuestas comunes a todas estas preguntas. Las Pruebas Objetivas - 80 Ejemplo 2 En este otro ejemplotenemos una informacin y una conclusin; podramos aumentar el nmero de preguntas aadiendo ms conclusiones; El esquema es bsicamente el mismo. Seale la respuesta correcta, y referida a la conclusin. A.Es cierto, pues el tipo penal de las lesiones no prev este supuesto, y por lo tanto no se puede castigar. B.Escierto,pueslameraayudaoconsejo,sinintervencinenlos hechos, no se castiga. C.No es cierto porque la jurisprudencia interpreta que el que convence a otro para cometer un delito debe ser castigado. D.Noescierto,porqueenellibro1delCPseprevlaresponsabilidad del inductor y segn ello aqu sera de aplicacin. E.Escierto,puesaunqueseestablezcaenellibro1delCP responsabilidad al que induce, no entra en juego cuando en el tipo-se describe claramente la conducta que ha de ser castigada. Ejemplo 3 Pregunta:Identifica la poca histrica descrita en cada una de estas descripciones: Cada descripcin (las reproducimos parcialmente) es una pregunta. 1.Elindividualismoylaviolenciaconformaronelestilodelapoca.Confrecuenciaelindividualismotomlaformadeunapasin criminal por conseguir el poder poltico.Pero tambin haba violencia enlapasinconqueloshombresdeletrassededicaronalestudio del latn y del griego... 2.Lo caracterstica de este perodo fue la bsqueda de libertad. , /,'- libertad frente a la supersticin, frente a la intolerancia la filosofa fu suplantada por la ciencia 3.En esta poca se buscaba la glorificacin de Dios, y se consideraba que la vida slo era una peregrinacin o camino para ir a la otra Estasdescripciones(msampliaseneltextooriginal)contienenactitudes, ideales...quelosalumnosdebenasociarcondeterminadostiemposy perodos. Informacin:Segn el artculo 420 del CP es reo de lesiones el que hiriere,maltrataraogolpearedeobraaotro.Segnesteartculo nicamenteserresponsablepenalmenteelquehacausado materialmente las lesiones. Conclusin.-Porlotantoquedaraimpunelapersonaquemotivay con- Las Pruebas Objetivas - 81 Respuestas comunes a todas las descripciones A.La Edad de Oro de Grecia B.Comienzos de la Edad Media C.El Renacimiento D.La Ilustracin E.Comienzos del siglo XIX Estas descripciones se prestan a hacer ms preguntas sobre estos perodos, por ejemplo: Culdelossiguientespersonajesreflejamejorlosidealesdela poca reflejada en la descripcin n.2? Culdeestasescuelasfilosficasflorecienlapocaque corresponde a la descripcin n.3? De manera anloga, en lugar de describir pocas, se pueden poner citas que expresandeterminadasvisionesdelmundo,posturasfilosficas,teoras econmicas, etc. Una misma descripcin puede servir de base para hacer varias preguntas: Qu autor estara de acuerdo con lo dicho en el prrafo 2? -Cul es elprincipiosubyacentequehabraqueaceptarparasostenercomo verdaderolodichoen...?-Culdeestasconsecuenciases coherente con lo afirmado 10Correccin de pruebas objetivas Cuandocalificamosunapruebaobjetiva,podemosobtenerdostiposde puntuaciones: Una puntuacin directa que se obtiene otorgando un punto a cada uno de lostemscorrectamentecontestados,enelsupuestodeque todoslostems de la prueba cuenten igual. Unapuntuacincorregidaqueseobtieneeliminandolainfluenciade adivinar por azar las respuestas correctas. En todas las preguntas de eleccin mltiple, el alumno tiene una probabilidad de acertar la pregunta por azar. Esta probabilidad est en funcin directa del nmero de alternativas. Si hay dos alternativas, la probabilidad ser del 50%, si hay cuatro del 25%, etc. Esta influencia del azar se puede eliminar, al menos desde un punto de vista matemtico,aplicando un factor corrector. E Puntuacin corregida = A - (n-1) Las Pruebas Objetivas - 82 Siendo: A = nmero de respuestas acertadas. E = nmero de respuestas errneas. N = nmero de alternativas de respuesta de cada tem. Laformulaanteriorsejustificatericamentedeformainmediatabajoel principiodequeunalumno,quedesconocetotalmenteladisciplinasujetaa prueba,acertarasirespondiesetodoslostemsalazarN/ntems,por trmino medio, siendo N el nmero total de tems de la prueba. Sidefinimosaprioriquecreemosquelapuntuacindeestealumnohade ser =, y as lo instrumentamos aplicando un factor de correccin K al nmero de respuestas errneas, se ha de cumplir: A K. E = 0de dndeK = A / E Como, por otra parte, evidentemente se verifica: N=A+Ealhaberrespondidoestealumnotericoatodoslostems,se tendra: AN/nN1 K = N A = N N/n = nN N = n - 1 A pesar de todo, este sistema tiene detractores por considerar que reduce el razonamientodelalumnoaltenerqueestaratentoanocometererroresya queesmejordejaruntemenblancoquedarunarespuestaerrnea.Hay autores que corrigen la frmula anterior incluso premiando las omisiones. E0 Puntuacin corregida = A - n-1 + n Siendo 0 = el nmero de omisiones. Esta ltima frmula se basa en el hecho de que las omisiones efectuadas por miedoanocometererroresyserpenalizadasenconsecuencia,sehabran acertado 0/n si hubiesen respondido al azar. EnNuestraopinin,asmismo,sedecantaporlaprimerafrmula,yaque hemosestudiadoestadsticamenteeltemayhemosllegadoalaconclusin de que si el alumno conoce la materia, la penalizacin acta muy dbilmente ya que un alumno no se enfrenta a un tem con una probabilidad 1/n sino con unamuysuperioryaquehayalternativasquedesestimadeentrada.Enel casocontrario,elregalodeaciertosalosalumnosmenosestudiososes muy elevado como para ignorarlo. Entodocaso,antesdeaplicarunapruebaobjetivasehadeinformaral alumnosiseutilizaronolacorreccinporazar,yaqueesoinfluiraenla manera de resolver la prueba. Las Pruebas Objetivas - 83 11De la puntuacin a la calificacin. Una vez corregida la prueba, independientemente del hecho de que se haya tenidoonoencuentalaadivinacinporazar,esnecesariotransformarla puntuacin directa en algn sistema de calificacin. Esta conversin se puede realizar de diferentes maneras, pero existen dos procedimientos bsicos: a)Utilizar un sistema de conversin criterial. En este caso ser el profesor (o el conjunto de profesores) quin fijar a priori el nivel de realizacin mnimo aceptable. b)Utilizarunsistemadeconversinnormativo.Eselgrupoalquesele aplicalapruebaelquemarcalapautadeconversinsegnsugrado de ejecucin. Ejemplos Supngase una prueba objetiva formada por 46 tems. A partir de esta prueba seindicandosformas(A1yA2)derealizarelprimertipodeconversiny otrasdosformas(B1yB2)paraelsegundotipodeconversin.Entodos estos casos se utilizan los siguientes smbolos y convenciones: PC=PuntuacinConvertida.Puntuacionestransformadasenuna escala de 10 puntos. PD =Puntuacin Directa. Entendida en este caso como el equivalente alnmerodetemsacertados,aunquetambinsepodrautilizarla puntuacindirectacorregidoelazarounapuntuacindirectaobtenida por ponderacin (si los tems tienen diferente peso dentro de la prueba). p.t.= Puntuacin de corte. Fijada segn el nivel mnimos de realizacin considerado aceptable. ni = Nmero total de tems de la prueba. A) Utilizando un sistema de conversin criterial. FormaA1:Eslaformamssimpleysencilladehacerlareconversin. Consisteenrepartirproporcionalmentelaspuntuacionesdirectasentrelas puntuaciones convertidas (vase el Grfico A1) 5 0 p.t=23 N de aciertos PD Calificacin PC 00 10,22 .. 61,22 .. 183,91 194,12 .. 235 .. 275,87 286,09 .. .. 326,96 .. 378,04 .. 439,35 .. 4610 As, un sujeto que acierte 37 tems obtendr una calificacin de: 37 PC = 46 X 10 = 8,04 PC 10 46PD Grfico A1 Las Pruebas Objetivas - 84 En este procedimiento la p.t. se conseguir siempre contestando bien la mitad de los tems de la prueba. Launidaddelsistemadecalificacinseobtendrdividiendolacalificacin mxima entre el nmero de tems. En este caso 10:46 = 0,218 La calificacin o PC de cada sujeto se obtiene: PD PC = ni x10 FormaA2.Elprofesorpuedeconsiderarqueparalasuperacindeuna pruebaelalumnotienequehaberrealizadocorrectamenteun55,60,65%, etc. De los tems de la prueba. A continuacin se desarrolla este ejemplo bajo el supuesto de que se haya fijado este nivel mnimo de realizacin en el 60%. Esto hace que la p.t sea la PD igual a 27,6 (el 60% de 46). Aunque se siga el mismoprocedimientodeconversinproporcional,varalaformadehacerlo segn el sujeto obtenga una PD por debajo (g1) o por encima (g2) de la p.t. (vase el grfico 2) 5 0 p.t=27,6 La conversin de puntuaciones queda tal como muestra la Tabla A2. En estos dos ejemplos A1 y A2 la transformacin se hace de forma totalmente arbitraria.Elsistemasesustentasloenelcriteriodecadaprofesor.Un sujeto podr aprobar con ms o menos facilidad segn el profesor sea ms o menos exigente. Aunque se supone que ha reflexionado sobre su decisin no hacontadoconningnotrotipodeinformacinquejustifiquelaadecuacin de su criterio. B) Utilizando un sistema de conversin normativo. En esta segunda forma es el grupo al que se aplica la prueba el que marca la pauta de conversin. Se indican dos formas de hacerlo. FormaB1)Elprofesordecidequesealamediadelaspuntuaciones obtenidasporlosalumnoslaquesealeelnivelmnimoderealizacin. Partiendodelsupuestodequeenelejemploanteriorseobtieneuna puntuacin media de 21,5 y una desviacin tpica de 6,6. La p.t. queda fijada en 21,5. La conversin de PD en PC es similar al caso del ejemplo A2, pero sesubstituyeelp.t.procedentedelcriterioderealizacinmarcadoporel profesor por la puntuacin media obtenida por el grupo. PC 10 46PD g1g2 Grfico A2 N de aciertos PD Calificacin PC 00 10,18 .. 61,09 .. 183,26 193,44 .. 274,89 p.t. = 27,6 285,11 .. 326,20 .. 377,55 .. 439,40 .. 4610 PD = 8 18 PC = 27,6 X 5=3,26 PD = 37 37-27,6 PC = 5 + 46-27,6 x5=7,55 Tabla A2 La calificacin de los sujetos para cualquier p.t se obtendr: En el g1: PD PC = p.t x5 En el g2: Pd-pt PC = 5 +N1 -pt x 5 N de aciertos PD Calificacin PC 00 10,23 .. 61,4 .. 184,19 194,88 Media = 21,5 225,1 p.t. = 27,6 296,55 .. 327,15 .. 378,18 .. 439,41 .. 4610 PD = 18 18 PC = 21,5 X 5=4,19 PD = 37 37-21,5 PC = 5 + 46-21,5 x5=8,18 Tabla B1 Las Pruebas Objetivas - 85 LacalificacindelosalumnossegnquesuPDestepordebajo(g1)opor encima (g2) de la media se obtendr: PD En el g1: PC = Media x5 PD - Media En el g2: PC = ni Media x5 FormaB2)Sielprofesordeseautilizarunsistemadepuntuacinquetenga en cuenta no slo la puntuacin media sino tambin la dispersin de los datos en torno a la media, puede utilizar diferentes sistemas de calificacin. Aqu, y a modo de ejemplo, se recogen las estaninas por el hecho de ser un tipo de puntuacin que se parece bastante a la escala que habitualmente se utiliza de 10 niveles de calificacin. En este tipo de calificacin se supone la normalidad deladistribucindepuntuacionesdirectas.Consisteendistribuirelcontinuo de puntuaciones directas en 9 intervalos o estaninas de tal manera que: Cada una contiene media desviacin tpica. La estanina central (5) se sita a ambos lados de la media aritmtica. Laprimerayltima(1y9)quedanabiertasyenconsecuencia contienentodaslasPDqueseencuentransituadasamsde1,75 desviaciones tpicas por debajo o por encima de la media. La estanina correspondiente a la PD de cada sujeto se obtiene redondeando al entero ms prximo el resultado de la siguiente frmula: PD Media E = 5 + 2 ( S ) LaTablaB2presentalaconversindepuntuacionesdelapruebadelos ejemplosanterioresformadapor46temsconunamediade21,5yuna desviacin tpica de 6,6 PDEstanina As,porejemplo,unsujetoquecontest biena18tems,tendrunaestaninaigual a: 18 21,5E = + 2 (6,6 ) = 3,94 = 4 PD 9,95 9,95 < PD 13,25 13,25 < PD 16,55 16,55 < PD 19,85 19,85 < PD 23,15 23,15 < PD 26,45 36,45 < PD 29,75 29,75 < PD 33,05 PD > 33,05 1 2 3 4 5 6 7 8 9 Tabla B2 Los programas que se utilizan habitualmente en la correccin mecanizada de pruebasacostumbranaproporcionarestetipodepuntuacionesnormativas, delamismamaneraqueindicansiladistribucindepuntuacionesse distribuye o no segn la ley de la curva normal. Las Pruebas Objetivas - 86 Enestosdosejemplos(B1yB2)elprofesortieneencuentaelnivelde ejecucin real del grupo que realiza la prueba pero el sistema de calificacin sigue siendo totalmente arbitrario ya que depende, no solo de lo que el sujeto escapazdehacersinotambindeloquehaceelgrupo.Sepodraprobar conunamayoromenorfacilidadsegnelgrupohayaaprendidomuchoo poco. Entrelasdosformasdeconversindepuntuacionestratadas,criterialy normativa,eslaprimeralaqueseconsideramsidneaparalaevaluacin de aprendizajes, si se cuenta con el soporte de otro tipo de informacin. Se pueden producir dos tipos de situaciones: 1 -Una, en la cual el profesor, en el momento de aplicar la prueba, no cuenta conningntipodeinformacinpreviasobreestaolostemsquelaforman. Nolahaaplicadoanteriormenteydesconocelofcilodifcilquepueda resultar para el grupo. En este caso se puede apoyar en la informacin que le proporciona la propia prueba (anlisis de tems, informacin normativas, etc.) ydeacuerdoconestaajustarsucriteriodemaneraqueseamsrealistay satisfactorio. 2 La otra, en la cual el profesor tiene una informacin previa de la prueba o delostemsquelaformanporqueestosyahansidotestadosenotras ocasiones.Estainformacin,juntamenteconlaqueproporcionarlaprueba una vez corregida y con la reflexin previa sobre el tipo de aprendizajes que mide,ayudaralarealizacindelaevaluacincriterialmsconsistentey fundamentada. 12 Anlisis de tems en las pruebas objetivas Las pruebas objetivas se prestan a hacer una serie de anlisis de inters.Por qu puede ser de inters el analizar las pruebas objetivas: 1Para ir mejorando su calidad.Estos anlisis aportan informacin no yasobrelosalumnos,sinosobrecadaunadelaspreguntas.El hacer una buena prueba objetiva, incluso una mala prueba objetiva, suponeuntiempoyunesfuerzoquehayquehacerrentables.Si acumulamos experiencia sin hacer nunca ningn anlisis, podemos estarhaciendopruebasobjetivasdecalidadmuymediocre.La informacin que nos dan estos anlisis nos permite ir mejorando las pruebas sucesivas que vayamos haciendo. 2Algunosdeestosanlisisaportaninformacintilparacomentarla conlosmismosalumnos,ydarlesunfeedbackmatizadosobresu aprendizaje.Tambin hay datos que pueden influir indirectamente ennuestroscriteriosdecalificacin;almenosdisponemosdeuna informacin ms completa y fcil de entender. Porotrapartetodosestosanlisissonfcilmenteprogramabas,ysi utilizamos una hoja de respuestas de lectura ptica y un programa adecuado deordenador(programasqueesfcilpreparar),casisindarnoscuenta Las Pruebas Objetivas - 87 podemosacumularunainformacinmuytil,inclusoparatrabajosde investigacin. Caben en primer lugar los clculos y anlisis estadsticos ms convencionales y referidos a todo el test, como es el de coeficiente de fiabilidad (que indica en qumedidaenexmenessemejanteslosalumnoshubieranquedado ordenados de manera parecida) y el error tpico (que viene indicar el margen probable de oscilacin de las puntuaciones de unas ocasiones a otras).Aqu prescindimosdeestetipodeanlisisynoslimitamosalosanlisisms frecuentes y sencillos que suelen hacerse con cada pregunta o tem. 12.1. Anlisis de las diversas alternativas Esteanlisisesmuysencilloyaportaunainformacindeintersquese interpretaconmuchafacilidadydemaneraintuitiva.Posiblementeesel anlisisenprincipiomstilparaelprofesor.Setratadeorganizarlas respuestas de manera que permitan una reflexin rpida sobre las preguntas y los alumnos. El proceso es el siguiente: 1Seordenanlossujetosdemsamenossegnsupuntuacintotal enlaprueba(nmeroderespuestascorrectas,nopornotas)yse seleccionan el 25 % con puntuacin total ms alta (grupo superior) y el 25 % con puntuacin total ms baja (grupo inferior). 2Setabulanlasrespuestasdeestosdosgruposencadatem,de maneraquesepuedavercuntosdecadagrupo,superiore 'inferior, han escogido cada opcin. Estatabulacindelasrespuestasseprestayaamuchasobservacionesde inters para el profesor que ha redactado los tems.Lo veremos mejor con un ejemplo ficticio. Enesteejemplosuponemosquetenemos40alumnos,delosquehemos escogido 10 con el total ms alto y los 10 con el total ms bajo.En la tabla adjuntatenemoscmosehandistribuidolasrespuestasentrelascuatro opciones de cada pregunta: en el supuesto numerador tenemos el nmero de alumnos del grupo superior que ha escogido cada opcin, y debajo el nmero dealumnosdelgrupoinferiorquehaescogidoesamismaopcin;la respuesta correcta est sealada con un asterisco. Alternativas (la respuesta correcta se indica con*) 10*000 Item n 1 0208 55*00 Item n 2 1072 6022* Item n 3 1108 Las Pruebas Objetivas - 88 Estameratabulacindefrecuenciasseprestayaaunaseriede consideraciones: Itemnl:Laalternativacorrecta(laA)lahanescogidotodosysoloslosdel gruposuperior:setratadeunapreguntaquediscriminamuybien.Losdel grupoinferiorsehanidocasitodosalaopcinD:esunabuenaalternativa incorrecta, que atrae al que no sabe o no entiende; sabemos dnde o porqu fallanlosquesabenmenos(quconfundenconqu...).Estapresentacin de los datos puede tener un claro valor diagnstico.La alternativa C no la ha escogidonadie,nisiquieradelosquemenossaben.Enotraedicin convendr modificarla, y si observamos que con frecuencia hay alguna opcin quenolaescogenadie,podremospensarenpasardecuatroatres alternativas. Itemn2:Losquemssabensedistribuyenentredosalternativas,laB (correcta)yA.Esposiblequelasdosseancorrectas,quelapreguntasea ambigua ... La opcin C tambin es un buen distractor que atrae a los que no saben. Itemn3:Aqutenemosunresultadoanmalo:losqueaciertansonsobre todo los que menos saben.El grupo superior prefiere la opcin A (incorrecta).Preguntaquepodemoshacernos:estarmallaclavedecorreccin?En cualquiercasounapreguntaquefavorecealosquemenossabenesen principio una mala pregunta y habr que examinarla. Naturalmentenohayinterpretacionesautomticas,peroestatabulacin puede decir mucho al profesor que conoce sus propias preguntas.Lo mismo paracomentarresultadosenclase,comoparairmejorandosusItems,esta simple tabulacin de las respuestas puede ser muy informativa. 12.2. Indices de dificultad y discriminacin Estosndicesnosecalculancontodalamuestrasino,comoenelcaso anterior, con el 25 % con una puntuacin total ms alta en todo el test y con el 25%conunapuntuacintotalmsbaja.Elnmerodesujetosenambos grupos es por lo tanto el mismo; slo se analizan las respuestas del 50 % de los alumnos. Smbolosutilizados: N =nmerodesujetosenunodelosdosgrupos(losdosgrupostienenidntico nmero de sujetos) N + N=nmero total de sujetos analizados AS =nmero de acertantes en el grupo superior (con puntuacin total ms alta) Al =nmero de acertantes en el grupo inferior (con puntuacin total ms baja) Indice de dificultad AS + AI Df = N + N Las Pruebas Objetivas - 89 Indica la proporcin de aciertos (tanto por ciento si multiplicamos por 1 00) en la muestra de alumnos que estamos utilizando (el 50 % del total, los dos 25 % con puntuaciones totales extremas). Estendiceeslamediadeeste50%.TambinlamediadelItem,obtenida contodalamuestra,nosindicaelgradodedificultad(mediamsalta,tem msfcil),sinembargoestendicesueleutilizarserutinariamentejuntocon los ndices de discriminacin. Eltrmino ndicededificultadseprestaaequvocos:unndicemayorindica una pregunta ms fcil (mayor proporcin de aciertos), no ms difcil. Indice de discriminacin 1 AS - AI Dc1= N Es el ndice ms utilizado y equivale a una estimacin de la correlacin tem-total.Indica la diferencia entre dos proporciones: proporcin de aciertos en el gruposuperior(AS/N)menosproporcindeaciertosenelgrupoinferior (Al/N).Indicahastaqupuntolapreguntadiscrimina,establecediferencias, contribuye a situar a un sujeto en el grupo superior o inferior Si todos responden correctamente (pregunta muy fcil), tendremos que N N N= 0 Si todos se equivocan (pregunta muy difcil) tendremos que 0 0 N= 0 Laspreguntasmuyfcilesomuydifcilesnodiscriminan,noestablecen diferencias; nos dicen que todos saben o no saben la pregunta, pero no quin sabe ms y quin sabe menos. Si todos y solos los del grupo superior aciertan la pregunta, tendremos que: N 0 N= 1 Si acertaran solamente los del grupo inferior tendramos que 0 N N= 0 Las Pruebas Objetivas - 90 Por lo tanto 1 y -l son los valores mximos de este ndice.Las preguntas con discriminacin negativa favorecen al grupo inferior y en principio deberan ser revisadas(posibilidades:malformuladas,ambiguas,errorenlaclavede correccin, etc.) Las preguntas que discriminan mucho (diferencian bien a los que saben ms delosquenosabenmenos)tiendenaserdedificultadmedia.Enelcaso anterior(discriminacinmximaporqueaciertansloytodoslosdegrupo superior) tendramos que el ndice de dificultad sera: N 0I Df= N + N = ,50 Unalimitacindeestendiceestenqueelvalormximode1slose alcanza cuando aciertan todos los del grupo superior y se equivocan todos los delgrupoinferiorPuedehaberpreguntasquediscriminanbienperoson difciles(yfallanalgunosdelgruposuperior)osonfciles(ylasaciertan algunos el grupo inferior).Por estas razones algunos prefieren el otro ndice dediscriminacinqueexponemosacontinuacin(Dc2),aunquesepueden programar y utilizar los dos. ndice de discriminacin 2 AS Dc2= AS + AI Este ndice indica la proporcin de aciertos en el grupo superior con respecto al nmero total de acertantes.Puede considerarse satisfactorio si es superior a .50: ms de la mitad de los acertantes pertenecen al grupo que sabe ms. Estendiceesindependientedelgradodedificultaddelapregunta,conel ndiceanteriornunca sellegaalvalorde1si fallaalgunodel gruposuperior (preguntasmsdifciles);encambioestendicellegaa1sitodoslos acertantes, aunque sean pocos, pertenecen al grupo superior. 12.3. Valoracin de estos ndices 1).Estosndicesdescribencmohafuncionadounapreguntaenuna situacindada;nohayqueasociarnecesariamentejuiciosdevalorsobrela pregunta al valor de estos ndices.Preguntas muy fciles o muy difciles, por ejemplo, no son discriminantes y tienen su lugar.Otra cosa es cuando estos ndices nos sorprenden porque no esperbamos estos resultados. 2) Las preguntas muy discriminantes (que no suelen ser las ms difciles o las msfciles)nosindicandndefallan,sobretodo,losquetienenmalos resultados;puedeninclusoindicarporqufallancuandovariaspreguntas muy discriminantes tienen alguna relacin entre s. Las Pruebas Objetivas - 91 3)Ladiscriminacinsuponediferencias(lo mismoquela fiabilidadcalculada contodoeltest)yelquehayadiferenciasnoesnecesariamenteunbuen resultado,porejemplocuandolaspreguntassonenprincipiofciles,versan sobre objetivos mnimos, etc.S es, en cambio, importante que las preguntas discriminen cuando se trata de clasificar, de seleccionar, etc. Enexmenesamplios,enlosquesepreguntadetodo,congrupos relativamentenumerosos,lanodiscriminacin(lomismoqueunafiabilidad muy baja) puede indicar que no se detectan diferencias que de hecho existen.Enestetipodeexmeneshabrpreguntasquenodiscriminenporqueson fciles, o son importantes y todos las han estudiado; casi todos las responden bien y ste ser un buen resultado; otras no sern discriminantes porque son muy difciles y ya se contaba con ello (y tampoco tiene que valorarse como un malresultado);peroenelconjuntodelexamenyparapodercalificarcon cierto matiz, debe haber preguntas de dificultad media que discriminen bien. 4)Laspreguntasmuydiscriminantes(quenuncasernlasmsdifciles) pueden ser tiles en exmenes de segunda convocatoria, prescindiendo de lo muyfcilydelomuydifcil;conexmenesmscortosobtenemosla informacinsuficiente.Claroestquepuedehaberotroscriteriospara seleccionarestaspreguntas(temasuobjetivosdeterminados,almargende que las preguntas discriminen mucho o poco). 5).Paraextrapolarlosresultadosharanfaltamuestrasgrandes(N=400, unos100enlosgruposextremos;estasmuestrassepuedenobtener acumulando datos); sin embargo la experiencia da que los ndices obtenidos congrupospequeos,sisemantieneconstanteeltipodesujetos,danuna buena idea de lo que se puede esperar en grupos similares. 6). No hay que olvidar, cuando se calculan e interpretan estos ndices, que en principio una pregunta es buena si es clara y est bien formulada, si permite comprobar el objetivo deseado y condiciona un tipo de estudio inteligente o al menosdeseable.Estosndicesdescribencmohanfuncionadoenuna muestra y situacin concretas y son tiles para evaluar las preguntas, sugerir qusepuederevisar,etc.,peromalaspreguntas-(triviales,queno compruebannadaimportante,quecondicionanunestudiopocointeligente, etc.)puedentenerndicesquepodranconsiderarsecomoptimos(por ejemplo pueden discriminar muy bien).