Validacion de Pruebas de Criterio

5/10/2018 Validacion de Pruebas de Criterio - slidepdf.com

http://slidepdf.com/reader/full/validacion-de-pruebas-de-criterio 1/57

PREPARACIÓN DEPREPARACIÓN DEPRUEBASPRUEBAS

JULIO E. RODRIGUEZ TORRESJULIO E. RODRIGUEZ TORRES



Objetivosbjetivos

Presentar aspectos esenciales en laPresentar aspectos esenciales en laconstrucción de diferentes tipos de pruebasconstrucción de diferentes tipos de pruebas

enfatizando en las pruebas de criterios.enfatizando en las pruebas de criterios. Enfocar en el proceso de validación deEnfocar en el proceso de validación de

pruebas de criterios.pruebas de criterios. Establecer un diálogo entre los participantesEstablecer un diálogo entre los participantes

sobre aspectos importantes en la elaboración esobre aspectos importantes en la elaboración einterpretación de resultados de pruebas.interpretación de resultados de pruebas.



Consideraciones generalesonsideraciones generales

Conceptos básicosConceptos básicos PruebaPrueba

Según Bernard (1999), una prueba es una serieSegún Bernard (1999), una prueba es una serie

de tareas o conjunto de ítemes, que las personasde tareas o conjunto de ítemes, que las personascontestan en forma oral o escrita y que permitencontestan en forma oral o escrita y que permitendeterminar diferencias específicas entre ellas.determinar diferencias específicas entre ellas.

Una prueba es un instrumento de mediciónUna prueba es un instrumento de medición

utilizado para describir numéricamente unautilizado para describir numéricamente unacaracterística bajo condiciones uniformescaracterística bajo condiciones uniformes(Thomas Haladyna, 1999).(Thomas Haladyna, 1999).



Es una manera de medir elEs una manera de medir elcomportamiento o ejecución de uncomportamiento o ejecución de unindividuo en una situación determinadaindividuo en una situación determinada

que permita recoger una informaciónque permita recoger una informaciónpara usos variados tales como:para usos variados tales como: Diagnóstico de una situaciónDiagnóstico de una situación

Alcance de logros y anticipo de las Alcance de logros y anticipo de lasposibilidades de éxito en nuevasposibilidades de éxito en nuevassituacionessituaciones



Según Anastasi (1968), son medidasSegún Anastasi (1968), son medidasnormalizadas y objetivas de una muestranormalizadas y objetivas de una muestrade la conducta. Su clasificación se hace ade la conducta. Su clasificación se hace abase de lo que se proponen medir así comobase de lo que se proponen medir así como

también del tipo de preguntas o ejerciciostambién del tipo de preguntas o ejerciciosque se elaboran. Según el tipo deque se elaboran. Según el tipo depreguntas o ejercicios, tenemos laspreguntas o ejercicios, tenemos laspruebas objetivas y las subjetivas. Depruebas objetivas y las subjetivas. De

acuerdo a su propósito, se clasifican como:acuerdo a su propósito, se clasifican como:diagnóstica, de aprovechamientodiagnóstica, de aprovechamientoacadémico, normativas y estandarizadas,académico, normativas y estandarizadas,

de ejecución y de criterio entre otras.de ejecución y de criterio entre otras.

Clasificación de las pruebas



Pruebas de aprovechemientoruebas de aprovechemientoacadémicocadémico

Es un instrumento diseñado para medir Es un instrumento diseñado para medir el comportamiento o logro relativo delel comportamiento o logro relativo delestudiante en un área específica deestudiante en un área específica detrabajo de una materia o curso. Estastrabajo de una materia o curso. Estaspruebas suelen ser tanto objetivas comopruebas suelen ser tanto objetivas comosubjetivas (o una combinación desubjetivas (o una combinación deambas). Determinan el progresoambas). Determinan el progreso

alcanzado por los estudiantes a medidaalcanzado por los estudiantes a medidaque se va llevando a cabo el proceso deque se va llevando a cabo el proceso deenseñanza y aprendizaje.enseñanza y aprendizaje.



Pruebas objetivasruebas objetivas

Son aquellas cuyos ejercicios o preguntasSon aquellas cuyos ejercicios o preguntastienen sólo una respuesta precisa y en lastienen sólo una respuesta precisa y en lasque el juicio u opinión del(la) maestro(a) enque el juicio u opinión del(la) maestro(a) ennada afecta o influye en las respuestas denada afecta o influye en las respuestas de

los estudiantes. Ejemplos: llenar blancos,los estudiantes. Ejemplos: llenar blancos,pareo, cierto o falso, selección múltiple,pareo, cierto o falso, selección múltiple,definir o todo tipo de ejercicio en que ladefinir o todo tipo de ejercicio en que la

contestación o respuesta conllevacontestación o respuesta conllevaenumerar o señalar un dato o hecho.enumerar o señalar un dato o hecho.



Prueba subjetivarueba subjetiva

Son aquellas cuyos ejercicios o preguntasSon aquellas cuyos ejercicios o preguntaspueden variar en sus respuestas y estánpueden variar en sus respuestas y estánsujetas tanto a la opinión del maestro comosujetas tanto a la opinión del maestro comoa la de los estudiantes. En este tipo dea la de los estudiantes. En este tipo de

prueba tenemos los ejercicios de preguntasprueba tenemos los ejercicios de preguntasabiertas, ensayo, solución de problemas,abiertas, ensayo, solución de problemas,análisis de situaciones e interpretación deanálisis de situaciones e interpretación decasos, entre otras. Son adecuadas paracasos, entre otras. Son adecuadas para

medir destrezas complejas de pensamientomedir destrezas complejas de pensamientotales como el análisis, la síntesis y latales como el análisis, la síntesis y laevaluación.evaluación.



Pruebas diagnósticasruebas diagnósticas

Son aquellas cuyo propósito es descubrir cuálesSon aquellas cuyo propósito es descubrir cuálesson las fortalezas y áreas de desarrollo que tienenson las fortalezas y áreas de desarrollo que tienenlos estudiantes sobre unos conocimientos y unaslos estudiantes sobre unos conocimientos y unasdestrezas en una materia o área determinada.destrezas en una materia o área determinada.

Usualmente se administran al inicio de una sesiónUsualmente se administran al inicio de una sesiónacadémica y deben constar de una batería deacadémica y deben constar de una batería depruebas. Mediante este tipo de prueba, se trata depruebas. Mediante este tipo de prueba, se trata dever las condiciones en que se encuentran losver las condiciones en que se encuentran los

alumnos y mediante la interpretación de susalumnos y mediante la interpretación de susresultados, se pronostica o se trata de establecer resultados, se pronostica o se trata de establecer o anticipar si los estudiantes pueden lograr loso anticipar si los estudiantes pueden lograr losaprendizajes requeridos.aprendizajes requeridos.



El diagnóstico no recibe calificación.El diagnóstico no recibe calificación.Suele usarse sobre todo en áreasSuele usarse sobre todo en áreas

específicas como en la lectura, laespecíficas como en la lectura, laortografía o las operaciones matemáticasortografía o las operaciones matemáticasfundamentales. El diagnóstico se puedefundamentales. El diagnóstico se puede

hacer de manera formativa.hacer de manera formativa.



Son aquellas que comparan a los estudiantesSon aquellas que comparan a los estudiantes

con unas normas establecidas a base de uncon unas normas establecidas a base de ungrupo representativo ya estudiado. Al igual quegrupo representativo ya estudiado. Al igual quelas de aprovechamiento, nos indican lo que loslas de aprovechamiento, nos indican lo que losestudiantes han aprendido en determinadaestudiantes han aprendido en determinada

materia o asignatura. También nos puedenmateria o asignatura. También nos puedenindicar lo que los estudiantes son capaces deindicar lo que los estudiantes son capaces dehacer con un conocimiento particular (aptitud).hacer con un conocimiento particular (aptitud).Se les llama normativas porque se establecenSe les llama normativas porque se establecennormas internas que vienen a ser los índicesnormas internas que vienen a ser los índicesestadísticos obtenidos mediante laestadísticos obtenidos mediante laadministración de la prueba a los gruposadministración de la prueba a los gruposrepresentativos previamente estudiados.representativos previamente estudiados.

Pruebas normativas - estandarizadas



Ejemplojemplo

En una institución educativa se administra unaEn una institución educativa se administra unaprueba de aptitud verbal y se informa que unaprueba de aptitud verbal y se informa que unapuntuación de 88 puntos equivale a un rangopuntuación de 88 puntos equivale a un rangopercentil de 90. Miguel obtuvo 88 puntos en dichapercentil de 90. Miguel obtuvo 88 puntos en dichaprueba. ¿Qué significa ese “88”? Significa queprueba. ¿Qué significa ese “88”? Significa que

Miguel sobrepasa al noventa por ciento de todos losMiguel sobrepasa al noventa por ciento de todos losestudiantes que tomaron esta prueba y que sólo unestudiantes que tomaron esta prueba y que sólo un10% han realizado una prueba con mejor resultado10% han realizado una prueba con mejor resultadoque él. En este caso el valor (88) es un índice yaque él. En este caso el valor (88) es un índice yaestablecido al haberse administrado esta prueba aestablecido al haberse administrado esta prueba a

un grupo de estudiantes previamente estudiado, elun grupo de estudiantes previamente estudiado, elque ahora se utiliza como referencia para comparar que ahora se utiliza como referencia para comparar e interpretar el resultado de este estudiante.e interpretar el resultado de este estudiante.



Otro ejemplo lo podemos ver con las pruebasOtro ejemplo lo podemos ver con las pruebasde inteligencia en que se nos informe que unde inteligencia en que se nos informe que un

IQ (CI) promedio oscila entre 89 y 110. Si unIQ (CI) promedio oscila entre 89 y 110. Si unsujeto tiene un IQ de 125 se dice entonces quesujeto tiene un IQ de 125 se dice entonces queestá sobre el nivel de inteligencia promedio yestá sobre el nivel de inteligencia promedio yse puede clasificar como de inteligenciase puede clasificar como de inteligenciasuperior. Estas pruebas han sido estudiadassuperior. Estas pruebas han sido estudiadascientíficamente a través de los años encientíficamente a través de los años enmuestras de sujetos de niveles similares. Losmuestras de sujetos de niveles similares. Losdatos estadísticos ya establecidos en escalas,datos estadísticos ya establecidos en escalas,promedios y rangos percentiles, entre otrospromedios y rangos percentiles, entre otros

vienen a constituir normas a base de lasvienen a constituir normas a base de lascuales se establecen referencias paracuales se establecen referencias paracomparar e interpretar la ejecución de loscomparar e interpretar la ejecución de losestudiantes.estudiantes.



Ejemplo de IQ (Stanford-Binet)jemplo de IQ (Stanford-Binet)

IQ Clasificación132 + Muy superior

121-131 Superior

111-120 Promedio alto

89-110 Normal o promedio

79-88 Promedio bajo68-78 Aprendiz lento

< 67 Con retardación mental



Ejemplos de pruebasjemplos de pruebasestandarizadasstandarizadas

Escala Wechsler Escala Wechsler Stanford – BinetStanford – Binet

Prueba de Admisión Universitaria (CEEB)Prueba de Admisión Universitaria (CEEB) Prueba de Certificación de Maestros (PCMAS)Prueba de Certificación de Maestros (PCMAS) Prueba de Admisión a Estudios GraduadosPrueba de Admisión a Estudios Graduados

(PAEG)(PAEG) LSATLSAT MCATMCAT GREGRE



Resumen del proceso de elaboraciónesumen del proceso de elaboraciónde las pruebas estandarizadase las pruebas estandarizadas

Determinar el propósito de la pruebaDeterminar el propósito de la prueba Preparación de una planilla de especificaciones (Validación delPreparación de una planilla de especificaciones (Validación del

contenido)contenido) Redacción de reactivos o ítemes por expertosRedacción de reactivos o ítemes por expertos Análisis de los ejercicios por expertos (diferentes a losAnálisis de los ejercicios por expertos (diferentes a los

redactores)redactores) Selección de una muestra representativa para administración deSelección de una muestra representativa para administración de

la pruebala prueba Validación de constructos o concurrente (de ser posible)Validación de constructos o concurrente (de ser posible) Análisis de ítemesAnálisis de ítemes Desarrollo de índices (rangos percentiles, media, coeficiente deDesarrollo de índices (rangos percentiles, media, coeficiente de

confiabilidad, error estándar, coeficiente phi, índice de dificultadconfiabilidad, error estándar, coeficiente phi, índice de dificultady discriminación del ítem y otras estadísticas de un nivel dey discriminación del ítem y otras estadísticas de un nivel desofisticación alto.sofisticación alto.

Estudio comparativo con otras muestras.Estudio comparativo con otras muestras. Desarrollo de normas a la luz de los resultados y de laDesarrollo de normas a la luz de los resultados y de la

investigación realizada.investigación realizada.



Consideraciones sobre las pruebasonsideraciones sobre las pruebasestandarizadasstandarizadas

En la administración de una prueba estandarizadaEn la administración de una prueba estandarizadase utilizan procedimientos uniformes en suse utilizan procedimientos uniformes en suadministración y corrección de tal manera que seadministración y corrección de tal manera que seasegure comparabilidad en los resultados deasegure comparabilidad en los resultados desujetos diferentes.sujetos diferentes.

La selección del contenido para las pruebas deLa selección del contenido para las pruebas denormas se hace sobre la base de “cuán biennormas se hace sobre la base de “cuán bien

discrimina” el ítem entre grupos de diferente niveldiscrimina” el ítem entre grupos de diferente nivelde habilidad (los de alto aprovechamiento y los dede habilidad (los de alto aprovechamiento y los debajo aprovechamiento).bajo aprovechamiento).



Los ítemes en una prueba a base de normasLos ítemes en una prueba a base de normas

deben organizarse colocando los ítemes dedeben organizarse colocando los ítemes dedificultad menor al inicio e ir aumentando el niveldificultad menor al inicio e ir aumentando el nivelde dificultad.de dificultad.

El nivel de dificultad promedio de la prueba debeEl nivel de dificultad promedio de la prueba debeser moderado. Por ejemplo en una escala Deltaser moderado. Por ejemplo en una escala Deltade 6 a 19, (donde 8 es el nivel de dificultadde 6 a 19, (donde 8 es el nivel de dificultadmenor y 16 es el nivel de dificultad mayor) unmenor y 16 es el nivel de dificultad mayor) un

nivel moderado es aproximadamente entre 12 ynivel moderado es aproximadamente entre 12 y13.13.



¿Qué significa un puntaje en unaQué significa un puntaje en unaprueba?rueba?

XXoo = X= Xtt + X+ Xee

Donde: XDonde: Xoo = Valor observado= Valor observado

XXtt = valor verdadero= valor verdadero

XXee = componente de error = componente de error

El propósito básico del desarrollo de pruebas es reducir el componenteEl propósito básico del desarrollo de pruebas es reducir el componentede error a un mínimo.de error a un mínimo.



Nivel de dificultad de los ítemesivel de dificultad de los ítemes

Delta

Porcentaje de estudiantes que

responden correctamente

6 95

7 92

8 90

9 8510 80

11 70

12 60

13 50

14 4015 30

16 20

17 15

18 10

19 5

Muy Fácil

Mediana

Difícil

Fácil



La prueba de ejecucióna prueba de ejecución

Mide el grado de eficiencia en el uso deMide el grado de eficiencia en el uso dedestrezas psicomotoras. Generalmentedestrezas psicomotoras. Generalmenterequiere el uso o la manipulación de objetosrequiere el uso o la manipulación de objetosfísicos y manuales y no se limita afísicos y manuales y no se limita a

contestaciones orales o escritas.contestaciones orales o escritas.Consideremos que en toda prueba hayConsideremos que en toda prueba hayejecución, pero en ésta se afectúa laejecución, pero en ésta se afectúa lacomprobación mediante la determinación delcomprobación mediante la determinación del

dominio de destrezas motoras, auditivas,dominio de destrezas motoras, auditivas,visuales y manuales.visuales y manuales.



Este tipo de prueba se utilizaEste tipo de prueba se utilizaespecialmente en asignaturas tales comoespecialmente en asignaturas tales comoNutrición, Artes Industriales y Vocacionales,Nutrición, Artes Industriales y Vocacionales,Educación Física, Arquitectura, Música, etc. SeEducación Física, Arquitectura, Música, etc. Se

recomienda la preparación de perfiles en losrecomienda la preparación de perfiles en losque se incluyen todas las destrezas o sub-que se incluyen todas las destrezas o sub-destrezas que se quieren medir. Esto permitirádestrezas que se quieren medir. Esto permitirárealizar una evaluación más justa y objetiva.realizar una evaluación más justa y objetiva.



La prueba de criterioa prueba de criterio

Es aquella construída para obtener Es aquella construída para obtener información sobre lo que un estudiante sabe o esinformación sobre lo que un estudiante sabe o escapaz de hacer. Está preparada para determinar capaz de hacer. Está preparada para determinar el dominio por el estudiante de una destrezael dominio por el estudiante de una destrezaespecífica (nivel de competencia/ domina, no-específica (nivel de competencia/ domina, no-domina). Los resultados describen la ejecucióndomina). Los resultados describen la ejecuciónindividual del estudiante a base de unos criteriosindividual del estudiante a base de unos criteriosya determinados previamente y consideradosya determinados previamente y considerados

relevantes por el maestro o los que construyen larelevantes por el maestro o los que construyen laprueba.prueba.



Se le llama prueba de criterio porqueSe le llama prueba de criterio porquese establecen con anticipación unosse establecen con anticipación unoscriterios externos a base del punto decriterios externos a base del punto deejecución mínima (“cutting score” o PEM)ejecución mínima (“cutting score” o PEM)requerido para determinar dominio de larequerido para determinar dominio de ladestreza. Los resultados de cadadestreza. Los resultados de cadaestudiante se comparan con este criterioestudiante se comparan con este criterio

para determinar si domina o no lapara determinar si domina o no ladestreza.destreza.



Las personas especializadas en laLas personas especializadas en la

materia estudian los objetivos específicos omateria estudian los objetivos específicos odestrezas que se desean probar. A base dedestrezas que se desean probar. A base deéstos determinan la cantidad de ítemeséstos determinan la cantidad de ítemes

necesarios para probar cada objetivonecesarios para probar cada objetivoespecífico o destreza. Luego,específico o destreza. Luego,preferiblemente por consenso, se establecepreferiblemente por consenso, se estableceel criterio o punto de ejecución mínimael criterio o punto de ejecución mínima(cutting score) para determinar el dominio o(cutting score) para determinar el dominio ono dominio de las destrezas.no dominio de las destrezas.



Por último, se produce la cantidad dePor último, se produce la cantidad deítemes, de igual dificultad, para probar ítemes, de igual dificultad, para probar cada objetivo o destreza, que en sícada objetivo o destreza, que en síconstituyen una prueba. Cada destrezaconstituyen una prueba. Cada destreza

debe ser evaluada con no menos de 5debe ser evaluada con no menos de 5ítemes. Si se quiere estar más seguro,ítemes. Si se quiere estar más seguro,entonces se procede a aumentar elentonces se procede a aumentar el

número de ítemes. No todas lasnúmero de ítemes. No todas lasdestrezas se miden con el mismodestrezas se miden con el mismonúmero de ítemes.número de ítemes.



También se puede construir un bloqueTambién se puede construir un bloquede pruebas para evaluar varios objetivosde pruebas para evaluar varios objetivos

terminales o destrezas. En cada prueba,terminales o destrezas. En cada prueba,se le da prioridad a la validez dese le da prioridad a la validez decontenido en relación con los objetivoscontenido en relación con los objetivos

terminales o destrezas que se deseanterminales o destrezas que se deseanprobar.probar.



Cada prueba correspondiente a cada objetivoCada prueba correspondiente a cada objetivo

terminal o destreza, se corrige por separado.terminal o destreza, se corrige por separado.La valoración obtenida describe la ejecuciónLa valoración obtenida describe la ejecuciónde cada estudiante en relación con unosde cada estudiante en relación con unoscriterios ya determinados (“cutting score”) paracriterios ya determinados (“cutting score”) paradicho objetivo o destreza. Generalmente sedicho objetivo o destreza. Generalmente seestablece un nivel de dominio de un 70% por establece un nivel de dominio de un 70% por cada destreza que se vaya a medir, aunque elcada destreza que se vaya a medir, aunque elmismo puede variar según el rigor que semismo puede variar según el rigor que sedesee establecer. Ningún punto de ejecucióndesee establecer. Ningún punto de ejecución

debe estar por debajo de 60% o 3 de 5 ítemes.debe estar por debajo de 60% o 3 de 5 ítemes.



Teóricos asociados a Pruebaseóricos asociados a Pruebasde Criterioe Criterio

Glaser (1963)Glaser (1963) Popham y Husek (1969)Popham y Husek (1969)

Livingston (1972)Livingston (1972) Hambleton y Novick (1973)Hambleton y Novick (1973) Berk (1980)Berk (1980)

Brennan (1980)Brennan (1980) Subkoviak (1980)Subkoviak (1980) Traub Rowley (1980)Traub Rowley (1980)



Resultados del proceso de toma deesultados del proceso de toma dedecisiones mediante pruebasecisiones mediante pruebas

Estado desituación

Domina Error al rechazar (falso negativo)

Decisión correcta

No domina Decisión correcta Error al aceptar

(falso positivo)No domina Domina

Decisión mediante la prueba



Métodos para establecer el punto deétodos para establecer el punto decorte (Estándar de dominio)orte (Estándar de dominio)

No existe un método único para determinar el puntoNo existe un método único para determinar el puntode corte o estándar de dominio para las pruebas dede corte o estándar de dominio para las pruebas decriterio.criterio.

No existe una fórmula para tomar esta decisión, deNo existe una fórmula para tomar esta decisión, demanera que se eliminen posibles errores en la toma demanera que se eliminen posibles errores en la toma de

decisiones.decisiones. Posibles errores:Posibles errores:

Errores de clasificación :Errores de clasificación : Certificar a los que no dominan (Punto de corte muy bajo).Certificar a los que no dominan (Punto de corte muy bajo).

No certificar a los que dominan (Punto de corte muy alto).No certificar a los que dominan (Punto de corte muy alto).



1. Juicio informado. Juicio informado

Está basado en que “el proceso de establecimientoEstá basado en que “el proceso de establecimiento

del estándar es esencialmente una consideración dedel estándar es esencialmente una consideración de juicio humano”. juicio humano”. Se analizan las consecuencias legales y políticas deSe analizan las consecuencias legales y políticas de

clasificación errónea de los sujetos.clasificación errónea de los sujetos. Se analizan datos relevantes para determinar cómo hanSe analizan datos relevantes para determinar cómo han

ejecutado otros sujetos en la prueba:ejecutado otros sujetos en la prueba: Aquellos que no han tenido ningún tipo de enseñanza en ese Aquellos que no han tenido ningún tipo de enseñanza en ese

contenido o destrezas.contenido o destrezas. Aquellos que han recibido la enseñanza. Aquellos que han recibido la enseñanza. Aquellos que se encuentran en la profesión. Aquellos que se encuentran en la profesión.

Recoger información de las audiencias que tienen el poder enRecoger información de las audiencias que tienen el poder enla toma de decisiones (Agencias, supervisores, etc.)la toma de decisiones (Agencias, supervisores, etc.)

Determinar el punto de corte considerando todas lasDeterminar el punto de corte considerando todas lasevidencias recopiladas.evidencias recopiladas.



Ejemplojemplo

Audiencia Evidencia

Promedio de los que no dominan 34%

Promedio de los que dominan 79%

Especialistas de evaluación 70%

Supervisores 85%

Profesores 60%

Profesionales en funciones 90%

Representante de la agencia 50%

Punto de corte estimado 66.9 % ( 70% )



Método Angoffétodo Angoff Método más utilizadoMétodo más utilizado

1.1. Identificar expertos (jueces) que estén familiarizados con lasIdentificar expertos (jueces) que estén familiarizados con lascompetencias de la prueba y con los niveles de ejecución de loscompetencias de la prueba y con los niveles de ejecución de losque dominan esas competencias. (Tres jueces es el númeroque dominan esas competencias. (Tres jueces es el númeromínimo).mínimo).

2.2. Los jueces revisan cada ítem y estiman (para un candidatoLos jueces revisan cada ítem y estiman (para un candidato“mínimamente competente), la probabilidad de tener el ítem“mínimamente competente), la probabilidad de tener el ítem

correcto. La probabilidad no debe ser menor que el nivelcorrecto. La probabilidad no debe ser menor que el nivelprobabilístico natural del ítem de acuerdo al número deprobabilístico natural del ítem de acuerdo al número dealternativas.alternativas.

3.3. Los jueces deben hacer el estimado de manera independiente yLos jueces deben hacer el estimado de manera independiente yluego discutir alguna discrepancia marcada en sus estimados.luego discutir alguna discrepancia marcada en sus estimados.

4.4. Se suman los estimados de esa probabilidad para cada juez y seSe suman los estimados de esa probabilidad para cada juez y sebusca luego el promedio de esa suma.busca luego el promedio de esa suma.



Ejemplojemplo

Ítem Juez 1 Juez 2 Juez 3

1 .33 .50 .40

2 .80 .90 1.00

3 .20 .33 .20

4 .20 .90 .33

5 .50 .75 .50

Total 2.03 3.38 2.43

2.03 + 3.38 + 2.43 = 7.84

(7.84) / 3 = 2.61

Punto de corte = 3



Método de contraste de gruposétodo de contraste de grupos

No domina Domina

10 20 30 40 50 60 70 80 90 100

Reduce losFalsos Negativos

Reduce losFalsos Positivos

30% 50% 80%

% de ítemes correctos



Tabla de Departamento de Educación de P.R.abla de Departamento de Educación de P.R.

Tabla de conversión de valores de dominio de destrezas a valores porcentuales

Número deítemes por destreza

Relación de valores porcentuales por puntos de ejecución mínima

5 3 (60%) 4 (80%) 5 (100%)

6 4 (67%) 5 (83%) 6 (100%)

7 4 (57%) 5 (71%) 6 (86%) 7 (100%)

8 5 (63%) 6 (75%) 7 (88%) 8 (100%)

9 5 (56%) 6 (67%) 7 (78%) 8 (89%) 9 (100%)

10 6 (60%) 7 (70%) 8 (80%) 9 (90%) 10 (100%)



¿Cuándo se deben usar lasCuándo se deben usar laspruebas de criterio?ruebas de criterio?

Como pre requisito de un curso (paraComo pre requisito de un curso (paraconocer el nivel de dominio antes de tomar conocer el nivel de dominio antes de tomar el curso).el curso).

Post prueba – para poder evaluar el dominioPost prueba – para poder evaluar el dominiode objetivos terminales luego de finalizar unde objetivos terminales luego de finalizar uncurso.curso.

Pruebas de equivalencia – en muchos casosPruebas de equivalencia – en muchos casos

cuando se quiere convalidar un curso sincuando se quiere convalidar un curso sinhaberlo tomado.haberlo tomado. Pruebas de certificación.Pruebas de certificación.



Validez de contenidoalidez de contenido

Se refiere al grado en que las preguntas o ítemesSe refiere al grado en que las preguntas o ítemesde un instrumento representan las destrezas,de un instrumento representan las destrezas,contenido o conceptos de un área específica.contenido o conceptos de un área específica.

Se examina el plan o proceso que se siguió en laSe examina el plan o proceso que se siguió en laconstrucción del instrumento (respaldado por laconstrucción del instrumento (respaldado por larevisión de literatura, el contenido curricular, etc.)revisión de literatura, el contenido curricular, etc.)

¿Representan esos ítemes una muestra¿Representan esos ítemes una muestra

adecuada del contenido o rasgo que se deseaadecuada del contenido o rasgo que se deseamedir?medir?



Planilla de cernimientolanilla de cernimiento

Sirve para iniciar el proceso de validación deSirve para iniciar el proceso de validación deun instrumento por los expertos en esa área deun instrumento por los expertos en esa área decontenido de la disciplina o del constructo quecontenido de la disciplina o del constructo que

se pretende medir.se pretende medir. Se analiza a base del por ciento de acuerdoSe analiza a base del por ciento de acuerdo

entre jueces.entre jueces. Se recomienda utilizar más de 3 jueces.Se recomienda utilizar más de 3 jueces. El por ciento de acuerdo para la retención deEl por ciento de acuerdo para la retención de

un ítem debe ser 66.7% ó más.un ítem debe ser 66.7% ó más.

Í



Reactivo / Ítem Adecuado No esadecuado

Observación Recomendación decambio

1.

2.

3.

4.

5.

6.

7.

8.

9.



Modelo de planillaodelo de planilla

Nivel /Contenido

Memoria Comprensión Aplicación Análisis

Filosofía

Sociología

Metodología

Evaluación

Crecimiento yDesarrollo



Validez de constructoalidez de constructo El instrumento mide adecuadamente ese constructoEl instrumento mide adecuadamente ese constructo

para el que fue creado. (Ej. Inteligencia, auto concepto,para el que fue creado. (Ej. Inteligencia, auto concepto,

auto estima, etc.)auto estima, etc.) Es necesario realizar una prueba de análisis de factoresEs necesario realizar una prueba de análisis de factores

(“Factor Analysis”) y un análisis de las(“Factor Analysis”) y un análisis de lasintercorrelaciones de los ítemes.intercorrelaciones de los ítemes.

Se puede correlacionar con otro instrumentoSe puede correlacionar con otro instrumento

previamente validado en ese mismo constructo (validezpreviamente validado en ese mismo constructo (validezconcurrente).concurrente). Para el análisis de factores se necesita tener por loPara el análisis de factores se necesita tener por lo

menos 5 sujetos por ítem. (Ej: si tenemos unmenos 5 sujetos por ítem. (Ej: si tenemos uninstrumento de 50 ítemes, necesitamos para suinstrumento de 50 ítemes, necesitamos para su

validación 250 sujetos).validación 250 sujetos). ¿Se provee información adecuada y suficiente (válida)¿Se provee información adecuada y suficiente (válida)

que indique que ese constructo está relacionado alque indique que ese constructo está relacionado alpropósito de la prueba?propósito de la prueba?

¿Cuán bien apoyan los datos empíricos esas¿Cuán bien apoyan los datos empíricos esas

conclusiones?conclusiones?



Validez predictivaalidez predictiva

El instrumento de medición prediceEl instrumento de medición predice

adecuadamente (ejecución, éxito académico,adecuadamente (ejecución, éxito académico,etc.).etc.). Se refiere a cuán válidas son nuestrasSe refiere a cuán válidas son nuestras

inferencias sobre los resultados de eseinferencias sobre los resultados de ese

instrumento para predecir comportamientoinstrumento para predecir comportamientofuturo.futuro. Se debe recopilar evidencia posterior sobre laSe debe recopilar evidencia posterior sobre la

ejecución de los individuos y correlacionarla conejecución de los individuos y correlacionarla conlos resultados de la prueba.los resultados de la prueba.

Realizar, de ser posible, análisis de regresión yRealizar, de ser posible, análisis de regresión ypresentar tablas de expectativas.presentar tablas de expectativas.



Confiabilidadonfiabilidad

Grado de consistencia con que unGrado de consistencia con que uninstrumento mide lo que intenta medir.instrumento mide lo que intenta medir. Algunos índices: Algunos índices:

Kuder – Richardson (KR21, KR20)Kuder – Richardson (KR21, KR20) EstabilidadEstabilidad Alpha de Cronbach Alpha de Cronbach

División por mitades (“Split-Half”)División por mitades (“Split-Half”)

Consistencia internaConsistencia interna Alpha de Cronbach, KR21, KR20 Alpha de Cronbach, KR21, KR20



Escala para los niveles descala para los niveles deconfiabilidadonfiabilidad

Coeficiente (r) Interpretación

1.00 Positiva perfecta0.90

Positiva alta0.80

0.70Moderada

0.600.50

0.40Baja0.30

0.20Débil0.10

0.00 Ausencia de confiabilidad



Análisis de ítemesnálisis de ítemes

Índice de dificultad del ítemÍndice de dificultad del ítem Nos indica cuán difícil resulta ser el ítem paraNos indica cuán difícil resulta ser el ítem para

el grupo de examinados.el grupo de examinados. Se determina dividiendo el número deSe determina dividiendo el número de

contestaciones correctas entre el total decontestaciones correctas entre el total desujetos que contestaron el ítem.sujetos que contestaron el ítem.



Índice Nivel de dificultad

.90 + Muy fácil

.61-.89 Fácil

.40-.60 Mediana dificultad

< .40 Difícil



Índice de discriminaciónndice de discriminación

Nos indica que tan bien discrimina el ítem entre elNos indica que tan bien discrimina el ítem entre el

grupo de mayor habilidad y el grupo de menor grupo de mayor habilidad y el grupo de menor habilidad.habilidad.

Para el grupo de mayor y menor habilidad sePara el grupo de mayor y menor habilidad se

toma el 27 % más alto y el 27 % más bajo.toma el 27 % más alto y el 27 % más bajo. CA = Número de sujetos en el grupo de habilidadCA = Número de sujetos en el grupo de habilidad

alta.alta. CB = Número de sujetos en el grupo de habilidadCB = Número de sujetos en el grupo de habilidad

baja.baja. N = Número de sujetos que contestó el ítem.N = Número de sujetos que contestó el ítem.



Fórmula para índice deórmula para índice dediscriminacióniscriminación

ID = (CID = (CAA – C – CBB))

N/2N/2

Ejemplo: En un grupo 4 estudiantes obtuvieron puntuaciones altasy dos obtuvieron puntuaciones bajas de un total de 30 sujetos quetomaron la prueba. El índice de discriminación es: 0.13



Interpretación del índicenterpretación del índice

Índice Discriminación

0.40 + Muy buena discriminación

.30-.39 Discrimina bien

.20-.29 Puede revisarse

< .19 No debe usarse

Negativo No discrimina y debe eliminarse



Correlación punto biserial ( rorrelación punto biserial ( r pbisbis)

Es la correlación entre laEs la correlación entre laejecución de los sujetos enejecución de los sujetos enun ítem con la puntuaciónun ítem con la puntuacióntotal de la prueba. (Cada ítemtotal de la prueba. (Cada ítemse toma como una pruebase toma como una prueba

paralela).paralela). Se retienen aquellos ítemesSe retienen aquellos ítemes

que presentan correlacionesque presentan correlacionespunto-biseriales mayores a .punto-biseriales mayores a .30.30.

Se deben eliminar aquellosSe deben eliminar aquellosque presentan correlacionesque presentan correlacionesnegativas.negativas.

Item r bis

1 .33

2 .41

3 .39

4 .555 .34

6 -.19

7 .70

8 .41

9 .14

10 .37



Estimado del número de ítemes:stimado del número de ítemes:En términos del contenido (objetivos)n términos del contenido (objetivos)

Crítico

Dominio amplio No relacionado 10-20Relacionado 10

Dominio pequeño No relacionado 5-10

Relacionado 5

No crítico

Dominio amplio No relacionado 6

Relacionado 4

Dominio pequeño No relacionado 2

Relacionado 1



Contenido Número de ítemes

Filosofía 18

Sociología 16

Metodología 20

Evaluación 10 R / 10 NR

Crecimiento y Desarrollo 16

Psicología Educativa 12 NR / 8 R

Total 110



Limitaciones y ventajas de lasimitaciones y ventajas de laspruebas de criterioruebas de criterio

Requieren mucho esfuerzo y tiempo para suRequieren mucho esfuerzo y tiempo para sudesarrollo.desarrollo. Son muy útiles para individualizar el procesoSon muy útiles para individualizar el proceso

evaluativo porque atienden más a cada estudianteevaluativo porque atienden más a cada estudianteal examinarse cada uno con relación al nivel deal examinarse cada uno con relación al nivel de

dominio de las destrezas según el PEM.dominio de las destrezas según el PEM. Provee una mayor consistencia en términos de laProvee una mayor consistencia en términos de la

destreza que mide ya que tiene varios ítemes por destreza que mide ya que tiene varios ítemes por destreza.destreza.

Resultan ser de las más confiables paraResultan ser de las más confiables paradeterminar el nivel de aprendizaje alcanzado por determinar el nivel de aprendizaje alcanzado por los alumnos.los alumnos.



Recomendacionesecomendaciones

A la luz del análisis estadístico se pueden eliminar o A la luz del análisis estadístico se pueden eliminar orevisar los ítemes.revisar los ítemes.

Considerar diferentes enfoques en el cómputo de laConsiderar diferentes enfoques en el cómputo de laconfiabilidad para determinar la contribución deconfiabilidad para determinar la contribución dediferentes fuentes de error de medición.diferentes fuentes de error de medición.

Considerar tamaños de muestras adecuadas al realizar Considerar tamaños de muestras adecuadas al realizar cómputos estadísticos y análisis de ítemes.cómputos estadísticos y análisis de ítemes.

Considerar posibles sesgos culturales al redactar Considerar posibles sesgos culturales al redactar ítemes.ítemes.

Revisar fuentes de referencia con evidencia técnica yRevisar fuentes de referencia con evidencia técnica ypsicométrica (Buros’ Mental Measurement Yearbook)psicométrica (Buros’ Mental Measurement Yearbook)



¡Muchas gracias!Muchas gracias!

Validacion de Pruebas de Criterio

Documents

Transcript of Validacion de Pruebas de Criterio