Análisis psicométrico del Test de Matrices Progresivas Avanzadas

Recibido: 30 de junio del 2010 / Aprobado: 5 de agosto del 2010

* El presente estudio fue patrocinado por el Consejo Superior de Investigaciones (CSI) de la UniversidadNacional Mayor de San Marcos, bajo el código N.o 041801051.

Correo electrónico: [email protected]; [email protected].

Persona 13, enero-diciembre del 2010, ISSN 1560-6139, pp. 71-97

Luis Miguel Escurra Mayaute & Ana Esther Delgado VásquezUniversidad Nacional Mayor de San Marcos, Lima, Perú

Análisis psicométrico del Test de MatricesProgresivas Avanzadas de Raven mediante elModelo de Tres Parámetros de la Teoría de laRespuesta al Ítem*

El objetivo de este estudio fue realizar el análisis psicométrico del test de MatricesProgresivas Avanzadas de Raven mediante el modelo de tres parámetros de laTeoría de Respuesta al Ítem, en una muestra conformada por 2081 estudiantesuniversitarios de la ciudad de Lima. La media de la edad de los alumnosevaluados fue de 21,3 ± 4.28 años, el 50,9% de sexo femenino y el 49,1% de sexomasculino. Los alumnos pertenecientes a universidades estatales eran el 63,5% ylos de universidades particulares el 36,5%. Los hallazgos indican que los ítemsdel test no presentan una adecuada calibración de acuerdo con el Modelo de TresParámetros. El análisis comparativo indica que solo existen diferenciasestadísticas significativas por sexo pero no por tipo de universidad.

Teoría de Respuesta al Ítem / ajuste / Modelo de Tres Parámetros /Raven

A psycometric analysis of the Raven Advanced Progressive Matrices Testthrough the Three-Parameter Model of the Item Response TheoryIn this study we undergo the psycometric analysis of the Raven AdvancedProgressive Matrices Test through the Three-Parameter Model of the ItemResponse Theory administered to 2081university students in Lima, 63.5% fromstate-funded universities and 36.5% from private-funded universities; 50.9%females, 49.1% males with a median age of 21.3 ± 4.28. Results show that theitems of the test are not adequately calibrated to the Three-Parameter Model.Student scores are not close to normal curve expectations and on a comparativeanalysis, there are differences due to gender and not to university fundingdifferences (public/private).

Item Response Theory /adjustment / Three-Parameter Model / Raven

04-persona13-ESCURRA:revista persona 28/01/2011 03:50 PÆgina 71

Escurra Mayaute & Delgado Vásquez

72

Test de Raven han sido objeto de unagran cantidad de trabajos de validacióny de adaptación transcultural que handemostrado la existencia de propieda-des psicométricas diferenciadas, tantoen el marco de la Teoría Clásica de losTest (TCT) como en el de la Teoría deRespuesta al Ítem (Jensen & Munro,1979; Rasch, 1980; Zagar, Arbit &Friedland, 1980; Burke, 1985;O´Leary, Rusch & Guastello, 1991;Torres & Cuesta, 1992; Raven, 1999;Van der Ven & Ellis, 2000; Cikrikci-Demirtasli, 2002; Sisto, Marín Rueda& Bartholomeu, 2006).

INVESTIGACIONES ANTECEDENTES

En una de las investigaciones realiza-das en el extranjero Verguts, De Boecky Maris (1999) evaluaron el rol de larapidez para contestar el test de MPAde Raven. Los autores observaron quela prueba presenta un conjunto dereglas que rigen a los ítems y que sonindispensables para poder resolverlos,de manera que identificando dichasreglas se conceptúa que constituyenuna muestra estadística de las reglasaplicadas hasta obtener la regla de larespuesta correcta. La facilidad paracontestar se vio entonces como la velo-cidad con la cual una persona puedegenerar las reglas para identificar lasrespuestas correctas. Los autores desa-rrollaron una prueba que permitió ais-lar dicha velocidad de muestreo de lavariable, y un método para verificar si

INTRODUCCIÓN

El Test de Matrices Progresivas Avan -za das (MPA) de Raven es una pruebano verbal, que evalúa la habilidad inte-lectual y el razonamiento basado enfiguras. Miden la habilidad para hacercomparaciones, razonar por analogía yorganizar percepciones espaciales den-tro de un todo relacionado sistemática-mente. Este instrumento –junto con lasotras versiones de los Test de MatricesProgresivas de Raven– se diseñó comouna medida del factor g de Spearman ointeligencia general, que estaba consti-tuida por dos componentes identifica-dos como habilidad educativa y habili-dad reproductiva (Raven, Court &Raven, 1995; Aiken, 1996; Anastasi &Urbina, 1998; Cohen & Swerdlik,2001; Capolan & Sacuzzo, 2006).

Estas pruebas requieren principal-mente la educción de relaciones entrereactivos abstractos, que consisten enun conjunto de matrices o arreglos dediseños en renglones y columnas de loscuales se eliminó una parte. La tareaconsiste en elegir la parte faltante entrelas alternativas proporcionadas. Losreactivos más sencillos requieren unadiscriminación precisa; los más difíci-les incluyen analogías, permutaciones,alternación de patrones y otras relacio-nes lógicas.

El test está destinado a los adoles-centes y adultos cuyo rendimiento essimilar o superior al promedio (Sattler,1988; Anastasi & Urbina, 1998). Los


la variable fue aislada adecuadamente.Los puntajes en dicha prueba fueroncomparados con el rendimiento en laprueba de MPA. Los resultados indica-ron que la velocidad con que las perso-nas prueban tales distribuciones consti-tuyó una variable importante pararesolver los ítems del MPA.

Van der Ven y Ellis (2000) estudia-ron la unidimensionalidad de los ítemsde la Escala de Matrices ProgresivasEstándar (EMPAE) de Raven. La prue-ba se aplicó como parte de un proyectode investigación dedicada a la identifi-cación de niños muy dotados. La unidi-mensionalidad fue evaluada por mediodel modelo de Rasch que se aplicóseparadamente a las series A, B, C, D yE. El modelo de Rasch fue aceptado enlas series A, C y D y rechazado en lasseries B y E, lo cual indicó que losítems de dichas series miden por lomenos dos dimensiones diferentes.También se asumió que estas dimensio-nes son continuaciones de la Gestalt yel razonamiento analógico para la serieB, y el razonamiento analógico yafrontamiento para el bloque E. En elcaso de la serie C se asumió que lahomogeneidad de Rasch podría sermejorada asumiendo un segundo fac-tor, aparte del razonamiento analógicoque fue identificado como la falta deresistencia a los distractores percepti-vos. Cuando se dividió la serie B en lossubconjuntos apropiados se obtuvierondos subconjuntos unidimensionales,B1 y B2. Al dividirse la serie E se obtu-

vo un bloque unidimensional E1 y unbloque heterogéneo multidimensionalE2. La serie C fue redefinida eliminan-do algunos de sus ítems. En el nivel delrecientemente redefinido subconjuntose observó el factor de razonamientoana lógico como el común a todos lossub conjuntos. El factor de la continua-ción de Gestalt es común a las series Ay B1. Sin embargo, la confiabilidad deestos subconjuntos fue muy baja, locual implicó que este factor sería de -masiado débil para que pueda ser iden-tificado en un análisis factorial explo-ratorio.

Los factores de afrontamiento y defalta de resistencia a los distractoresperceptuales son considerados únicos,por lo que se podría esperar la emer-gencia de solo un factor al realizar unanálisis factorial de todos los subcon-juntos de las series definidas. Sinembargo, el análisis factorial realizadode los subconjuntos permitió identifi-car dos factores, aunque más allá lainspección de la parcela del segundofactor demostró que su aparición fueconsiderada como un artefacto debidoa la asimetría de los puntajes de lossubconjuntos.

Bors y Vigneau (2001), por su parte,evaluaron el efecto de la práctica con elTest de Raven Avanzado, para ello tra-bajaron con una muestra de 77 partici-pantes (39 hombres y 28 mujeres), conedades entre 26 y 79 años, a los cualesse les administró en tres ocasiones elMPA. Los autores reportaron que si

73

Análisis psicométrico del Test de Matrices Progresivas Avanzadas de Raven


aplicó el MPA. Se determinaron lostipos de errores que los participantescometieron, los distractores para cadaproblema del MPA fueron primerocodificados como uno de cuatro erroresposibles: correlato incompleto (IC),principio mal aplicado (WP), confluen-cia de ideas (CF) y repetición (RP).

Los puntajes de cada tipo de errorfueron calculados para cada participan-te de manera individual y reflejó la des-viación de seleccionar por casualidadexclusivamente un tipo de error. Losanálisis realizados compararon tresgrupos de edad (joven, medio y adulto)y tres niveles de habilidad (bajo, medioy alto). Los resultados indicaron quelos adultos de todas las edades come-tieron tipos similares de errores, peroque los adultos de niveles de habilida-des diferentes cometieron distintostipos de errores. También se examina-ron la edad y las diferencias de habili-dad en los problemas por el tipo dereglas requeridas, como lo clasificóCarpenter; los resultados permitieronapreciar que a medida que se incre-mentaban la edad y la habilidad se pre-sentaron diferencias en el número deerrores cometidos cuando se involucra-ron diferentes tipos de reglas.

Rushton, Skuy y Fridjhon (2003)analizaron si el MPA tenía la mismavalidez de constructo en los estudiantesuniversitarios africanos y en los noafricanos. Los análisis fueron realiza-dos en 294 estudiantes, de entre 17 y23 años, pertenecientes a las facultades


74

bien los puntajes de los MPA totalesfueron muy confiables en las tres oca-siones, las confiabilidades de la ma yo -ría de los ítems fueron sumamentebajas. Además, reportaron que el mo -de lo de un solo factor fue un modeloade cuado, pues explicaba el 20% de lavarianza total para la matriz de lascorrelaciones inter-ítem en las tres oca-siones. También se encontró que el to -tal de los puntajes del MPA aumentósig nificativamente en las tres ocasiones(aproximadamente dos ítems por cadaocasión). Los autores reportaron quelas mejoras en el puntaje total por lasocasiones ocurrieron en un contexto enel cual los sujetos corrigieron las res-puestas incorrectas de la ocasión ante-rior. El número de ítems sin contestarno se relacionó con ambos MPA encualquier ocasión dada y la cantidad deganancia en el puntaje realizado en lasocasiones. Estos resultados sugirieronque las mejoras en el desempeño noestuvieron basadas en la adquisición deun plan estratégico para responder amás ítems o en la retención de la infor-mación de un ítem específico, sino quela mejora reflejó un aprendizaje dealgún aspecto común en los tipos deítems encontrados en el MPA.

Babcock (2002) realizó un estudiodonde examinó las diferencias de eda-des adultas en los tipos de errores rea-lizados en el test de MPA de Raven(MPA). La muestra total fue de 818casos, los cuales fueron compilados entres estudios mayores en los que se


de Ingeniería y Arquitectura de laUniversidad de Witwatersrand. Lamuestra estuvo conformada por 187africanos, 40 indios orientales y 67alumnos blancos y la composición porsexo fue de 70 mujeres y 224 hombres.La aplicación del Test de Raven avan-zado, indicó que hubo diferenciasestadísticas significativas (p < .001),notando que los estudiantes africanosresolvieron en promedio 22, los estu-diantes indios orientales 25 y los estu-diantes blancos 29. La clasificación delos valores correspondió a los puntajesde 57, 64 y 86, los cuales al traducirseen coeficientes intelectuales alcanza-ron valores de 103, 106 y 117 de acuer-do con las normas estadounidenses de1993 que fueron utilizadas. Los autoresindicaron que cuatro meses anteshabían aplicado el Test de Raven supe-rior, al correlacionar ambas pruebasalcanzaron un valor de r = 0.60, supe-rior para los africanos y los no africa-nos, aunque ambas pruebas predijeronmal el rendimiento para el último fin deaño, pues solo alcanzaron correlacio-nes de r = 0.30 p < .05.

Las diferencias entre indios y blan-cos, y africanos y orientales fueron cla-sificadas como producidas por el deno-minado efecto Jensen, el cual fue máspronunciado en el factor general de inte-ligencia, que fue medido en los ítems através de las correlaciones ítem-totalmás altas. Las cargas de g presentaronuna generalización transcultural, pues

las correlaciones ítem-total calculadasen los estudiantes indios orientales pre-dijeron la magnitud de las diferencias delos africanos blancos. Adicionalmenteno se encontraron diferencias estadísti-cas significativas por sexo.

Rushton, Skuy y Bons (2004) eva-luaron la validez de constructo de lasMPA, trabajando en grupos de estu-diantes universitarios de ingenieríaafricanos y no africanos. Se trabajó con306 estudiantes de las facultades deIngeniería y Arquitectura de laUniversidad del Witwatersrand, de loscuales 177 eran africanos, 57 indiosorientales y 72 de raza blanca, siendo54 mujeres y 252 hombres, y cuyasedades oscilaban entre 17 y 23 años.En el desarrollo del análisis se aplicóuna prueba de comprensión inglesa, lasubscala de similitudes de la Escala deInteligencia Adulta de Wechsler, elpromedio de rendimiento académico alfinalizar el año universitario y las notascuando finalizó la educación secunda-ria. Los resultados indicaron que alaplicarse los 36 ítems del Test deRaven avanzado se encontraron dife-rencias estadísticas significativas (p <.001); los estudiantes africanos alcan-zaron en promedio 23; los estudiantesindios orientales 26 y los estudiantesblancos 29. Al clasificarlos en percen-tiles se observó que correspondieron alos puntajes de 60, 71 y 86, respectiva-mente, que al ser transformados encoeficientes intelectuales alcanzaron

75



Estándar de Raven (MPS) y el Testavanzado (MPA). Los resultados indica-ron que no hubo diferencias en los niñoscon edades entre los 6 y 14 años, perotambién se observó que los varonesalcanzaron valores medios superiores enla edad de 15 años. Entre los adultos, laventaja masculina fue de 0.33, equiva-lente a 5 puntos de CI. Los autores con-cluyeron que estos resultados fueronopuestos a la creencia frecuente de queno hay ninguna diferencia por sexo enlas matrices progresivas e indicaron quese apoyó en la teoría del desarrollo quepropone una ventaja masculina a partirde los 15 años de edad.

Brown y Day (2006) realizaron unainvestigación dirigida a revisar las crí-ticas efectuadas a las investigaciones ylas metodologías de las interpretacio-nes de los retos de los estereotiposacerca de las diferencias entre las razashechas con el Test MPA de Raven. Paraello se trabajó con dos grupos de estu-diantes de diferentes razas (afroameri-canos y blancos), a los cuales se lesaplicó el MPA bajo tres condicionessegún el tipo de instrucción realizada:a) la situación de bajo reto, donde se

indicaba que se debía armar unrompecabezas,

b) la situación de reto medio, quecorrespondió a las presentación delas instrucciones estandarizadas, y

c) la situación de alto reto, que corres-pondió a la consigna de responderuna prueba de inteligencia.

76


valores de 103, 108 y 118, de acuerdocon las normas norteamericanas de1993 que fueron aplicadas.

Los investigadores reportaron queel mismo patrón de diferencias entrelos grupos fue observado en la pruebade comprensión, la subescala de simili-tudes y los rendimientos universitariosy secundarios. Además, indicaron quelos ítems del Test de Raven se compor-taron de forma similar tanto en losestudiantes africanos como en los noafricanos, lo que indicó la validezinterna de la prueba. El análisis de losítems y el análisis factorial confirmato-rio demostraron que la diferencia entreafricanos y no africanos fue más pro-nunciada en el factor general de inteli-gencia. También indicaron que la vali-dez concurrente fue demostrada con lacorrelación de las matrices con lasotras medidas, tanto en forma indivi-dual como compuesta. Para el grupoafricano la correlación fue de 0.28 (p <.05) y para los no africanos de 0.27 (p <.05). Aunque el intercepto de las líneasde regresión para los dos grupos fueronsignificativamente diferentes, suspendientes no lo fueron. Finalmente,se pudo concluir que los resultadosdel Raven avanzado fueron válidospara los africanos así como para losno africanos.

Lynn e Irwing (2004) realizaron unestudio metaanalítico, el cual incluyó 57estudios de diferencias por sexo enmuestras de poblaciones en las cuales seaplicó el Test de Matrices Pro gre sivas



77

tuvo su mayor influencia en el desarro-llo de los controles, la estandarizacióny las normas o baremos de compara-ción, lo cual fue característico en laTeoría Clásica de los Test (TCT) (Allen& Yen, 2002).

En la actualidad impera el paradig-ma cognitivo signado por la prioriza-ción del concepto de proceso, y suinfluencia en el campo de la mediciónse ha dado sobre la base de la calibra-ción de los ítems, la función de infor-mación y el denominado banco deítems, lo que ha devenido en la TRI oTeo ría de la Estructura Latente (Ham -bleton, Swaminathan & Rogers, 1991).Esto ha producido que muchas de laspruebas psicológicas construidas con elmodelo de la TCT sean desarrolladascon la nueva TRI, a fin de optimizar lamedición psicológica y con ello tomarmejores decisiones.

Las ventajas del enfoque de la TRIcon respecto al de la TCT, de acuerdocon López Pina (1995), Embretson yReise (2000) y Muñiz, Fidalgo, Cueto,Martínez y Moreno (2005) son lassiguientes:a) Establecida una escala para el rasgo

latente, se obtiene la misma estima-ción (salvo fluctuaciones del mues-treo) del nivel de un sujeto cuandoes medido por diferentes subcon-juntos de ítem, aun cuando estosdifieran en sus índices de dificultad.

b) La estimación del nivel de habilidadde un sujeto depende solo de susrespuestas a los ítems y no de los

Los resultados indicaron que hubodiferencias en la interpretación delestereotipo de la diferencia de razassegún los retos en los puntajes de laprueba de habilidades. Los participan-tes afroamericanos presentaron un bajorendimiento respecto a los blancos enlas condiciones de instrucciones dereto normal y alto, pero realizaron undesempeño superior al alcanzado porlos estudiantes blancos en las instruc-ciones de bajo reto.

En el Perú, Delgado, Escurra,Bulnes y Quesada (2001) adaptaron elMPA, utilizando el enfoque de la Teo -ría Clásica de los Test; para ello traba-jaron con una muestra de 501 universi-tarios, los resultados indicaron que elinstrumento presentó confiabilidad porconsistencia interna así como validezde constructo; las comparaciones seña-laron que existieron diferencias esta -dís ticas significativas según el tipo decarrera profesional que presentaron losparticipantes. Hasta la actualidad elTest de MPA de Raven no se ha traba-jado con la Teoría de la Respuesta alÍtem (TRI) en el contexto nacional.

LA TEORÍA DE LA RESPUESTA AL ÍTEM (TRI)

La medición psicológica ha variado demanera considerable, debido a que hasido influenciada por los diferentesparadigmas de investigación. Hastahace algunas décadas imperaba el para-digma funcionalista, el cual resaltó elconcepto de control experimental y que



78

estadísticos descriptivos de lapoblación de sujetos.

c) Los parámetros de los ítems soninvariantes entre diversas poblacio-nes de sujetos. Es decir, si la res-puesta a un ítem solo depende delnivel del rasgo que se desea medir,los sujetos igualmente hábilestendrán la misma probabilidad derespuesta correcta independiente-mente de la población a la que per-tenecen. De este modo, ya no esnecesario utilizar un grupo normati-vo. Sin embargo, el problema deadaptar las normas propias de laTCT se modifica, en la TRI, en elproblema de verificar la invarianciade los parámetros de los ítems entrepoblaciones. Si la probabilidad decontestar correctamente un ítempara un nivel dado de habilidaddepende de alguna otra característi-ca que la habilidad en cuestión,dicha probabilidad podrá variarentre las poblaciones que difieranen tal característica, con lo que elítem resultaría sesgado al tener unfuncionamiento diferencial. El fun-cionamiento diferencial de los ítemsse presenta cuando no se satisface elsupuesto de unidimensionalidad.

La TRI se caracteriza por haberdesarrollado en el enfoque paramétricoun conjunto de modelos según elnúmero de parámetros que se debencalcular; así, se tienen los modelos de1, 2, 3 y 4 parámetros (Hambleton,1982; Page, 1993; Muñiz, 1996).

Para De Ayala (2009) la TRI utilizael concepto de teoría en el sentido deparadigma debido a que trata de expli-car todos los hechos con los cualespuede ser confrontado (Kuhn, 1977).La TRI es un sistema de modelos quedefine un procedimiento para estable-cer la correspondencia entre las varia-bles latentes y sus manifestaciones. Noes una teoría en el sentido tradicionaldebido a que no explica por qué la per-sona presenta una respuesta específicaa un ítem o por qué una persona decidecómo hacerlo.

La TRI es una teoría de la estima-ción estadística, utiliza una caracteriza-ción latente de los individuos y de losítems como predictores de la respuestaobservada. Muchos investigadores–como Lord (1980), Embretson (1984)y Fisher y Formann (1982)– han indi-cado que se utilizan las característicasdel ítem para explicar cómo un ítem esubicado en un punto particular. Por otraparte, la TRI alude a otros métodos deescalamiento, por ejemplo el escalo-grama de Guttman y los modelos dedesplegamiento de Coombs, aunquelos procesos cognitivos utilizados porun individuo para responder a un ítemno son configurados utilizando losmodelos de la TRI.

En la TRI las personas y los ítemsson ubicados en un mismo continuo.Muchos modelos suponen que la varia-ble latente es representada por un con-tinuo unidimensional. Adicionalmente,para un ítem existe una utilidad si


puede diferenciar entre personas locali-zadas a lo largo del continuo. En unítem la capacidad de diferenciar entrepersonas reduce su incertidumbre acer-ca de su localización. Esta capacidadpara diferenciar entre personas con dis-tintas ubicaciones es mayormente unaconstante que puede variar entre losítems de un instrumento.

Los análisis del rasgo latente secentran en la interacción de los sujetoscon los ítems y los modelos estadísti-cos que recogen esta relación, los cua-les se expresan gráficamente por lascurvas características del ítem.

Existen dos grandes aproximacionesen la Teoría del Rasgo Latente. La dife-rencia entre ambas se refleja en el tipode relación que se establece entre losdatos y el modelo estadístico utilizado.

La primera de las aproximacionesse agrupa alrededor de la TRI; en ellase trata de buscar un modelo que seajuste mejor a los datos disponiblesmediante la parametrización del rasgolatente y de las propiedades de losítems. Se les podría considerar mode-los de contraste, y como proponenThissen y Orlando (2001) los modelosde esta teoría miden lo que son losítems, no lo que deberían ser.

La segunda aproximación corres-ponde a los modelos de Rasch, en loscuales se parte de un modelo determi-nado que dispone de unas propiedadesespecíficas a las que los datos obteni-dos se adecúan o no. Estos modelos se

denominan de ajuste; del análisis de losdesajustes se obtiene la informaciónnecesaria para determinar las calibra-ciones de ítems y las medidas conve-nientes en cada caso.

La TRI (Lord, 1980) propone unmodelo probabilístico que permiteconocer la información proporcionadapor cada ítem. De acuerdo con Ham -ble ton, Swaminathan y Rogers (1991)el comportamiento de un sujeto evalua-do ante un ítem de un test puede expli-carse por el rasgo latente. Las relacio-nes entre la respuesta al ítem y el rasgolatente se pueden describir medianteuna función denominada: Curva Carac -te rística del Ítem (CCI).

Supuestos básicos

Se consideran hipótesis operativas detrabajo que serán validadas al relacio-nar los datos con los modelos TRI uti-lizados, determinando si son apropia-dos o no para explicar los datos(Hambleton, Swaminathan & Rogers,1991; Muñiz, 1997; De Ayala, 2009)tal como se detallan a continuación:• Unidimensionalidad del rasgo

latente.- En un modelo TRI solo semide un rasgo latente por un con-junto de ítems del test. El cumpli-miento de este supuesto puede noser exacto debido a factores tantocognitivos como de personalidad,así como relacionados con la propiaadministración del test. Si existe uncomponente dominante que influya

79




80

en las respuestas se estará frente aun rasgo latente, en ese caso secumple el supuesto de unidimensio-nalidad del modelo TRI. En casocontrario se trata de más de un rasgolatente (multidimensionalidad).

• Independencia local estadística.-Las respuestas a cualquier par deítems son independientes entre sí.Ello implica que será solo el niveldel rasgo latente del evaluado el queinfluye en sus respuestas a los ítemsdel test.

• Curva Característica del Ítem(CCI).- Expresa la relación entre lavariable latente y las respuestasobservadas al ítem; se describe comouna función monótona creciente (siel nivel de rasgo latente disponiblepor el encuestado aumenta la proba-bilidad de respuesta correcta –en elcaso de ítems dicotómicos– al ítemse incrementa).

Cuando el modelo es el apropiadopara el conjunto de datos evaluados, yse verifican las hipótesis planteadas, seobtienen las siguientes características(Hambleton, Swaminathan & Rogers(1991):a) Las estimaciones del rasgo latente

del sujeto no depende del test. b) Las estimaciones de los parámetros

de los ítems no dependen de lamuestra de sujetos utilizada.

c) Los rasgos latentes estimados obte-nidos de diferentes conjuntos de

ítems serán los mismos (si no seconsideran los errores de medición).

d) Los parámetros de los ítems estima-dos obtenidos de diferentes mues-tras serán los mismos (si no se con-sideran los errores de medición). La TRI se caracteriza también por

pro porcionar estimaciones del error es-tán dar para los rasgos individuales esti-mados, y no una estimación del errorpara todos los casos. La propiedad deinvarianza de los parámetros del mode-lo indica que los parámetros que carac-terizan un ítem no dependen de la dis-tribución del rasgo latente de los eva-luados. El parámetro que caracteriza aun evaluado no depende del conjuntode ítems del test. Se obtiene cuando elajuste de modelo y datos es exacto enla población utilizada (Hambleton,Swaminathan & Rogers, 1991; Muñiz,1997; De Ayala, 2009).

EL MODELO DE TRES PARÁMETROS

Para Hambleton (1982), Embretson yReise (2000), Boomsma, Van Duijn ySnijders (2001), De Ayala (2009),Reckase (2009) y Nering y Ostini(2010), el Modelo de Tres Parámetroses el modelo de la TRI que se utilizapara describir las respuestas binarias (odicotómicas) a los ítems para la medi-ción de habilidades, los parámetroscorresponden al nivel de dificultad delítem (b), la discriminación (a) y la pro-babilidad de acertar por adivinación(c). Su fórmula es la siguiente:


En dondeθ : Rasgo latente: Capacidad, ha -

bi lidad, atributo del sujeto en -cuestado.

Pi(θ) : Probabilidad de que un encues-tado elegido al azar con habili-dad θ conteste correctamente elítem i.

bi : Parámetro de dificultad delítem i.

ai : Parámetro de discriminacióndel ítem i.

1.7 : Valor arbitrario introducidopara que la función logística seajuste a la normal acumuladacon exactitud 0.01.

exp : Base del logaritmo neperiano:2.178.

ci : Parámetro de pseudoazar: Pro -ba bi li dad de contestar correcta-mente un ítem de alternativasmúltiples por azar (adivinar).Para todo i ∈ {1, 2,..., n} (nú -mero de ítems).

El parámetro ci proporciona unaposible asíntota no nula para la CCI yrepresenta la probabilidad de respuestacorrecta al ítem de los encuestados debajo nivel del rasgo latente. Se incor-pora para representar el comportamien-to al más bajo nivel del continuo de lavariable latente, en donde la “adivina-

ción” o pseudoazar puede ser un factorsignificativo ante los test de respuestasmúltiples (Hambleton, Swaminathan &Rogers, 1991).

Siguiendo a Ryan (1983), se puededecir que este modelo supone que lapersona al responder el ítem usa dosestrategias alternativas: su propio rasgolatente y la “adivinación”. Es difícil vercómo un modelo que se acomoda aesas dos estrategias para contestar unítem puede usarse para medir sujetoscon un único rasgo latente unidimen-sional. También parece inadecuadomodular la “adivinación” como unacaracterística de los ítems del test,cuando “adivinar” parece más propiode las personas. Sin embargo, “adivi-nar” no parece que sea una característi-ca ni de los ítems ni de los sujetos, yaque serán pocos los ítems que puedanser adivinados por todos los evaluadosy pocos los sujetos que adivinen todoslos ítems.

OBJETIVOS

Se plantearon los siguientes objetivos:• Evaluar la adecuación psicométrica

de los ítems que conforman el Testde MPA de Raven, de acuerdo conla TRI con base en el Modelo deTres Parámetros.

• Establecer si los ítems del Test deMPA de Raven presentan una ade-cuada calibración de acuerdo con elmodelo de la TRI de tres parámetros.

81



• Identificar si el Test de MPA de Ra -ven presenta un adecuado ajuste almodelo de la TRI de tres parámetros.

• Evaluar la función de informaciónque presenta el instrumento.

• Analizar si existen diferencias es ta -dís ticas significativas en los punta-jes del test por tipo de universidad ypor sexo.

MÉTODO

La presente investigación correspondea un estudio descriptivo y psicométrico(Sánchez & Reyes, 2006; Alarcón,2008; Hernández, Fernández &Baptista, 2010). Se trató de analizar laspropiedades psicométricas del Test deMPA de Raven de acuerdo con la TRIen estudiantes universitarios de los pri-meros ciclos.

• Universo y muestra de la investiga-ción.- El universo estuvo conforma-do por universitarios desde el pri-mero hasta el cuarto año de estu-dios, matriculados en universidadesnacionales y particulares de la ciu-dad de Lima. Se trabajó con unamuestra representativa de 2081casos. Para la obtención de la mues-tra se aplicó un procedimiento demuestreo probabilístico estratifica-do de acuerdo con el tamaño de lasuniversidades seleccionadas y delas facultades.

El 63,5% de estudiantes de lamuestra eran de universidades congestión estatal y el 36,5% de uni-versidades particulares (véase latabla 1). Los porcentajes de losalumnos por año de estudios eranlos siguientes: primer año: 27,9%;

82


Tabla 1Composición de la muestra

Frecuencia PorcentajeGestión de la universidad

Particular 760 36,5Estatal 1321 63,5

Año de estudiosPrimer año 580 27,9Segundo año 530 25,5Tercer año 501 24,1Cuarto año 470 22,5

SexoHombre 1021 49,1Mujer 1060 50,9

n = 2081


segundo año: 25,5%; tercer año:24,1%, y cuarto año: 22,6%.Asimismo, el 50,1% eran mujeres yel 49,9% varones. Las edades fluc-tuaron entre 18 y 27 años, el prome-dio fue de 21 años y se obtuvo unadesviación estándar de 1.24.

• Variable de estudio.- La variableestudiada corresponde a la medi-ción de la inteligencia a través delTest de MPA de Raven. Adi cio -nalmente, los resultados fueroncomparados de acuerdo con el tipode universidad de procedencia y elsexo de los alumnos.

• Instrumento de investigación.- Seempleó el Test de MPA de Raven,que mide la capacidad de educciónde relaciones, uno de los compo-nentes principales de la inteligenciageneral y del factor “g” (Raven etal., 1994; Anastasi & Urbina, 1998;Cohen & Swerdlik, 2001; Kaplan &Sacuzzo, 2006).

El instrumento se caracteriza porestar conformado por 36 matricesque deben ser completadas y orga-nizadas con niveles de dificultadcreciente.

• Procedimiento de recolección dedatos.- Se trabajó siguiendo lossiguientes pasos: En primer lugar,por cada universidad se determina-ron las facultades que iban a serevaluadas. En segundo lugar, seestablecieron la cantidad de alum-nos por año de estudio y las aulas

incluidas. Las evaluaciones se efec-tuaron de manera grupal.

• Técnicas de procesamiento y análi-sis de datos.- El análisis estadísticofue realizado tomando en cuenta lasrecomendaciones propuestas porMuñiz (1996), Du Toit (2003) yLinacre (2007). Inicialmente se ela-boraron los manuales de codifica-ción y calificación, la informaciónfue procesada utilizando los paque-tes estadísticos: Bilog-MG3 (DuToit, 2003), y el Spss FWv. 18.0.

El análisis cuantitativo de losdatos fue procesado en cuatro eta-pas, utilizándose una combinaciónde estadística descriptiva y procedi-mientos multivariados. – Etapa I. Se realizó el análisis psi-

cométrico del Test de MPA deRaven de acuerdo con la TCT.

– Etapa II. Se efectuó el análisispsicométrico del Test de MPA deRaven de acuerdo con la TRI.

– Etapa III. Se llevó a cabo un aná-lisis descriptivo de las variablesseleccionadas para el estudio,efectuándose el análisis de lanormalidad de los puntajes através de la prueba de Kolmo -gorov-Smirnov.

– Etapa IV. Se hizo el análisis infe-rencial, para ello se tomó encuenta las recomendaciones pro-puestas por Siegel y Castellan(1995) y Catena, Ramos y

83



Trujillo (2003), el cual abarcó laprueba U de Mann-Whitney.

El análisis de la información se rea-lizó con los paquetes Bilog-MG3 (DuToit, 2003), NOHARM v. 3.0 (Fraser& Mc Donald, 2003) para el Modelo deTres Parámetros. El Spss FW v.18 fueutilizado para los análisis psicométri-cos de confiabilidad, las estadísticasdescriptivas, la prueba de bondad deajuste a la curva normal de Kolmo go -rov-Smirnov y la prueba U de Mann-Whitney (Aron & Aron, 2001; Pagano,2006).

Los instrumentos se aplicaron demanera grupal. Antes de la evaluación

se realizó una breve explicación de lafinalidad del estudio a los alumnos conel fin de motivar su participación,dejando clara su completa libertad departicipar o no.

RESULTADOS

Etapa I. Análisis psicométricomediante la TCT de la prueba deMPA de Raven

Los resultados del análisis psicométricocon la TCT, efectuado a través del coe-ficiente de la correlación ítem-testcorregido, presentados en la tabla 2, per-miten observar que se obtienen correla-

84


Tabla 2Análisis de la confiabilidad del test de MPA de Raven

Ítem M D. E. .ritc Ítem M D. E. .ritc1 0.96 0.21 0.20 19 0.81 0.39 0.262 0.96 0.20 0.28 20 0.72 0.45 0.233 0.96 0.19 0.23 21 0.59 0.49 0.334 0.89 0.32 0.28 22 0.50 0.50 0.335 0.86 0.35 0.25 23 0.54 0.50 0.356 0.91 0.28 0.27 24 0.36 0.48 0.237 0.90 0.30 0.25 25 0.44 0.50 0.308 0.81 0.39 0.30 26 0.18 0.38 0.269 0.91 0.28 0.36 27 0.19 0.39 0.6410 0.83 0.38 0.37 28 0.17 0.37 0.2511 0.92 0.27 0.37 29 0.19 0.39 0.2512 0.88 0.33 0.29 30 0.29 0.45 0.3313 0.66 0.48 0.23 31 0.23 0.42 0.3214 0.85 0.36 0.36 32 0.15 0.36 0.2715 0.77 0.42 0.33 33 0.17 0.38 0.2816 0.82 0.39 0.36 34 0.15 0.36 0.2817 0.80 0.40 0.27 35 0.13 0.34 0.2818 0.58 0.49 0.21 36 0.03 0.18 0.38

Kuder-Richardson 20 = 0.79 *I C Kuder-Richardson 20 = 0.78 – 0.80

* p < .05.n = 2081


ciones que fluctúan entre r = 0.20 (ítem1) y r = 0.64 (ítem 27), los cuales sonestadísticamente significativos (p < .05),a la vez que superan el criterio de r >0.20 propuesto por Kline (1986), lo quepermite que todos los ítems sean rele-vantes para la conformación de la esca-la. El análisis de la confiabilidad porconsistencia interna, realizado a travésdel coeficiente Kuder-Richardson 20,alcanzó un valor de 0.79, el cual presen-ta un intervalo de confianza al 95%,valores entre 0.78 y 0.80, por lo que sepuede concluir que el instrumento per-mite obtener puntajes confiables.

Etapa II. Análisis psicométricomediante la TRI de la prueba deMPA de Raven

El análisis psicométrico mediante laTRI y el Modelo de Tres Parámetros serealizó a través de las siguientes etapas:

a) Análisis de la calibración de losítems mediante el Modelo de TresParámetros de la TRI

El análisis de la calibración de losítems del Test de MPA de Raven per-mite apreciar, en la tabla 3, que losítems presentan niveles de dificultad(a) que oscilan entre un nivel muy fácil(b = -4.597) en el ítem 1 y un nivel muydifícil (b = 2.286) en el ítem 28. En loque concierne a la discriminación, losvalores alcanzados fluctúan entre unamuy baja discriminación (a = 0.312) enel ítem 13 y una muy alta discrimina-ción (a = 2.506) como en el ítem 34. Entanto la probabilidad de pseudoadivi-nación alcanza valores muy bajos, quefluctúan entre c = 0.005 (ítem 36) y c = 0.073 (ítem 30). Además, seencuentra que los ítems que no seadecúan al Modelo de Tres Parámetrosson los siguientes: 6, 10, 17, 21, 22, 23,

85


Tabla 3Análisis de la calibración de los ítems del test de MPA de Raven mediante el modelo

de tres parámetros

Ítem Parámetros X2 g. l. p

.a .b .c1 0.462 -4.597 0.029 1.60 8 .99052 0.784 -3.023 0.027 2.50 6 .86483 0.662 -3.586 0.026 6.70 7 .46194 0.510 -2.478 0.027 11.20 9 .26485 0.550 -2.581 0.022 9.70 8 .28336 0.579 -2.805 0.023 15.90 8 .04397 0.499 -2.840 0.025 12.00 9 .21478 0.459 -1.860 0.031 4.30 9 .88909 0.911 -2.031 0.034 9.50 7 .2215

(continúa)


86


Ítem Parámetros X2 g. l. p.a .b .c

10 0.880 -1.668 0.027 17.70 8 .023711 0.885 -2.222 0.021 7.30 7 .399112 0.573 -2.488 0.023 11.60 8 .170813 0.312 -1.785 0.022 11.60 9 .236014 0.811 -1.647 0.019 14.30 8 .075415 0.603 -1.598 0.018 12.70 9 .178616 0.725 -1.282 0.053 13.90 9 .127217 0.492 -1.920 0.018 28.20 9 .000918 0.355 -0.406 0.019 12.40 9 .189219 0.498 -2.042 0.025 10.60 9 .304620 0.349 -1.541 0.027 11.70 9 .228021 0.548 -0.670 0.016 42.30 9 .000022 0.554 0.140 0.021 25.50 9 .002423 0.577 0.130 0.021 31.60 9 .000224 0.456 1.289 0.015 16.60 9 .056225 0.530 0.310 0.010 38.40 8 .000026 0.473 1.217 0.036 22.90 9 .006427 0.647 1.860 0.021 25.90 8 .001128 0.601 2.286 0.030 30.30 8 .000229 0.819 1.919 0.045 13.30 8 .102730 1.256 1.178 0.073 15.80 9 .070231 1.562 1.299 0.063 11.10 9 .270232 1.402 1.553 0.044 13.70 9 .133633 2.450 1.378 0.069 14.40 9 .107634 2.506 1.432 0.046 4.90 9 .846635 1.907 1.534 0.030 8.40 8 .398636 2.188 2.237 0.005 1.90 4 .7626M 0.844 -0.703 0.029D.E. 0.583 1.919 0.015

n = 2081

Tabla 4Análisis del ajuste del test de MPA de Raven mediante el modelo de tres parámetros

Estadísticos Raven avanzadoEstadístico G 542.40Grado de libertad 299Significación .00001

n = 2081

(continuación)


24, 25, 26, 27, 28, los cuales alcanzancoeficientes chi-cuadrado que son sig-nificativos al p < .05.

b) Análisis del ajuste al modelo de laTRI de tres parámetros

Con la finalidad de evaluar el ajustegeneral del Test de MPA de Raven secalculó mediante el estadístico G, elcual alcanzó un valor de 542.40 quecon 299 grados de libertad presenta unaprobabilidad asociada de .00001, por locual se concluye que existen diferen-cias estadísticas significativas, corro-borando que el instrumento no se ajus-ta adecuadamente al Modelo de TresParámetros. (tabla 4)

c) Análisis de la unidimensionalidaddel Test de MPA de Raven mediante elModelo de Tres Parámetros

El análisis de la unidimensionalidad delTest de MPA de Raven fue realizado conbase en el análisis factorial exploratoriono lineal, el cual se desarrolló aplicandoel modelo NOHARM (Fra ser &

McDonald, 2003). En la tabla 5 se inclu-yen las soluciones para los factores 1, 2,3 y 4; los resultados incluidos permitenapreciar que los índices de bondad deajuste de Tanaka varían entre 0.923 en elfactor 1 y 0.989 en el factor 4, notándo-se además que la raíz cuadrada media delos residuales (RMSR) es menor que elvalor de 0.0050 en los factores 3 y 4, demanera que los hallazgos indican queexisten más de tres factores, lo cual per-mite concluir que el instrumento no esunidimensional.

d) Análisis de la dependencia localcondicional de los ítems del Test deMPA de Raven mediante el Modelo deTres Parámetros

Para analizar la dependencia local con-dicional de los ítems del Test de Ravense aplicó el estadístico Q3 (De Ayala,2009). Debido a que los ítems sondicotómicos se procedió a usar la meto-dología de los testlets (Wainer, Brad -low & Wang, 2007), por lo cual se ela-boraron seis agrupamientos aleatoriosde seis ítems cada uno, procediéndose

87


Tabla 5Análisis de la unidimensionalidad del test de MPA de Raven con el modelo HOHARM

Estadísticos 1 Factor 2 Factor 3 Factor 4 FactorSuma de cuadrados de los residuales 0.0501 0.0253 0.0106 0.0075Raíz cuadrada media de los residuales (RMSR) 0.0089 0.0063 0.0041 0.0035Índice de bondad de ajuste de Tanaka 0.923 0.961 0.984 0.989

N = 2081


a calcular el Modelo de TresParámetros, computar el coeficiente ylos residuales respectivos, finalmentese correlacionaron los testlets entre sí.Los resultados presentados en la tabla 6permiten observar que se encuentranvalores de Q3 menores que el criteriopropuesto por Yen (1993) de Q3 =0.20. Estos hallazgos hacen posibleconcluir que los testlests y por ende losítems que conforman los agrupamien-tos no presentan dependencia localcondicional.

e) Análisis de las curvas característicasde los ítems del Test de MPA de Raven

Los gráficos de las curvas característi-cas de los ítems del Test de MPA deRaven que se muestran en el gráfico 1permiten apreciar que los ítems presen-tan curvas características muy diferen-ciadas, de tal manera que en los ítems

del 1 al 20 se observan curvas convalores más altos en el nivel de la pseu-doadivinación, mientras que en losítems del 21 al 36 presentan valoresmuy pequeños en el caso de la pseudo-adivinación. Adicionalmente, se puedenotar que las discriminaciones son másdeficientes entre los ítems 21 y 35.

f) Análisis de la función de informacióny la función de error del Test de MPAde Raven

Los resultados que aparecen en el grá-fico 2 permiten apreciar que la funciónde información (línea continua) no pre-senta una figura uniforme, sino que enlos niveles bajos y medios de habilidadla información es baja, incrementándo-se en forma consistente en los nivelesde habilidad la función de información,esto indicaría que los sujetos son mejordiscriminados por el instrumento cuan-

88


Tabla 6Matriz de correlaciones de los testlets del test de MPA de Raven

Testlet1 Testlet2 Testlet3 Testlet4 Testlet5Testlet2 -0.0290

(0.0008)Testlet3 -0.0940 -0.0510

(0.0088) (0.0026)Testlet4 -0.1170 -0.1470 -0.0130

(0.0137) (0.0216) (0.0002)Testlet5 -0.1570 -0.1410 -0.1890 -0.1520

(0.0246) (0.0199) (0.0437) (0.0231)Testlet6 -0.0950 -0.1360 -0.1590 -0.1490 0.0660

(0.0090) (0.0185) (0.0253) (0.0222) (0.0044)

n = 2081Nota: Q3

2 figura entre paréntesis.


89


Gráfico 1Curvas características de los ítems del test de MPA de Raven

Gráfico 2Distribución de la función de información y error del test de MPA de Raven

Error estándarIN

FOR

MA

CIÓ

N


do tienen niveles altos de habilidad quecuando tienen niveles medios y bajos;asimismo, en lo que se refiere a la fun-ción de error, se encuentra que losniveles de habilidad bajos y medios tie-nen mayores niveles de error, mientrasque este disminuye considerablementecuando se evalúa a los sujetos demayor habilidad. Estos hallazgos per-miten concluir que el instrumento soloes más eficiente cuando se evalúa asujetos con altos niveles de habilidad.

Etapa III. Análisis descriptivo

Los resultados del análisis de la bondadde ajuste a la curva normal fueronreali za dos a través de la prueba de Kol -

mo gorov-Smirnov (tabla 7) e indicaronque el estadístico Z de Kolmogorov-Smirnov fue significativo (K-S Z =3.58p < .001), por lo que se puede concluirque la distribución de los valores no seaproxima adecuadamente a la distribu-ción normal. Es por ello que se utiliza-ron contrastes estadísticos no paramé-tricos en el análisis de los datos de lainvestigación, siguiendo a Siegel yCastellan (1995) y a Catena, Ramos yTrujillo (2003).

Etapa IV. Análisis complementarios

Para el análisis complementario seestudiaron las diferencias por sexo. Losresultados obtenidos en la tabla 8 per-

90


Tabla 7Análisis de la bondad de ajuste a la curva normal de las variables estudiadas

Variables M D. E. Z de Kolmogorov-Smirnov

Raven avanzado 21.11 4.71 3.58 ***

*** p < 0.001n = 2081

Tabla 8Análisis del rendimiento en el test de Raven avanzado por sexo

Varón MujerVariable n = 1021 n = 1060 U Z

Mr Mr

Raven avanzado 1140.30 945.36 439747.00 7.42 ***

*** p < .001


miten apreciar que existen diferenciasestadísticas significativas (Z = 47.42 p< .001), notándose que los varones pre-sentan una media de rangos mayor (Mr= 1140.30) que las mujeres (Mr =945.36).

En relación con la comparación delTest de Raven avanzado por tipo deuniversidad (tabla 9), se puede notarque no existen diferencias estadísticassignificativas (Z = 0.634 p > .05) entrela universidad estatal (Mr = 1123.70) yla universidad particular (Mr =1014.77).

DISCUSIÓN

El estudio ha tenido por finalidad reali-zar el análisis psicométrico del Test deMPA de Raven mediante el Modelo deTres Parámetros de la TRI. Por ello, ini-cialmente se hizo el análisis bajo elmodelo de la TCT, y los resultados indi-caron un adecuado funcionamiento psi-cométrico bajo este modelo, pues elíndice de confiabilidad es elevado. Elhallazgo concuerda con los estudioshechos por Jensen y Munro (1979),

Zagar, Arbit y Friedland (1980), Burke(1985), Kline (1986), O´Leary, Rusch yGuastello (1991), Torres y Cuesta(1992), Raven (1999) y por Delgado,Escurra, Bulnes y Quesada (2001). Enconclusión, la revisión de estos resulta-dos indica que el test funciona adecua-damente bajo los requerimientos delmodelo de la TCT (Brown, 1980; Walsh& Betz, 1995; Muñiz, 1996; Muñiz,1997; Anastasi & Urbina, 1998; Mar tí -nez, Hernández & Hernández, 2006).

Como bien indican López Pina(1995), Embretson y Reise (2000);Muñiz, Fidalgo, Cueto, Martínez yMoreno (2005); Boorsboom (2005) yDe Ayala (2009), la TCT es un modelomuy laxo en sus suposiciones, de ahíque cuando se analiza bajo el modelode la TRI mediante el Modelo de TresParámetros, los principales hallazgospermiten concluir que el instrumentoya no funciona en forma adecuada,hallazgos coincidentes con los estudiosde Van der Ven y Ellis (2000);Cikrikci-Demirtasli (2002) y Sisto,Marín Rueda y Bartholomeu (2006).

91


Tabla 9Análisis del rendimiento en el test de Raven avanzado por tipo de universidad

Estatal ParticularVariable n = 1321 n = 760 U Z

Mr Mr

Raven avanzado 1123.70 1014.77 487936.00 0.634


La dificultad del Test de Raven parafuncionar adecuadamente bajo elModelo de Tres Parámetros se puedeobservar en los resultados de la calibra-ción de los ítems, debido a que puedenotarse que los ítems que no se adecúanestadísticamente al modelo son: 6, 10,17, 21, 22, 23, 24, 25, 26, 27, 28.También se encuentra en el análisis glo-bal del test que tampoco se ajusta alModelo de Tres Parámetros de la TRI.

Con relación al análisis de la unidi-mensionalidad del instrumento loshallazgos del Test de MPA de Ravenindican que existen por lo menos dosdimensiones, tal como lo demuestranlos resultados obtenidos en el análisisfactorial exploratorio no lineal desarro-llado con el modelo NOHARM (Fraser& Mc Donald, 2003). Estos hallazgosse corresponden con lo expuesto porDelgado, Escurra, Bulnes y Quesada(2001), quienes obtuvieron 12 factoresen su estudio en ingresantes a laUniversidad Nacional Mayor de SanMarcos (UNMSM); asimismo, secorresponde a lo indicado por Van derVen y Ellis (2000), quienes al estudiarla unidimensionalidad de los ítems dela escala de matrices progresivas están-dar de Raven concluyó que en lasseries B y E medían por lo menos dosdimensiones diferentes. También con-cuerda con los resultados de Verguts,De Boeck y Maris (1999), los cualesreportaron que en el Test de Ravenavanzado existe un factor adicional a lahabilidad cognitiva y que podría influir

en los resultados, como es la rapidezpara contestar el test, de manera que sepresenta un conjunto de reglas que diri-gen los ítems y que son indispensablespara resolverlos.

Otro aspecto básico del modelo esque los ítems del instrumento presentenindependencia local estocástica (esta -dís tica), es decir que no exista depen-dencia local condicional de los ítemsconsiderando los resultados del estadís-tico Q3 (De Ayala, 2009) aplicados conla metodología de los testlets (Wainer,Bradlow & Wang, 2007). Debido a quelos ítems son dicotómicos, y de acuerdocon el criterio de Yen (1993), se verificóque los seis testlests construidos y porende los ítems que conforman los agru-pamientos no presentan dependencialocal condicional, lo cual corrobora quelas respuestas de los ítems del test sonindependientes entre sí.

Respecto a la revisión de los gráficosde las curvas características de los ítems(CCI), los hallazgos indican la existen-cia de gráficos muy diferenciados, tantoen el nivel de las discriminaciones y lasdificultades, como en los parámetros depseudoadivinación. Adicionalmente, elanálisis de la función de información yla función de error del test permite notarque en la función de información no sepresenta una figura uniforme, sino que,por el contrario, predominan los nivelesaltos y hay un alargamiento en los nive-les bajos, lo cual indicaría que el instru-mento es más eficiente e informativo enlos niveles de alta habilidad y menos

92



eficiente e informativo en los niveles debaja habilidad, este hecho es respaldadopor el gráfico del error, pues el error esmayor en los niveles bajos y resulta sermucho menor en los niveles de altahabilidad.

En lo que se refiere al análisis de laforma de la distribución de los puntajestotales, por los resultados alcanzadoscon la prueba de Kolmogorov-Smirnov(Siegel & Castellan, 1995; Catena,Ramos & Trujillo, 2003) se encuentraque los puntajes no se aproximan a unadistribución normal, apreciándose quela distribución presenta un sesgo nega-tivo, pues predominan los valoressuperiores a la media, lo que se espera-ba debido al tipo de muestra utilizadoen la investigación.

El análisis de las comparacionesindica que no hay diferencias por tipo deuniversidad, lo cual corrobora la exis-tencia de homogeneidad en las puntua-ciones en los niveles superiores.Mientras que la existencia de diferen-cias por sexo a favor de los varonescorresponde a los hallazgos del estudiometaanalítico realizado por Lynn eIrwing (2004), quienes revisaron 57estudios de diferencias por sexo enmuestras de poblaciones en las cuales seaplicó el test de matrices progresivasestándar de Raven (SPM) y el Testavanzado (MPA). Los resultados indica-ron que entre los adultos se apreció unaventaja masculina del orden de 0.33 quefue equivalente a cinco puntos de CI.;esto no coincide con la creencia de que

no hay ninguna diferencia por sexo enlas pruebas de las MPA de Raven.

CONCLUSIONES

La investigación llegó a las siguientesconclusiones:• Los ítems del Test de MPA de

Raven se adecúan mejor al modelode la TCT.

• Los ítems no presentan una adecua-da calibración de acuerdo con elmodelo tres parámetros de la TRI.

• El test no presenta un adecuadoajuste al Modelo de Tres Pará me -tros de la TRI.

• El test no es unidimensional, el aná-lisis con el modelo NOHARM indi-ca que existen más de tres factoresrelevantes.

• El test analizado con la metodo-logía de los testlest, que incluyeítems que conforman agrupamien-tos, no presentan dependencialocal condicional.

• Los ítems presentan curvas carac-terísticas diferenciadas.

• El test no presenta una adecuadafunción de información.

• El test no presenta una adecuadafunción de error.

• Los varones presentan puntajes máselevados que las mujeres en el Testde MPA de Raven.

• No existen diferencias en los punta-jes del test según el tipo de univer-sidad de procedencia.

93



REFERENCIAS

Aiken, L. (1996). Tests psicológicos yevaluación. México: Prentice Hall-Hispanoamérica.

Alarcón, R. (2008). Métodos y diseñosde investigación del comportamien-to. Lima: Universidad RicardoPalma.

Allen, M. J. & Yen, W. M. (2002).Introduction to measurement the-ory. Long Grove Illinois: WavelandPress.

Anastasi, A. & Urbina, S. (1998). Testpsicológicos. México: PrenticeHall.

Aron, A. & Aron, E. (2001). Esta dís ti -ca para psicología. Buenos Aires:Pearson Education.

Babcock, R. L. (2002). Analysis of agedi fferences in types of errors on theRa ven’s Advanced ProgressiveMatrices. Intelligence, 30 (6), 485-503.

Boomsma, A.; Van Duijn, M. A. J. &Snijders, T. A. B. (2001). Essays onItem Response Theory. Nueva York:Springer Verlag.

Borsboom, D. (2005). Measuring themind, conceptual issues in contem-porary psychometrics. Nueva York:Cambridge University Press.

Bors, D. A. & Vigneau, F. (2001). Theeffect of practice on Raven’sAdvanced Progressive Matrices.

Learning and Individual Diffe -rences, 13 (4), 291-312.

Brown, F. (1980). Principios de lamedición en psicología y educa-ción. México D. F.: El ManualModerno.

Brown, R. P. & Day, E. A. (2006). TheDifference Isn’t Black and White:Stereotype Threat and the Race Gapon Raven’s Advanced ProgressiveMatrices. Journal of AppliedPsycho logy, 91 (4), July, 979-985.

Burke, H. R. (1985). Raven´s Pro gre -ssive Matrices (1938): More onnorms, reliability and validity.Journal of Clinical Psychology, 41,231-245.

Catena, A.; Ramos, M. M. & Trujillo,H. M. (2003). Análisis multivaria-do. Madrid: Biblioteca Nueva.

Cikrikci-Demirtasli, N. (2002). AStudy of Raven Standard Pro gre ssi -ve Matrices Test´s Item measuresun der classic and Item RespondeMo dels: An empirical comparison.Journal of the Faculty of Edu ca -tional Sciences, 35 (1-2), 71-79.

Cohen, R. J. & Swerdlik, M. E. (2001).Pruebas y evaluación psicológicas.México D. F.: McGraw-Hill.

De Ayala, R. (2009). The theory andpractice of Item Response Theory.Nueva York: The Guilford Press.

Delgado V., A.; Escurra M., L. M.;Bulnes B., M. & Quesada M., R.

94



(2001). El test de matrices progresi-vas de Raven - forma avanzada.Revista de Investigación Psico ló -gica, 4 (2), 27-40.

Du Toit, M. (2003). IRT from SSI.Lincolnwood: Scientific SoftwareInternational.

Embretson, S. E. (1984). A generallatent trait model for latent proces-ses. Psychometrika, 49, 175-186.

Embretson S. E. & Reise, S. P. (2000).Item Response Theory forPsychologists. Londres: LawrenceErlbaum.

Fisher, G. H. & Formann, A. K. (1982).Some applications of logistic latenttrait models with linear constraintson the parameter. Applied Psycho -logical Measurement, 6, 397-475.

Fraser, C. & McDonald, R. P. (2003).NOHARM version 3.0: A windowsprogram for fitting both unidimen-sional and multidimensional nor-mal ogive models of latent traittheor computer program. Welland,ON: Niagara College.

Hambleton, R. (1982). Item ResponseTheory: The Tree-ParameterLogistic Model. Los Angeles:Center for the Study of Evaluation,UCLA.

Hambleton, R.; Swaminathan, H. &Rogers, J. (1991). Fundamentals ofItem Response Theory. Londres:Sage Publications.

Hernández, S. R.; Fernández, C. C. &Baptista, L. P. (2006). Metodologíade la investigación. México D. F.:McGraw-Hill.

Jensen, A. R. & Munro, E. N. (1979).Reaction time, movement time andintelligence. Intelligence,3, 121-126.

Kaplan, R. M. & Sacuzzo, D. P. (2006).Pruebas psicológicas: Principios,aplicaciones y temas. México D. F.:Thomson Learning.

Kline, P. (1986). Handbook of testconstruction. Londres: MethuenPress.

Kuhn, T. (1977). The function of measu-rement in modern physical science.Chi cago: University of ChicagoPress.

Linacre, J. M. (2007). A user´s guideand manual to winstep, Rasch-model computer programs. Obteni -do de www.winsteps.com.

López Pina, J. A. (1995). Teoría de laRespuesta al Ítem: Fundamentos.Murcia: D.M.

Lord, F. M. (1980). Applications ofItem Response Theory to PracticalTesting Problems. Hillsdale, N.J.:Lawrence Erlbaum.

Lynn, R. & Irwing, P. (2004). Sex dif-ferences on the progressive matri-ces: A meta-analysis. Intelligence,32(5), 481-498.

95



Martínez, M. R.; Hernández, M. J. &Hernández, M. V. (2006). Psicometría.Madrid: Alianza Editorial.

Muñiz, J. (1996). Psicometría. Madrid:Universitas.

Muñiz, J. (1997). Introducción a lateoría de respuesta a los ítems.Madrid: Universitas.

Muñiz, J.; Fidalgo, A. M.; Cueto, E. G.;Martínez, R. & Moreno R. (2005).Análisis de los ítems. Madrid: LaMuralla.

Nering, M. L. & Ostini, R. (2010).Handbook of Polytomous Item Res -pon se Theory Models. Nueva York:Routledge.

O’Leary, U. M.; Rusch, K. M. &Guastello, S. J. (1991). Estimatingage-stratified WAIS -R IQs fromscor es on the Raven’s Standard Pro -gres sive Matrices. Journal of Cli ni -cal Psychology, 47(2), 277-284.

Pagano, R. (2006). Estadísticas paralas ciencias del comportamiento.México, D. F.: International Thom -son Editores.

Page, M. A. (1993). Elementos dePsicometría. Madrid: EdudemaUniversidad.

Rasch, G. (1980). Probabilistic modelsfor some intelligence and attain-ment test. Chicago: University ofChicago Press.

Raven, J. C. (1999). Psychometrics,cognitive ability, and occupational

performance. En S. M. Wechsler &R. Souza Lobo Guzzo (Eds.).Avaliação Psicológica: PerspectivaInternacional (pp. 299-343). SãoPaulo: Casa do Psicólogo.

Raven, J. C.; Court, J. H. & Raven, J.(1994). Advanced Progressive Ma -tri ces, Raven Manual. Oxford:Oxford Psychologists Press.

Reckase, M. (2009). MultidimensionalItem Response Theory. Nueva York:Springer Verlag.

Rushton, J. P.; Skuy, M. & Fridjhon, P.(2003). Performance on Raven’sAdvanced Progressive Matrices byAfrican, East Indian, and Whiteengineering students in SouthAfrica. Intelligence, 31, 123-137.

Rushton, J. O.; Skuy, M. & Bons, T. A.(2004). Construct Validity of Ra ven’sAdvanced Progressive Ma tri ces forAfrican and Non-African Engi -neering Students in South Africa.International Journal of Se lec tionand Assessment, 12 (3), 220-230.

Ryan, J. (1983). Introduction to latenttrait analysis and item response the-ory. En W. E. Hathaway (Ed.).Testing in the schools: new direc-tions for testing and measurement,19 (pp. 49-65). San Francisco:Jossey-Bass.

Sánchez, C. H. & Reyes, M. C. (2006).Metodología y diseños de la investi-gación científica. Lima: VisiónUniversitaria.

96



Sattler, J. (1988). Evaluación de lainteligencia infantil y habilidadesespeciales. México D. F.: ElManual Moderno.

Siegel, S. & Castellan, N. (1995).Estadística no paramétrica aplica-da a las ciencias de la conducta.México D. F.: Trillas.

Sisto, F. F.; Marín Rueda, F. J. &Bartholomeu D. (2006). Estudosobre a unidimensionalidade doTeste Matrizes Progressivas Co lo ri -das de Raven. Psicologia: Re fle xãoe Critica, 19 (1), 66-73.

Thissen, D. & M. Orlando (2001). ItemResponse Theory for Items Scored inTwo in Categories. En D. Thissen &H. Wainer (Eds.). Test Scoring (pp.73-140). Hillsdale, NJ: LawrenceErlbaum.

Torres, E. & Cuesta, M. (1992). Unarevisión de las propiedades psi-cométricas del test de MatricesProgresivas de Raven (Escala supe-rior). Psicothema, 4 (1), 261-267.

Van der Ven, A. H. G. S. & Ellis, J. L.(2000). A Rasch analysis of Raven´sstandard progressive matrices.Personality and IndividualDifferences, 29, 45-64.

Verguts, T.; De Boeck, P. & Maris E.(1999). Generation speed inRaven’s progressive matrices test.Intelligence, 27 (4), 329-345.

Walsh, W. & Betz, N. (1995). Tests andAssessment. Nueva Jersey: PrenticeHall.

Wainer, H.; Bradlow, E. T. & Wang, X.(2007). Testlet Response Theoryand its Applications. Cambridge:Cambridge University Press.

Yen, W. M. (1993). Scaling Performanceassessments: Strategies for managinglocal item dependence. Journal ofEducational Measurement, 30, 187-213.

Zagar, R.; Arbit, J. & Friedland, J.(1980). Structure of a psychodiag-nostic test battery for children.Journal of Clinical Psychology, 36,313-318.

97



Análisis psicométrico del Test de Matrices Progresivas Avanzadas

Documents

Transcript of Análisis psicométrico del Test de Matrices Progresivas Avanzadas