VALIDACION DE LA PRUEBA DE J. C. RAVENMATRICES PROGRESIVAS Y DE LA PRUEBA ACE

PARA ESTUDIANTES DE PRIMER At'iO UNIVERSITARIOFORMA '47

EL PROBLEMA

EI presente estudio es apenas unaparte del plan para elaborar un equi-po de pruebas psicologicas que per-mita una seleccion eficiente de estu-diantes que aspiren al primer afio delas distintas Facultades y Departa-mentos de la Universidad Nacional.

Es de todos conocido el grave pro-blema que se Ie presenta cada afio aesta Universidad por el exceso de de-manda a sus diferentes facultades, yla falta de cupos en algunas de ellas.

Otro problema anual es el referen-te al numero de fracasos entre losestudiantes admitidos. No exagera-mos al decir que aproximadamenteun 50 por ciento de los estudiantes,no obtiene exito en los estudios.

La razon, no la sabemos. Pero po-demos inferir que si se usara otro sis-tema de seleccion diferente del ac-tualmente empleado, examenes de co-nocimientos y entrevistas personalesposiblemente no seria tan elevado elmimero de estudiantes que no puedeterminar sus estudios.

Fanny G6mez de Pedraza

Colaboradoras:

Diva M. de Rinc6n

Gladys Montealegre

No es nuestra idea presentar unremedio infalible, sino mas bien in-formar sobre algunas de las pruebasque se han usado en otros paises confines de seleccion universitaria, y es-tudiar la manera de aumentar el in-dice de exitos en los estudiantes deesta universidad.

PROPOSITO:

El proposito de este estudio es:a) La validacion de la Prueba del

Consejo Americano de Educa-cion para Estudiantes de Pri-mer Afio Universitario -For-ma '47, parte cuantitativa.

b) La validacion de la prue ba deJ. C. Raven-Matrices Progresi-vas.

En ambas pruebas se usaran co-mo criterio de eficiencia las califica-ciones finales correspondientes al pri-mer semestre en matematicas, en lasfacultades de -Ingenieria y Arquitec-tura de la Universidad Nacional, A-no de 1960.

--129 -

REVISION DE ALGUNOSCONCEPTOS SOBRE VALIDEZ

Que es Validez?La validez de una prueba indica 10

que sus puntajes miden y predicen.Generalmente el grado de validez seexpresa en forma de coeficiente decorrelacion, Cuando se usa para pre-decir la ejecucion en cierta situacionvital, la validez se describe en termi-nos de correlacion entre la pruebapredictora y cierta media de eficien-cia en esa situacion.

Guilford (4, pg 398) dice refirien-dose a la validez:

" ... Un puntaje es valido para pre-decir algo con 10 que se relaciona,donde "Algo" no incluye el puntajeen si, ya que la auto-predicci6n tieneque vel' con la confiabilidad. Cuandodos pruebas indican una intercorre-lacion mayor que cero, 10 "que" unomide es identico, a 10 menos en :mrte,a 10 "que" el otro mide.. la varia-cion del factor comun, es pues, la ba-se de la validez".

Evaluaci6n del Criterio de Eficiencia.Medida Criterio 0 Calificaci6n.

Segun Nunnally (5), una califica-cion es una medida en S1. Si un pro-fesor en determinada clase da a unestudiante una nota de 4 0 5, se pue-de decir que el estudiante ha sido f-

valuado, calificado 0 medido en suconocimiento sobre el curso. Cuan-do un patron asciende a su empleado,este ha sido calificado 0 evaluado encuanto a su trabajo. Estos ejemplosy muchos otros, son consideradoscriterios de eficiencia, medida crite-rio 0 calificacion.

Un examen de clase es bueno si esfiel y valido, Cualquier cosa que sehaga para aumentar la confiabilidadde una prueba vale la pena intentar-lao Algunas de las tecnicas que se u-san para mejorar la confiabilidad delos examenes son los siguientes:

a) Calificacion del examen dadopor dos 0 mas profesores.

b) Calificacion doble dada por el

-130-

mismo profesor, obtenida la se-gunda de elIas sin tener encuenta la primera.

c) Presentacion de los examenesobjetivos cuya valoracion se ha-ce con una clave pre-estableci-da.

La validez de un examen de clasese refiere a la representacion del con-texto en otras palabras, que la prue-ba sea una muestra completa de laspreguntas importantes y pertinentesa la materia.

Thorndike (6, pg. 214) afirma:"La Pertinencia es un requisito

fundamental de la medida criterio.Tanto como sea posible, es importan-te que toda la varianza sistematicade la medida criterio sea varianzapertinente. Si la medida criterio po-see una cantidad considerable de va-rianza no casual y que es impertinen-te 0, todavia peor, negativamente re-lacionada con ultimo fin, es posibleque aparentemente los exitosos pro-cedimientos de seleccion se basen en-teramente sobre varianza impertinen-te y no tengan validez real para el findel trabajo. Esto es 10 que pas a ensituaciones de entrenamiento alta- /mente academico, cuando se usan co-mo criterio de exito en algunas situu-ciones no academicas".

La discusion anterior concernien-te ala validez de la medida de crite-rio esta muy relacionada con el pro-blema de este estudio. La medida cri-terio que usamos 0 sea las califica-ciones de matematicas, sin duda con-tiene mucha varianza impertinente.No sabemos si esta varianza es enalgun modo sistematica 0 no.

A pesar de que las calificacionesde materias tomadas como medidascriterio pueden contener varianza im-pertinente 0 no relacionadas al asun-to, se usan en este estudio porque:

1. fueron facHes,2. son mas 0 menos objetivas,3. son pre-requisitos para el ulti-

mo fin de exito academico.

Evaluacion de las Pruebas Predicto-ras 0 Prediciores.La mayor parte de las pruebas

que usan los psicologos son predicto-res. Todos los examenes de aptitudesy los de personalidad son de este fi-po. Su utilidad se extiende a campostan diversos como 1a seleccion y eta-sificacion de individuos en las escue-las, universidades, fuerzas armadas,agencias del gobierno y en 1a indus-tria.

Las pruebas predictoras tienen co-mo fin pronosticar 0 verde antema-no como obrara un individuo ante u-na situacion, 0 ejecutara una tarea;o que calificacion recibira en situa-ciones importantes. '

De acuerdo con Nunnally (5, pg.63):

" ... el termino prediccion se usaen el sentido amplio de expresar re-lac ion funcional de toda clase. Untest se puede usar para "predecir" 10que la gente hizo en el pasado, de lamisma manera que un detective l'PU-ne pruebas para "predecir" quien co-metio un crimen. 'I'ambien los tests seusan para "predecir" como se com-porto la gente siendo nino. Los testsa menudo se usan para predecir unacondicion actual mas que para prede-cir, en su sentido estricto, 0 para vel'de antemano el comportamiento fu-turo. Un ejemplo tipico es una prue-ba para diagnosticar lesion cerebral,El proposito es "predecir" la lesioncerebral y la prueba de la "predic-cion" saldra de minuciosas investi-gaciones fisiologicas".

La Utilidad de las pruebas Predic-torasUna pregunta muy cormm en esta

clase de problemas es "Que tan bue-na es la prueba x?"; y la respuesta esque todo depende de las circunstan-cias. Tomemos este ejemplo:

El mimero de estudiantes que so-licita admision a un establecimiento

-131.-

generalmente es mayor al numeroque va a ser se1eccionado.

NQde seleccionados razon de se-NQde solicitantes lecion.

De los seleccionados, algunos triun-faran y los otros fracasaran,NQde exitos .. .

=razon de exitoNQde seleccionados

La relacion entre estas dos razo-nes es muy importante.

Si la razon de exito es muy gran-de no hay necesidad de' mejorar losprocedimientos de seleccion. Si Ia ra-zon de seleccion es grand ..~, no haynada que pueda hacer una pruebapara mejorar la seleccion.

Una prueba predictora es validapara e1proceso de seleccion en la pro-porcion en quedisminuyen los fraca-sos academicos, 0 en la medida enque permita una ensefianza superioro mas especializada. .

Es muy importante tener presenteque un instrumento es valido para unuso particular y no en sentido gene-ral. El fin es tratar de determinarque tan bueno es un instrumento na-ra predecir cierto criterio 0 medidascriterio, mas que tratar de pro barque el instrumento es en general bue-no.

METODOS Y PROCEDIMIENTOSDescripcum de 108 InstrumentosLa Prueba J. C. Raven -MatricensProgresivas (De ahora en adelanteHamada RAVEN).

Esta prueba mide el "factor g" 0factor general inteligencia. Contiene60 problemas seriados en orden de.dificultad. Las primeras series plan-tean variados problemas de percep-cion estructurada y de educacion derelaciones y las ultimas de educacionde correlatos. No tiene tiempo limite.

Prueba del Consejo Psicoloqico deEducaci6n para estudiantes de Pri-mer Ano Unioersiiario 'Porma'47.

(De ahora en adelante Hamada ACE)Esta prueba contiene 80 puntos di-vididos en tres partes:

Problemas de aritmeticaAnalogias de figurasSeries NumericasCada parte tiene tiempo limite y

algunos problemas de practica.Guilford (1, pg. 291) refiriendose

al ACE, afirma:

"La parte cuantitativa es un con-glomerado factorial. Ademas de me-dir la habilidad numerica mide, talvez, tres clases de razonamiento, co-mo tambien otros facto res en menorgrado. Probablemente selecciona es-tudiantes con buenas habilidades derazonamiento" .

Examen Semestral en Matemdticasde las Facultades de lngenieria yArquitectura.

(De ahora en adelante IlamadoMAT). La nota final de los exame-nes se baso sobre las previas semes-trales y un examen final tipo ensayocon 5 problemas por resolver. Las no-tas van de 0.00 a 5.00. Para facili-tar los computes redujimos los pun-tajes de 00 a 50 y suprimimos el pun-to.

Suje~os y ProcedimientosLos sujetos de experimentacion

fueron estudiantes que cursan su pri-mer afio en las facultades de lngenie-ria y Arquitectura de la UniversidadNacional y en 1960, quienes fueroncitados durante horas de clases engrupos de 30 a 40 y a quienes se lesdieron las instrucciones correspon-dientes a cada una de las pruebas,ACE y RAVEN, de acuerdo con 10expuesto en los respectivos manua-les. El mimero de sujetos se redujoa 74 en Arquitectura y a 84 en lnge-nieria, porque solamente estos teniantodos los datos completos. El RAVENfue administrado a los estudiantes

-132 -

de lngenieria como parte de los exa-menes de ingreso, aunque los resul-tados no se tuvieron en cuenta paraeste fin.

Valoracion de las pruebasSe hizo de acuerdo con 10 expuesto

en los respectivos manuales: Punta-je para ACE =NQ de respuestas co-rrectas. Puntaje para el RAVEN = NQ·de respuestas correctas.

PROCEDIMIENTOSESTADISTICOS

Las tres variables, ACE, RAVEN,y MAT., fueron sometidas al siguien-te analisis estadistico : Promedios,medianas, desviaciones estandar ymedidas de asimetria, Para el calcu-10 de la asimetria usamos la formu-la (2, pg. 99) :

As = (P90 + P10) -P502

A continuacion calculamos el errorestandar de As y comprobamos si lasdistribuciones eran asimetricas 0 no,por medio de la razon critica.

Calculamos el coeficiente de corre- (lac ion de Pearson entre las siguien-tes variables: MAT-RAVEN, MAT-ACE, ACE-RAVEN, para Arquitec-tura y MAT-RAVEN, MAT-ACE-RAVEN para Ingenieria.

Posteriormente sometimos las co-rrelaciones entre las anteriores va-riables a una correlacion multiple, se-paradamente para Ingenieria y Ar-quitectura.

Creimos importante el calculo dela correlacion multiple, ya que nues-tro proposito no es solamente validarprueba por prueba, sino buscar el va-lor predictivo de un equipo de prue-bas de seleecion universitaria. Enlas correlaciones multiples se hizonecesaria una correccion por ser elmimero de sujetos inferior a 100, enambos grupos.

ANALISIS DE LOS RESULTADOS

Descripci6n de los grupos examinados

La descripcion de los grupos -Ar-quitectura e Ingenieria- en las trespruebas: ACE, RAVEN Y MAT, sepresenta en las tablas I y II.En ca-da una de ellas se informa el punta-je maximo en cada prueba, NQ desujetos, promedios (M), medianas(Mdn) , y desviaciones estandar (DS)

TABLA I

Promedios, Medianas, Desviacio-nes Estandar, obtenidos de las distri-buciones del ACE, RAVEN Y MATen 74 estudiantes de Arquitectura enla U. N., 1960.

PRUEBA No Puntaje M Mdn

RAVENACEMAT

74 60 50.54 51.50 4.6874 80 32.60 34.05 10.8074 50 21.32 19.16 9.50

TABLA II

Promedios, Medianas, Desviacio-nes Estandar, obtenidos de las distri-buciones del ACE, RAVEN Y MATen 84 estudiantes de Ingenieria, U. N.1960.

PRUEBA No Puntaje M Mdn

RAVENACEMAT

84 60 50.31 50.86 5.7684 80 39.38 39.77 9.2084 50 29.91 30.29 8.65

Los niveles de importancia paraprobar la normalidad de las distribu-ciones en nuestros ejemplos fueronverificadas, pero de ellos no se da in-forme ya que no fueron significati-vas, a excepcion de la distribucion deMAT en Arquitectura, la cual resultoalgo positivamente asimetrica, Ra-zon Critica = 199 que es significa-tiva al nivel .05 de confianza. Estosresultados nos garantizan el uso a-propiado que hicimos del coeficiente

-133-

Ds

de correlacion de Pearson como tee-nica de validez ya que segun conu-n-ta Guilford (3 pg. 170) :

"Algunos escritores sugieren quesolamente cuando ambas distribucio-nes son normales 0 casi norm ales sesatisfacen por completo los requisi-tos para computar el Pearson r. Enla practica probablemente nadie in-siste en que las distribuciones seannormales".

Muchos autores discuten la norma-lidad de las distribuciones de califi-caciones y de la continuidad de la es-cala, pero en el sistema de notas quese usa en la U. N., en el que se cali-fica de 0.00 a 5.00, es propio asu-mir que generalmente las distribu-ciones son normales y que la variablees continuamente mesurable. Esta esotra razon que nos permite compu-tar el Pearson r.

Datos Estadisticos sabre validez delACEy RAVEN.

La Tabla III eontiene los eoefi-cientes de correlacion Pearson (r),obtenidos entre ACE-MAT y RA-VEN-MAT en Arquitectura e Inge-nieria. La Tabla III incluye ademas,NQ de sujetos en eada grupo, los gra-dos de libertad y los valores corres-pondientes a los niveles .05 y .01 deconfianza.

Ds

TABLA IIICoeficientes de Correlacion Pear-

son obtenidos entre el ACE y MAT YRAVEN Y MAT, en 74 estudiantesde Arquiteetura y 84 estudiantes deIngenieria U. N., 1960.

Nlvel Nlvel

PRUEBAS No r dl .05 .01

ArquitecturaACE-MAT 74 .44 74.2 r.23 r.30RAVEN-MAT 74 .33 74.2 r.23 r.30

IngenieriaACE-MAT 8tRAVEN-MAT 84

.19 84-2 r.22 r.28

.25 84-2 r.22 r.28

El analisis de la Tabla ill nos in-dica que hay una correlaci6n positi-va y muy significativa entre ACE-MAT en Arquitectura. Un coeficien-te de validez de .44 es muy acepta-ble ya sea que se use en seleccion uorientaci6n vocacionaI. (Coeficientesde validez entre .40 y .60 son muyconfiables). La correlaci6n entre es-tas dos variables en Ingenieria, esr = .19; correlaci6n positiva pero nosignificativa. Una raz6n que se nosocurre para explicar esta discrepan-cia entre r =.44 y r= .19 es que lamedida-criterio en Arquitectura esmas fiel y valida que en Ingenieria.En cuanto a los coeficientes de vaIi-dez del RAVEN r=. 33 en Arquitec-tura y r= .25 en Ingenieria, aunquepositivos y significativos son un po-co bajos como indices de validez. Engeneral, los coeficientes de correla-ci6n son mas bajos en Ingenieria queen Arquitectura. Esta diferencia noshace presente la necesidad de una in-vestigaci6n adicional en donde nossea posible investigar mas intima-mente la confiabilidad de la medida-criterio.

Datos sabre las correlacionesmultiples.En la Tabla IV presentamos los

coeficientes de Correlaci6n de Pear-son entre ACE-RAVEN para ambosgrupos, dato necesario para el calcu-10 de las correlaciones multiples.Tambien aparecen los coeficientes decorrelaci6n multiple (R) para Inge-nieria y Arquitectura entre las va-riables: MAT-ACE, RAVEN y la co-rrelaci6n de las correlaciones multi-ples (CR).

TABLA IV

Coeficientes de correlaci6n Pear-son r, Coeficientes de Correlaci6nMultiple y correcci6n de Correlaci6nMultiples Obtenidos de las VariablesMAT-RAVEN, ACE, en 74 estudian-tes de Arquitectura y 84 Estudiantes

de Ingenieria, U. N., 1960.

PRUEBAS N° rArquitecturaACE-RAVEN 74 .37MAT-ACE-RA V. 74

IngenieriaACE-RAVEN 84 .19MAT-ACE-RAV. 84

R cR

.48 .45

.29 .25

Analizando los resultados en Ar-quitectura vemos que cR= .45; por10 tanto deducimos que el RAVEN noaporta nada al poder predictivo delACE,que como ya vimos es de r = .44En Ingenieria, cR = .35, por 10 tantoel ACE no aumenta el coeficiente devalidez del RAVEN, r= .25.

Revisando las correlaciones entreACE-RAVEN en Ingenieria y Arqui-tectura encontramos r= .19 y r= .37respectivamente. Estos resultados in-dican que hasta en un tanto por cien-to, el ACE y el RAVEN estan mi-diendo un mismo factor, que aparecetambien en MAT. EI resto de la va-rianza comun en MAT tiene que me-dirse con otras pruebas que conten-gan otros factores no mesurables enel ACE 0 en el RAVEN. '

En 10 concerniente a los cursos dematematicas parece que usar juntosel ACE y el RAVEN no aumenta elpoder de predicci6n del conjunto, detal suerte que el problema resta endecidir cual de los dos, ACE 0 RA-VEN, es mejor predictor de las cali-ficaciones en matematicas.

Con el fin de resolver el interro-gante anterior, buscamos si la dife-rencia entre ACE y el RAVEN erasignificativa 0 no. En Arquitecturala diferencia fue muy significativaal nivel .01 de confidencia con unaraz6n critica de 4. 64, resultando fa-vorecido el ACE. En Ingenieria la di-ferencia fue significativa al nivel .05con una raz6n critica de 2.40, siendoel favorecido en esta ocasi6n el RA-

-134-

VEN. Por la magnitud de los resul-tados en Arquitectura tal vez no ha-cemos mal en inclinarnos al favordel ACE pero antes de hacer cual-quier afirmaci6n es necesario otro es-tudio de esta indole en que se inclu-yan cursos de matematicas de otrasfacultades.

RESUMEN Y CONCLUSIONES

El prop6sito de este estudio fue elvalidar la prueba ACE para Estu-diantes de Primer Afio Universitarioy la Prueba de J. C. Raven-MatricesProgresivas usando como criterio devaloraci6n las calificaciones en Mate-maticas del primer Semestre. Los su-jetos fueron los estudiantes de Inge-nieria y Arquitectura de la Universi-dad Nacional, afio 1960. Como coefi-cientes de validez se compute el Pear- -son r y los resultados fueron los si-guientes:, r=.44 entre ACE-MAT

-'135 -

r= .33entre RAVEN-MAT en Arqui-tectura; r .19 entre ACE-MAT, r= .25entre RAVEN-MAT en Ingenieria. Acontinuaci6n calculamos las correla-ciones multiples entre las variables:MAT-ACE, RAVEN para los dosgrupos. Estos coeficientes multiplescorregidos fueron: para Arquitectu-ra cR= .45; para Ingenieria cR= .25

Segun estos datos se deduce queno se justifica incluir ambas pruebasen un mismo equipo predictivo de ('-ficiencia en matematicas, ya que eluno no aumenta la validez del otro.El problema es cual de las dos prue-bas, ACE 0 RAVEN, pronostica me-jor el rendimiento en matematicas ?

Como conclusion, nos parece opor-tuno hacer hincapie en el hecho deque debemos extender nuestra inves-tigaci6n a otras facultades y a otrasmaterias universitarias antes de po-der hacer comunicaciones mas defi-nitivas.

,

REFERENCIAS

I. Burso, O. K. (ED). The third mental measu-rements yearbook. New Bruswick, N. J.: Rut-gers University Press, 1949.

2. Garret, H. E. Statistics In PsychOlogy andEducation. New York: Longmans Green, 1953.

3. Guilford, J. P. Fundamental Statistics In Psy-chology and Education. New York: Me GrawHill, 1950.

4. Guilford, J. P. psychometric methods. NewYork: Me Graw Hill, 1959

5. Nunnally, J. C. Tests and Measurements. NewYork: Me Graw Hill, 1959

6. Thorndike, R. L. Personnel selection. New

York: Wiley 1949.

136 -