Cómo Valorar Un Test Psicométrico 2011

Errores Conceptuales

y Metodolgicos

en la

Evaluacin PsicoPedaggica

Cmo Valorar un Test Psicomtrico

Monografa Tcnica

Cmo valorar un test psicomtrico?

Copyright de los autores. 2011.

1

CMO VALORAR UN

TEST PSICOMTRICO?

Errores Conceptuales y Metodolgicos

en la Evaluacin PsicoEducativa

Autores: E. Manuel Garca Prez ngela Magaz Lago Psiclogos Consultores, Clnicos y Educativos



2

(Julio 2011, Versin 1.0)

-manuscrito no publicado-



3

Dedicatoria

Son muchas las personas a quienes nos gustara dedicar esta Monografa. Por una parte, a los profesores con quienes aprendimos psicometra, cuyos apuntes y enseanzas hemos seguido1, desde hace aos para elaborar todos y cada uno de nuestros test. Por otra parte, a los profesionales que valoran nuestra formacin posgrado, en cuyo programa se incluye un mdulo de esta temtica, en el cual siempre se sorprenden cuando comentamos estos contenidos. Pero quienes ms se merecen la dedicatoria son, sin ninguna duda, los padres atribulados por los problemas de sus hijos que acuden a nosotros solicitando una ayuda que exige una evaluacin conductual y psicomtrica en la que podamos fundamentar, con plena confianza, el mejor Plan de Accin posible. A todos ellos y con un especial agradecimiento a quienes nos han animado a elaborarla se la dedicamos. Julio de 2011

1 Las profesoras D. Mariana Martnez, de la Universidad Complutense de Madrid y D. Begoa Matellanes, de la Universidad de Deusto



4

Presentacin

Los autores coincidimos con otros profesionales en considerar que la difusin de

esta monografa puede conllevar cierto nmero de crticas negativas por haber llevado

a cabo, en la tercera parte del mismo, algo que muchos comentan en los pasillos,

pero que pocos han decidido hacer pblico en artculos u otras publicaciones. A este

respecto es muy llamativo que la Comisin de Test del Consejo de Colegios Oficiales de

Psiclogos, pese a su declaracin de intenciones de proceder a aplicar el modelo de

valoracin de test diseado por sus miembros en el ao 2000 (vase artculo resumido

en la pgina 38), no hubiera procedido a llevar a cabo ninguna evaluacin de los

mismos hasta la publicacin en el ao 2009 de nuestra obra precedente (Cmo

Valorar Test Psicomtricos). Esta publicacin ha sido objeto de una Demanda

Mercantil, por cuenta de sociedad mercantil TEA Ediciones, en base a la Ley de

Competencia, atribuyndose a sus autores haber incluido en ella contenidos falsos,

engaosos y denigratorios, lo que supondra una vulneracin de la ley incurriendo en

competencia desleal. Asimismo, diversos autores cuyas obras se encontraban incluidas

en el citado libro, presentaron demandas deontolgicas contra el primer autor, al

considerarse perjudicados personalmente por las crticas expuestas sobre alguna de sus

obras (en algn caso su nica obra)

Tanto en el caso de la mercantil, como de los autores, ninguno de ellos ha

aportado evidencias de las atribuciones de falsedad o engao en ninguna de las

valoraciones realizadas sobre sus obras, sino, que simplemente, sintindose

perjudicados en sus intereses, iniciaron tales acciones legales las cuales no han sido

resueltas definitivamente en el momento actual (la primera sentencia judicial ha

rechazado la peticin de la demandante de prohibir la comercializacin de libro; pese

a ello ha presentado un recurso ante la siguiente instancia judicial)

En cualquier caso, los autores y el grupo editor decidieron la descatalogacin de la

obra y su retirada del mercado con el fin de no incurrir en algn tipo de accin punible

por la legislacin vigente.



5

Al margen de esta discusin comercial, el acuerdo entre profesores universitarios

de evaluacin psicomtrica, profesionales con experiencia y estudiantes aventajados,

es bastante comn: los profesionales de la Psicologa y la Educacin tenemos un

elevado nmero de test psicomtricos de escasa calidad, de base conceptual obsoleta

y muy deficientemente baremados en Espaa y otros pases latinoamericanos. De

modo que, al igual que el escritor mencionaba en su columna del diario2, somos

conscientes de que con la difusin de esta Monografa vamos a ganarnos algunos

enemigos, pero confiamos en que el nmero de amigos resulte superior al de

aqullos y, sobre todo y muy especialmente, que su difusin contribuya a mejorar la

calidad de los servicios que prestamos los psiclogos y otros profesionales a la

poblacin general.

Esperamos contar con la comprensin de quienes nos lean.

2 Fernando Snchez-Drag, EL LOBO FEROZ, Diario El Mundo de 14 de setiembre de 2009



6

ndice:

Pg. Carta a los lectores 8 Una breve historia 14 Qu es un test psicomtrico 16 Clases de test psicomtricos 18 La Valoracin de un test psicomtrico: cmo, por qu y para qu 20 Cmo valorar un test psicomtrico? 22 Validez

De Contenido 22

De Constructo 24

Predictiva 24

Concurrente 25

Discriminante 26 Fiabilidad

Test-retest 26

Consistencia Interna 26 Tipificacin 29 Utilizacin prctica 30 Resumen 32 Un ejemplo 35 Extracto de los criterios propuestos por la Comisin de Test 38



7

Anexo: Errores conceptuales y metodolgicos en la evaluacin con los siguientes test: ANSIEDAD, de Reynolds y Richmond 44

BENDER 46

BOEHM 47

CARAS 49

COBAR 51

CLP 53

COLUMBIA, Escala de Madurez Mental 55

CONCEBAS 56

CUMANIN 57

D2, test de Atencin 60

EACP 63

EDAH 64

EMTDAH 71

FORMAS IDNTICAS 73

FROSTIG 75

ITPA 77

MSCA 83

PFSE 87

PROLEC 93

STAI-C 98

TAMAI 101

TOULOUSE-PIRON 106

TO-PALABRAS 108

TONI-2 110

WISC-III 111

WISC-IV 115

Nota Importante 125 Sobre los autores 126 Bibliografa 127



8

Carta a los lectores

Estimado/a lector/a:

Nos gustara conocer la razn de tu inters por esta monografa, pero dada su naturaleza

creemos que slo caben tres posibilidades:

1. Eres un profesional que realiza evaluaciones psicopedaggicas (actitudes,

valores, aptitudes, habilidades,)

2. Eres un docente universitario que se ocupa de la enseanza o de las prcticas

de evaluacin

3. Eres un estudiante de psicometra o de evaluacin psicolgica

Evidentemente caben otras, pero este libro est escrito pensando especialmente en los

estudiantes, en los profesionales noveles y en los ms experimentados con una elevada

carga o exigencias en su trabajo; en aquel psiclogo o psicloga que un da fuimos los

autores de esta publicacin y que comenzamos nuestro trabajo empleando aquellos

recursos que nos ensearon en la Facultad con una confianza ciega en ellos. Nunca

dejaremos de reconocer el esfuerzo y la dedicacin de nuestros docentes, ni apreciaremos

suficientemente las enseanzas de aqullos que nos dieron lo mejor que tenan en esos

momentos.

Ahora bien, la Universidad es quizs el templo de la sabidura, pero con el tiempo

descubrimos que no es el templo de la verdad. Ni siquiera llega a ser el templo de la

realidad.

Han transcurrido ms de veinte aos desde nuestra graduacin y constatamos que las

enseanzas universitarias distan notablemente de la prctica psicolgica y psicoeducativa.

La distancia cada vez es mayor y, en nuestra opinin, lo que se ensea en las Facultades

de Psicologa y Educacin se encuentra muy alejado de la realidad o de las necesidades

cotidianas del profesional.



9

La poblacin a la que prestamos nuestros servicios cree que empleamos los mejores y ms

actuales mtodos e instrumentos para llevar a cabo nuestro trabajo con la mayor eficacia

posible, desconociendo que la realidad es bien diferente: posiblemente ms del 75% de los

recursos conceptuales, instrumentales y metodolgicos que se emplean en la evaluacin

Psicopedaggica tienen ms de 30 aos de antigedad.

Durante los ms de veintisis aos de experiencia de los autores de este texto, hemos

seleccionado instrumentos de evaluacin a partir de la valoracin de su utilidad prctica,

despus de utilizarlos con mltiples casos y de realizar los ajustes pertinentes. Incluso,

desde el ao 1991, comenzamos a elaborar nuevos instrumentos, aprovechando los

conocimientos y experiencias acumulados a lo largo de los primeros aos de ejercicio

independiente y de docencia con otros profesionales. Por todo ello, unido a la inquietud

para contribuir a dignificar la profesin del psiclogo, disponemos de recursos para

proporcionar la mejor asistencia posible a quienes acuden a nosotros con plena o

moderada confianza en nuestro saber y entender. Sin embargo, cuando se es un

profesional novel no se poseen esos recursos y se confa, bien en las enseanzas de los

profesores de la Universidad, bien en los usos y costumbres tradicionales, normalmente

reflejados en publicaciones de todo tipo.

Uno de los problemas ms acuciantes a los que nos enfrentamos a principios de los aos

80, era la prctica ausencia de instrumentos de evaluacin psicomtrica elaborados en

Espaa, o al menos, adaptados de manera adecuada y bien baremados o tipificados con

la poblacin de nuestro pas:

Bender, Boehm, McCarthy, Itpa, Wisc, Frostig, Caras, Percepcin de Diferencias, Binet-

Simon, Kohs, Columbia, y otras decenas ms de test, todos ellos de un antigedad

notable, desarrollados en los Estados Unidos de Amrica de acuerdo a planteamientos

conceptuales de principio, o a lo sumo de mediados, del siglo pasado, eran los

instrumentos que nos ensearon, con los que practicamos y los que adquirimos para

nuestro trabajo profesional.

Cuestionamos alguna vez estos test? Cmo bamos a hacerlo si carecamos de criterios o

bien stos entraban en colisin con los consejos aportados por nuestros profesores?



10

Acaso ellos en su trabajo empleaban otros diferentes? No. Cules iban a aplicar si no

haba otros?

Ahora bien, qu sentido tiene que en la actualidad, a punto de entrar en el segundo

decenio del siglo XXI, sigamos empleando algunos instrumentos de escasa calidad

psicomtrica, de base conceptual superada o falsada por la experiencia, sin validacin

emprica alguna, con contenidos inadecuados para la realidad social actual, mal o

escasamente baremados con nuestra poblacin, ?

Sin embargo, a pesar de las deficiencias notorias de algunos de estos test, la mayor parte

de los profesionales continan utilizndolos sin considerar la posibilidad de elegir otros de

mayores ventajas psicomtricas; ahora ya s disponibles, gracias a que algunos

profesionales seguimos las sugerencias de psiclogos tan experimentados e inquietos

como el que referimos a continuacin:

"... desde aqu animamos a los investigadores espaoles a que generen sus propios

instrumentos; y por otro lado, a la bsqueda de tradiciones de pensamiento ms propias de

nuestra tradicin terica y cultural con el fin de ofrecer una psicologa mejor y de mejor

aplicacin para resolver problemas que existen en nuestro entorno fsico y social. Esta

especificacin no quiere decir que sea de menor calidad ni con menores garantas

metodolgicas que las que se utilizan en otros entornos. Lo que pide es que sean relevantes

y con la misma calidad metodolgica posible. Cuando hemos puesto en prctica estas

ideas los resultados han sido mejores con instrumentos generados desde nuestro propio

contexto que con otros importados. Y pensamos que los usuarios tienen derecho a recibir

los mejores servicios posibles" (Pelechano, 1997, p. 34)

El resultado de nuestro trabajo, durante los ltimos 20 aos, se concreta hoy en los

Protocolos Magallanes, que pueden encontrar en el sitio www.protocolomagallanes.es

Esta Monografa se elabora para ayudarte a valorar los instrumentos que ests utilizando o

que te preparas para empezar a utilizar en cuanto inicies tu andadura profesional.

Deseamos que seas consciente de las deficiencias de algunos de ellos, lo que

denominamos Errores Conceptuales y Metodolgicos, y que adquieras habilidades para

seleccionar los ya existentes o los de futura aparicin, de acuerdo a criterios de la mxima

calidad psicomtrica, de utilidad prctica y de eficacia para la elaboracin de informes,



11

psicopedaggicos o periciales. Agradeceremos todos los comentarios o valoraciones de

otros test para ir incorporndolos a la web www.preocupados.es

Los usuarios de nuestros servicios esperan y se merecen recibir la mejor asistencia

profesional posible, algo a lo que adems nos obliga el Cdigo Deontolgico del Psiclogo

(www.cop.es/cop/codigo.htm)

Artculo 17

La autoridad profesional del Psiclogo/a se fundamenta en su capacitacin y

cualificacin para las tareas que desempea. El/la Psiclogo/a ha de estar

profesionalmente preparado y especializado en la utilizacin de mtodos,

instrumentos, tcnicas y procedimientos que adopte en su trabajo. Forma parte de

su trabajo el esfuerzo continuado de actualizacin de su competencia profesional.

Debe reconocer los lmites de su competencia y las limitaciones de sus tcnicas.

Uno de los principales problemas a los que se enfrenta un estudiante de Psicologa, un

profesional novel o un profesional excesivamente ocupado para llevar a cabo el anlisis de

los instrumentos que se le ofrecen en el mercado de los test, es el hecho de que, con

frecuencia, los diversos instrumentos psicomtricos se mencionan en artculos cientficos y

semi-cientficos, en pginas bibliogrficas, en lugares de promocin comercial o en sitios

web de diversos profesionales o entidades, sin hacer jams mencin al ao en que se

publicaron. Este dato que podra alertar sobre su posible inadecuacin a los casos que

trata, se evita de manera sistemtica en los lugares ms destacados de sus webs o de las

publicaciones, tanto por parte de los editores como por quienes los emplean en sus

investigaciones.

Tales test, convenientemente "remozados" en las portadas de sus manuales o en sus

cuadernillos de aplicacin (lo cual en algunos casos puede llegar a constituir una

desvirtuacin del mismo) dan la impresin a los profesionales noveles de ser instrumentos

de reciente creacin. Como ejemplo paradigmtico de esta realidad puede visitarse el sitio

web de TEA Ediciones para comprobar cmo se ha mejorado la imagen del Test de

Formas Idnticas (Thurstone, L. L.) diseado en el ao 1944 y reimpreso en el ao 2007

(con 65 aos de antigedad). Este fenmeno tambin est presente en otras empresas de



12

test de diversos pases europeos, tal y como se puede comprobar al consultar sus

catlogos.

En otras ocasiones, lo que aparece como novedad editorial, confundiendo al profesional

que lo toma como un instrumento de reciente creacin, dado su formato moderno, es un

instrumento de tal antigedad que sus planteamientos conceptuales o los metodolgicos

resultaron superados hace tiempo. Ejemplo de este caso lo constituye el test de Atencin

d2, elaborado en el ao 1962 y publicado en Espaa en el ao 2002 (40 aos ms

tarde). Probablemente conoces los avances que ha habido en este tema, ligados al

desarrollo de los modelos neuropsicolgicos, los cuales han dejado obsoleto el citado test.

Se imaginan nuestras calles y autopistas llenas de vehculos de ms de 30 aos de

antigedad? Tales vehculos representaban el mayor avance tecnolgico de la Humanidad

en el campo de la locomocin, en los mismos aos en que Psiclogos y empresas editoras

de test ponan a disposicin de los profesionales algunos test psicomtricos.

Alguno de los Psiclogos acudira a su trabajo en uno de estos vehculos si pudiera elegir

hacerlo? Probablemente, NO. En tal caso, por qu en el maletero de su moderno y

tecnolgicamente adelantado coche sigue transportando el mismo test de hace 20, 30, 40

o ms aos de antigedad?

Las personas que reciben ayuda de un profesional de la Psicologa o de la Educacin

esperan siempre recibir la mejor respuesta posible. Elegir un instrumento psicomtrico con

las mejores cualidades de validez (de contenido/constructo), fiabilidad y baremacin

poblacional es una cuestin deontolgica y ms an "de conciencia". Las Facultades de

Psicologa y los Colegios Oficiales de Psiclogos tienen un elevado grado de

responsabilidad en la difusin de este tipo de actitudes y valores en cada nueva promocin

de profesionales, y en los veteranos ms ocupados. Esperamos que progresivamente la

asuman.

Por otra parte, el menosprecio al trabajo de desarrollo de un test lleva a muchos

profesionales a la copia ilegal de los componentes esenciales del mismo, sin tener en

cuenta, como frecuentemente avisan todos los editores, del riesgo que conlleva en


trminos de reduccin o desaparicin de la investigacin para el desarrollo de nuevos y

mejores instrumentos. Evidentemente, no nos estamos refiriendo a la copia de hojas de

anotacin o incluso a parte de los manuales, como las instrucciones de aplicacin o

correccin, sino a los elementos esenciales del test, como son los elementos estimulares

que lo constituyen. Quizs la falta de rentabilidad econmica sea en parte la explicacin al

retraso tecnolgico de que adolece la Psicologa de habla hispana. Frente al gran

desarrollo de la psicometra en los Estados Unidos y Canad, Espaa, que podra liderar el

desarrollo de los test adecuados a la poblacin hispano-hablante, sigue empleando

instrumentos elaborados en otras pocas del conocimiento y en pases con diferencias

culturales que se expresan en lenguas diferentes.


13



14

Una breve historia: La elaboracin de test psicomtricos se inicia en el siglo XIX, cuando sir Francis

Galton, en el transcurso de sus investigaciones sobre el papel de la herencia,

comprendi la necesidad de efectuar mediciones de algunas caractersticas humanas.

En 1884 estableci un Laboratorio antropomtrico en la Exposicin Internacional

sobre Salud en Londres. Las personas podan pagar 3 peniques y conocer la medida

de algunos de sus rasgos fsicos y funciones sensoriales y motrices: agudeza visual y

auditiva, energa muscular, tiempo de reaccin,.... Con ello, consigui medidas de un

grupo suficientemente amplio y diversificado de la poblacin de cuyo anlisis pudo

establecer las primeras conclusiones estadsticas.

En 1890 James McKeen Cattell emple por primera vez en un artculo de la revista

Mind la expresin test mental y el trmino medidas.

En 1903, Alfred Binet public L'etude experimentale de l'intelligence (El Estudio

Experimental de la Inteligencia), en el cual explicaba los problemas que presentaba

establecer las diferencias entre los nios aventajados y los retrasados y los mtodos

empleados para identificarlos y evaluar sus diferencias.

La lnea central de investigacin de Binet fue la elaboracin de un test capaz de

diferenciar aquellos escolares cuyas capacidades les permitiran adaptarse al sistema

educativo normal, de aquellos que necesitaran un refuerzo extra, sealando adems

las carencias de los mismos. En el ao 1905 comenz la aplicacin de test colectivos

en las escuelas francesas.

La Primera Guerra Mundial marc un hito importante en la historia de los test, al

conllevar la introduccin por vez primera de test de aplicacin colectiva en la

poblacin. Cuando los Estados Unidos entran en guerra, se ven necesitados de

reclutar soldados y suboficiales de forma rpida.


En 1917 Arthur S. Otis recibe el encargo de preparar unos test que permitan clasificar

a los reclutados: los test alfa y beta que fueron aplicados a cerca de dos millones de

personas. Se trataba de dos test muy sencillos, de aplicacin colectiva; el test alfa era

una prueba verbal, adecuada para sujetos con capacidad lectora y el test beta una

prueba no verbal, apropiada para sujetos con dficit de alfabetizacin.

Se iniciaba as la elaboracin de pruebas de uso individual o grupal para la obtencin

de informacin de un sujeto sobre alguna de sus caractersticas (habilidades

cognitivas, sensoriales o motrices) comparndola con un grupo social, cultural, etc., de

referencia.


15



16

Qu es un test psicomtrico? Un test psicomtrico constituye esencialmente una medida objetiva y tipificada de una

muestra de comportamiento (Anastasi, 1978 pg. 21)

Esta definicin implica rigurosamente lo siguiente:

Una Medida Objetiva, lo que significa que el mtodo de medicin debe verse

afectado lo menos posible por interpretaciones del sujeto o del evaluador.

As, un buen test se presenta a quien lo tiene que resolver de una manera muy clara y

concreta, sin generar dudas sobre la tarea que se le solicita. Igualmente, los criterios

de valoracin de las respuestas no pueden dejar lugar a dudas por parte del

evaluador sobre si la respuesta es acertada o errnea. Y, an ms, cuando una

escala de un test se construye con preguntas que pueden responderse con una

valoracin mltiple: 0, 1, 2, una misma puntuacin global en la escala puede

obtenerse con pocas preguntas de respuesta 2 o con ms preguntas de respuesta

1, lo cual supone un incumplimiento del requisito de objetividad.

Una Medida Tipificada, lo que significa que debe compararse con otras medidas de

sujetos, que resulten suficientemente representativas de la poblacin. Para ello se

tienen en cuenta las puntuaciones medias y la varianza de los resultados de una

muestra de referencia. Obviamente, la comparacin entre puntuaciones de sujetos

diferentes no debe realizarse con puntuaciones directas, sino con puntuaciones

tipificadas.

Lgicamente, los grupos de comparacin no pueden ser reducidos (30, 50, 80,

sujetos), ni encontrarse todos ellos formando parte de un mismo grupo social (en el

mismo colegio, la misma ciudad,)


Debe tenerse en cuenta que vamos a establecer una comparacin entre los

resultados obtenidos por un individuo y los obtenidos por un gran grupo de poblacin

de caractersticas similares. Por ello, resultara poco adecuado obtener grupos de

baremacin (de los que se obtienen las puntuaciones tipificadas) de cuanta reducida

o procedentes de un mismo colectivo.

La Federacin Europa de Asociaciones de Psiclogos (E.F.P.A.) acord e hizo

pblicos (www.efpa.eu/reports) unos criterios tcnicos para valorar la calidad de los

test psicomtricos. Estos criterios consideran que los grupos de baremacin deben

estar constituidos por un nmero de 150 a 200 sujetos para considerarlo de calidad

suficiente. Evidentemente, cuanto menos diversificadas sean las muestras de

baremacin, mayor debe ser el nmero de sujetos que las integren. Y al contrario,

cuando se consiguen unas muestras de baremacin muy diversificadas y

aleatorizadas, ms aceptable es un nmero reducido de las mismas.


17



18

Clases de test psicomtricos

Los test pueden clasificarse de acuerdo con distintos y diferentes criterios. Una

clasificacin til los divide en test de:

a) Actitudes, Valores, Preferencias,... En este grupo se incluyen aquellos test en

los que se trata de medir lo que piensa el sujeto sobre un tema o aspecto de su

vida. Se incluiran aqu los test de Actitudes o Valores ante las relaciones

sociales, como el ADCA; de Adaptacin, como el TAMAI o la EMA; de Auto-

concepto, etc.

b) Personalidad. Grupo en el que se incluyen aquellos test en los que se trata de

medir lo que piensa, siente y cmo acta de manera habitual el sujeto.

Se incluiran aqu test como los EPQ, EPQ-J, 16-PF, MMPI, CPQ, etc.

Obviamente, cada uno de estos test solamente resulta adecuado para su empleo

con el grupo de poblacin con el que se validaron y no con otros grupos.

Un error frecuente de los evaluadores consiste en emplear test, como el MMPI,

validado con poblacin psiquitrica, con personas mentalmente sanas, con el

supuesto objetivo de detectar anomalas psicopatolgicas.

c) Rendimiento o Aptitudes. Grupo que incluye a todos los test que pretenden

medir el grado de habilidad o destreza que tiene el sujeto en un campo o rea

de comportamiento. Dado que estos test realizan mediciones sobre muestras de

comportamiento, todos ellos son test de Habilidades. El evaluador, no realiza

una medida de la capacidad o aptitud del sujeto, sino que, a travs de la medida

de su grado de habilidad, infiere la capacidad o aptitud del sujeto para realizar

algo.


A su vez, los test de rendimiento pueden sub-clasificarse en otras mltiples

categoras. Como pueden ser:

Habilidades intelectuales (RAVEN, IGF, WISC, TONI-2, CERVANTES, EMIN-6)

Habilidades atencionales (CARAS, TOULOUSE-PIRON, EMAV)

Habilidades verbales (ITPA, PLON, TALE-2000, ELA-R)

Habilidades lingsticas (TALE-2000)

Habilidades mecnicas

Habilidades artsticas (creatividad),

Habilidades motrices

Habilidades sensoriales

Etc.


19



20

La valoracin de un test psicomtrico: cmo, por qu y para qu

Todo profesional que desempee tareas de evaluacin diagnstica se ve en la necesidad

de valorar los test psicomtricos de que dispone en el mercado profesional con la finalidad

de seleccionar aqullos que cumplan los mejores criterios para el uso al que les destina.

Si el profesional se dedica a la intervencin psicoeducativa, la evaluacin previa de los

escolares le resulta imprescindible y, por lo tanto, tambin necesita valorar los

instrumentos de medida.

En el campo de la psicologa forense, la gran responsabilidad que conlleva la evaluacin

pericial de los casos en litigio, exige a los profesionales un cuidado esmerado en la

eleccin de test como elemento de contraste y evidencia emprica de sus conclusiones.

Ahora bien, como en todos los campos de la ciencia, la Psicometra se encuentra en

desarrollo, siguiendo las pautas de los cambios de paradigmas conceptuales de la

Psicologa. Este fenmeno es observable retrospectivamente, al constatar cmo en una

poca de predominio de los postulados psicoanalticos, los test en uso eran todos ellos de

naturaleza proyectiva (Fbulas de Duss, Figura Humana, H.T.P., Rorschach, CAT, TAT,

test de Luscher, Wartegg,) mientras que en los ltimos 30 aos, el abandono progresivo

del psicoanlisis ha llevado a los profesionales al mayor empleo de test psicomtricos.

Asimismo, un anlisis de la realidad actual, transcultural, nos permite comprobar cmo en

aquellos pases donde predominan todava los planteamientos psicodinmicos (Argentina,

Chile,...) sigue predominando el empleo de test proyectivos frente a los psicomtricos.

Por ello, tanto el profesional con experiencia, como el novel, necesitan disponer de

conocimientos prcticos, sencillos y rpidos para valorar la mayor o menor adecuacin, a

su desempeo profesional, de test clsicos y nuevos.


El objetivo de esta Monografa es proporcionar un resumen claro y preciso de los criterios

de valoracin de test psicomtricos que puedan emplear Asesores, Orientadores y

Consultores, en sus actividades de Evaluacin Psicoeducativa, aunque puede generalizarse

a diversos campos de actuacin profesional de la Psicologa. Evidentemente, cualquier

profesional ha cursado en sus estudios de graduacin, asignaturas de Estadstica,

Psicometra, Psicologa Experimental, Diseo y Anlisis de Datos y/o similares, por lo cual,

lo que aqu se expone no ser novedoso, ni les resultar de difcil comprensin;

nicamente exponemos una visin aplicada, concreta y prctica de sus conocimientos.

Durante los pasados aos, en nuestra experiencia con posgraduados, al impartirles un

curso sobre Valoracin de Test Psicomtricos (Mster en Asesoramiento, Evaluacin e

Intervencin PsicoEducativa, ASEVINPE, del GAC), pudimos comprobar cmo los

participantes agradecan el resumen conceptual y metodolgico que supona la realizacin

de este curso. En sus comentarios, destacaron que no haban aprendido nada nuevo,

pero que haban integrado sus conocimientos previos de un modo novedoso, sencillo y

eficaz. Este es el objetivo que pretendemos con esta publicacin, planteado con una

finalidad: proporcionar a los usuarios de los servicios de Evaluacin Psicolgica la

posibilidad de recibir la mejor asistencia profesional en cuanto se refiere a la evaluacin

diagnstica de las dificultades de nios y adolescentes.

La mejor asistencia profesional favorece tanto al profesional, como al usuario de sus

servicios, entendiendo por mejor la que resulta ms econmica en trminos de

coste/beneficio; esto es: la evaluacin ms rpida, segura, cmoda y, sobre todo, ms

fiable, aquella en cuyos resultados se puede confiar para tomar decisiones respecto a las

ayudas que necesitan los escolares para mejorar su situacin de desarrollo.


21



22


La Valoracin de un test psicomtrico es un procedimiento, al que se ve enfrentado en

diversas ocasiones todo profesional de la Psicologa, que puede llevarse a cabo con

distintos criterios, dependiendo del contenido y la finalidad de uso del instrumento que se

desea valorar.

De manera general, los aspectos fundamentales a tener en cuenta son los siguientes:

1A. VALIDEZ B. FIABILIDAD C. TIPIFICACIN D. UTILIDAD

A. VALIDEZ: Se denomina validez de un test al grado en que dicho test mide lo que

pretende medir. Esta es la primera condicin, indispensable, que debe reunir un test de

calidad: poseer una validez ptima, dado que de no ser as el resto de criterios de

valoracin posibles resultan insignificantes. Si un test pretende medir ansiedad, lo

esperable es que mida indicadores de ansiedad. Si un test pretende medir autoestima, lo

esperable es que mida indicadores de autoestima.

La validez puede estudiarse desde diversas perspectivas:

A.1. Validez de Contenido: un test posee validez de contenido cuando los elementos de

cada escala corresponden fielmente a la definicin operativa de cada variable a medir.

Lo deseable, aunque no siempre sucede as, es que los autores del test hagan explcita la

definicin operativa de la variable o variables que mide su test.

Si esta definicin no se encuentra de manera explcita en su manual tcnico, entonces

debemos considerar si, a nuestro juicio profesional, los elementos del test corresponden

realmente a manifestaciones de la variable que el profesional desea medir.



23

Por ejemplo: si un test se denomina de ansiedad pero incluye indicadores de depresin,

no es un test vlido para medir ansiedad (vase como ejemplo el STAI, Spilberger, C.)

Lamentablemente, algunos autores, con innegable buena fe, pero confundidos por la

fantasa de la estadstica, construyen test o escalas siguiendo un procedimiento

estadstico: el denominado anlisis factorial exploratorio. Este mtodo, que no es otra cosa

que un estudio mltiple de correlaciones entre elementos, puede inducir a errores muy

graves, ya que puede considerar que los elementos que correlacionan entre s constituyen

una escala que mide una misma variable. Ese error es muy frecuente y se puede detectar

rpidamente, si en el manual tcnico analizamos el apartado en el que se explica cmo se

construy el test y encontramos que se llev a cabo mediante anlisis factorial. Este dato,

aadido a la ausencia de una definicin operativa de cada variable (o factor) que mide el

test nos permite saber que su construccin no es vlida.

Un ejemplo que usamos habitualmente para explicar este error metodolgico:

Si tomamos medidas sobre el desarrollo de un nio con indicadores de lenguaje (palabras

que conoce), indicadores de conocimientos culturales o de la naturaleza, habilidades de

clculo matemtico, e incluimos, por ejemplo, el tamao de sus pies y la longitud de sus

orejas,

Al estudiar a nios de edades entre 4 y 8 aos, veremos que existe una correlacin muy

elevada entre:

1. tamao de los pies y tamao de las orejas (lo cual sera un indicador de desarrollo

fsico)

2. amplitud de vocabulario, conocimientos culturales y clculo aritmtico (lo cual sera

indicador de desarrollo curricular)

Pero nuestra sorpresa sera enorme al ver que un posible anlisis factorial exploratorio

podra muy bien indicar que todos los indicadores estn incluidos en un nico factor que

podramos denominar ndice de desarrollo. Pues bien, a nadie se le oculta que no



24

podemos sumar la longitud del pie con la cantidad de palabras que conoce un nio, ya

que el resultado sera una media estadstica que lejos de aportar informacin

nicamente confunde y favorece conclusiones errneas.

Pero tiene perfecto sentido constatar la correlacin entre un posible ndice de

conocimientos curriculares de vocabulario y un ndice de desarrollo fsico, ya que entre

los 4 y los 8 aos de edad el nio se desarrolla en ambas reas.

A.2. Validez de Constructo: un test posee validez de constructo cuando las escalas que lo

constituyen, corresponden fielmente al constructo que trata de medir, definido por los

autores de test en base a los conocimientos aportados por la Psicologa o las disciplinas

que corresponda.

Por ejemplo: si un test trata de medir inteligencia, entendida sta como capacidad de

razonamiento, no puede estar compuesto, como, por ejemplo, el K-BIT, de Kaufman por

dos escalas independientes: una escala que mide vocabulario y otra que mide

razonamiento.

Por otra parte, si un test trata de medir ansiedad, que es una respuesta fisiolgica, no

puede incluir una escala de pensamientos depresivos.

Como puede comprobarse fcilmente, la ausencia de validez de contenido afecta

gravemente a la validez de constructo.

A.3. Validez Predictiva o Criterial: si el test desea realizar una prediccin de conducta o

comportamiento, grado en que correlaciona con un criterio externo.

No siempre se utiliza un test para efectuar predicciones, en cuyo caso, no corresponde

estudiar su validez predictiva. Sin embargo, en los casos adecuados, esta validez

predictiva debe indicarse en el manual y su valor debe ser notablemente superior al 50%.



25

Entindase que una validez predictiva del 50% equivale a lanzar una moneda al aire. El

uso del test se justifica si su prediccin es notablemente superior a este 50%.

A.4. Validez Concurrente o Convergente: constituye un modo de valorar la validez de

constructo. La validez concurrente o convergente de un test hace referencia al grado en

que la medida que realiza coincide con la medida proporcionada por otro test que evala

la misma variable por un procedimiento diferente. Un ndice de validez de un nuevo test

lo proporciona una alta correlacin con otro test de validez ya constatada anteriormente

para la misma medida. De modo opuesto se puede analizar la Validez Divergente.

Se podra cuestionar la necesidad de un nuevo test cuando se dispone ya de otro que

satisface la necesidad de evaluacin. Las razones son varias:

a) un test vlido y fiable puede haber quedado obsoleto por aspectos meramente

formales (de forma: expresiones culturales, formato de presentacin,) lo cual justifica

que se elabore otro nuevo, superando al anterior en estos aspectos y acumulando las

bondades del anterior o anteriores.

b) un nuevo test que evale lo mismo que otro anterior, vlido y fiable, puede justificarse

por razones de economa, ser ms breve, resultar ms cmoda su administracin o

correccin,

En todo caso, cuando no se dispone de un test suficientemente vlido y fiable, resulta

innecesaria, por imposible, establecer la validez convergente del nuevo test. En estos

casos, a veces se informa de la escasa validez convergente del test nuevo con respecto a

otro al que se pretende sustituir por su dficit de validez o de fiabilidad.

En ocasiones, para asegurar la validez de un test para evaluar una variable y no otra u

otras, se analiza la correlacin con otro/s test/s que miden otra/s variable/s y se establece

una validez divergente, en trminos de muy escasa correlacin con ellos.



26

A5. Validez Discriminante: se refiere a la posibilidad de distinguir a los sujetos

con respecto a la variable que mide el test.

Por ejemplo: un test de eficacia atencional debe asegurar que los sujetos que sacan

puntuaciones bajas tienen menos eficacia atencional que los que obtienen puntuaciones

altas. Un test de inteligencia debe asegurar que las puntuaciones bajas corresponden a

sujetos de nivel intelectual significativamente por debajo de la zona media y que las altas

corresponden a los situados significativamente por encima de la zona media.

La gran relevancia de esta validez se ha destacado en la X Conferencia de la Asociacin

Europea de Evaluacin Psicolgica, en setiembre de 2009 (Mler Jrg Michael, Hospital

Universitario de Mnster).

B. FIABILIDAD: la fiabilidad es el grado en que un test realiza la medicin con exactitud.

El estudio de la fiabilidad siempre debe realizarse con posterioridad al estudio de la

validez, entendindose que si el test no es vlido para lo que afirma medir, qu sentido

tiene asegurar que es ms o menos fiable? De anloga manera a la validez, la fiabilidad

de un test se puede analizar de varias maneras.

B.1. Fiabilidad Test-Retest: Grado de estabilidad temporal de la medida; un indicador de

que siempre mide igual cuando el constructo es estable. Un test que proporciona una

medida cuando se aplica en una ocasin y otra medida cuando se aplica en otra ocasin

diferente, no tiene buena fiabilidad.

B.2. Fiabilidad o Consistencia Interna: Grado en el que cada elemento de una escala del

test contribuye a dar estabilidad a la medida de cada caracterstica. Obviamente, cada test

est constituido por diversos elementos. Se da por supuesto que cada elemento contribuye

a medir lo mismo que los dems y que su suma constituye una medida total.



27

Sin embargo, pudiera ser que algn elemento no contribuya de manera significativa a la

misma medida que los otros, lo que debera llevar al autor a desestimarlo.

En este aspecto conviene destacar que los valores de consistencia interna aumentan con el

nmero de elementos del test. Por ello, para valorar la fiabilidad es fundamental estudiar

los ndices de homogeneidad de cada elemento (correlacin de cada elemento con el total

de la escala de la que forma parte). Cuando estos ndices son mayores de 0,3 podemos

estar seguros de la consistencia interna del instrumento.

Tambin se suelen considerar los ndices de correlacin entre elementos; sin embargo, se

debe tener presente que un ndice de correlacin entre elementos (normalmente entre

pares-impares) elevado no es una garanta de fiabilidad del test, ya que puede haber

muchos elementos similares, formulados de manera diferente, convenientemente situados

en lugares pares o impares para asegurar un elevado ndice de correlacin.

Por otra parte, cuando se indican elementos cuyos coeficientes tem-total arrojan valores

menores a 0,35 deben considerarse de baja consistencia.

Entendida la fiabilidad de un test como la cualidad que permite confiar en sus resultados,

sta tambin se ve afectada por otros factores; como pueden ser:

1. Una excesiva cantidad de elementos, lo que hace que se llegue a los ltimos con un

estado de fatiga fsica o bien con un estado de desmotivacin. Las respuestas de los

ltimos elementos pueden ser mucho menos fiables que los primeros, lo que afectara a la

totalidad de la prueba. Este puede ser el caso de las Escalas BASC, bien elaboradas pero

de dudosa fiabilidad (en su aspecto prctico) por la excesiva longitud de las mismas.

Adems, un test con ms de 15 20 elementos puede aumentar la fiabilidad de forma

errnea.



28

2. La presencia de elementos del test formulados en trminos negativos:

No me gusta cambiar de planes ( ) Nunca ( ) A veces ( ) A menudo

Se ha comprobado en mltiples ocasiones que en castellano, la formulacin negativa

afecta seriamente a la comprensin del sentido en el que deben darse las respuestas. De

hecho, al revisar las respuestas con los sujetos, con frecuencia stos indican que lo

entendieron en sentido contrario.

3. La inclusin en la formulacin de los elementos del test aspectos relacionados con la

frecuencia o intensidad de la variable a medir:

Frecuentemente cambio de planes ( ) Nunca ( ) A veces ( ) A menudo

Muchas veces pienso en hacer un viaje ( ) Nunca ( ) A veces ( ) A menudo

Tiene excesiva inquietud motora ( ) Nada ( ) Poco ( ) Bastante ( ) Mucho

Esto hace, en ocasiones, imposible responder adecuadamente a la pregunta formulada,

afectado a la confiabilidad de la medida. Curiosamente, instrumentos de amplio uso entre

los profesionales adolecen de esta deficiencia; tal es el caso de las Escalas de Conners y la

EDAH para la deteccin de Dficit de Atencin con Hiperactividad.

4. La presencia de enunciados complejos, confusos, difciles de entender por todos los

sujetos:

Sus esfuerzos se frustran fcilmente, es inconstante...

Su actitud es impropia y escasamente apreciable desde un punto de vista objetivo...

Si el enunciado no es claro y concreto, unos sujetos lo contestarn entendindolo de una

manera y otros de otra diferente, con lo que sus resultados no sern comparables entre s



29

C. TIPIFICACIN: la tipificacin de un test es el aspecto final de su valoracin

psicomtrica, que va ligado a su fiabilidad.

En la medida en que la tipificacin-baremacin es una caracterstica del test de todo

punto fundamental, afecta seriamente a la calidad psicomtrica del mismo.

Todo test que intenta situar a un sujeto con relacin a un grupo de referencia debe

acreditar que ha sido aplicado a una muestra amplia y significativa de la poblacin con la

cual se utilizar posteriormente.

Obtener estas medidas es el proceso de baremacin del test. Las muestras de poblacin

que participan en el estudio de baremacin deben cumplir los siguientes requisitos:

a) ser suficientemente amplias,

b) estar diversificadas y no proceder del mismo lugar, y

c) representar adecuadamente al grupo al que pertenece la persona que ser

evaluada con el test.

Adems de que las muestras deben estar bien definidas y ser amplias, el proceso de

tipificacin debe ser realizado con las mximas garantas; esto es, llevado a cabo por

profesionales con experiencia en la administracin de test (evitando el empleo de

estudiantes, sin experiencia previa) y siguiendo estrictamente las instrucciones de

seleccin de sujetos y de aplicacin y valoracin del instrumento.

Algunos test evalan caractersticas que se distribuyen normalmente en la poblacin, pero

en otras ocasiones esto no es as. Por ejemplo, la distribucin de los niveles de ansiedad

no suele ser normal, sino asimtrica, mientras que la de la inteligencia lgica es normal.

Por ello, todo test debera proporcionar como informacin relevante para su valoracin las

curvas de distribucin en la poblacin con la que se obtuvieron los baremos.



30

Adems, es muy importante conocer si el test tiene efecto techo. Es decir, si a partir de

cierta puntuacin todos los sujetos tienen la misma.

Resulta fundamental conocer con detalle las caractersticas de la muestra de tipificacin,

ya que eso permitir al evaluador determinar la fiabilidad del test en unos u otros grupos

de poblacin.

Por ejemplo: no se puede utilizar un test de problemas emocionales, tipificado con

muestra de poblacin general, con sujetos de poblacin clnica o al revs.

D. UTILIDAD PRCTICA: Todo test se disea o desarrolla con cierta finalidad. Existen

test que se disean con fines exclusivamente de investigacin, mientras que otros se

disean para su aplicacin en la elaboracin de programas de intervencin educativa o

teraputica.

Cada test puede considerarse de mayor o menor utilidad, en funcin de su finalidad. As,

un test puede tener una calidad indiscutible pero, no servir al profesional para

determinada finalidad, en cuyo caso, su empleo es, sencillamente, intil.

Los test psicomtricos se pueden emplear para conocer datos sobre una poblacin o sobre

un sujeto, siempre con una finalidad concreta:

D.1. Descriptiva: lo que se desea es conocer la distribucin de puntuaciones en una o ms

variables.

Ejemplo: conocer los miedos o temores de los escolares de secundaria ante los exmenes

D.2. Evaluativa: lo que se desea es integrar las medidas obtenidas con el test con otras

informaciones, para elaborar hiptesis explicativas de un fenmeno conductual o bien,

conocer la influencia de un proceso de intervencin en una o ms variables.

Ejemplo: encontrar una posible explicacin al bajo rendimiento escolar



31

D.3. Teraputica: se desea conocer algunas caractersticas de un sujeto para disear una

estrategia de tratamiento en funcin de las medidas obtenidas.

Ejemplo: conocer el nivel de intensidad de un trastorno depresivo o conocer factores

predisponentes de un sujeto para padecer un trastorno por estrs

D.4. Investigadora: llevar adelante una investigacin bsica o emprica.

El investigador puede emplear los mismos test que el profesional, dependiendo de la

finalidad de la investigacin.



32

EN RESUMEN Si el lector desea un esquema-resumen de estos criterios para valorar mnimamente un test psicomtrico, con vistas a su empleo profesional, puede utilizar los cuadros de las pginas siguientes.


VALORACIN DE UN TEST PSICOMTRICO

VALIDEZ DE CONSTRUCTO


33

Se describen operativamente las variables a medir? Se informa del modelo conceptual en el que est basado el test?

VALIDEZ DE CONTENIDO

Los elementos de cada escala corresponden a la definicin operativa de cada variable?

FIABILIDAD

Consistencia interna alrededor de 0.80 (para test con menos de 10 elementos)? ndice de homogeneidad de cada elemento superior a 0.3, para todos, especialmente en los test de ms de 10 elementos? Test-retest superior a 0.80?

TIPIFICACIN

Se describe con detalle la procedencia de la muestra? Muestra superior a 150 sujetos por grupo de edad/sexo? Muestra aleatorizada? Muestra geogrficamente amplia? Muestra socio-culturalmente amplia y representativa? Se proporciona descripcin de la distribucin de las puntuaciones en la muestra de baremacin: normal/asimtrica?



34

Sirve para disear una estrategia de actuacin? Sirve para valorar la eficacia de una estrategia de actuacin? Comparte el test el modelo conceptual de algn Programa de Intervencin? Para los test de habilidad: incluye un registro de observacin de ejecucin que permite explicar resultados incongruentes con otras fuentes de informacin?

VALIDEZ PREDICTIVA

Est documentada de manera fiable la correlacin entre la medida del test y un criterio externo?

VALIDEZ CONCURRENTE / DIVERGENTE

Est documentada de manera fiable la correlacin entre la medida del test y otros test que midan la misma variable? Est documentada de manera fiable la independencia entre la medida del test y otros test que midan distintas variables conceptualmente prximas?

VALIDEZ DISCRIMINANTE

Est documentada de manera fiable la capacidad del test para discriminar a los sujetos con altas y bajas puntuaciones?



35

2UN EJEMPLO

3de valoracin de la Validez de Constructo y de Contenido



36

Las Escalas Magallanes de Evaluacin de Hbitos Asertivos Las Escalas Magallanes de Hbitos Asertivos se han diseado para evaluar el grado de asertividad con el que se suele relacionar una persona a partir de los 12 aos de edad. Al tratar de evaluar comportamiento asertivo, inicialmente hay que definir el constructo asertividad y constatar la validez de constructo del instrumento. Este instrumento consta de tres versiones, una que corresponde a los padres de un adolescente, en la cual, se solicita que informen de la frecuencia de diversos comportamientos de su hijo en estudio. Otra escala, correspondiente al profesorado tutor, a quien se solicita que informe de diversos comportamientos de este escolar en estudio. La ltima escala es un auto-informe del escolar sobre la frecuencia de diversos comportamientos suyos. En los tres casos, al tratar de evaluar asertividad, como aquella clase de comportamientos que constituyen un acto de respeto a uno mismo y a los dems, se ha decidido elaborar dos escalas conceptualmente diferentes entre s: una escala auto-asertividad permite evaluar el grado en que el individuo acta con respeto a s mismo; otra escala hetero-asertividad, permite evaluar el grado en que el individuo acta con respecto hacia los dems. Al disponer de dos escalas, es posible valorar el estilo de comportamiento del individuo, por comparacin entre las puntuaciones obtenidas en cada escala: Pasivo, Agresivo, Pasivo-Agresivo o Asertivo3. As diseado, el instrumento tiene acreditada su validez de constructo, ya que est construido con las dos escalas que permiten describir o identificar su estilo de conducta social, segn el constructo asertividad. Sin embargo, esta estructura no asegura su validez de contenido. Para asegurar la validez de contenido se debe proceder a analizar cada uno de los elementos que constituyen cada escala. En el caso de la escala de auto-asertividad, todos y cada uno de los elementos deben representar una interaccin que manifieste respeto a s mismo. De manera anloga, la escala de hetero-asertividad debe estar compuesta por elementos que representen interacciones de respeto a los dems. Una vez constatadas ambas condiciones, podemos asegurar la validez de contenido. Un posterior anlisis de fiabilidad de ambas escalas nos permitir constatar la consistencia interna de cada una de ellas y el ndice de homogeneidad de cada uno de los elementos, asegurando as que los elementos estn adecuadamente formulados y resultan comprensibles para las personas que respondern al instrumento. No se propone un ndice general porque el constructo tiene dos componentes independientes.

3 Para ms detalles puede consultarse el manual del test, EMHAS



37

Escala de Auto-asertividad:

Expone y defiende sus ideas de manera respetuosa con los dems

Cuando se enfada, expresa su malestar de manera adecuada

Expresa sus sentimientos sin reparos, pero de manera adecuada

Se muestra enfadado/a o disgustado/a cuando no hace las tareas perfectamente

Cuando quiere algo, lo pide educadamente, de manera clara y directa

Le cuesta mucho cambiar de opinin

Cuando le preguntan algo que no sabe, lo reconoce sin buscar excusas o justificaciones

Felicita a sus compaeros/as cuando hacen algo que le gusta

Cuando no entiende algo, se enfada bastante

Cuando se equivoca busca excusas para justificarse

Cuando tiene alguna duda pregunta de manera correcta

Si necesita ayuda la pide con buenos modales

Cuando hace algo que perjudica a algn/a compaero/a lo reconoce y pide disculpas

Acta de manera independiente, sin dejarse llevar por lo que hagan o digan los dems

Cuando cree que le critican injustamente, se defiende de manera adecuada

Sabe negarse, cortsmente, cuando los/as compaeros/as le piden que haga algo que no

quiere hacer

Escala de Hetero-asertividad:

Suele criticar a los/as dems cuando se equivocan, olvidan algo o hacen algo mal

Admite, sin enfadarse, que los dems le nieguen algo que les pide

Protesta o se enfada cuando le critican

Cuando dice algo que los dems no entienden, vuelve a explicarlo sin enfadarse

Se enfada, cuando los dems le llevan la contraria

Admite, sin enfadarse, que los dems cambien de opinin

Cuando le piden cosas, responde con buenos modales

Se molesta cuando se le hacen preguntas personales



38

Extracto de los criterios propuestos por la Comisin de Test:

UN MODELO PARA EVALUAR LA CALIDAD DE LOS TEST

UTILIZADOS EN ESPAA

Gerardo Prieto* y Jos Muiz**

* Universidad de Salamanca. ** Universidad de Oviedo

Papeles del Psiclogo: Revista del Colegio Oficial de Psiclogos. Ao 2000. Nmero 77, pp. 65-75

0Resumen En el ejercicio de su profesin los psiclogos utilizan con frecuencia los test para la obtencin de datos. Para que los datos as obtenidos sean de calidad y puedan ayudar al psiclogo a tomar las decisiones adecuadas, los test utilizados han de reunir las propiedades tcnicas oportunas. Un medio eficaz para mejorar los test y su prctica es ofrecer a los usuarios toda la informacin posible acerca de su calidad y caractersticas. El Colegio Oficial de Psiclogos tiene la intencin de promover un proceso de evaluacin de los test ms utilizados en Espaa para proporcionar as una informacin tcnica precisa a los usuarios de las pruebas. En este artculo se describen las caractersticas del procedimiento de evaluacin y se presenta un modelo de cuestionario para llevar a cabo la evaluacin.

Los test psicolgicos constituyen una de las herramientas ms importantes al servicio de la prctica

profesional y de la investigacin de los psiclogos. Como ocurre con cualquier otra tecnologa cientfica, los test pueden utilizarse de forma correcta o incorrecta. La Comisin de Test se cre para promocionar y potenciar el uso adecuado de los test en nuestro pas. Para llevar a cabo esta tarea, la Comisin funciona de forma coordinada con otros grupos de trabajo internacionales con fines similares, tales como la Federacin Europea de Asociaciones de Psiclogos Profesionales (EFPPA), o la Comisin Internacional de Test (ITC).

En nuestro pas las informaciones acerca de las caractersticas de los test no son exhaustivas, estn muy dispersas, no son fcilmente accesibles o, al ser facilitadas por el editor del test, no pueden ser consideradas independientes e imparciales. Por este motivo, los profesionales carecen en muchas ocasiones de orientaciones cientficas que les permitan seleccionar el instrumento ms apropiado para sus objetivos. Consciente de este problema, la Comisin de Test del COP ha diseado un modelo estandarizado de evaluacin de test (CET) con la finalidad de revisar los test empleados en nuestro pas, al objeto de informar a los usuarios sobre su calidad tcnica. Puesto que se dispone de datos recientes bastante fiables sobre los test ms usados en los distintos campos profesionales de la psicologa (Muiz y Fernndez-Hermida, 2000), es intencin de la Comisin de Test focalizar inicialmente en estas pruebas las revisiones, aunque tambin sera posible incluir otros test en la primera fase de evaluacin a instancias de editores y autores.



39

El objetivo de este artculo es la descripcin de un posible proceso de revisin a seguir, y la presentacin del modelo de cuestionario que se utilizara en las revisiones de los test. Consideramos que la publicacin del sistema de evaluacin y de los criterios de evaluacin generar un beneficio colateral aadido a la informacin tcnica facilitada, a saber, informar a los autores de test de los estndares de calidad que han de poseer las nuevas pruebas que aparezcan en el mercado. Tanto el sistema de evaluacin que se describe a continuacin, como el modelo de cuestionario presentado, se han inspirado principalmente en los modelos ingls y holands actualmente en funcionamiento.

./

Conclusiones

La mayora de los expertos, as como las organizaciones profesionales nacionales e internacionales coinciden en sealar que una de las medidas ms eficaces para mejorar la utilizacin que se hace de los test es la de proporcionar una buena informacin y formacin a los usuarios.

Un profesional con una buena informacin sobre las pruebas y una formacin adecuada difcilmente utilizar de forma incorrecta los test.

Enmarcado en esa filosofa, en 1995 4 el Colegio Oficial de Psiclogos (COP) cre una Comisin de Test (http://www.cop.es/test/) con el fin de analizar los problemas implicados en el uso de los test.

./

4 En el mes de octubre de 2009 (14 aos ms tarde) est Comisin todava no ha valorado ni un solo test.



40

CUESTIONARIO PARA LA EVALUACIN DE LOS TEST (CET) 1. Descripcin general del test 1.1. Nombre del test: 1.2. Nombre del test en su versin original (si la versin espaola es una adaptacin): 1.3. Autor/es del test original: 1.4. Autor/es de la adaptacin espaola: 1.5. Editor del test en su versin original: 1.6. Editor de la adaptacin espaola: 1.7. Fecha de publicacin del test original: 1.8. Fecha de publicacin del test en su adaptacin espaola: 1.9. Fecha de la ltima revisin del test en su adaptacin espaola: 1.10. Clasifique el rea general de la o las variables que pretende medir el test ( ) Inteligencia ( ) Aptitudes ( ) Habilidades y Rendimiento acadmico ( ) Psicomotricidad ( ) Alteraciones neuropsicolgicas ( ) Personalidad ( ) Motivacin ( ) Actitudes ( ) Intereses ( ) Valores ( ) Otros (Indique cul:............................................) 1.11. Breve descripcin de la variable o variables que pretende medir el test: 1.12. rea de aplicacin ( ) Psicologa clnica ( ) Psicologa educativa ( ) Neuropsicologa ( ) Psicologa forense ( ) Psicologa del trabajo y las organizaciones ( ) Psicologa del deporte ( ) Servicios sociales ( ) Psicologa del Trfico ( ) Otros (Indique cul:............................................) ./ 1.17. Descripcin de las poblaciones a las que el test es aplicable (especifique el rango de edad, nivel educativo, etc., y si el test es aplicable en ciertas poblaciones especficas: minoras tnicas, discapacitados, grupos clnicos, etc.): 1.18. Indique si existen diferentes formas del test y sus caractersticas (formas paralelas, versiones abreviadas, versiones informatizadas o impresas, etc). En el caso de que existan versiones informatizadas, describa los requisitos mnimos del hardware y software.



41

2. Valoracin de las caractersticas del test 2.1. Calidad de los materiales del test (objetos, material impreso o software): * ( ) Inadecuada ** ( ) Adecuada pero con algunas carencias *** ( ) Adecuada **** ( ) Buena

***** ( ) Excelente (Impresin y presentacin de gran calidad, software muy atractivo y eficiente) 2.2. Calidad de la documentacin aportada 2.3. Fundamentacin terica 2.4. Adaptacin del test (si el test ha sido traducido y adaptado para su aplicacin en Espaa) 2.5. Calidad de las instrucciones 2.10. Validez 2.10.1. Validez de contenido: 2.10.1.1. Calidad de la representacin del contenido o dominio: 2.10.1.2. Consultas a expertos: 2.10.2. Validez de constructo: 2.10.2.2. Tamao de las muestras en la validacin de constructo: ( ) No se aporta informacin en la documentacin * ( ) Un estudio con una muestra pequea (N



42

2.10.4. Comentarios sobre la validez en general: 2.11. Fiabilidad 2.11.3. Consistencia interna 2.11.3.1. Tamao de las muestras en los estudios de consistencia: ( ) No se aporta informacin en la documentacin * ( ) Un estudio con una muestra pequea (N



43

4ANEXOS

Por su posible inters, a continuacin incluimos diversas valoraciones de test de mayor o menor uso

en evaluacin psicoeducativa. Las valoraciones se han efectuado por profesionales con experiencia en

psicometra y en evaluacin, pero las opiniones son responsabilidad exclusiva de los autores de la presente

obra.

El sitio web www.preocupados.es est dedicado a la problemtica del Fracaso Escolar, cuestin sta

que preocupa a padres, profesionales, interesados y autoridades educativas de todos los niveles.

En este sitio web puede acceder al Modelo Explicativo del xito-Fracaso Escolar (modelo D.S.I.).

Con esta Monografa, elaborada para nuestros alumnos de posgrado, confiamos en haber

contribuido a la mejor informacin de los profesionales de la evaluacin psicoeducativa, tanto expertos,

como noveles.



44

Escala de Ansiedad Infantil revisada Revised Childrens Manifest Scale: RCMAS

(Reynolds, C.R. y Richmond, B.O., 1978)

Adaptacin al castellano de C.D. Sosa, J.I. Capafns, P. Flores, A.M. Navarro y F. Silva. Madrid: MEPSA

Los autores de la adaptacin espaola de esta Escala (revisada en 1978) informan de que est compuesta

de "28 tems en forma de afirmaciones, expresados en la direccin de la ansiedad". En la escala se intenta

recoger tanto aspectos motores como fisiolgicos y cognitivos que tengan relacin con el constructo

ansiedad".

A este respecto cabe indicar lo siguiente:

a) Para hacer tales afirmaciones los autores deberan definir previamente la ansiedad, cosa que no hacen en

el manual de la adaptacin espaola.

b) La ansiedad se considera universalmente una respuesta de tipo fisiolgico exclusivamente, lo cual no

quiere decir que no est presente simultneamente con cogniciones y acciones motrices.

El hecho de haya algunas cogniciones frecuentemente asociadas a la ansiedad no justifica, desde el punto

de vista de la validez de constructo, que se punte una escala de Ansiedad con afirmaciones de tipo

cognitivo tales como:

Me cuesta decidirme (ms propio de un estado depresivo que de un estado ansioso)

Parece que los dems hacen las cosas con ms facilidad que yo (qu tiene que ver esto con la ansiedad?)

Me preocupo mucho (las preocupaciones se dan en las personas sin que sea necesario que tengan

ansiedad)

Me enfado con mucha facilidad (un indicador de irritabiliad, no de ansiedad)

Me preocupa lo que los dems piensen de mi (de nuevo preocupaciones que pueden aparecer sin estados

de ansiedad)

Otros nios son ms felices que yo (eso no quiere decir que el nio tiene ansiedad)

Muchas personas estn en contra ma (no es un indicador de ansiedad)

Como puede comprobarse con facilidad, esta "supuesta escala para evaluar ansiedad" contiene poqusimos

indicadores fisiolgicos de ansiedad, como mximo los siguientes: tem 2 (ansiedad situacional y no

permanente), tems 4 y 6 (tambin situacional e incluyendo el miedo), tem 10 (que puede ser por



45

preocupaciones no por ansiedad), tem15 (claro indicador de ansiedad), tems 25 y 26. En total 7

indicadores fisiolgicos frente a 21 indicadores que no son manifestaciones unvocas de ansiedad.

Vase pues, cmo esta escala de ansiedad carece absolutamente de validez de contenido y, por lo tanto, de

tambin de constructo. Toda vez que, incluso, suma indicadores fisiolgicos con indicadores cognitivos.

De acuerdo a la propuesta del Prof. Pasquali 5, no corresponde seguir analizando un test psicomtrico que

carece de validez de contenido/constructo. Resulta irrelevante considerar su posible fiabilidad (de qu nos

vamos a "fiar"?)

En cuanto a los baremos, qu sentido tiene comparar los pensamientos y sentimientos de un sujeto con la

media de un grupo poblacional?. Si la poblacin tiene un nivel de ansiedad moderado, quien lo tenga

menor, qu representa? y quien tiene un valor medio, quiere decir que no tiene ansiedad, o que tiene la

ansiedad de la mayora?

An ms, la edicin que se puso a la venta en Espaa (Madrid: TEA Ediciones, 2004) era una edicin

mexicana con baremos americanos y mexicanos.

Por todas estas razones, en nuestra opinin, la CMAS-R carece de valor alguno para considerar sus datos

con valor pericial o para tenerlos en cuenta como variable interviniente en el anlisis de casos de bajo

rendimiento o fracaso escolar.

Desde nuestro punto de vista, con respecto a este instrumento, podemos considerar

Finalidad Valorar el nivel de ansiedad en Nios de 6 a 19 aos

Validez de contenido Nula

Validez de constructo Nula

Fiabilidad Irrelevante

Baremos Irrelevantes

Facilidad de Aplicacin Alta

5 Profesor Luiz Pasquali del Instituto de Psicologa de la Universidad de Brasilia



46

BENDER Test guestltico visomotor de Lauretta Bender

(Bender, L. 1938)

Lauretta Bender es la autora de un test muy conocido y empleado en Educacin: el test guestltico viso-

motor, cuya primera publicacin se llev a cabo en 1938.

La autora se describe a s misma como psiquiatra y neurloga, especialista en patologa cerebral con

adultos. Se reconoce sin formacin en psicologa clnica ni otra clase se estudios de psicologa. Sin embargo,

en una poca de gran desarrollo de la Psicologa de la Guestalt y en la investigacin psicopatolgica con

adultos cre este test, formado por una serie de tarjetas en las que aparecen unos dibujos que el paciente

deba reproducir con la mxima exactitud posible. Los resultados que obtuvo la autora (que nunca hizo

ningn otro test o instrumento de evaluacin, es decir, que no era experta en el diseo o elaboracin de

instrumentos de evaluacin) se referan a qu clase de errores en la reproduccin de los dibujos cometan

pacientes adultos con lesiones cerebrales.

El error que subyace al empleo de este test en educacin (cuyo uso comenz en los 60) es que considera

que si un error en la reproduccin de dibujos por parte de un adulto, se encuentra asociado a un dao

cerebral concreto, entonces... si un nio entre los 5 y los 11 aos de edad (poca en la que se encuentra en

desarrollo su cerebro) comete el mismo tipo de errores, eso significa que sufre algn tipo de anomala en su

funcionamiento cerebral. Los autores ms atrevidos lo atribuyen a lesin cerebral y otros, ms prudentes, lo

explican como un indicador de retraso en el desarrollo madurativo del cerebro.

Lo ms curioso del caso es que en varias decenas de aos en que se lleva empleando este test NADIE HA

COMPROBADO que sean ciertas las hiptesis de partida; habindose comprobado, todo lo contrario: los

nios con indicadores de dao o anomala cerebral segn el test de Bender que son remitidos al Servicio de

Neurologa Peditrica no reciben una diagnstico confirmatorio de tales daos o desajustes.

En conclusin: Nunca se ha puesto de manifiesto la validez criterial o predictiva del test de Bender con

nios, por lo que consideramos absolutamente desaconsejado su uso en evaluaciones psicopedaggicas.

En la actualidad, la mejor evaluacin de dao o mal funcionamiento cerebral debe llevarla a cabo un

Profesional de Neurologa Peditrica.



47

BOEHM

Test de Conceptos Bsicos de BOEHM

(Boehm Ann, 1971; Madrid: TEA)

Para valorar este instrumento hemos optado por citar el resumen de un trabajo de investigacin del Profesor

Dr. D. Miguel Galeote Moreno (Departamento de Psicologa Evolutiva y de la Educacin. Facultad de

Psicologa. Universidad de Mlaga. Campus de Teatinos s/n. 29071-Mlaga. Espaa)

"El Test Boehm de Conceptos Bsicos (TBCB) (Boehm, 1971) es una prueba bastante utilizada en el mbito

psicopedaggico y logopdico. Esta prueba parte del supuesto de que gran parte del fracaso escolar se debe

a que los alumnos desconocen una serie de conceptos / trminos bsicos imprescindibles para seguir con

xito las enseanzas curriculares. Tras varias etapas de investigacin, en las que se analizaron las

instrucciones que acompaaban los materiales didcticos en los centros de preescolar, se seleccionaron los

50 conceptos / trminos que componen el test.

Aunque en la actualidad se reconoce que la prueba adolece de varios problemas, stos se ven agudizados en

su adaptacin espaola. Uno de los ms importantes es que no se analizaron los programas y materiales

curriculares para el nivel de preescolar empleados en nuestro pas. Este paso es, no obstante, esencial para

determinar la validez de contenido de la prueba, entendiendo por tal la representatividad de los tems del

universo de conocimiento especificado (Jensen, 1980).

El objetivo del presente trabajo consiste en verificar dicha validez. Ms concretamente, se trata de verificar la

hiptesis de si los conceptos / trminos examinados son pertinentes para el aprovechamiento / xito escolar

en nuestro pas. Estudios realizados en otros pases no la han confirmado.

Para este fin: (1) se seleccion una muestra bastante amplia de los materiales curriculares ms utilizados

para el nivel de preescolar; (2) se analiz las instrucciones que acompaaban esos materiales y (3) se

comprob si los conceptos incluidos en el TBCB (as como sus derivados, sinnimos y antnimos) aparecan

en dichas instrucciones.

Los resultados muestran que los conceptos / trminos que componen el TBCB no son representativos de los

materiales curriculares empleados en nuestro pas, en otras palabras, el test carece de validez de contenido."

Tal y como mencionamos en la pgina principal de esta Seccin, si un test carece de validez de contenido

resulta poco til seguir valorando otras propiedades del mismo, aunque sera bueno destacar que los

elementos del test (50 se consideran escasos) solamente incluyen tres opciones de respuesta con lo que la

probabilidad de acertar por azar es muy alta.



48

En conclusin: en nuestra opinin, y de acuerdo a las conclusiones del Prof. Galeote, consideramos que el

test de Boehm, cumpli una funcin en un momento dado, pero que en la actualidad debera ser sustituido

en la prctica profesional por otro ms adecuado.


Finalidad

Valorar el conocimiento de palabras que

designen conceptos bsico

(incluidos en el currculum acadmico)

Validez de contenido Insuficiente

Validez de constructo Regular

Fiabilidad Regular

Baremos Insuficientes: muestras escasas




49

CARAS Test de Percepcin de Diferencias

(Thurstone, L.L., 1944)

(Versin espaola preparada por el Dr. Mariano Yela en 1979; Madrid: TEA)

Se afirma en la introduccin del Manual de este test que... "este instrumento psicomtrico fue preparado

inicialmente con el propsito de apreciar la rapidez para percibir detalles y discriminar objetos, esto es, la

capacidad del sujeto para detectar semejanzas y diferencias".

As entendido, constituye un grave error conceptual y metodolgico considerar, como se ha venido haciendo

desde bastantes aos, el Test de Caras como un test para medir la atencin. Atender a un estmulo es una

condicin imprescindible para poder realizar algn tipo de operacin con l, por lo tanto "todos los test

seran test de atencin", si consideramos que para realizar la tarea que se nos solicita en cada uno de ellos,

hace falta "poner atencin".

Los doctores Thurstone y Yela nunca consideraron a este test como una prueba para medir la capacidad de

atencin, sino para valorar la "RAPIDEZ para APRECIAR DETALLES y DISCRIMINAR OBJETOS.

Con esta breve aclaracin introductoria, deseamos salir al paso de quienes, ahora que est "de moda"

diagnosticar a muchos escolares como Hiperactivos o Inatentos, en todo caso con TDAH, deciden utilizar

este test para la valoracin de sus capacidades atencionales. A nuestro entender, esto constituye un ERROR

METODOLGICO GRAVE en los procesos de evaluacin psicopedaggica de los escolares con sospechas

de algn tipo de dficit de atencin. Este test nunca se dise con esa finalidad.

Por otra parte, en la misma introduccin se destaca que los estudios factoriales llevados a cabo con esta

prueba por el Dr. Yela han mostrado que tiene una composicin factorial compleja que abarca,

principalmente, aspectos perceptivos y espaciales.

Cul es el significado de esta afirmacin introductoria?

Pues la ms importante es la siguiente: si la prueba tiene una composicin factorial, por qu no se

proporcionan los valores correspondientes a cada factor de manera independiente?

Resulta una incongruencia que el test proporcione una puntuacin nica y sin embargo se presente como

de componentes factoriales.

Qu es lo que representa la medida del test y, por tanto, los baremos que proporciona? y, cmo es posible

que solamente se contabilicen los aciertos sin ponerlos en relacin con el total de figuras vistas, los errores y

las omisiones?



50

Significa lo mismo una puntuacin de 30 con diez errores que otra de 30 sin errores, que otra de 30 con

15 errores? Y es igual haber acertado 30 habiendo revisado slo 30 figuras, que haber acertado 30 con 20

errores, o sea haber revisado 50 figuras?

Pues segn este test s: es lo mismo.

As que, si el test mide... VELOCIDAD DE EJECUCIN + EFICACIA PERCEPTIVA DE SEMEJANZAS y

DIFERENCIAS

El resultado, qu dice sobre la velocidad y la eficacia?

Por otra parte, si tiene componentes factoriales de ASPECTOS PERCEPTIVOS y ESPACIALES, una buena

puntuacin quiere decir que tiene buenas capacidades perceptivas y espaciales, pero una mala puntuacin,

qu implica?: mala percepcin o mala orientacin espacial?

Desacreditada la validez de constructo de este test, carece de inters proceder a valorar su fiabilidad o su

baremacin. No obstante, destaca que en el manual consultado no se indica nada de la procedencia de las

muestras, claramente insuficientes.


Finalidad Valorar la rapidez y eficacia perceptiva de semejanzas y diferencias en Nios de 6 a 15 aos

Validez de contenido Nula

Validez de constructo Nula

Fiabilidad Irrelevante

Baremos Irrelevantes




51

COBAR Conceptos Bsicos Relacionantes

(Yuste Hernanz, C. y Sanz Moriigo, L.M., 1991; Madrid: CEPE)

El COBAR es un instrumento de evaluacin de la habilidad alcanzada por los escolares para conceptualizar

y emplear el trmino verbal adecuado al concepto correspondiente.

Sus fundamentos conceptuales son adecuados y la forma de elaborar los distintos niveles de evaluacin

tambin lo es. Como otros test de naturaleza similar (BOEHM, CONCEBAS,...), la nica diferencia con ellos

se refiere a los aspectos siguientes:

1. Los conceptos elegidos varan en funcin de los estudios realizados por cada equipo de autores.

2. Las muestras poblacionales utilizadas para la seleccin de los conceptos a incluir en cada nivel curricular.

3. La forma de presentacin de los cuadernillos-estmulo.

Quedara por tanto al gusto o la necesidad de los evaluadores elegir uno u otro instrumento.

En otro lugar, incluimos un anlisis crtico del test de BOEHM y otro del CONCEBAS las diferencias entre

ellos, llevarn seguramente a los profesionales a descartar el uso del BOEHM y del CONCEBAS por sus

deficiencias, ampliamente superadas por COBAR y por otros.

Los aspectos ms discutibles en el uso del COBAR lo constituyen:

a) el formato poco amigable de los cuadernillos, aspecto a tener en cuenta cuando se emplean con nios de

4 a 6 aos de edad.

b) la inexistencia de informacin sobre la consistencia temporal de las medidas (fiabilidad test-retest)

c) el hecho de que el COBAR es un Test Psicomtrico sin baremos poblacionales.

Sorprende este hecho ya que en evaluacin del bajo rendimiento o de las dificultades de aprendizaje, resulta

en muchas ocasiones imprescindible y siempre muy til, conocer el nivel de desarrollo conceptual de un

escolar, con respecto a la media de su grupo cultural normativo. En este sentido la mayor deficiencia del

COBAR es que no permite llevar a cabo una valoracin entre sujetos.

No obstante, puede resultar til cuando se desee evaluar los progresos realizados por determinado escolar

tras una intervencin educativa prolongada.

Por otra parte, resulta una falacia muy peligrosa la sugerencia hecha por los autores en la pgina 86 del

Manual, para que cada usuario "se vaya haciendo sus baremos particulares". Esta sugerencia, reiterada en

otras obras por el primer autor, conllevara gravsimos riesgos de valoracin de los escolares. As, en un



52

grupo cultural, colegio de alto nivel o de poblacin desfavorecida, un escolar podra obtener una puntuacin

media en cada uno de ambos casos, resultando con unas grandes diferencias entre ambos.

Debe tenerse en cuenta que en el proceso educativo, la programacin curricular es moderadamente la

misma, sea cual sea el nivel socioeconmico y cultural de los escolares y este tipo de valoraciones NO

PERMITE COMPARAR sujetos de mbitos poblacionales diferentes.


Finalidad

Valorar el dominio de las palabras-concepto

necesarias para el aprendizaje curricular y

social

Validez de contenido Buena

Validez de constructo Buena

Fiabilidad No constan datos en el Manual

Baremos Inexistentes

Facilidad de Aplicacin Moderada



53

CLP Prueba de Comprensin Lectora de Complejidad Lingstica Progresiva

(Alliende, F., Condemarn, M. Milicic, N, 1991; Madrid CEPE)

Para llevar a cabo el anlisis de la validez de contenido/constructo de este test resulta fundamental partir de

la definicin de comprensin lectora de sus autores.

As, en la pgina 26 del manual, indican que se pueden dar diversos niveles de significado al constructo

"comprensin lectora"; desde el ms elemental "la captacin del sentido manifiesto, explcito o literal de un

determinado texto escrito", hasta niveles tales como que el lector dar significado propio a lo que lee,

pasando por un nivel intermedio no muy explicado en el manual.

En resumen, una introduccin compleja y discutible, que podra simplificarse de modo tal que podamos

entendernos todos:

La comprensin sera el proceso de elaborar el significado por la va de conocer las ideas relevantes de un

texto y relacionarlas con las ideas que ya se tienen: es el proceso a travs del cual el lector interacta con el

texto. Sin importar la longitud o brevedad del prrafo, el proceso se da siempre de la misma forma.

Entendido de esta manera, la estructura del CLP resulta algo discutible en sus aspectos conceptuales y

metodolgicos.

A nivel conceptual, algunas partes de la prueba no constituyen en s mismas un ejercicio de lectura

comprensiva, ya que el nio debe elegir una palabra que falta para completar y dar sentido a una frase.

A nivel metodolgico, la unin de frases con dibujos o palabras no siempre demuestra eficacia lectora, ya

que la ltima frase siempre est determinada al quedar una sola figura para elegir.

No obstante, la realidad es que los diversos ejercicios de prueba, lejos de ser tpicos ejercicios de memoria

lectora, constituyen un verdadero ejercicio de comprensin de textos.

En cuanto a la fiabilidad de las medidas, el test se manifiesta con gran consistencia temporal (test-retest)

Por su parte la validez predictiva resulta escasa para los cinco primeros niveles y mejor para los tres ltimos.

Esto se puede explicar porque comprender un texto es necesario, pero no suficiente para alcanzar los

criterios de dominio del lenguaje.

Finalmente, los baremos han sido obtenidos con una muestra poblacional muy escasa y no aleatorizada:

todos los sujetos pertenecen a la Rioja (colegios pblicos de Logroo y algunos pueblos de la provincia). En

resumen, nos encontramos con un total de 313 sujetos, repartidos en grupos de 29 a 50 sujetos (mnimo y

mximo respectivamente). Esto constituye un gran hndicap que impide, en su fase final, contar con un



54

instrumento de muy buena validez de contenido, fiabilidad interna y validez predictiva, pero de escasa

fiabilidad extrnseca. Con estos baremos, comprender el Evaluador que, en el mejor de los casos, que

emplease el CLP en La Rioja, estara comparando los resultados de un escolar de 1, 2, 5, 6, 7 u 8 de

EGB (ahora los ltimos seran de 1 y 2 de ESO), con una media y desviacin tpica de un grupo de menos

de 40 sujetos.

Imagine lo que sucedera cuando emplease estos baremos con escolares de las Islas Canarias, Galicia,

Extremadura, Andaluca, Murcia,...

En conclusin: la Prueba CLP es un instrumento con muy buena validez de contenido/constructo y

fiabilidad interna, pero con tan deficiente baremacin que su empleo conllevar un riesgo de error que el

Evaluador debe estar dispuesto a correr si lo elige como alternativa a algn otro test, de similar

construccin pero mucho ms ampliamente baremado.


Finalidad Valorar la habilidad para comprender textos

escritos

Validez de contenido Alta

Vali

Cómo Valorar Un Test Psicométrico 2011

Documents

Transcript of Cómo Valorar Un Test Psicométrico 2011