5/28/2018 validacion

1/6

Simposio: Validez y Adaptacin de Tests y Cuestionarios

Coordinador: Jos Luis Padilla Garca

Universidad de Granadajpadilla@ugr.es

Pocas dudas puede despertar el inters que las dos temticas recogidas en el ttulo del simposio validez y adaptacin-, tienen para los profesionales ocupados en la elaboracin y evaluacin de tests.Temticas claramente relacionadas entre s desde el momento en que se establece como meta general dela adaptacin: garantizar interpretaciones vlidas para las mediciones obtenidas con los tests ycuestionarios adaptados.

Teniendo como referente la ultima edicin de los Estndares (APA, AERA, NCME, 1999), o delas directrices de la International Test Commission (van de Vijver and Hambleton, 1996), numerosaspublicaciones han abordados en los ltimos aos cuestiones objeto de debate para la Teora de la Validezcomo la incorporacin o no de las consecuencias del uso de los test en los procesos de validacin-, o lanecesidad de actualizar las directrices para incluir referencias ms detalladas a la necesidad de estudiar elgrado de solapamiento del constructo entre poblaciones definidas por referentes culturales y no slolingsticos.

La produccin cientfica en Espaa ha participado activamente desde hace aos en el desarrollode este campo como prueban los simposios realizados en los sucesivos congresos de AEMCCO. Lostrabajos agrupados en este simposio continan esta lnea de trabajo y abren nuevas perspectivas deestudio.

El primer trabajo aborda el debate sobre la incorporacin de las consecuencias del uso de lostests a los procesos de validacin. Hacer depender los juicios sobre la validez de las consecuencias y losjuicios de valor, ha generado una viva polmica. El trabajo propone criterios para ayudar en la decisinsobre cuando tener en cuenta las consecuencias en el proceso de validacin y apunta las implicaciones dela cuestin para la adaptacin de tests.

El segundo trabajo presenta los resultados preliminares del anlisis de las propiedades mtricasde la versin adaptada al euskera del Inventario NEO PI Revisado. El trabajo presta especial atencin a labsqueda de evidencias relacionadas con la validez de la versin adaptada, su dimensionalidad, el ajusteal modelo terico y anlisis del DIF para grupos definidos por variables sexo y etapa vital-, que pueden

mejorar la comprensin del constructo medido por la versin adaptada al euskera.El tercer trabajo analiza mediante un estudio de simulacin los efectos de la tcnica de factorial empleaday del criterio de seleccin de componentes/factores cuando se utiliza el Anlisis Factorial Exploratoriopara investigar la dimensionalidad de los tests. La importancia del anlisis de la dimensionalidad resultaevidente tanto desde el punto de vista terico como aplicado. De ah que aparezcan menciones explicitas ala necesidad de estudiar la dimensionalidad tanto como una fuente de evidencias sobre la validez como endirectrices especficas para la adaptacin.

El cuarto trabajo muestra el proceso de adaptacin seguido con la versin original alemana delInventario de Autogobierno para su utilizacin en Mxico y en Espaa. Se trata otro caso particular deadaptacin de un instrumento de evaluacin con el inters aadido de haber realizado un proceso detraduccin triangular a un mismo idioma pero a dos culturas objetivo. Tanto la traduccin como laevaluacin de las versiones adaptadas permiten extraer conclusiones sobre el efecto de las diferenciaslingsticas y culturales durante la adaptacin.

El quinto trabajo analiza las condiciones de aplicacin de un procedimiento que puede aportarinteresantes evidencias sobre el funcionamiento de las versiones adaptadas. Las entrevistas cognitivasanalizan el proceso de pregunta y respuesta a los tems. Aplicadas a la versin traducida proporcionaninformacin sobre el grado en el que el tem traducido refleja el mismo comportamiento que el tem de laversin original. El trabajo analiza las condiciones idneas para la utilizacin de las entrevistas cognitivasmediante su aplicacin a la adaptacin al castellano de la versin original en ingls del cuestionarioauditivo LittlEARS.

5/28/2018 validacion

2/6

La Teora de la Validez y las Consecuencias del Uso de los Test: Implicaciones

para la Adaptacin de Tests y Cuestionarios

Padilla Garca, J.L.; Gmez Benito, J.*; Hidalgo Montesinos, M.D.** y Muiz Fernndez, J.***

Universidad de Granada*Universidad de Barcelona**Universidad de Murcia***Universidad de Oviedojpadilla@ugr.es

La integracin de los juicios de valor y las consecuencias del uso de los tests dentro de la Teorade la Validez, ha sido uno de los asuntos que ms tensiones han provocado entre tericos y profesionalesdesde que Messick (1989) abogar por su incorporacin. Ejemplos recientes de posturas enfrentadassobre la cuestin son el artculo de Borboom, Mellenbergh y van Heerden (2004) defendiendo limitar elconcepto de validez a la validez de constructo; y en el lado opuesto, el artculo de Moss (2003) querescata el concepto de validez aparente para dar cabida a las diferente visiones sobre la justicia en laevaluacin que, en su opinin, debe incluir la Teora de la Validez. Este trabajo propone argumentos paradecidir cuando las consecuencias pueden tener cabida dentro de la teora de la validez. La teora

explicativa del DIF y la inclusin del sesgo dentro de la teora de la validez proporcionan la justificacinde dichos argumentos. Adems, se apuntan las implicaciones de la expansin de la teora de la validezpara dar cabida a las consecuencias de la evaluacin en los procesos de adaptacin de tests ycuestionarios. Por ltimo, se sugieren lneas de actualizacin de las directrices de la International TestCommission y de documentos semejantes de otras asociaciones profesionales relacionadas con el uso delos tests.

5/28/2018 validacion

3/6

Adaptacin al Euskera del NEO PI-R (Revised Neo Personality Inventory):

Resultados Preliminares

Gorostiaga, A.; Balluerka, N. y Marcos, V.

Universidad del Pas Vasco

arantxa.gorostiaga@ehu.es

Aunque la personalidad pueda ser evaluada desde diferentes modelos, la tendencia dominantedurante los ltimos aos ha sido la de adoptar la perspectiva de los Cinco Grandes (Big Five). En estecontexto, se considera que el NEO PI-R (Revised Neo Personality Inventory, Costa y McCrae, 1992) esuna herramienta muy til para la evaluacin de los Cinco Factores. As, a pesar de ser un inventariorelativamente nuevo en el campo de la evaluacin de la personalidad (la versin original inglesa es de1992), el NEO PI-R se ha adaptado ya a un total de 36 culturas diferentes (McCrae, 2002). Este hechopone de manifiesto que la adaptacin de los tests de unas culturas a otras constituye un campo deinvestigacin de gran relevancia en el mbito de la Psicologa. Por ello, la adaptacin de un test deberealizarse correctamente, garantizando la equivalencia lingstica, semntica y funcional de sus tems enlas diferentes culturas.

Partiendo de esta base, en el presente trabajo se realiza un anlisis preliminar de las propiedades

psicomtricas de la versin adaptada al euskera del NEO PI-R en una muestra de 425 sujetos (245mujeres y 180 varones) de edades comprendidas entre los 16 y los 60 aos. Todos ellos cumplimentaronla versin en euskera del Inventario NEO PI-R Revisado (Costa & McCrae, 1992), el Cuestionario BigFive (BFQ) (Caprara, Barbaranelli & Borgogni, 1998) y un Cuestionario que recababa informacinacerca de distintas variables sociodemogrficas. El objetivo se centra en la bsqueda de evidencias sobreel grado de validez de la versin adaptada al euskera; en este marco se examinan la dimensionalidad delinstrumento y la medida en la que ste se ajusta al modelo de cinco factores, la relacin del test con otrasvariables, la consistencia de cada factor, y el posible funcionamiento diferencial con respecto al sexo y ala etapa vital (adolescente o adulto). Es importante sealar que los resultados aqu presentados no sondefinitivos, puesto que est previsto llegar a contar con una muestra de, aproximadamente, 2400 sujetos, apartir de la cual se elaborarn baremos normativos.

5/28/2018 validacion

4/6

Anlisis Factorial Exploratorio y Dimensionalidad en los Tests Psicomtricos

Lpez Pina, J.A.

Universidad de Murcia

Durante aos, el Anlisis Factorial Exploratorio (Anlisis de Componentes Principales y AnlisisFactorial Comn) ha sido la tcnica ms utilizada para evaluar la dimensionalidad en los testspsicomtricos, como una de las fuentes de evidencia de la validez del constructo medido por el test o desu invariancia en procesos de adaptacin a otras lenguas o culturas. En los ltimos 25 aos, La Teora dela Respuesta al tem ha puesto en evidencia la relacin no lineal entre habilidad y rasgo latente, por lo queel AFE debera haber sido sustituido por el anlisis factorial no lineal, sobre todo cuando los tems queconforman el test son dicotmicos. Sin embargo, cuando se examina la investigacin actual, en la que serecoge la continua aparicin de nuevos tests psicomtricos o nuevas adaptaciones de tests conocidos, losinvestigadores persistentemente, y haciendo caso omiso de las advertencias de algunas investigacionesmetodolgicas, siguen empleando el AFE, generalmente anlisis de componentes principales con elmtodo de rotacin varimax, como la tcnica por excelencia para evaluar la dimensionalidad de los temsen los tests psicomtricos.

En esta comunicacin presentamos los resultados de un estudio de simulacin donde se evala la

dimensionalidad de los tests psicomtricos aplicando el AFE en sus dos vertientes (componentesprincipales y ejes principales iterados) y los criterios de seleccin de componentes (factores) mscomunes en la investigacin con el AFE: a) el criterio de Kaiser-Guttman del eigenvalor mayor que 1, yb) el criterio del scree-plot de Cattell. Para ello, se han simulado, con un modelo unidimensional, unconjunto de tests que responden a situaciones que se pueden dar en la prctica. Las condicionesexperimentales manipuladas fueron: el tamao muestral (100, 250, 500 y 1000 sujetos), la longitud deltest (20, 40, 60 y 80 tems) y el nmero de categoras de los tems (2, 3, 4 y 5 categoras). Los resultadosmuestran como la dimensionalidad de los tests psicomtricos depende de la tcnica factorial empleada(componentes principales vs. ejes principales iterados) y del criterio de seleccin de componentes/factores(criterio de Kaiser-Guttman o scree-plot) en las distintas condiciones experimentales empleadas, lo quesugiere un mayor cuidado del empleo de estas tcnicas de anlisis factorial y los criterios de seleccin decomponentes/factores.

5/28/2018 validacion

5/6

Proceso Triangular de Adaptacin de la Versin Original Alemana del Inventario

de Autogobierno (SSI-k3) para su Utilizacin en Mxico y en Espaa

Acosta Uribe, B.; Padilla, J.L.* y Guevara, M.

Universidad de Guanajuato (Mxico),*Universidad de Granadajpadilla@ugr.es

El Inventario de Autogobierno (SSI-k3 por sus siglas en alemn Selbststeuerunginventar-kurz),fue diseado por Frhlich y Khul (1999) con el propsito de contar con una versin prctica y reducidaque evaluara los componentes que terica y empricamente han demostrado ser esenciales en elAutogobierno, dichos componentes son: las Competencias y su Inhibicin bajo situaciones de estrs ofrustracin (Fuhrmann y Kuhl, 1998; Guevara, 1994; 1998; Kraska, 1993). El presente trabajo presentaparte de los resultados obtenidos durante el proceso de adaptacin de la versin original alemana del SSI-k3 al espaol hablado en Mxico y en Espaa. Con el propsito de asegurar la equivalencia lingstica(Hambleton, 2001), los tems se adaptaron considerando palabras, frases, expresiones propias del pas, deah que la redaccin en varios tems sea diferente. La traduccin se realiz de forma casi simultnea a losdos idiomas objetivo. En todo momento se atendi a la correccin lingstica y a las diferencias

culturales reflejadas en diferencias en el habla-, que pudieran sesgar interpretaciones posteriores delas mediciones. A su vez, se muestran los resultados del anlisis de las propiedades psicomtricas de lasversiones traducidas. Dichas propiedades condicionan el grado de equivalencia logrado entre la versinfuente y las versiones objetivo del test o cuestionario (van de Vijver y Leung, 1997). Los resultadosobtenidos sobre las propiedades psicomtricas en dicho estudio han aportado evidencias relevantes sobrelas propiedades mtricas de las versiones del SSI-k3. Por ltimo, se discuten las evidencias obtenidassobre el nivel de equivalencia logrado entre las versiones objetivo y de estas con respecto a la versinoriginal.

5/28/2018 validacion

6/6

La Utilizacin de la Entrevista Cognitiva para la Evaluacin de la Versin

Adaptada del Cuestionario Auditivo LittlEARS

Garca Negro, A.S.*; Padilla Garca, J.L.; Gonzlez Gmez, A.; Sainz Quevedo, M.* y Castillo Daz, M.

Universidad de Granada*Hospital Universitario San Ceciliojpadilla@ugr.es

La meta del proceso de adaptacin de cuestionarios es lograr versiones con el mayor grado deequivalencia entre diferentes idiomas y culturas. Numerosas investigaciones estn estudiando lascondiciones en las que las entrevistas cognitivas pueden aportar evidencias sobre la calidad de lasversiones adaptadas. En este trabajo, se recurri a las entrevistas cognitivas durante la adaptacin alcastellano de la versin inglesa del cuestionario auditivo LittlEARS. El cuestionario ha sido desarrolladopara describir el desarrollo auditivo de nios oyentes y de nios con deficiencias auditivas menores de 24meses. Los padres responden a 35 tems dicotmicos teniendo en cuenta las respuestas auditivashabituales de sus hijos o hijas. Durante el proceso de adaptacin, se recurri a un diseo de traduccininversa y se prest especial atencin a la obtencin de evidencias sobre la calidad mtrica de la versintraducida y sobre el grado de equivalencia logrado con la versin original. Se muestra como las

entrevistas cognitivas pueden aportar evidencias relevantes sobre el significado de los tems traducidos.Las entrevistas cognitivas son entrevistas altamente estructuradas y diseadas para obtener informacinsobre el proceso de pregunta y respuesta a los tems del cuestionario. Se resume la informacinobtenida durante la realizacin de 30 entrevistas cognitivas a padres de nios con dficit auditivos. Lospadres fueron entrevistados por separado como parte del protocolo de evaluacin del programa deimplantes cocleares del Hospital Universitario San Cecilio (Granada). Se muestran los cambiospropuestos en la redaccin de los tems a partir de la informacin obtenida en las entrevistas. Por ltimo,se apuntan las condiciones idneas de aplicacin para recurrir a las entrevistas cognitivas durante laadaptacin de tests y cuestionarios.