CompeTEA.pdf

7/22/2019 CompeTEA.pdf

1/17

EVALUACIN DEL TEST

CompeTEA


2/17

2

RESUMEN DE LA VALORACIN DEL TEST

Descripcin general

Caractersticas Descripcin

Nombre del testCompeTEA

AutorD. Arribas y J. Perea

Autor de la adaptacin espaola-

Editor de la adaptacin espaolaTEA ediciones

Fecha de la ltima revisin del test en su

adaptacin espaola

2011

Constructo evaluadoCompetencias ocupacionales

rea de ap licac in Seleccin, formacin, desarrollo, orientacin, coaching

SoporteLpiz y papel; electrnico va Internet

Valoracin general

Caractersticas Valoracin Puntuacin

Calidad de los Materiales ydocumentacin Excelente 4.5

Fundamentacin terica Buena 4

Adaptacin Espaola

Anli sis de los tems Buena 4

Validez de contenido Buena 3.5

Validez de construc to Buena 4

Anli sis del sesgo

Validez predicti va Buena 3.5

Fiabilidad: equivalencia

Fiabilidad: consistencia interna Adecuada 3

Fiabilidad: estabilidad

Baremos Buena 4


3/17

3

Comentarios generales

El test CompeTEA es un cuestionario diseado para evaluar competencias personales y

ocupacionales y para la toma de decisiones en el mbito organizacional, particularmente en

seleccin, formacin, desarrollo, orientacin y coaching. Est basado en un modelo de

competencias, organizado en torno a 20 competencias bsicas o de primer orden y 5 supra-

competencias o factores de segundo orden. Las 20 competencias laborales se agrupan en 5

reas temticas: 1) Intrapersonal (competencias emocionales sobre como nos relacionamos

con nosotros mismos) 2) Interpersonal (competencias emocionales sobre como nos

relacionamos con los dems) 3) Desarrollo de tareas (competencias relativas a las actividades

propias del trabajo y la solucin de problemas) 4) Entorno (competencias sobre la proyeccin y

miras de la organizacin, la perspectiva del cliente y la gestin del cambio) y 5) Gerencial(competencias sobre gestin y direccin de recursos). Tambin tiene una escala de Sinceridad

y dos escalas cualitativas sobre las competencias de Innovacin y creatividad y Delegacin.

Entre los puntos a destacardel cuestionario, sealaramos los siguientes:

1. El modelo de competencias que el test evala fue derivado conceptual y empricamente por sus

autores. Est claramente articulado y es de fcil comprensin. El concepto de competencia que

emplean es amplio y conforme al amplio consenso establecido en el mbito de la Psicologa de las

organizaciones. Competencia sera cualquier capacidad, destreza, conocimiento, experiencia, rasgo

de personalidad o cualquier otra caracterstica psicolgica que pone en situacin ventajosa a quien

posee una mayor dotacin de la misma para cumplir con los objetivos de trabajo que tiene

encomendado (p.ej. mayor desempeo laboral). La definicin de las veinte competencias y las cinco

supra-competencias es clara, precisa y exhaustiva y posee una evidente utilidad para el propsito

perseguido. En este sentido, los usuarios del test se encontrarn con una herramienta que define y

evala muchas de las competencias requeridas para la mayora de los puestos de trabajo.

2. Los materiales de la prueba, en especial los cuadernillos y el manual, son vistosos, elegantes,con un diseo grfico excelente.

3. La redaccin de los tems ha sido sometida a diferentes exmenes para su conformacin final,

en trminos de legibilidad y comprensin, y el resultado es un conjunto de tems con un nmero de

palabras apropiado y sin ambigedades, por lo cual los potenciales usuarios no tendrn dificultades

de lectura y comprensin.

4. En el diseo del test se ha pensando en facilitar las tareas relativas al uso del test. La aplicacin

requiere alrededor de 30 minutos, menos tiempo del habitual en este tipo de pruebas. La correccinde la prueba se hace por medios informticos, lo que reduce los potenciales errores de correccin y


4/17

4

permite obtener valores normativos rpidamente. Se ofrece un informe automatizado, detallado y

completo, del rendimiento de cada evaluado.

5. El manual contiene una gran cantidad de informacin tcnica, con explicaciones psicomtricas

claras y asequibles a los usuarios no expertos. Cabe destacar la introduccin de conceptos de la

Teora de la Respuesta al tem (TRI), como la funcin de informacin, que permite saber qu niveles

de competencia se miden con mayor precisin. Tambin ofrece una interpretacin normativa y criterial

de las puntuaciones. Se proporcionan distintos baremos, realizados a partir de muestras amplias,

para facilitar la interpretacin de las puntuaciones.

Entre los aspectosmejorables podemos sealar lo siguientes:

1. Teniendo en cuenta que la prueba se utiliza en evaluacin individual y se toman decisiones

importantes para las personas (seleccin de personal), la fiabilidad es algo baja en alguna escala. En

la siguiente edicin del Manual se van a incorporar los resultados de nuevas aplicaciones, que han

proporcionado indicadores de consistencia (alfas ordinales) ms altos. Convendra evaluar la

estabilidad temporal. Podra ofrecerse el error tpico de estimacin al informar de las puntuaciones

(dado que se ha usado la TRI y la correccin es automatizada, la complejidad adicional para el

usuario sera mnima). Por ltimo, convendra indicar la fiabilidad de las puntuaciones en las cinco

reas temticas y de las puntuaciones criterio (niveles de competencia).

2. La informacin sobre la validez de la prueba podra mejorarse. En cuanto a la validez de

contenido, el Manual no informa de los tems que definen cada competencia. Indica que un grupo de

expertos han evaluado si los tems representan adecuadamente los contenidos pretendidos. Sera

recomendable que se diesen ms detalles del proceso seguido, que aporten evidencias adicionales

de que los tems de cada subescala miden la correspondiente competencia. Se podran

complementar tambin los estudios de validez de constructo. Se podra mostrar la convergencia del

test CompeTEA con medidas similares de competencias. Para incrementar la utilidad prctica de la

prueba, convendra incluir otros criterios externos, de ms relevancia laboral y organizacional.

Tambin sera conveniente validar las puntuaciones criterio (niveles de competencia) y justificar que

la prueba no est sesgada en caractersticas especialmente sensibles en contextos laborales como,

por ejemplo, el gnero. Estara bien explorar si pudieran ser apropiados otros modelos alternativos al

modelo propuesto de cinco factores de segundo orden.

3. Para futuras ediciones, convendra que los baremos diferenciasen entre muestras sometidas a

potenciales sesgos de distorsin (p.ej. seleccin) y muestras en las que dichos sesgos no estn

presentes (p. ej. poblacin general, asistentes a cursos de formacin y coaching, etc). Tambin

podran diferenciarse segn el gnero, cuando corresponda. Hay evidencia probada de que existen

diferencias entre hombres y mujeres en algunas competencias (p. ej., estabilidad emocional).


5/17

5

4. Por ltimo, convendra ir incorporando al Manual los estudios sobre las propiedades

psicomtricas de la prueba que se vayan realizando por investigadores ajenos a la empresa

comercializadora.

En resumen, la prueba ofrece potencial para ser utilizada en mbitos organizacionales aplicados y

puede ser recomendada para la evaluacin de las competencias ocupacionales.


6/17

6

ANLISIS DETALLADO DE LA PRUEBA

1. DESCRIPCIN GENERAL DEL TEST

1.1. Nombre del t est

CompeTEA

1.2. Nombre del test en su versin original

1.3. Autor

D. Arribas y J. Perea

1.4. Autor de la adaptacin espaola

1.5. Editor del test en su versin original

TEA Ediciones, S.A.

1.6. Editor de la adaptacin espaola

1.7. Fecha de publicacin del test orig inal

2009.

1.8. Fecha de la publi cacin del test en su adaptacin espaola

1.9. Fecha de la ltima revisin del test en su adaptacin espaola2011

1.10. rea general de la variable que pretende medi r el test

Personalidad

Motivacin

Competencias ocupacionales

1.11. Breve descripcin de la variable que pretende medir el test

El test CompeTEA evala competencias en el mbito profesional, entendidas como el

conjunto integrado de conocimientos, habilidades, aptitudes, rasgos de personalidad ymotivacionales, innatas o subyacentes en una persona, que le predisponen para desempear

con xito los requisitos y exigencias de un puesto de trabajo, ocupacin o papel en un

contexto profesional dado.

Incluye 20 competencias agrupadas en 5 reas temticas:

1) Intrapersonal (competencias emocionales sobre cmo nos relacionamos con nosotros mismos):

- Autocontrol y estabilidad emocional. Capacidad para dominar las emociones y afectos, incluso

en situaciones difciles, adoptando firmeza y confianza en las capacidades propias y evitando

reacciones emocionales negativas.


7/17

7

- Confianza y seguridad en s mismo. Disposicin para actuar con el convencimiento de ser capaz

de realizar con xito una funcin o trabajo.

- Resistencia a la adversidad. Capacidad para mantener una accin a pesar de los obstculos y

dificultades.

2) Interpersonal (competencias emocionales sobre cmo nos relacionamos con los dems):

- Comunicacin. Capacidad para expresar ideas de forma clara y convincente.

- Establecimiento de relaciones. Habilidad para establecer contactos con otras personas

mostrando intuicin y perspicacia social.

- Negociacin. Capacidad para escuchar, analizar, conciliar puntos de vista encontrados y

alcanzar acuerdos satisfactorios.

- Influencia. Habilidad para persuadir e influir sobre personas o situaciones, para producir un

efecto y obtener una actitud positiva ante los cambios.

- Trabajo en equipo. Disposicin favorable para trabajar de forma colectiva, cooperar e integrarse

en un grupo para conseguir metas comunes.

3) Desarrollo de tareas (competencias relativas a las actividades propias del trabajo y la solucin de

problemas):

- Iniciativa. Disposicin a actuar de forma proactiva poniendo en marcha acciones por cuenta

propia y asumiendo las responsabilidades derivadas de su accin.

- Orientacin a resultados. Disposicin a alcanzar y superar los resultados previstos fijando metas

exigentes.

- Capacidad de anlisis. Capacidad para identificar y valorar situaciones y problemas yreflexionar sobre ellos de forma lgica y sistemtica.

- Toma de decisiones. Capacidad para elegir y adoptar una solucin entre distintas posibilidades

y actuar en consecuencia.

4) Entorno (competencias sobre la proyeccin y miras de la organizacin, la perspectiva del cliente y

la gestin del cambio):

- Conocimiento de la empresa. Capacidad para entender la organizacin y sus elementos y las

relaciones de funcionamiento y de poder.

- Visin y anticipacin. Capacidad para adelantarse a los acontecimientos, visualizar escenarios

futuros y formular perspectivas de negocio.

- Orientacin al cliente. Inters por conocer y satisfacer las necesidades de los clientes.

- Apertura. Predisposicin para adecuarse a situaciones nuevas o cambiantes, reaccionar

positivamente y aceptar, entender o introducir nuevos puntos de vista.

- Identificacin con la empresa. Inters por comprometerse con las necesidades y metas de la

compaa.

5) Gerencial (competencias sobre gestin y direccin de recursos):

- Direccin. Capacidad para conseguir un buen rendimiento y desempeo de los colaboradores.

- Liderazgo. Capacidad para guiar las acciones de un individuo o grupo hacia el logro de una

visin comn y compartida, obteniendo su apoyo y compromiso.


8/17

8

- Planificacin y organizacin. Capacidad para coordinar tareas y ordenarlas en prioridad para

que se establezcan y cumplan planes de trabajo.

Adems, el cuestionario contiene una escala de Sinceridad y ofrece informacin cualitativa de doscompetencias adicionales (Innovacin y creatividad y Delegacin).

1.12. reas de apli cacin

Psicologa del trabajo y las organizaciones

1.13. Formato de los tems

Tipo Likert

1.14. Nmero de tems Tiene 170 tems en total.

1) rea intrapersonal (21 tems)

- Autocontrol y estabilidad emocional .................. 7- Confianza y seguridad en s mismo .................. 7

- Resistencia a la adversidad ............................... 7

2) rea interpersonal (37 tems)

- Comunicacin .................................................... 7

- Establecimiento de relaciones ........................... 8

- Negociacin ....................................................... 7

- Influencia ........................................................... 7

- Trabajo en equipo .............................................. 8

3) rea de desarrollo de tareas (36 tems)

- Iniciativa ............................................................. 11

- Orientacin a resultados .................................... 10

- Capacidad de anlisis ....................................... 8

- Toma de decisiones. ......................................... 7

4) rea del entorno (37 tems)

- Conocimiento de la empresa ............................. 8

- Visin y anticipacin .......................................... 7

- Orientacin al cliente ......................................... 7

- Apertura ............................................................. 7

- Identificacin con la empresa. ........................... 8

5) rea gerencial (24 tems)

- Direccin ............................................................ 8

- Liderazgo ........................................................... 8

- Planificacin y organizacin .............................. 8

* Sinceridad ................................................................... 9

* Innovacin y creatividad .............................................. 3* Delegacin .................................................................. 3


9/17

9

1.15. Soporte

Papel y lpiz

Manipulativo

Informatizado

online, va Web

1.16. Cualificacin requerida para el uso del test de acuerdo con la documentacin

aportada

Nivel B

1.17. Descripcin de las pob laciones a las que el test es aplicable

Adultos con un buen nivel cultural.

1.18. Existencia o no de di ferentes formas del test y sus caractersticas

Hay una versin de lpiz y papel y otra informatizada que se administra online mediante la

plataforma e-teaediciones. Segn se especifica en la citada plataforma, los requisitos son

muy poco exigentes y se espera que sean satisfechos por cualquier ordenador moderno con

acceso a Internet.

1.19. Procedimiento de correccin

Lectora ptica

Efectuado exclusivamente por la empresa suministradora

on-line va Internet

1.20. Procedimiento de obtencin de las puntuaciones directas Las puntuaciones globales de las 5 reas temticas se calculan mediante la suma ponderada

de las puntuaciones obtenidas en las competencias especficas que pertenecen a cada rea.

Las ponderaciones se basan en las saturaciones de las competencias especficas obtenidas

en un anlisis factorial.

1.21. Transformacin de las puntuaciones

Normalizada

1.22. Escalas uti lizadas

Centiles

S (Media 50 y desviacin tpica 20)

Puntuaciones criterio que definen niveles de competencia (0 a 4)

1.23. Posibilidad de obtener informes automatizados

Si

El informe ofrece un perfil con las 20 competencias bsicas, la escala de Sinceridad y las 5

reas temticas. En el perfil se presentan, por un lado, datos cuantitativos de las

puntuaciones directas, las puntuaciones S y los niveles de competencia y, por otra parte, la

representacin grfica de las puntuaciones S. A continuacin, se ofrece una detallada

interpretacin narrativa del perfil, dividida en cuatro partes: 1) valoracin de la escala de

Sinceridad, 2) descripcin de las 5 reas globales, 3) resumen de los puntos fuertes y dbiles


10/17

10

y 4) descripcin de las competencias bsicas. En cada parte se comenta el nivel alcanzado

por la persona evaluada, las caractersticas afectivas y conductuales que lo describen y sus

implicaciones laborales. La redaccin del informe es clara y fcilmente compresible (se puede

obtener un ejemplo de informe en la pgina web de TEA Ediciones).

1.24. Oferta por parte del editor de un servicio para la correccin y/o elaboracin

informes

Si

1.25. Tiempo estimado para la aplicacin del test

En aplicacin individual: 25-35 minutos

En aplicacin colectiva: 25-35 minutos

1.26. Documentacin aportada por el editor

Manual

cuadernillo, hoja de respuestas y kit de correccin

1.27. Precio de un juego completo de la prueba

El manual, 10 cuadernillos y hojas de respuesta y 25 usos (correcciones y perfiles con el

sistema e-perfil) son 11990 euros.

1.28. Precio y nmero de ejemplares del paquete de cuadernillos

3546 euros por cada 10 ejemplares.

1.29. Precio y nmero de ejemplares del paquete de hojas de respuesta

Las hojas de respuesta estn incluidas en el Kit de correccin, ver apartado 1.301.30. Precio de la correccin y/o elaboracin de informes por parte del editor

El kit de correccin consta de 25 usos y vale 2678 euros (cada uso incluye hoja de

respuesta, correccin y elaboracin del perfil con el sistema e-perfil). Los informes se

adquieren en grupos de 10 y valen 8939 euros.

1.31. Bibliografa bsica acerca del test aportada en la documentacin

Se aportan 41 referencias sobre aspectos tericos y metodolgicos relacionados con el test.


11/17

11

2. VALORACIN DE LAS CARACTERSTICAS DEL TEST

Aspectos generales

ContenidoValoracin Puntuacin

2.1. Calidad de los materiales del test Excelente 5

2.2. Calidad de la documentacin aportada Buena 4

2.3. Fundamentacin terica Buena 4

2.4. Adaptacin del test No aplicable -

2.5. Calidad de las instrucciones Excelente 5

2.6. Facilidad para comprender la tarea Excelente 5

2.7. Facilidad para registrar las respuestas Buena 4

2.8. Calidad de los tems (aspectos formales) Buena 4

2.9. Datos sobre el anlisis de los tems Buena 4

Se podran incluir marcas o indicaciones que faciliten la correspondencia entre los tems del

cuadernillo y la hoja de respuesta, para evitar posibles errores de desplazamiento y facilitar

as el proceso de respuesta.

El Manual no detalla qu tems miden cada competencia. S indica que 38 expertos hicieron

una revisin crtica de los tems iniciales y realizaron la tarea de detectar los tems que no

representaran adecuadamente los contenidos pretendidos.


12/17

12

Validez de contenido

Contenido Valoracin Puntuacin2.10. Calidad de la representacin del contenido o

dominioAdecuada 3

2.11. Consultas a expertos

Se haconsultado a

un amplionmero deexpertos

mediante unprocedimientosistematizado

(N>30)

5

Validez de constructo

Contenido Valoracin Puntuacin

2.12. Diseos empleados Anlisis factorial confirmatorio Correlaciones entre las 20

escalas

2.13. Tamao de las muest ras Buena 4

2.14. Procedimiento de seleccin de las muestras Incidental

2.15. Correlaciones del test con otros tests similares No se aporta -

2.16. Calidad de los test empleados como criterio omarcador

No se aporta -

2.17. Datos sobre el sesgo de los tems No se aporta -

Validez predictiva

Criterios empleados y caractersticas de las poblaciones

Motivacin laboral.Test de Orientacin Motivacional (Borgogni et al., 2004, TEA Ediciones) para evaluar 4

dimensiones motivacionales relativas a la orientacin a los objetivos, la innovacin, el

liderazgo y las relaciones.

244 hombres y mujeres, de entre 21 a 58 aos, de 7 empresas espaolas.

Variables clnicas.

Cuestionario TEA Clnico (Arribas et al., 2010, TEA Ediciones) para evaluar 12 patrones

clnicos sobre desajuste psicolgico (psicoticismo, neuroticismo, paranoidismo e hipocondra),

emocional (ansiedad, depresin, vulnerabilidad y descontrol emocional) y social (hostilidad,

personalidad lmite, consumo de alcohol y sustancias e histrionismo).


13/17

13

46 hombres y mujeres, de entre 22 a 57 aos, de una empresa tecnolgica.

Contenido Contenido Puntuacin

2.18. Diseo de seleccin del criterio Concurrente

2.19. Tamao de las muest ras Buenos 4

2.20. Procedimiento de seleccin de las muestras Incidental -

2.21. Correlaciones del test con los criteriosBuena

(0.35r


14/17

14

reas temticas estn definidas por las competencias propuestas, pero no se aporta

evidencia emprica de que las competencias estn definidas por los tems empleados. Los

resultados del AFC indican cierta redundancia entre las mediciones por grandes reas, con

correlaciones observadas de 0.90 o superiores, que se aproximaran a 1 si se corrigen por

error de medida. Este resultado sugiere que pudiera existir un factor general competencial.

Podra tener sentido un estudio que proporcione evidencia de validez concurrente y

discriminante con medidas de personalidad normal, en especial cuestionarios basados en el

modelo de los cinco grandes factores (p. ej. NEO-PI-R).

En tercer lugar, los estudios de validez predictiva muestran la relacin de la prueba con la

orientacin motivacional y ciertos sntomas o patrones clnicos, aspectos que son sin duda de

inters, pero que convendra complementar para apoyar las inferencias habituales que se

suelen hacer en los procesos de seleccin de personal. Por tanto, vendra bien la realizacin

de estudios que relacionen las puntuaciones en el test con criterios ms relevantes desde el

punto de vista organizacional (p. ej., desempeo, xito en la formacin, satisfaccin,

compromiso, etc).

Finalmente, los estudios realizados se centran en las puntuaciones normativas

(puntuaciones S) y no se aporta evidencia sobre la validez de las puntuaciones criterio

(niveles de competencia).

Fiabilidad


2.22. Datos aportados sobre fiabilidad Un nico coeficiente de

fiabilidad


15/17

15

Equivalencia formas paralelas


2.23. Tamao de las muest ras No se aporta -

2.24. Coeficientes de equivalencia No se aporta -

Consistencia interna


2.25. Tamao de las muest rasUn estudio con

una muestra

grande (N500)

3

2.26. Coeficientes de consistencia

Adecuada perocon algunas

carencias(0.60r


16/17

16

Los coeficientes de consistencia interna, en general, son algo bajos si se pretende utilizar el

test para el diagnstico individual. De las 21 escalas, 6 tienen un valor superior a 0.7; 11

tienen valores entre 0.60 y 0.69; y 4 escalas muestran coeficientes inferiores a 0.60. Como

se ha indicado en el apartado 2.11.3.2, estudios posteriores a la publicacin del manual han

proporcionado valores ms altos de los indicadores de consistencia. Por otra parte, podra

tener sentido informar de la consistencia interna de los factores de segundo orden, dado el

modelo terico de partida.

Por ltimo, estara bien incorporar otros indicadores de fiabilidad, como son los coeficientes

de estabilidad y equivalencia, particularmente indicados dada la naturaleza del cuestionario.

No se ofrecen indicadores de fiabilidad de las puntuaciones criterio (niveles de competencia).

Baremacin


2.29. Calidad de las normas

Variosbaremos

dirigidos adiversosestratos

poblacionales

4

2.30. Tamao de las muest rasGrande

(600N


17/17

17

4) Sudamrica (Per y Ecuador combinados, candidatos a puestos de sectores financiero y logstico).

Tambin se ofrecen baremos separados para Colombia, Mxico y Per.

Dado que los evaluados de las muestras normativas lo han sido en situaciones competitivas

(seleccin de personal), en las que la deseabilidad social y el falseamiento de respuestas pudieran

tener algn efecto en las puntuaciones, convendra explorar si son apropiados para otras situaciones

(orientacin laboral, formacin, etc.) en las que los evaluados respondan honestamente.

CompeTEA.pdf

Documents

Transcript of CompeTEA.pdf