Evaluación piloto de la calidad técnica de seis de las ...

Evaluación piloto de la calidad técnica de seis de las pruebas psicológicas más usadas en Colombia

APÉNDICE C

INFORMES DE EVALUACIÓN DE CALIDAD TÉCNICA

DE LAS SEIS PRUEBAS SELECCIONADAS

EVALUACIÓN PILOTO DE LA CALIDAD TÉCNICA DEL WISC-IV 3

IDENTIFICACIÓN DE LA PRUEBA EVALUADA 4

RESUMEN GENERAL EVALUACIÓN DE LA PRUEBA 5

Referentes conceptuales 6

Confiabilidad 6

Evaluación de validez 7

Calificación y estandarización 10

EVALUACIÓN PILOTO DE CALIDAD TÉCNICA DEL MMPI-2 13




Confiabilidad 15



EVALUACIÓN PILOTO DE CALIDAD TÉCNICA DEL IPV 19


Apéndice C Iinformes de evaluación de calidad técnica de las pruebas más usadas en Colombia



Confiabilidad 21



EVALUACIÓN PILOTO DE LA CALIDAD TÉCNICA DEL INVENTARIO 16 PF 5 25




Confiabilidad 28



EVALUACIÓN PILOTO DE LA CALIDAD PILOTO DE MIPS INVENTARIO MILLON´ S DE

ESTILOS DE PERSONALIDAD 32



Confiabilidad 35



VALORACIÓN PILOTO DE CALIDAD TÉCNICA DEL BDI-II 41



Confiabilidad 43




3

Índice de tablas

Tabla 1 Evaluación de la calidad de referentes conceptuales de WISC-IV 6

Tabla 2 Evaluación de los estudios de confiabilidad del WISC-IV 7

Tabla 3 Evaluación de los estudios de validez del WISC-IV 9

Tabla 4 Evaluación de los datos de estandarización del WISC-IV 11

Tabla 5 Evaluación de los referentes conceptuales del MMPI-2 15

Tabla 6 Evaluación de los estudios confiabilidad del MMPI-2 15

Tabla 7 Evaluación de los estudios de validez del MMPI-2 17

Tabla 8 Evaluación de la información de aplicación y calificación del MMPI-2 18

Tabla 9 Evaluación de los referentes conceptuales del IPV 21

Tabla 10 Evaluación de los estudios de confiabilidad del IPV 21

Tabla 11 Evaluación de los estudios de validez del IPV 23

Tabla 12 Evaluación de la estandarización del IPV 24

Tabla 13 Evaluación de los referentes conceptuales del 16 PF-5 27

Tabla 14 Evaluación de los estudios de confiabilidad del 16 PF-5 29

Tabla 15 Evaluación de los estudios de validez del 16 PF-5 30

Tabla 16 Evaluación de la información para la aplicación y calificación del 16 PF-5 31

Tabla 17 Evaluación de los referentes conceptuales del MIPS 34

Tabla 18 Evaluación de los estudios de confiabilidad del MIPS 36

Tabla 19 Evaluación de los estudios de validez del MIPS 38

Tabla 20 Evaluación de la informacion para la aplicación y calificación del MIPS 39

Tabla 21 Evaluación de los referentes conceptuales del BDI-II 42

Tabla 22 Evaluación de los estudios de confiabilidad del BDI-II 43

Tabla 23 Evaluación de los estudios de validez del BDI-II 45

Tabla 24 Evaluación de la información de aplicación y calificación del BDI-II 46


EVALUACIÓN PILOTO DE LA CALIDAD TÉCNICA DEL WISC-IVi Flor Angela León Grisales

con apoyo de Juan Carlos Espinosa, Cristina Santana y Gloria Tobón Vásquez

IDENTIFICACIÓN DE LA PRUEBA EVALUADA

Nombre: Escala Wechsler de Inteligencia para Niños IV WISC IV

Autor versión original : David Wechsler

Versión revisada: Adaptación mexicana

Editora responsable de la edición revisada

Adriana A Mendoza Pedraza

Autor de la adaptación colombiana: No tiene

Editor adaptación colombiana No tiene

Fecha de revisión: Marzo 2017

Editor Manual moderno

Campo de uso: Clínica o Educativa

Año de publicación: 2007

Materiales disponibles para profesionales

Manual técnico, manual de aplicación, protocolo de registro, cuadernillo de respuesta 1 y 2; libreta de estímulos, plantilla de calificación Registros, plantilla de calificación Búsqueda de símbolos A y B, Cubos.

Constructo que evaluá: Personalidad

ISBN 970-729-261-X


5

RESUMEN GENERAL EVALUACIÓN DE LA PRUEBA

El Wisc-IV se distribuye en Colombia es una versión en español es la escala de inteligencia más

utilizada por los psicólogos profesionales en Colombia de acuerdo con los resultados de la consulta

realizada para este proyecto. Esta versión es la traducción al español de los ajustes realizados a la

escala después de la revisión de la version III; ajustes hechos por un grupo de expertos de

Psychological Measurement Group bajo la dirección de Larry Wais en un proyecto de 5 año en el cual

se recolecto información y se diseñaron los procesos de análisis para cumplir con los criterios de

calidad de los estándares de calidad para pruebas psicológicas de 1999.

Wisc-IV es parte de la familia de escalas Wechsler de evaluación de inteligencia infantil con

mayor tradición de uso a nivel mundial, con una trayectoria de desarrollo de 60 años de uso, con

diferentes versiones ajustadas sistemáticamente para actualizar su fundamentación es un herramienta

de evaluación que ofrece una medida de funcionamiento intelectual general y cuatro puntuaciones

índice de las capacidades cognoscitivas: comprensión verbal, razonamiento perceptual, memoria de

trabajo y velocidad de procesamiento.

Esta version incluye la información sobre la adaptación y generación de normas para población

mexicana en el capítulo siete (7) del manual técnico, con datos recolectados y analizados en estudio

realizado en 2005, es una traducción del manual técnico y de aplicación diseñado para uso en

población mexicana.

Wisc –IV escala ofrece al usuario información de referencia sobre la evaluación de las

funciones cognitivas, en el manual técnico y de aplicación se documenta ampliamente su

fundamentación conceptual y los protocolos de aplicación, es una herramienta de evaluación con un

robusto desarrollo técnico para la evaluación infantil, que por medio 10 sub-pruebas esenciales y 5

suplementarias permita la valoración detallada del funcionamiento cognitivo, con amplia utilidad en los

campos clínicos, neuropsicológicos y educativos.

Se recomienda su uso en virtud a que ofrece suficiente información para que el usuario

profesional tenga una mirada comprensiva para la interpretación de los resultados, con la advertencia

respecto a las consideraciones necesarias frente a la ausencia de información en el manual técnico

de estudios con población nacional y que si bien la población de las tablas normativas se desarrollaron

con datos de estudios con niños mexicanos falta información que permita al lector hacer una mirada

comprensiva las diferencias culturales.


A continuación se presentan los comentarios generales de la evaluación de los cuatro aspectos

técnicos que valora el instrumento de calidad para uso en Colombia.

Referentes conceptuales

Resultado de la evaluación de este aspecto es satisfactorio; el manual incluye información sobre

los 5 indicadores obligatorios y los dos opcionales, la calidad de la información conceptual permite al

lector la comprensión del funcionamiento intelectual como una entidad global que puede evaluarse a

partir de la evaluación de capacidades cognitivas específicas, que pueden entenderse como dominios

y que se evalúan de forma práctica a partir de las subpruebas.

Con datos específicos, referencias, argumentación lógica y estructurada ofrece información al

profesional para sustentar los diagnósticos e intervenciones, mediante un modelo agregado de

puntajes justificados desde modelos teóricos actualizados y probados empíricamente; es una escala

que puede usarse en diferentes tipos de estudio o procesos de evaluación, por ofrecer la posibilidad

de analizar el desempeño en tareas específicas por medio de las subpruebas; la tabla 1 presenta la

evaluación de cada uno de los indicadores de confiabilidad.

Tabla 1 Evaluación de la calidad de referentes conceptuales de WISC-IV

Evaluación de Referentes Conceptuales

Indicadores Valoración

Obligatorios

2.1 Definición conceptual del constructo a medir Bueno

2.2 Definición operacional del constructo a medir Bueno

2.3 Definición de las dimensiones del constructo y las relaciones entre ellas Bueno

2.4 Descripción de los usos previstos para el instrumento. Bueno

2.5 Sustento teórico para el uso de la prueba en la población(es) objeto. Bueno

Opcionales

2.6 Contextualización histórica del constructo. Sobresaliente

2.7 Estructuración teórica de conocimientos acerca del constructo medido. Bueno

Confiabilidad


7

La evaluación sobre la información de confiabilidad es satisfactoria, la información incluida en

el manual técnico aporta información sobre el desarrollo de estudios y análisis de información para

los ocho 8 indicadores, en los capítulos 2, 3 y 4 se encuentra descrito de forma detallada estudios y

metodologías de análisis de datos que muestran la exactitud y precisión de las puntuaciones, incluye

coeficientes de confiabilidad y estabilidad, errores estándar de medición, intervalos de confianza,

significación estadística de las diferencias de puntuaciones (tasa base).

Se realizaron estudios concurrentes para presentar evidencia sobre confiabilidad, con datos de

re-test para el rango de edad para la cual se diseñó.

El aspecto más débil es el evaluado por el indicador cuatro, tamaño de la muestra de los

estudios de confiabilidad, cumple con el criterio mínimo ya que se incluye el análisis de la muestra

mexicana, para fortalecer este aspecto para el uso en Colombia debería incluirse información sobre

el desarrollo de por lo menos dos estudios de confiabilidad con niños colombianos y que se informen

las comparaciones pertinentes con los estudios normativos de esta versión, de manera que las tablas

para la interpretación cumplan con el requerimiento técnico en el nivel que corresponde al descriptor

de la categoría bueno que es el más adecuado, satisfaciendo con el requerimiento de documentar la

precisión de los resultados en población nacional. La tabla 2 presenta la evaluación general de los

indicadores de confiabilidad.

Tabla 2 Evaluación de los estudios de confiabilidad del WISC-IV

Evaluación de confiabilidad

Indicadores Evaluación

Obligatorios

3.1 Identificación de la o las fuentes de error de medición. Bueno

3.2 Descripción del estudio para estimar la confiabilidad Bueno

3.3 Estimación del error de medida Bueno

3.4 Tamaño de muestra de estudios de confiabilidad Mínimo

3.5 Valor del estadístico Bueno

3.6 Interpretación de resultados de confiabilidad Bueno

Opcionales

3.7 Modelo psicométrico para el estudio de confiabilidad Sobresaliente

3.8 Escogencia del método estadístico para estimar la confiabilidad Bueno

Evaluación de validez


La evaluación de la información sobre las evidencias de validez para interpretar los resultados

es satisfactoria, cumple con trece de los catorce indicadores obligatorios, en el manual técnico se

describen las fases del proyecto de ajuste mediante las cuales se desarrolló esta versión, después de

los resultados de 10 años de investigación con el Wisc-III; de manera el proyecto dirigido por Larry

Wais trazo 5 objetivos que son las mejoras que se incluyen en esta version; actualización de la

fundamentación teórica, aumento de la utilidad clínica, mayor coherencia respecto a las teorías de

desarrollo infantil, mejora de las propiedades psicométricas y mayor amigabilidad para el usuario.

El manual técnico incluye información sobre el proceso iterativo de depuración de la escala,

procedimientos de investigación y certificación de calidad, en los cuales se recolectó la información y

analizó el comportamiento de la escala, en cada uno de los aspectos de calidad esperados en una

escala como esta.

Para cada tipo de evidencia se diseñaron procesos de recolección y análisis de datos siguiendo

los más altos requerimientos los estándares de prueba, incluyó una etapa de desarrollo conceptual,

en la cual participó un amplio grupo asesores y consultores que recibieron el entrenamiento y

capacitación en los procedimientos de revisión, se usaron procedimientos para calcular índices de

acuerdo entre evaluadores en los procesos de verificación de escalas y evidencias basadas en el

contenido de la prueba; incluye información sobre el análisis de ítems para identificar el sesgo,

información que ilustra las consideraciones para que el profesional tenga elementos de análisis en un

proceso de evaluación.

Las puntuaciones de los índices de esta version son acordes a los resultados del análisis de

funcionamiento estructura y en la revisión conceptual desarrolla las interpretaciones de las

puntuaciones de manera coherente con los enfoques teóricos que se actualizaron, incluye las tablas

de resultados y análisis de estructura factorial y confirmatorios.

Las evidencia de validez basada en la relación con otras variables se obtuvo a partir de nueve

estudios, con medidas externas con las pruebas: WISC-III, WPPSI-III, WAIS-III, WASI, WAIT-II,CMS,

GR-S, Bar On EQ, ABAS-II, las escalas Weschler se usaron para análisis de concurrencia de la

estandarización y las otras como medidas de concurrencia de capacidades cognitivas, en el capítulo


9

5 del manual técnico se explica la metodología y se describen las características de los participantes

las tablas con medias y desviaciones estándar y coeficientes de correlación con su corrección.

En el manual de aplicación se incluye información que permite el uso comprensivo de la

información del proceso de respuesta del evaluado para el proceso de análisis de habilidades

cognoscitivas del evaluado la recomendación para fortalecer y completar la información sobre

evidencias de validez para uso en Colombia es la inclusión de estudios sobre usos con población

colombiana que permitan al usuario una visión cercana de la pertinencia de su uso, evidenciando las

adaptaciones del lenguaje y otros costumbres culturales que tengan influencia sobre las sub-escalas.

La tabla 3 presenta el resumen de la evaluación de los indicadores de validez.

Tabla 3 Evaluación de los estudios de validez del WISC-IV



Evidencia basada en el contenido de la prueba.

Obligatorios

4.1 Estructura conceptual de la prueba Bueno

4.2 Revisión por expertos idóneos Bueno

4.3 Número de expertos y contenido de la consulta. Bueno

4.4 Resultados de evaluación por expertos Bueno

Opcionales

4.5 Capacitación a expertos Bueno

4.6 Tabla de especificaciones No aplica

Evidencia basada en la estructura interna de la prueba

Obligatorios

4.7 Estructura interna de la prueba Bueno

4.8 Tamaño de Muestra Bueno

4.9 Resultados del estudio Bueno

Evidencia de validez basada en la relación con otras variables

Obligatorios

4.10 Estrategia de validación Bueno

4.11 Selección de la(s) variable(s) criterio Bueno

4.12 Tamaño de Muestra Mínimo

4.13 Análisis estadístico empleado Bueno

4.14 Resultados de los estadísticos Bueno

Opcionales

4.15 Funcionamiento diferencial del ítems Sobresaliente

4.16 Análisis de sesgo de la prueba Sobresaliente

Evidencia con base en el análisis de ítems

Obligatorios

4.17 Modelo psicométrico utilizado Bueno

4.18 Estimación de dificultad Mínimo

Opcionales

4.19 Estadísticos para análisis de ítems Sobresaliente

4.20 Análisis de las opciones de respuesta No aplica

4.21 Parámetros del modelo de análisis No aplica

4.22 Ajuste del modelo No aplica

4.23 Función de información No aplica

Calificación y estandarización


11

La evaluación de la información sobre los proceso de aplicación y calificación de la prueba es

satisfactoria, el manual de aplicación y el manual técnico contienen información sobre los siete

indicadores obligatorios y los dos opcionales; incluye los datos descriptivos de las muestras con las

cuales se desarrollaron las normas del estudio original de la versión IV y los de la muestra mexicana,

grupo de referencia para uso con población colombiana, información que compromete al profesional

en el análisis minucioso de las respuestas para interpretar la significación del resultado como una

medida de funcionamiento cognitivo.

Las tablas de información para la interpretación cumplen con el mínimo establecido como

criterio para uso en Colombia, se levantaron a partir de una muestra de 1234 niños mexicanos y el

desarrollo de este proceso se describe en capítulo 7 del manual técnico; se incluye consideraciones

técnicas para poblaciones especiales, ilustra la apariencia del perfil y se describe el sistema de las

escalas por decatipos, para cumplir con el mínimo se requiere incluir información de análisis de

resultados con muestra colombiana y el desarrollo de estudios sobre diferencias entre grupos por

variables de interés como sexo y escolaridad. La tabla 4 presenta los resultados de la evaluación de

los indicadores de este la información incluida sobre este aspecto en el manual.

Tabla 4 Evaluación de los datos de estandarización del WISC-IV

Evaluación de estandarización


Obligatorios

5.1 Descripción de material de prueba Bueno

5.2 Instrucciones para la aplicación Bueno

5.3 Escalas y sistema de trasformación de las puntuaciones Bueno

5.4 Descripción de la población objetivo y la(s) muestra(s) normativas

Aceptable

5.5 Tamaño de la(s) muestra(s) normativa(s) Mínimo

5.6 Descripción del ámbito de aplicación y la calidad de los datos en que se basan los baremos

Bueno

5.7 Protocolo de interpretación Bueno

Opcionales


5.8 Condiciones especiales de aplicación Sobresaliente

5.9 Protocolo de presentación de resultados Sobresaliente


13

EVALUACIÓN PILOTO DE CALIDAD TÉCNICA DEL MMPI-2 Flor Angela León Grisales

Con apoyo de Fredy Alexander Romero Gúzman, Nora Londoño


FICHA IDENTIFICACIÓN

Nombre: Inventario Multifásico de la Personalidad Minnesota MMPI- 2

Autor : S.R. Hathaway y J.C.McKinley

Version revisada: Versión adaptada para México

Editora: Lorena Blanca para el Manual Moderno

Traducido y adaptado al español por: Emilia Lucio Gómez-Maqueo


Editor adaptación colombiana: No tiene

Fecha de revisión: Marzo 2017

Campo de uso: Psicología Clínica



Manual de aplicación y calificación. Cuadernillo de aplicación hojas de respuesta, plantillas de calificación y perfiles

Constructo que evalúa: Tipos de personalidad y trastornos emocionales

ISBN 968 -426-963-6


El inventario multifásico de personalidad Minnesota 2 que se distribuye en Colombia por Manual

Moderno es la traducción al español de la version estadounidense publicada en 1989, con información

de normalización para uso en México; una de las diez pruebas más usadas en Colombia de acuerdo

a los resultados de la consulta realizada para este proyecto.

El inventario de personalidad MMPI-II se construyó por medio la metodología de enlace

empírico, evaluá la personalidad y trastornos emocionales por medio de múltiples sub-escalas que se

analizan en dos perfiles, su uso exige que el psicólogo tenga formación en psicopatología

preferiblemente en nivel de posgrado.


El manual incluye un resumen histórico de su evolución con los resultados de los estudios

hechos en revisión mediante la cual se llegó a esta version en 1989, que pueden orientar a un usuario

profesional para un análisis adecuado de las respuestas de un evaluado, incluye definiciones

operacionales y referencias que facilitan la calificación y análisis del perfil, partiendo de un hipótesis

de evaluación estructurada previamente por el profesional.

La evaluación sobre los referentes conceptuales evidencia que sería conveniente que se

desarrollaran con mayor precisión recomendaciones de uso, y que puede resultar inconveniente si el

profesional no tiene amplia experiencia y conocimiento en trastornos clínicos, puesto que no incluye

advertencia respecto a las consideraciones necesarias frente a la ausencia de información de estudios

y comportamiento de esta prueba con población colombiana.

Es deseable que en el futuro se desarrolle un proyecto de adaptación de la prueba para uso

con estudios con población colombiana, en el cual se verifique el funcionamiento empírico con varios

grupos de pacientes identificados con los trastornos de referencia y que se analice la vigencia de

varias de algunas de las expresiones, se incluya procedimientos de análisis de confiabilidad y relación

con otras variables, y que se levanten tablas normativas que ofrezcan datos de referencia; a

continuación se presentan los comentarios generales de la evaluación de los cuatro aspectos técnicos

que valora el instrumento de calidad para uso en Colombia.



los 5 indicadores obligatorios y uno opcional, la información que permite al usuario identificar los

conceptos subyacentes a cada una de las sub-escalas, información que debe estudiarse

detalladamente y que exigirá en la consulta de la bibliografía referenciada.

A lo largo del capítulo: “como interpretar el MMPI-Il” se incluyen las definiciones operacionales

y conceptuales, de manera que plantea la lógica subyacente a la interpretación de sus resultados. La

tabla 5 presenta la evaluación de cada uno de los indicadores.


15

Tabla 5 Evaluación de los referentes conceptuales del MMPI-2



Obligatorios

2.1 Definición conceptual del constructo a medir Mínimo

2.2 Definición operacional del constructo a medir Bueno


2.4 Descripción de los usos previstos para el instrumento. Mínimo

2.5 Sustento teórico para el uso de la prueba en la población(es) objeto. Aceptable

Opcionales

2.6 Contextualización histórica del constructo. Bueno

2.7 Estructuración teórica de conocimientos acerca del constructo medido. No cumple

Confiabilidad

La evaluación sobre la información de confiabilidad no es satisfactoria, cumple 5 de los 6

criterios obligatorias, incluye información sobre los procedimientos de análisis de resultados de los

estudios estadounidenses con las correspondientes tablas, para una mayor compresión debería

describir con mayor detalle el proceso de análisis e información sobre su interpretación, el aspecto

sobre el cual no incluye información es la descripción de la identificación de fuentes de error de la

confiabilidad, y se reportan resultados en tablas pero no se incluye una explicación que permita la

compresión sobre la obtención precisión de sus resultados.

Es conveniente que se desarrollen estudios con población clínica de origen nacional

seleccionada acorde a las características que requiere el objetivo de esta prueba, para estudiar las

fuentes de error y la precisión de los resultados para que cumpla con los criterios mínimos de los

estudios de confiabilidad, la tabla 6 presenta la evaluación general de los indicadores de confiabilidad.

Tabla 6 Evaluación de los estudios confiabilidad del MMPI-2




Obligatorios

3.1 Identificación de la o las fuentes de error de medición. No cumple

3.2 Descripción del estudio para estimar la confiabilidad Mínimo

3.3 Estimación del error de medida Mínimo


3.5 Valor del estadístico Aceptable

3.6 Interpretación de resultados de confiabilidad Mínimo

Opcionales

3.7 Modelo psicométrico para el estudio de confiabilidad No cumple

3.8 Escogencia del método estadístico para estimar la confiabilidad No cumple



no es satisfactoria, cumple con ocho de los catorce indicadores obligatorios, la información se

referencia de manera muy resumida y no permite al usuario reconocer la pertinencia de los

procedimientos de verificación de diferencias entre grupos y correlaciones entre las sub-escalas, y

pero en general es muy resumida y requiere un mayor desarrollo.

Toda la información de evidencias de validez se justifican a partir de la muestra estadounidense

delos estudios originales, y se usan la datos una muestra de mexicanos universitarios que no

corresponden a las características de las muestras que deberían usarse para analizar la validez de un

instrumento que detecte trastornos emocionales.

Incluye tablas de datos de estudios de correlación con 4 instrumentos pero falta explicación

para que el usuario los use como referencias conceptuales importantes en proceso de evaluación

clínica.

El manual presenta la información de los estudios originales de la primera versión el MMPI, el

proyecto de revisión que derivo en la version estadounidense y la recolección de datos de la muestra

mexicana, que exige al usuario una revisión meticulosa para reconocer la información de interés, pero

no se desarrollan de manera que se justifiquen ni los criterios ni los tamaños de muestra. La

recomendación para fortalecer la información sobre evidencias de validez para uso en Colombia es la

inclusión de estudios de su uso con población colombiana que permitan a los profesionales acceder a


17

resultados con población colombiana, la tabla 7 presenta el resumen de la evaluación de los

indicadores de validez.

Tabla 7 Evaluación de los estudios de validez del MMPI-2



Obligatorios


4.2 Revisión por expertos idóneos Bueno

4.3 Número de expertos y contenido de la consulta. No cumple

4.4 Resultados de evaluación por expertos Aceptable

Opcionales

4.5 Capacitación a expertos No cumple

4.6 Tabla de especificaciones No cumple


Obligatorios

4.7 Estructura interna de la prueba Mínimo


4.9 Resultados del estudio Mínimo


Obligatorios


4.11 Selección de la(s) variable(s) criterio No cumple

4.12 Tamaño de Muestra No cumple

4.13 Análisis estadístico empleado No cumple

4.14 Resultados de los estadísticos No cumple

Opcionales

4.15 Funcionamiento diferencial del ítems No cumple

4.16 Análisis de sesgo de la prueba No cumple


Obligatorios

4.17 Modelo psicométrico utilizado Mínimo

4.18 Estimación de dificultad No cumple

Opcionales

4.19 Estadísticos para análisis de ítems No cumple

4.20 Análisis de las opciones de respuesta Bueno

4.21 Parámetros del modelo de análisis No cumple

4.22 Ajuste del modelo No cumple

4.23 Función de información No cumple



La evaluación de la información sobre los proceso de aplicación y calificación de la prueba no

es satisfactoria, el manual contienen información de seis 6 de los 7 siete indicadores obligatorios, la

información de referencia para uso en Colombia es la de la normas hechas con estudiantes

universitarias, una muestra que no responde a las características deseables los estudios de

referencia para este inventario que apoya un diagnóstico clínico, de manera que en el manual no se

incluyen explicaciones sustantivas para el análisis de los resultados considerando las diferencias

culturales, para varias de las sub-escalas.

La tabla 8 presenta los resultados de la evaluación de los indicadores de estandarización de

acuerdo a la información disponible sobre este aspecto en el manual.

Tabla 8 Evaluación de la información de aplicación y calificación del MMPI-2



Obligatorios

5.1 descripción de material de prueba Mínimo

5.2 instrucciones para la aplicación Mínimo

5.3 escalas y sistema de trasformación de las puntuaciones Aceptable

5.4 descripción de la población objetivo y la(s) muestra(s) normativas Mínimo

5.5 tamaño de la(s) muestra(s) normativa(s) Mínimo

5.6 descripción del ámbito de aplicación y la calidad de los datos en que se basan los baremos

No cumple

5.7 protocolo de interpretación Aceptable

Opcionales

5.8 condiciones especiales de aplicación No cumple

5.9 protocolo de presentación de resultados No cumple


19

EVALUACIÓN PILOTO DE CALIDAD TÉCNICA DEL IPV

Flor Angela Leon Grisales con apoyo de María Claudia Peralta y Ivonne Alejo


Nombre: Inventario de Personalidad para vendedores

Autor : Les editions du Centre de Psychologie Appliquee.

Edición revisada Adaptación argentina

Editor de la versión revisada: Nicolás Seisdedos y Agustín Cordero

Autor de la adaptación colombiana:

No tiene


Fecha de revisión Marzo 2017

Editor Tea ediciones

Campo de uso: Selección de personal de ventas


Materiales disponibles para profesionales:

Manual hojas de respuesta y cuadernillo de aplicación.

Constructo que evaluá Disposición general para la venta

ISBN 84-7174-813-4


El inventario de personalidad para vendedores que se distribuye en Colombia por Manual

Moderno es la octava edición que incluye datos de análisis de estudios con población Argentina

publicada en 1997 versión que se adaptó a partir de traducción para España de la version francesa

es inventario para evaluar la afinidad individual hacia las ventas; una de las pruebas más usadas por

los psicólogos profesionales en Colombia de acuerdo con los resultados de la consulta realizada para

este proyecto.

El inventario de personalidad para vendedores ofrece información sobre dos dimensiones de

disposición para las ventas: receptividad y agresividad que se definieron desde el funcionamiento


empírico en el análisis factorial de los 10 sub-escalas que se identificaron en el trabajo de campo

durante su diseño.

IPV es un reporte de tendencias de conducta, en la cual se solicita al evaluado seleccionar la

opción de respuesta sobre una que considere lo identifique a partir del análisis de situaciones

cotidianas diseñada para identificar si el evaluado tiene los rasgos de personalidad afines a las

actividades de venta

La adaptación española se desarrolló en los ochenta y la argentina en los 90, en general se

usaron procedimientos de análisis para corroborar el funcionamiento empírico y las tablas normativas,

es decir es una adaptación de una versión de más de 30 años de publicación.

El manual incluye información técnica resumida de los estudios que pueden orientar a un

usuario profesional, pero para un análisis adecuado de las respuestas de un candidato a un cargo de

ventas sería conveniente que se desarrollaran con mayor precisión varios aspectos su uso ya que su

uso en un proceso de selección en empresas colombianas puede resultar inconveniente si se tiene en

cuenta que no incluye advertencia respecto a las consideraciones necesarias frente a la ausencia

de información en el manual técnico de estudios con población nacional.

Es deseable que en el futuro se desarrolle un proyecto de adaptación de la prueba para uso

con estudios con población colombiana, en el cual se verifique el funcionamiento empírico con por lo

menos dos grupos de personas con amplia experiencia en ventas, que incluya procedimientos de

análisis de confiabilidad y relación con otras variables, y que se levanten tablas normativas que

ofrezcan datos de referencia; a continuación se presentan los comentarios generales de la evaluación

de los cuatro aspectos técnicos que valora el instrumento de calidad para uso en Colombia



los 5 indicadores obligatorios, la información conceptual presenta una visión general del perfil de

personalidad a fin a las actividades de venta, a partir del reporte de preferencias del evaluado.

Ofrece información general sobre el desarrollo del perfil que valora el inventario, describe las

justificaciones desde las cuales se definieron y validaron, de manera que plantea la lógica subyacente

a la interpretación de sus resultados. La tabla 9 presenta la evaluación de cada uno de los indicadores.


21

Tabla 9 Evaluación de los referentes conceptuales del IPV

Evaluación de Referentes Conceptuales Indicadores Valoración Obligatorios 2.1 Definición conceptual del constructo a medir Mínimo 2.2 Definición operacional del constructo a medir Mínimo 2.3 Definición de las dimensiones del constructo y las relaciones entre ellas Mínimo 2.4 Descripción de los usos previstos para el instrumento. Aceptable 2.5 Sustento teórico para el uso de la prueba en la población(es) objeto. Mínimo Opcionales 2.6 Contextualización histórica del constructo. No aplica 2.7 Estructuración teórica de conocimientos acerca del constructo medido. No aplica

Confiabilidad

La evaluación sobre la información de confiabilidad no es satisfactoria, la información incluida

en el manual técnico no incluye datos de análisis de fuentes de error que interfieran con la precisión

de los datos y su interpretación, no se referencian los detalles de los estudios de confiabilidad que

permita al usuario usar un parámetro para especificar la precisión de sus resultados.

Es conveniente que se desarrollen estudios con una muestra colombiana, que pueda

considerarse representativa de características como: nivel socioeconómico, nivel educativos de

diferentes regiones, para los datos de referencia sean útiles en la selección de vendedores en

Colombia, y que se documenten las consideraciones de las metodologías para estudiar las fuentes de

error y la precisión de los resultados para que cumpla con los criterios mínimos los estudios. La tabla

10 presenta la evaluación general de los indicadores de confiabilidad.

Tabla 10 Evaluación de los estudios de confiabilidad del IPV


Evaluación de confiabilidad Indicadores Evaluación Obligatorios 3.1 Identificación de la o las fuentes de error de medición. No cumple 3.2 Descripción del estudio para estimar la confiabilidad No cumple 3.3 Estimación del error de medida No cumple 3.4 Tamaño de muestra de estudios de confiabilidad No cumple 3.5 Valor del estadístico No cumple 3.6 Interpretación de resultados de confiabilidad No cumple Opcionales

3.7 Modelo psicométrico para el estudio de confiabilidad No cumple 3.8 Escogencia del método estadístico para estimar la confiabilidad

No cumple



no es satisfactoria, cumple con ocho de los catorce indicadores obligatorios, incluye información sobre

los procedimientos de verificación de diferencias entre grupos y correlaciones entre las sub-escalas,

en general es muy resumida y requiere un mayor desarrollo.

Se explican las características de las muestras usadas en el estudio de adaptación española

evidenciando un diseño y análisis de datos.

Se analizaron las respuestas de los tres grupos y confirmó una estructura general de la escala

y aunque reporta un estudio de relación con el 16 pf no se ofrece información detallada que permita

al profesional analizar las respuestas de un evaluado.

El manual es un compendio corto que resume la historia del desarrollo del inventario y justifica

el uso a partir de los estudios originales, hechos hace más de 40 años, para validar su uso en las

adaptaciones al idioma español se presentan brevemente unos procesos de adaptación sin desarrollar

la información de las evidencias de validez para el uso en España o Argentina más allá de la

acomodación del lenguaje y las posibles diferencias entre grupos de profesionales, de manera que no

incluye argumentos para justificar la interpretación de los resultados, la recomendación para fortalecer

la información sobre evidencias de validez para uso en Colombia es la inclusión de estudios de su uso

con población colombiana que permitan al usuario identificar el comportamiento en profesionales y


23

personal de ventas en contexto colombiano, la tabla 11 presenta el resumen de la evaluación de los

indicadores de validez.

Tabla 11 Evaluación de los estudios de validez del IPV

Evidencia basada en el contenido de la prueba. Indicadores Valoración Obligatorios 4.1 Estructura conceptual de la prueba Aceptable 4.2 Revisión por expertos idóneos No cumple 4.3 Número de expertos y contenido de la consulta. No cumple 4.4 Resultados de evaluación por expertos No cumple Opcionales 4.5 Capacitación a expertos No cumple 4.6 Tabla de especificaciones No cumple Evidencia basada en la estructura interna de la prueba Obligatorios 4.7 Estructura interna de la prueba Mínimo 4.8 Tamaño de Muestra Mínimo 4.9 Resultados del estudio Mínimo Evidencia de validez basada en la relación con otras variables Obligatorios 4.10 Estrategia de validación Mínimo 4.11 Selección de la(s) variable(s) criterio Mínimo 4.12 Tamaño de Muestra Mínimo 4.13 Análisis estadístico empleado Mínimo 4.14 Resultados de los estadísticos No cumple Opcionales 4.15 Funcionamiento diferencial de ítems No cumple 4.16 Análisis de sesgo de la prueba No cumple Evidencia con base en el análisis de ítems Obligatorios 4.17 Modelo psicométrico utilizado No cumple 4.18 Estimación de dificultad No cumple Opcionales 4.19 Estadísticos para análisis de ítems No cumple 4.20 Análisis de las opciones de respuesta No cumple 4.21 Parámetros del modelo de análisis No cumple 4.22 Ajuste del modelo No cumple 4.23 Función de información No cumple




es satisfactoria, el manual contiene información de seis 6 de los 7 siete indicadores obligatorios, la

información de referencia para uso en procesos de selección en Colombia es la de la adaptación para

Argentina que se levantó en 1996 a partir de una muestra de 338 individuos de diferentes profesiones,

una muestra que no corresponde con las características deseables para levantar los datos de

referencia del constructo, la información referida es muy escasa y no ofrece explicaciones sustantivas

para el análisis de los resultados. La tabla 12 presenta los resultados de la evaluación de los

indicadores de este la información incluida sobre este aspecto en el manual.

Tabla 12 Evaluación de la estandarización del IPV

Evaluación de estandarización Indicadores Valoración

Obligatorios 5.1 Descripción de material de prueba Mínimo 5.2 Instrucciones para la aplicación Mínimo 5.3 Escalas y sistema de trasformación de las puntuaciones No cumple 5.4 Descripción de la población objetivo y la(s) muestra(s) normativas Mínimo 5.5 Tamaño de la(s) muestra(s) normativa(s) Mínimo 5.6 Descripción del ámbito de aplicación y la calidad de los datos en que

se basan los baremos Mínimo

5.7 Protocolo de interpretación Mínimo Opcionales 5.8 Condiciones especiales de aplicación No cumple 5.9 Protocolo de presentación de resultados Mínimo


25

EVALUACIÓN PILOTO DE LA CALIDAD TÉCNICA DEL INVENTARIO 16 PF 5 Flor Angela León Grisales

Con apoyo de María del Pilar Soler, Roció Barajas, Richard Rosero y Juan Camilo Restrepo


Nombre: Cuestionario factorial de la personalidad 16 PF- 5

Versión revisada 10a edición, revisada y ampliada

Auto versión original : Catell

Editor version revisada: Nicolás Seisdedos Cubero



Fecha de revisión oct-16

Editor TEA ediciones Madrid

Campo de uso: Clínica Organizacional Educativa

Año de publicación 2013


1 manual, 10 cuadernillos y pines

Constructo que evaluá Personalidad

ISBN 978-84-15262-86-2



El 16 pf 5 en la version española que se distribuye en Colombia es una de las versiones del

cuestionario de personalidad más utilizada por los psicólogos profesionales en Colombia de acuerdo

con los resultados de la consulta realizada para este proyecto, es una prueba con cuya primera versión

apareció hace 68 años, esta versión es producto de la incorporación de ajustes de estudios diversos.

Los desarrolladores de esta versión referencian el amplio uso dela versión original y sus ediciones

anteriores en diferentes áreas aplicadas de la evaluación, gracias a la versatilidad de su modelo

descriptivo de tendencias conductuales que permite plantear hipótesis y justificar desde enfoques

comprensivos en diferentes procesos de diagnóstico, seguimiento y clasificación.

La prueba original fue construida mediante el modelo empírico de la medida con análisis desde

el enfoque factorial a partir de la concepción de Cattel, se recolecto información sobre rasgos de

personalidad que se definieron a partir de las tendencias comportamentales que evalúan las 16

escalas.

La primera adaptación española del 16 PF se publicó en 1975 y se basó en los ajustes sobre

la tercera revisión americana, y la primera version del 16 PF 5 recibió su denominación de acuerdo

con la versión, desde la cual se adaptó; la quinta edición de 1993, adaptación que atendió los criterios

producto del análisis de su funcionamiento empírico; en ese momento se revisó contenido y

redacción, se simplificaron algunos ítems cambiando su la redacción y el lenguaje de para disminuir

ambigüedad o desfase, se redujo la extensión quitando ítems; esta version de 2013 es una revisión

de esa adaptación.

Una debilidad sobresaliente de esta version es la falta de explicaciones para la calificación

manual; sin la tabla de la estructura de la prueba en la que se identifiquen los ítems por escalas no es

posible que los profesionales analicen cualitativamente aspectos particulares de los perfiles

individuales.

Respecto a las consideraciones para el uso en Colombia es importante que el profesional tenga

en cuenta que el manual no incluye información de estudios con población nacional y que si bien las

tablas normativas de se levantaron con resultados de estudios con personas de habla castellana no


27

se incluye información que permita al lector hacer una mirada comprensiva de la desviación y

resultados considerando las posibles diferencias culturales.

A continuación se presentan los comentarios generales de la evaluación de los cuatro aspectos

técnicos que valora el instrumento de calidad para uso en Colombia


El resultado de la evaluación de este aspecto es satisfactorio; el manual incluye información

sobre los 5 indicadores obligatorios, presenta definiciones operacionales de las escalas y su relación

y presenta estudios que ilustran el uso de sus escalas para la descripción y análisis de conductas en

poblaciones particulares, enuncia pero no desarrolla una definición conceptual de personalidad y no

presenta un enfoque teórico desde que cual se justifique su uso en la población, que de acuerdo a los

datos incluidos son adultos normales entre 18 y 69 años.

La calidad de la información conceptual permite al lector la comprensión del enfoque factorial y

su utilidad como medida de predicción en diferentes tipos de estudio, por ser un modelo descriptivo

del comportamiento no acoge un autor particular para definir personalidad sino que presenta escalas

generales de tendencias para que el profesional desarrolle las argumentaciones al momento de

resolver la pregunta objetivo de su uso en los procesos de evaluación en los que se utilice, sería

conveniente que ampliara la definición de personalidad desde el modelo empírico desde el cual se ha

planteado su desarrollo e incluyera información sobre los posibles grupos etarios. La tabla 13

presenta la evaluación de cada uno de los indicadores de este aspecto, valga aclarar que sobre los

opcionales no se encuentra información en el manual.

Tabla 13 Evaluación de los referentes conceptuales del 16 PF-5

Evaluación de indicadores de Referentes Conceptuales Indicadores Valoración Obligatorios 2.1 Definición conceptual del constructo a medir Mínimo

2.2 Definición operacional del constructo a medir Bueno 2.3 Definición de las dimensiones del constructo y las relaciones entre ellas Bueno 2.4 Descripción de los usos previstos para el instrumento. Mínimo

2.5 Sustento teórico para el uso de la prueba en la población(es) objeto. Aceptable Opcionales 2.6 Contextualización histórica del constructo. No cumple

2.7 Estructuración teórica de conocimientos acerca del constructo medido. No cumple


Confiabilidad

La evaluación sobre la información de confiabilidad no es satisfactoria, en el manual no se

aporta información sobre fuentes de error y su estimación, aunque se incluyen datos sobre los estudios

de confiabilidad test re-test con las muestras originales de población americana estos son resultados

del año 1994 y no se hace un referenciación clara sobre la actualización de estos índices a partir de

estudios con muestra española.

En el capítulo 5 del manual que se dedica a presentar la adaptación argentina se menciona de

manera muy general el análisis de homogeneidad y se anuncia la tabla B1 coeficientes alfa e índice

de homogeneidad, pero no se incluye información sobre rango de variabilidad del índice alfa ni su

promedio; que de acuerdo con la observación están entre (0.55 y 0.74) con un promedio de 0.69

índices que no reflejan la anunciada mejora del funcionamiento métrico de la prueba en población de

habla castellana.

Se describen los resultados de análisis de estudio de correlación y homogeneidad entre escalas

por medio de tablas que se presentan en el apéndice 1, información que requiere de la inclusión de

explicaciones detalladas para que el usuario haga el análisis comprensivo de las mismas y tome

decisiones sobre el uso de las escalas o dimensiones globales en la comprobación de las hipótesis de

trabajo en un proceso de evaluación.

Los estudios y resultados que presentan para la adaptación española son realizados a partir de

la muestra española de 1994 y la población estadounidense de los estudios originales, se incluye

información en el apéndice B se presenta la tabla B1 con coeficiente alfa e índice de homogenidad de

estudios con dos muestras de población argentinas donde se comparan las medias y se presenta la

desviación típica.

El ideal para recomendar el uso en Colombia es la inclusión de análisis de confiabilidad de

respuestas de población colombiana donde se identifiquen fuentes de error y homogeneidad por

poblaciones de interés como hombre y mujeres o nivel educativo. La tabla 14 presenta los resultados

de la evaluación de los estudios de confiabilidad incluidos en el manual.


29

Tabla 14 Evaluación de los estudios de confiabilidad del 16 PF-5

Evaluación indicadores de confiabilidad

Indicadores Evaluación Obligatorios



3.3 Estimación del error de medida No cumple



3.6 Interpretación de resultados de confiabilidad Aceptable

Opcionales

3.7 Modelo psicométrico para el estudio de confiabilidad No aplica

3.8 Escogencia del método estadístico para estimar la confiabilidad No aplica


La evaluación de la información sobre las evidencias de validez para interpretar los resultados es no

satisfactoria, aunque cumple con doce de los catorce indicadores; el manual no incluye información sobre

procedimientos para calcular índices de acuerdo entre evaluadores en los procesos de verificación de escalas

y que hacen parte del mínimo de los obligatorios en evidencias basadas en el contenido de la prueba, tampoco

incluye información sobre el análisis de ítems para identificar el sesgo, que se mencionan pero sobre los cuales

no hay información que ilustre el tipo de estudio o consideraciones para los análisis correspondientes que un

usuario profesional puede realizar en un proceso de evaluación.

La principal fuente de evidencias proviene de los estudios de estructura interna de la prueba, de manera

coherente con el modelo descriptivo de enlace empírico, si bien la información reportada justifica varios de los

usos propuestos, para que se recomiende su uso en Colombia se requiere que se incluyan las tablas de

especificaciones y las instrucciones para la calificación manual que permitan el uso comprensivo de la

información para el proceso de análisis de perfiles individuales en los diversos contextos de uso.

La recomendación para fortalecer y completar la información sobre evidencias de validez para uso en

Colombia es la inclusión de estudios sobre usos con población colombiana que permitan al usuario una visión

cercana de la pertinencia de su uso, evidenciando la influencia del lenguaje y otros costumbres culturales que

tengan influencia sobre las tendencias que se definen en las escalas. La tabla 15 presenta la evaluación de la

información sobre estudios de validez referenciada en el manual.


Tabla 15 Evaluación de los estudios de validez del 16 PF-5

Evaluación indicadores información sobre validez



Obligatorios


4.2 Revisión por expertos idóneos Mínimo

4.3 Número de expertos y contenido de la consulta. Mínimo

4.4 Resultados de evaluación por expertos No cumple

Opcionales


4.6 Tabla de especificaciones No cumple


Obligatorios





Obligatorios


4.11 Selección de la(s) variable(s) criterio Aceptable


4.13 Análisis estadístico empleado Mínimo

4.14 Resultados de los estadísticos Aceptable

Opcionales

4.15 Funcionamiento diferencial del ítems No aplica

4.16 Análisis de sesgo de la prueba No aplica


Obligatorios

4.17 Modelo psicométrico utilizado No cumple

4.18 Estimación de dificultad No aplica

Opcionales

4.19 Estadísticos para análisis de ítems No aplica






31



insatisfactoria, cumple con 5 de los siete indicadores obligatorios, obviando los datos descriptivos de

las muestras normativas de la población a la cual está dirigida, adultos entre 18 y 69 años por lo que

resulta general, evidenciando que el correcto uso requiere de un amplio dominio de por lo menos una

postura teórica que le permita plantear hipótesis para el proceso de evaluación.

Las tablas de referencia para la interpretación cumplen con el mínimo establecido como criterio

para uso en Colombia, corresponden al análisis de estudios con una muestra de 300 personas de

habla castellana. Incluye una gráfica de la apariencia del perfil de resultados y se describe el sistema

de las escalas por decatipos; para que cumpla los mínimos obligatorios en este apartado, se debe

incluir información de análisis de resultados con muestra colombiana y el desarrollo de estudios sobre

diferencias entre grupos por variables de interés como sexo y escolaridad. La tabla 16 presenta los

resultados de la evaluación de los indicadores de este la información incluida sobre este aspecto en

el manual.

Tabla 16 Evaluación de la información para la aplicación y calificación del 16 PF-5

Evaluación de indicadores estandarización


Obligatorios

5.1 Descripción de material de prueba Aceptable

5.2 Instrucciones para la aplicación Bueno

5.3 Escalas y sistema de trasformación de las puntuaciones No cumple

5.4 Descripción de la población objetivo y la(s) muestra(s) normativas No cumple

5.5 Tamaño de la(s) muestra(s) normativa(s) Mínimo 5.6 Descripción del ámbito de aplicación y la calidad de los datos en que se basan

los baremos Mínimo

5.7 Protocolo de interpretación Bueno

Opcionales

5.8 Condiciones especiales de aplicación No cumple

5.9 Protocolo de presentación de resultados No cumple


EVALUACIÓN PILOTO DE LA CALIDAD PILOTO DE MIPS INVENTARIO MILLON´ S DE ESTILOS DE PERSONALIDAD

Flor Angela León Grisales Con apoyo de Alexis Carrillo


Nombre: Inventario Millon´s de Estilos de personalidad

Autor : Teodore Millon;

Traducción: Adolfo Negrotto,

adaptación y supervisión María Martina Casullo, Alicia Cayssials

Versión revisada: Adaptación para Argentina



Fecha de revisión: Febrero 2017

Editor: Paidos

Campo de uso: Clínica

Organizacional


Materiales disponibles para profesionales 1 manual, 10 cuadernillos y pines

Constructo que evalúa Personalidad

ISBN 978-950-12-1303-4


33


El MIPS que se distribuye en Colombia es una version adaptada para uso en Argentina, ofrece

una medida de estilo de personalidad diseñada para evaluar adultos normales entre 18 y 65 años; a

partir de 24 escalas que se agrupan en 12 pares bipolares, agrupando lo que el autor definió como

metas motivacionales, modos cognitivos y comportamientos interpersonales.

El manual técnico evidencia un desarrollo riguroso y amplio del sustento teórico; para la

evaluación de la personalidad desde un modelo que integra tres posturas nosológicas de la

personalidad, el uso requiere de un amplio dominio de los principales referentes teóricos originales,

que se unen para el desarrollo y definición de las 24 escalas.

La fortaleza de este instrumento es el modelo complejo que integra una amplia posibilidad de

opciones para la formulación de hipótesis interpretativas para el desarrollo de evaluaciones con

diversos objetivos, los datos referenciados como sustento de la métrica son estudios originales de la

versión en inglés.

La información de adaptación argentina no es detallada, falta describir el proceso de traducción

y verificación empírica, escasamente se levantan baremos a partir estudios con estudiantes. Es una

prueba con amplio uso en diferentes áreas aplicadas de la evaluación, gracias a la versatilidad de su

modelo descriptivo de tendencias conductuales que permite plantear hipótesis y justificar desde

enfoques comprensivos en diferentes procesos de diagnóstico, seguimiento y clasificación.

La debilidad de esta version es la falta de información para la aplicación, calificación manual;

sin la tabla de la estructura de la prueba en la que se identifiquen los ítems por escalas se limitan el

análisis profesional de los perfiles individuales.

Respecto a las consideraciones para el uso en Colombia es importante que el profesional tenga

en cuenta que el manual no incluye información de estudios con población nacional y que si bien la

población de las tablas normativas se levantaron con resultados de personas de habla castellana, no

incluye información que permita al lector hacer una mirada comprensiva de la desviación y resultados

considerando las posibles diferencias culturales.

A continuación se presentan los comentarios generales de la evaluación de a calidad técnica

de la prueba para uso en Colombia.



El resultado de la evaluación de este aspecto es satisfactorio; el manual incluye información

sobre los 5 indicadores obligatorios y dos opcionales, presenta un amplio marco de referencia con los

antecedentes históricos y los argumentos desde los cuales se integran tres posturas teóricas con gran

detalle, para llegar a las definiciones operacionales de las escalas y elementos que permitan su

interpretación.

Destina el capítulo 5 para incluir información sobre investigación aplicada; múltiples ejemplos

de uso a partir de la capacidad del profesional para plantear y sustentar las hipótesis; lo que demanda

conocimiento profundo de las características de las escalas y sus ítems, resulta muy útil para la

resolución de preguntas afiliadas al desarrollo de investigaciones gracias a su estructura de 24

escalas.

La calidad de la información conceptual permite al usuario el acceso a los referentes principales

y los argumentos que permitan plantear hipótesis de trabajo y desarrollar los argumentos para el uso

de sus resultado en la predicción en diferentes tipos de estudio, por ser un modelo descriptivo del

comportamiento no se sustenta en una teoría de personalidad; sino que presenta escalas generales

de tendencias para que el profesional desarrolle las argumentaciones al momento de resolver la

pregunta objetivo de su uso en los procesos de evaluación en los que se utilice, sería conveniente que

ampliara la definición de personalidad desde el modelo empírico desde el cual se ha planteado su

desarrollo e incluyera información sobre los posibles grupos etarios.

La tabla presenta la evaluación de cada uno de los indicadores de este aspecto, valga aclarar

que sobre los opcionales no se encuentra información en el manual. La tabla 17 presenta los

resultados de la evaluación de la información de referentes conceptuales que incluye el manual.

Tabla 17 Evaluación de los referentes conceptuales del MIPS


35

Evaluación de referentes conceptuales


Obligatorios

2.1 Definición conceptual del constructo a medir Bueno

2.2 Definición operacional del constructo a medir Aceptable


2.4 Descripción de los usos previstos para el instrumento. Mínimo


Opcionales

2.6 Contextualización histórica del constructo. Sobresaliente

2.7 Estructuración teórica de conocimientos acerca del constructo medido. Sobresaliente

Confiabilidad

La evaluación sobre la información de confiabilidad no es satisfactoria, no se aporta información

sobre fuentes de error y su estimación, aunque se incluyen datos sobre los estudios de confiabilidad

con las muestras originales de población americana no se hay información de estudios con población

argentina.

La información que se incluye del desarrollo original es de cuatro estudios, dos basados en

consistencia interna aplicados a las muestras de estandarización de adultos y universitarios, y dos

test re-test en muestras independientes de adultos y alumnos universitarios La muestra del estudio es

población norteamericana, 1000 personas de 18 a 65 años, muestra que se estratifico por edad, raza,

etnicidad y nivel de educación de forma coincidente con la población de Estados Unidos con

participación de hombres y mujeres por igual, 125 personas por 8 ciudades seleccionados en 1991

de acuerdo con lo datos censales de 1988

Aunque reporta baremos para población argentina, los datos con los que se levantaron son de

estudios con estudiantes universitarios; falta información en el anexo 2 que presenta la adaptación

al castellano por medio de estudio para Argentina en 1997 con normas levantadas a partir de datos

de población de Rio Cuarto Córdoba que se recolectaron en 2009; no hace alusión a detalles

relevantes del estudio, aunque se menciona la revisión de la confiabilidad con datos provenientes de


aplicación a población estudiantil y se reporta un rango de índices no es más que una mención que

no permite al profesional reconocer al pertinencia de los datos.

El método de estimación usado con la muestra americana de 1989 fue consistencia interna alfa

con promedio de 0,775 similares para hombres y mujeres por el método de división por mitades el

promedio de 0,82, los valores promedio son adecuados y se presentan las tablas 4.1 y 4.2 cuadros

con los valores por escalas y por grupos evidenciando un correcto uso del estadígrafo.

Presenta la conclusión donde resumen con el valor de los índices reportando que son

apropiados, pero en los estudios con población argentina no incluyen conclusiones

El ideal para recomendar el uso en Colombia es la inclusión de análisis de confiabilidad de

respuestas de población colombiana donde se identifiquen fuentes de error y homogeneidad por

poblaciones de interés como hombre y mujeres o nivel educativo. La tabla 18 presenta el resumen de

la evaluación de los estudios de confiabilidad que se incluyen en el manual.

Tabla 18 Evaluación de los estudios de confiabilidad del MIPS



Obligatorios



3.3 Estimación del error de medida No cumple




Opcionales

3.7 Modelo psicométrico para el estudio de confiabilidad Bueno



La evaluación de la información sobre las evidencias de validez para interpretar los resultados es no

satisfactoria, cumple con once de los catorce indicadores obligatorios y uno opcional a pesar de dedicar un

capitulo a desarrollar los referentes conceptuales; el manual no incluye información sobre la estructura

conceptual de la prueba, información que es relevante toda vez se definen tres aspectos macro que después


37

de presentar con detalle unos supuestos teóricos no se discriminan, reportan el procedimiento de revisión pero

no especifica los perfiles de los revisores, que el autor denominó como fase teórico sustantiva en la que 9

psicólogos participaron en la aplicación de un protocolo de clasificación de ítems de los cuales se tuvo en

cuenta que por lo menos 6 hubieran coincidido en la clasificación, falta una descripción de los detalles que

permitan a un profesional usuario identificar la estructura conceptual.

Teniendo en cuenta que reporta que solo se incluyeron en la prueba ítems que por lo menos 6 de los 9

expertos hubieran clasificado igual, se infiere que fue los criterios metodológicos fueron rigurosos pero no se

describen metodología de análisis de las respuestas y no se reportan valores, la recomendación para este

aspecto técnico es complementar la información para que profesional pueda interpretar la información del

apéndice que presentan los ítems e información que complementa los cuadros del capítulo 1 del manual, pero

no se especifica la clasificación.

Las evidencias de estructura interna de la prueba se reportan a partir del análisis de superposición de

ítems de las escalas, inter correlaciones entre las escalas, teniendo en cuenta que son 24 escalas es una

falencia considerable que esta información no incluya explicaciones para facilitar el manejo y análisis de los

resultados cualitativos de los evaluados.

Los estudios de evidencia estructural se realizaron con muestra norteamericana en el desarrollo de la

versión en Inglés, por lo que otra falencia técnica es que no se incluyen estudios con población de habla

castellana, por ello no fue favorable la evaluación del criterio tamaño de muestra, a pesar que los resultados de

los estudios soportan la propuesta teórica multidimensional evidenciando diferentes niveles de relación entre

ítems.

Respecto a la evaluación de evidencia basada en relación con otras variables se reportan siete diferentes

instrumentos con sus respectivos cuadros de análisis, información que sirve como referencia para el diseño de

hipótesis diagnósticas; los diseños que se encuentran en el titulo validez externa prueban las relaciones entre

los constructos de otros instrumentos: 16pf 1970 , Miller Briggs Type Indicadotor MBTI 1985, California

Psychological Inventory CPI 1987, Personality Inventory NEO, Gordon Personal Inventory GPI-I 1978, Beck

Depression Inventory BDI 1987, College Adjustment Scales CAS 1991; se incluyen las tablas análisis para cada

estudio y las conclusiones con muestras entre 100 y 470 americanos, todos los estudios respondieron a las

expectativas

La recomendación para fortalecer y completar la información sobre evidencias de validez para uso en

Colombia es la inclusión de estudios sobre usos con población colombiana que permitan al usuario una visión

cercana de la pertinencia de su uso, evidenciando la influencia del lenguaje y otros costumbres culturales que


tengan influencia sobre las tendencias que se definen en las escalas. La tabla 19 presenta los resultados de la

evaluación de los estudios de validez que se referencian en el manual.

Tabla 19 Evaluación de los estudios de validez del MIPS



Obligatorios

4.1 Estructura conceptual de la prueba No cumple


4.3 Número de expertos y contenido de la consulta. Bueno

4.4 Resultados de evaluación por expertos Mínimo

Opcionales


4.6 Tabla de especificaciones Bueno


Obligatorios

4.7 Estructura interna de la prueba Aceptable




Obligatorios


4.11 Selección de la(s) variable(s) criterio Aceptable


4.13 Análisis estadístico empleado Mínimo

4.14 Resultados de los estadísticos Aceptable

Opcionales

4.15 Funcionamiento diferencial del ítems No cumple

4.16 Análisis de sesgo de la prueba No cumple


Obligatorios

4.17 Modelo psicométrico utilizado Mínimo


Opcionales

4.19 Estadísticos para análisis de ítems No aplica







39


es satisfactoria, cumple con 5 de los siete indicadores obligatorios, obviando los datos descriptivos de

las muestras normativas de la población a la cual está dirigida, adultos entre 18 y 69 años por lo que

resulta general, evidenciando que el correcto uso requiere de un amplio dominio de por lo menos una

postura teórica que le permita plantear hipótesis para el proceso de evaluación.

La información incluye una ficha donde enumera los materiales, incluye las plantillas y una hoja

de instrucciones, la gran carencia de información sobre la aplicación o recomendaciones es una

falencia técnica de alto impacto para el uso, es una debilidad del manual de este instrumento, que solo

anexa una hoja para explicar el uso de las plantillas de manera muy escueta; es pertinente incluir un

capítulo en el manual sobre los procedimiento de aplicación y calificación

Los resultados se interpretan con datos de referencia de la muestra normativa del estudio con

población estadounidense realizados en 1991, una muestra estratificada de acuerdo a la información

censal de 1988, y aunque incluye en el capítulo tres del manual los criterios para la construcción de

los baremos y los grupos de tasa de prevalencia resulta información desactualizada y que no cumple

con el criterio mínimo, respecto a la muestra.

Para uso en Colombia no son pertinentes los datos normativos argentinos, ya que se levantaron

a partir de una muestra que cumplía las características relevantes de la población para la que se

propone su uso, es una muestra de estudiantes universitarios en la cual predomina las mujeres, no

ofrecen información que pueda generalizarse de los 18 a 65 años, una consideración importante para

que se recomiende su uso es la inclusión de resultados de estudios con una muestra representativa

de colombianos. La tabla 20 presenta los resultados de la evaluación de la información de

estandarización.

Tabla 20 Evaluación de la informacion para la aplicación y calificación del MIPS


Indicadores de estandarización


Obligatorios

5.1 Descripción de material de prueba Mínimo

5.2 Instrucciones para la aplicación Mínimo

5.3 Escalas y sistema de trasformación de las puntuaciones Mínimo

5.4 Descripción de la población objetivo y la(s) muestra(s) normativas Mínimo

5.5 Tamaño de la(s) muestra(s) normativa(s) No cumple

5.6 Descripción del ámbito de aplicación y la calidad de los datos en que se basan los baremos

Mínimo

5.7 Protocolo de interpretación No cumple

Opcionales

5.8 Condiciones especiales de aplicación No cumple

5.9 Protocolo de presentación de resultados No cumple


41

VALORACIÓN PILOTO DE CALIDAD TÉCNICA DEL BDI-II

Flor Angela Leon Grisales Apoyo de Martha Restrepo, Constanza Londoño, Javier Villalba


Nombre: Inventario de Depresión Beck

Autor : Aaron T.Beck, Robert A Steer, Gregory K Brown

Versión evaluada: Adaptación para España



Fecha de revisión Marzo 2017

Editor Pearson

Campo de uso Clínica Educativa


Materiales disponibles para profesionales Manual protocolo de registro, block de protocolos de aplicación.

Constructo que evaluá Depresión, evaluación de la gravedad

ISBN 978-84-939315-1-3


El BDI-II que se distribuye en Colombia por manual moderno es la version adaptada para

España publicada en 2011, versión traducida de la version estadounidense publicada en 2004, es

herramienta de evaluación clínica, evaluá la gravedad de la depresión en adultos y adolescentes; el

inventario clínico más usado por los psicólogos profesionales en Colombia de acuerdo a los resultados

de la consulta realizada para este proyecto..

El inventario BDI-II es un auto reporte de síntomas asociados a la depresión, diseñado desde

el enfoque nosológico de criterios del manual diagnóstico y estadístico de trastornos mentales DSM-

IV, se desarrolló como un indicador de presencia de gravedad para pacientes diagnosticados, la

adaptación española fue coordinada por Jesús Sanz y Carmelo Vásquez, proyecto en el cual se


siguieron los procedimientos de traducción y análisis de datos de la aplicación a 4 muestras

seleccionadas para desarrollo de estudios de sensibilidad diagnostica.

BDI-II es una versión del inventario que incorporó ajustes de actualización a partir de estudios

empíricos y la revisión sistemática de los criterios de diagnosis de acuerdo a la version vigente del

DSM en 1994, con una trayectoria de uso amplio el usuario es el responsable de la diagnosis a partir

del análisis de las respuestas del paciente.

La evaluación evidenció está cerca de cumplir con las condiciones técnicas para uso en

Colombia, ofrece suficiente información para que el usuario profesional justifique la interpretación de

los resultados, que debe complementarse con estudios con población colombiana, y los argumentos

para que el profesional tenga nociones que le permitan la verificación necesaria de la congruencia

respecto a los criterios diagnósticos actualizados.

Es deseable que en el futuro se desarrollen estudios con población colombiana para corroborar

los puntos de corte y se incluyan la información de actualización de los criterios diagnósticos; a

continuación se presentan los comentarios generales de la evaluación de los cuatro aspectos técnicos

que valora el instrumento de calidad para uso en Colombia



los 5 indicadores obligatorios, la información conceptual presenta una visión general del inventario de

síntomas, explica el modelo nosológico bajo el cual evaluá la gravedad de la depresión, a partir de los

síntomas que reporta el evaluado.

Ofrece información general sobre el desarrollo y evolución del inventario a partir de la revisión

del manual diagnóstico estadístico de los trastornos mentales DSM IV, explica los ajustes que se

incorporaron a la versión anterior. La interpretación de sus resultado exige un domino amplio de la

sintomatología de la depresión y su manejo. La tabla 21 presenta los resultados de la evaluación de

los referentes conceptuales incluidos en le manual.

Tabla 21 Evaluación de los referentes conceptuales del BDI-II


43



Obligatorios

2.1 Definición conceptual del constructo a medir Aceptable

2.2 Definición operacional del constructo a medir Mínimo

2.3 Definición de las dimensiones del constructo y las relaciones entre ellas Mínimo

2.4 Descripción de los usos previstos para el instrumento. Aceptable


Opcionales

2.6 Contextualización histórica del constructo. No aplica

2.7 Estructuración teórica de conocimientos acerca del constructo medido. No aplica

Confiabilidad

La evaluación de la información de los estudios de confiabilidad no es satisfactoria, la

información incluida en el manual técnico aporta información sobre el desarrollo de estudios y análisis

de información para 5 de los 6 indicadores opcionales y uno de los opcionales.

Esta version incluye un resumen del estudio realizado para sustentar la confiabilidad de la

versión original en el capítulo 3, se incluyen los resultados de los índices e incluye una tabla con

puntajes promedio y desviaciones, en el capítulo 4 que presenta la adaptación española se incluye un

apartado sobre los análisis de confiabilidad delos resultados de aplicación a tres muestras españolas

con su respectivo resumen y tablas de resultados.

El aspecto más débil respecto a la información de confiabilidad es el evaluado por el indicador

cuatro, tamaño de la muestra de los estudios de confiabilidad, cumple con el criterio mínimo ya que se

incluye el análisis de grupos españoles, para fortalecer este aspecto para el uso en Colombia debería

incluirse información sobre el desarrollo de por lo menos dos estudios de confiabilidad con datos de

respuestas de población clínica colombiana, de manera que los estudios cumplan con el

requerimiento técnico adecuado e incluya información sobre la precisión de los puntos de corte en

población nacional. La tabla 22 presenta la evaluación general de los indicadores de confiabilidad.

Tabla 22 Evaluación de los estudios de confiabilidad del BDI-II




Obligatorios


3.2 Descripción del estudio para estimar la confiabilidad Mínimo

3.3 Estimación del error de medida Mínimo


3.5 Valor del estadístico Mínimo


Opcionales

3.7 Modelo psicométrico para el estudio de confiabilidad No cumple




es no es satisfactoria, cumple con trece de los catorce indicadores obligatorios y tres opcionales,

incluye información sobre los procedimientos de verificación de la sensibilidad clínica, y las

observaciones que justifican las metodologías diseñadas para incrementar la idoneidad respecto a la

actualización de los criterios diagnósticos, los resultados de los estudios muestran mejora de las

propiedades psicométricas respecto a la versión anterior y se advierte al profesional sobre la

responsabilidad en el uso de los resultados en proceso de diagnóstico.

Se explican las características de las muestras usadas en el estudio de adaptación española

evidenciando un diseño adecuado para la obtención de evidencia diagnostica se diseñaron procesos

de recolección y análisis de datos en los que los pacientes aplicaron otras pruebas que se usaron para

evaluar la validez concurrente y discriminativa.

Se analizaron las respuestas de los tres grupos con análisis factorial y se confirmó una

estructura general de la escala tres estudios que incluyen la información para que el lector analice la

información de referencia e interprete la estructura del constructo

El manual es un compendio corto que justifica el uso del inventario, su uso adecuado requiere

que el profesional tenga amplio conocimiento sobre los trastornos clínicos para que pueda usar la

información con las consideraciones que requieren el diagnóstico clínico, la recomendación para


45

fortalecer la información sobre evidencias de validez para uso en Colombia es la inclusión de estudios

de su uso con población colombiana que permitan al usuario acceder a reconocer su funcionamiento

con pacientes diagnosticados y se muestre la pertinencia de su uso para nuestra población, la tabla

23 presenta el resumen de la evaluación de los indicadores de validez .

Tabla 23 Evaluación de los estudios de validez del BDI-II



Obligatorios

4.1 Estructura conceptual de la prueba Aceptable


4.3 Número de expertos y contenido de la consulta. Mínimo

4.4 Resultados de evaluación por expertos No cumple

Opcionales


4.6 Tabla de especificaciones Bueno


Obligatorios





Obligatorios


4.11 Selección de la(s) variable(s) criterio Mínimo

4.12 Tamaño de Muestra Aceptable

4.13 Análisis estadístico empleado Bueno

4.14 Resultados de los estadísticos Bueno

Opcionales

4.15 Funcionamiento diferencial del ítems Bueno

4.16 Análisis de sesgo de la prueba No aplica


Obligatorios

4.17 Modelo psicométrico utilizado No cumple


Opcionales


4.19 Estadísticos para análisis de ítems Sobresaliente

4.20 Análisis de las opciones de respuesta Sobresaliente






satisfactoria, el manual contienen información sobre los siete indicadores obligatorios, la información

de referencia para graduar la depresión en adultos y adolescentes se justifica por medio de análisis

de muestras seleccionadas con criterios ajustados al enfoque nosológico del instrumento, incluye la

tabla que informa los puntos de corte y los estudios complementarios reportan las tablas con media

y desviación estándar para los grupos participantes.

Los datos descriptivos de las muestras con las cuales se desarrollaron los estudios de la

versión original y la adaptación española pueden justificar el uso con nuestra población, pero exigen

que el profesional incluya en el análisis de las condiciones del evaluado de manera que pueda

considerarse similar a las muestras usadas en los estudios de referencia y las respuestas sean

consideradas como base del valoración de gravedad de la cuadro depresivo del evaluado. La tabla 24

presenta los resultados de la evaluación de la información para aplicación y calificación del inventario

incluidos en el manual.

Tabla 24 Evaluación de la información de aplicación y calificación del BDI-II



Obligatorios

5.1 descripción de material de prueba Aceptable

5.2 instrucciones para la aplicación Aceptable

5.3 escalas y sistema de trasformación de las puntuaciones Aceptable

5.4 descripción de la población objetivo y la(s) muestra(s) normativas Aceptable

5.5 tamaño de la(s) muestra(s) normativa(s) Mínimo

5.6 descripción del ámbito de aplicación y la calidad de los datos en que se basan los baremos

Aceptable

5.7 protocolo de interpretación Aceptable


47

Opcionales

5.8 condiciones especiales de aplicación No aplica

5.9 protocolo de presentación de resultados No aplica

i

Evaluación piloto de la calidad técnica de seis de las ...

Documents

Transcript of Evaluación piloto de la calidad técnica de seis de las ...