Instrumentos desarrollo y evaluación

Desarrollo y evaluaciónde instrumentos de

recolección de datos Enrique Morosini

Dirección de Investigación / Facultad de Filosofía

Noviembre de 2014

Seminario –Taller de Actualización Docente

¿Por qué este curso?

Porque siguiendo la misma temática de los cursos anteriores, en enfoque metodológico, se encontraba incompleta y este tema abarca un tema metodológico de suma sensibilidad: la preparación del instrumento de evaluación y, sobre todo, la evaluación de la calidad métrica del instrumento.

Porque la recolección primara de datos constituye la materia prima de toda investigación, si los datos no son de calidad, entonces, nada de lo que se pretenda realizar posteriormente permitirá responder a las preguntas de investigación.

Temática del curso

Aquí se han combinado dos aspectos:

1. El desarrollo del instrumento, lo que involucra la elaboración, la adaptación / traducción y ajuste de instrumentos.

2. La evaluación de la calidad, que, independientemente de que se utilicen instrumentos desarrollados y “validados” requieren de información empírica para su valoración.

Plan del curso

El curso tiene un plan, espero poder satisfacer estas intenciones:

Desarrollo

• Construcción

• Traducción

• Adaptación

Evaluación

• Prueba piloto

• Análisis de reactivos

• Confiabilidad y validez

Construcción

Medición• Concepto de medición en ciencias sociales

• Desafíos actuales y discusiones relacionadas con la medición

Definición del constructo• Definición conceptual – Marco de Referencia

• Definición operacional – Tabla de especificaciones

Redacción de reactivos• Técnicas a considerar

• Formatos, estilos, escalas

Evaluación

Prueba Piloto• Delimitación de finalidades y estrategias.

• Aspectos metodológicos específicos.

Confiabilidad• Concepto y plan general para su verificación.

• Análisis de reactivos y etapas de análisis.

Validez• De contenido en la etapa piloto.

• De constructo y criterio en la etapa intermedia y final.

03/02/2015DESARROLLO Y EVALUACIÓN DE INSTRUMENTOS 7

El problemade la medición

Problemas históricos y actuales

Fundamentos teóricos

Cicourel (1964/2011), reconocido en el ámbito de la Sociología

y obra de referencia para el estudio metodológico en dicha

área, inicia su libro con una interesante discusión acerca de la

medición en las ciencias sociales, enfocándose sobre tres

fundamentos técnicos:

Los principios axiomáticos.

Los principios teóricos.

La medida.

El problema de la medición

En 1932 se conformó un comité en la Asociación Británica para el Avance de la Ciencia y durante 7 años debatió sobre el tema de la medición.

Fueron convocadas la Sección A (Matemática y Física) y la Sección J (Psicología) para analizar la posibilidad de establecer “estimadores cuantitativos de eventos sensoriales”, es decir, ¿es posible medir las sensaciones humanas?

La conclusión, en pocas palabras, fue que no es posible ya que no se puede establecer una relación de isomorfismo entre el sistema numérico y lo que se mide.

Stevens, 1946

El problema de la medición

Unos pocos años después, Stevens (1946) publica una respuesta a los resultados de la comisión y desata una polémica sobre los sistemas de medición.

En un artículo posterior, en 1951, desarrolló una visión totalmente distinta. En la misma había formulado la muy conocida definición de medición “medir es asignar numerales a objetos o acontecimientos de acuerdo con ciertas reglas.”

En el último artículo también desarrolló su propuesta respecto a las escalas y la medición.

Problemas actuales

Sin ánimo de resolver los dilemas de la medición, el dilema está planteado y sobre pasa la discusión del ámbito puramente matemático y numérico.

Es la relación de los conceptos, del lenguaje con los sistemas de medición que se emplean contemporáneamente y cómo se disponen las correspondencias isomórficas, si cabe el caso, entre dichos sistemas.

Todavía, la cuestión del concepto y la medida sigue siendo objeto de discusión, así y todo… seguimos.


La importanciade la medición

¿Qué utilidad tiene?

Objetividad.

Cuantificación.

Comunicación.

Economía.


Fases en la elaboración

Propósito o finalidad:

• Investigación.

Descriptiva.

Analítica o Explicativa.

• Diagnóstico.

• Generación de propuestas de intervención.

• Fines específicos en cada especialidad.

Especificaciones del instrumento:

• Características de la población

• Condiciones en las que será aplicado

• Duración de la prueba

• Contenidos que abarca

• Tipo de material

Delimitación del dominio o atributo:

• Análisis de contenido.

• Revisión de investigaciones publicadas.

• Incidentes críticos.

• Observaciones directas.

• Juicio de expertos.

• Objetivos instruccionales o programas.

Especificaciones de contenido

• Dominio o población de conductas (hechos, actitudes)

• Dominio de cada reactivo

• Selección de muestras de preguntas

• Especificación del tipo de escala y reactivo

• Plan para decidir el énfasis relativo de cada elemento

Especificación del formato

• Elección múltiple

• Selección o identificación

• Ordenación del material estimular

• Situación/corrección

• Completar

• Construcción

• Presentación

Validación de contenido

• Validación por jueces expertos.

• Interrogación cognitiva.

• Entrevistas cognitivas.

Fases de prueba

• Evaluación de jueces.

• Prueba de comprensión.

• Entrevistas cognitivas / grupos focales.

• Aplicación experimental.

• Aplicación pre-piloto.

• Aplicación piloto.

Plan de análisis de ítems

• Teoría desde la cual se realizarán los análisis.

• Grupos en los que deberá ser aplicado.

• Tamaño de la muestra.

• ¿Se identifican subgrupos?

• Longitud del instrumento

• Tiempo de aplicación

• Puntuación criterio para el análisis

Valores estadísticos de cálculo

• Análisis descriptivo de ítems: análisis de frecuencias y estadísticos.

• Evidencias de confiabilidad: definición de tipo de confiabilidad.

• Evidencias de validez: análisis factorial y estudios de validación.

Manual del instrumento

• Especificar los usos del instrumento.

• Instrucciones completas para su administración.

• Instrucciones completas para su puntuación y tabulación.

• Tablas de normas para transformar las puntuaciones.

• Coeficiente de fiabilidad y precisión de medida.

• Datos sobre la validez del test.

Proceso de construcción del instrumentoEnfoque aplicado

Del concepto a la definición, a la operacionalizacióny a los indicadores


Concepciones y conceptos

Existe una diferencia entre las ideas que tenemos y los términos que utilizamos para definirlos. Las primeras podríamos considerar concepciones y los términos con los que comunicamos estas imágenes son los conceptos.

En la investigación utilizamos conceptos para definir los objetos de nuestra investigación. Estos conceptos se constituyen en construcciones conocidas como constructos.

Conceptos teóricos

Es importante definir cuál es el objeto de interés, lo que constituye el comienzo de la conceptualización.

Los conceptos pueden definirse como “símbolos lingüísticos que categorizan a los fenómenos”. Pueden derivarse de:

Reflexiones teóricas

Generalizaciones empíricas

Reflexiones propias de la experiencia social

Conceptos teóricos

El concepto es una familia de ideas, no se puede observar ni directa ni indirectamente porque como tal no existe. Nosotros lo construimos.

Algunos autores diferencian el concepto del constructo, el concepto es una “abstracción teórica” formada por la generalización de fenómenos similares, mientras que los constructos son conceptos sistemáticamente definidos para su uso en la teoría científica.

Definición conceptual y operacional

Tanto los conceptos como los constructos han de vincularse a variables empíricas u observacionales mediante una definición operacional. En ella se indica cómo piensa medirse el concepto, las variables con las que están vinculados y qué valores se diferenciarán en la misma. Este proceso de traducción de constructos teóricos a variables observables que le representan adecuadamente se define como operacionalización.

Operacionalización

1. Representación teórica del concepto, de forma que queden reflejados sus rasgos definitorios.

2. Especificación del concepto, descomponiéndolo en las distintas dimensiones o aspectos relevantes que engloba.

3. Para cada una de las dimensiones se selecciona una serie de indicadores que “indiquen” la extensión de cada dimensión.

4. Síntesis de los indicadores mediante el cálculo de índices. A cada indicador se le asigna un peso o valor de acuerdo a su importancia.

Operacionalización

1. Clarificar la definición constitutiva del constructo, la cual debe ser: adecuada y parsimoniosa. A este efecto se propuso recoger características de definiciones constitutivas existentes (de un diccionario o de investigaciones previas).

2. Determinar los referentes empíricos que pertenecen al constructo y cuáles no. Habrá que restringir el significando incrementando el número de características.

3. Asegurarse de que la etiqueta verbal dada al constructo sea comprendida inequívocamente. Una técnica es la estrategia de la sustitución, la intención es asegurar el control del campo semántico al que pertenece el término.

Los indicadores

Al referirnos a los conceptos indicamos que estos no son observables directamente. Por lo tanto, se deben buscar procedimientos que permitan la medición indirecta mediante manifestaciones externas, empíricas y observables.

Tales manifestaciones o expresiones reciben el nombre de indicadores.

La construcción de indicadores no suele constituir una tarea sencilla. Requiere de un profundo conocimiento de la manera en cómo se manifiesta el constructo.

Del concepto al indicador

Por medio de un proceso deductivo, los conceptos y las proposiciones que conforman una teoría se concretan en variables empíricas o indicadores, que posibiliten la contrastación empírica de la teoría:

LA DELIMITACON DE LOS CONCEPTOS

Definición nominal, teórica o conceptual.

Definición Operacional

LA DESCOMPOSICÓN DEL CONCEPTO EN DIMENSIONES

PARA CADA DIMENSION, BUSCAR INDICADORES

Construcción operacional

Ejercicio

1. Formemos grupos de 4 personas

2. Escojamos uno de los siguientes temas:

Inseguridad ciudadana

Percepción de inseguridad

Bienestar económico y social

Delincuencia juvenil

3. Elaboremos una definición conceptual, operacional y las dimensiones de las cuales se compone.


El enfoqueestructuralde Guttman


Unidad entre conceptualización, medición y análisis

Teoría de Facetas

La teoría de facetas se basa en los principios de la moderna teoría matemática de conjuntos de para definir el universo de contenidos representado por un conjunto finito de variables.

Teoría de Facetas

La idoneidad de la teoría faceta como una herramienta para la formulación de las definiciones de construcciones de comportamiento proviene de la claridad y precisión que aporta al proceso de identificación de componentes básicos de un conjunto de variables y de estos componentes en relación a los datos empíricos.

Teoría de Facetas

Al igual que la teoría de conjuntos, teoría de las facetas es una teoría estructural.

En esencia, se ofrece una aproximación a la definición de constructos comportamentales para probar hipótesis relativas a la correspondencia entre las definiciones de comportamiento y las observaciones empíricas sobre las variables representativas de un constructo.

Teoría de FacetasUna idea principal en la Teoría de Facetas es que en prácticamente todas las investigaciones empíricas en las ciencias sociales, en el fondo, la colección particular de variables utilizadas, por ejemplo un conjunto de ítems que forma un cuestionario, una encuesta, una escala o un conjunto de objetos geométricos utilizados en un experimento sobre percepción visual, no es el resultado de un interés del investigador por estos estímulos en particular, sino lo más probable es que considere que éstos son representativos de un universo más amplio de comportamientos.

Proceso de facetización

En total, se distinguen tres tipos de facetas:

• El primero se refiere a la población de los sujetos considerados en la investigación respectiva. Se pueda simbolizar este tipo con la letra P.

Bilsky, W. (2002) La Teoría de las Facetas:Informaciones Básicas y Aplicaciones Paradigmáticas


El segundo concierne al contenido de las variables investigadas (estímulos, ítems, preguntas), a continuación representado por la letra C. Juntas, las facetas de población y de contenido, determinan el domino de interés (domain of concern).



Finalmente, el tercer tipo se refiere al universo de las reacciones o respuestas de los sujetos investigados, o, para ser más exacto, al conjunto (set) de las categorías exclusivas, disponibles para evaluar las tareas o simplemente los ítems empleados en la investigación. Este tipo es denominado como rango (range) y simbolizado por la letra R.


Frase Configuracional:

Cuestionario de la Motivación ProsocialBilsky, W. (2002) La Teoría de las Facetas:

Informaciones Básicas y Aplicaciones Paradigmáticas


Bienestar SubjetivoLevy, S. and Guttman, L. On the multivariate structure of wellbeing.

Social Indicators Research, 1975, 2, 361-388.


Wechsler Intelligence Test for ChildrenGuttman, L. and Levy, S. Two structural laws for intelligence tests.

Intelligence, 1991, 15:79-103.

Frase Configuracional:Actitud en el sentido de satisfacción

Gratch, 1973, p. 36, citado en Levy, S. (1976) Use of the mapping sentence for coordinating theory and research: a cross-cultural example. Quality and Quantity, 10, 117-125.

Frase Configuracional:Madurez emocional

Ejercicio

Reelaborar el mismo constructo en términos de la definición facetizada.

Definir cuáles son las facetas que componen el constructo.


Operacionalización:Tabla de especificaciones


Tabla de especificaciones (TE)

Es una tabla de doble o triple entrada en la cual se consigan las dimensiones del constructo a evaluar.

Las dimensiones pueden tener distintos elementos, lo más habitual es combinar conductas x situaciones.

Otro aspecto a considerar es el peso que se le asigna a cada conducta.

Elaboración de la TE

Realice un listado de los aspectos que representan el constructo.

Para esto puede servir un listado de características identificadoras.

Definir los contextos vinculados.

Generar la tabla de especificaciones.

Elaboración de la TE

Situaciones

b1 b2 b3 b4

Características

a1

a2

a3

a4

Tabla de especificaciones

Área de desarrolloNivel I(niñez)

Nivel II(adolescencia)

Nivel III(adultez)

- Interacción entre pares

- Aspectos descriptivos y evaluativos del yo

- Desarrollo sexual:

- Cuidado Personal: Alimentación

- Cuidado Personal: Sueño

- Cuidado Personal: Higiene.

- Cuidado personal: Ropas

- Estado emocional: emociones en general

- Estado emocional: humor

- Estado emocional: Ira

- Estado emocional: llanto

Redacción de ítems


Esquema de decisiones

Dominio y contextode referencia

Ventajas e inconvenientesde cada formato

Muestra decontenidos

Elecciónde formato

Directrices parala construcción

Construccióndel ítem

Método tradicional: opiniones

Partiendo del supuesto de que las opiniones son actitudes verbalizadas, los ítems de las escalas de actitudes suelen tomar la forma de frases cortas, de afirmación que expresan opiniones que se pueden tener con respecto al objeto de la actitud medida.

Edwards enumera las características que deben tener los ítems:

Relevancia

Claridad

Discriminación

Bipolaridad

Relevancia

Las opiniones recogidas en los ítems deben ser relevantes y claramente relacionadas con el objeto; de la actitud.

Claridad

La mayoría de las normas que suelen darse para rectar los ítems tienen que ver con la claridad y podemos concretarlas en estas:

Utilizar expresiones sencillas.

Evitar dobles negaciones.

Evitar; o tener cuidado, con expresiones universales como siempre, nunca…

No utilizar expresiones que incluyan dos afirmaciones.

Discriminación

Se deben evitar opiniones con las que previsiblemente todos o casi todos van a estar de acuerdo o en desacuerdo, pues se trata de establecer diferencias entre los sujetos. Por esta razón los ítems deben reflejar opiniones y no hechos comprobables.

Bipolaridad

Por bipolaridad se entiende que los ítems deben ser, preferentemente, positivos unos y negativos otros: una actitud favorable se mostrará a veces mostrando acuerdo y otras mostrando desacuerdo.

Algunas observaciones

Una cuestión debatida es si es preferible una formulación obvia, que permita advertir qué se está midiendo o una formulación sutil que en la medida de lo posible enmascararse el constructo subyacente. La relevancia y la claridad de la formulación son más importantes que el esconder lo que se quiere medir; por otra parte, y con criterios de validez (relación con criterios externos) suelen ser mejores lo ítems que podemos denominar cándidos.


No se trata de una cuestión cerrada y se puede experimentar con unos y otros tipos de ítems durante el proceso de construcción. Ampliaremos este punto al tratar de la validez de contenido; se ha investigado mucho pero en relación a los testsde personalidad; tiene menos interés en las escalas de actitud.


En la primera redacción de los ítems puede ser conveniente expresar la misma idea de modos diferentes. Aunque la idea sea la misma, no siempre es previsible qué formulación va a ser más clara o más discriminante. Después del análisis de ítems se puede escoger la formulación más eficaz.


Como por ejemplo reproducimos seis ítems de una escala de actitud hacia el estudio; todos expresar la misma idea básica: nivel de aspiraciones; sin embargo su relación con el total es muy distinta.

Bibliografía

Cea D’Ancona, M. A. (2004) Métodos de encuesta. Teoría y práctica,

errores y mejora. Madrid: Síntesis.

Martínez, V. C. (2004) Diseño de encuestas de opinión. Madrid: RA-MA.

Morales Vallejo, P. (2006) Medición de actitudes en psicología y

educación. 3ª. Edición. Madrid: Comillas.

Silva Ayçaguer, L. C. (2000) Diseño Razonado de Muestras y Captación de

Datos para Investigación Sanitaria. Madrid: Díaz de Santos.

Instrumentos desarrollo y evaluación

Data & Analytics

Transcript of Instrumentos desarrollo y evaluación