METODOLOGA CUANTITATIVA II

2 SEMESTRE 2012

Sebastin Ibarra Gonzlez

Mdulo 3

Evaluacin calidad del instrumento:

confiabilidad y validez

I. Introduccin

Cuando realizamos la medicin de conceptos

complejos a travs de un instrumento

estructurado inevitablemente surge la siguiente

pregunta: cun confiable y vlido es nuestro

instrumento de medicin (ndice o escala)?

I. Introduccin

Confiabilidad: grado en que la aplicacin repetida de un instrumento en los mismos sujetos u objetos produce los

mismos resultados, es decir, que los resultados sean estables

en el tiempo.

Ejemplo: que los resultados obtenidos en la medicin de inteligencia sean

similares si aplico el instrumento hoy y lo vuelvo a aplicar en un mes ms.

Validez: grado en que el instrumento mide las variables que pretende medir.

Ejemplo: que un instrumento diseado para medir inteligencia mida

realmente esa variable y no otra (por ejemplo capacidad de memoria).

I. Introduccin

La preocupacin por la confiabilidad y validez de un instrumento de medicin surge a partir de la identificacin de las limitaciones y problemas implicados en

todo proceso de medicin (y ms an en las ciencias sociales).

Se debe asumir que nunca alcanzaremos un grado total de confiabilidad y validez.

Lo ms relevante es tener conciencia de cules son los errores ms comunes en el proceso de medicin:

Errores de medicin

- Problemas del diseo del instrumento.

- Influencia del entrevistador.

- Actitud negativa del entrevistado.

- Condiciones de aplicacin (distractores)

Errores de no observacin

- Problemas de representatividad de la muestra.

- Errores de no muestreo.

- Errores de no respuesta.

Errores de procesamiento de

datos

- Errores de digitacin.

- Errores de codificacin.

II. La confiabilidad de un instrumento

De acuerdo a Asn (2006) existen dos problemas especficos que disminuyen la

confiabilidad de un instrumento, es decir, su capacidad para obtener siempre

el mismo resultado al aplicarse a un sujeto que no ha cambiado en la propiedad

que deseamos medir:

1. Impacto de variables externas y coyunturales sobre las respuestas de

los sujetos: experiencias recientes, estado de animo, etc. Hay preguntas que

se ven ms afectadas por este problema:

Preguntas que miden fenmenos afectivos o emocionales. Preguntas que tienen poco especificadas las alternativas de respuesta.

2. La influencia del azar en la seleccin de las respuestas. Si el sujeto no

encuentra una respuesta que se ajuste adecuadamente a su opinin,

recuerdo o percepcin intentar encontrar otra respuesta cercana a su opcin

ideal. Se trata de una seleccin aleatoria entre opciones equidistantes a su

opinin verdadera. Hay que preguntas que se ven ms afectadas por este

problema:

Preguntas sobre temas que resulten poco pertinentes a los sujetos.

II. La confiabilidad de un instrumento

Confiabilidad

ESTABILIDAD

CONSISTENCIA

INTERNA

EQUIVALENCIA

La confiabilidad se puede interpretar de 3 modos distintos, existiendo para cada uno

de ellos procedimientos de chequeo especficos.

III. La confiabilidad de un instrumento

1. Estabilidad (confiabilidad test - retest): el instrumento presenta en

forma consistente los mismos resultados en dos o ms ocasiones

sucesivas.

El instrumento se debe aplicar dos o ms veces en una misma muestra despus de un periodo de tiempo.

Si la correlacin entre los resultados es positiva el instrumento se considera confiable.

Se debe tener en consideracin el factor tiempo. Desventaja: doble aplicacin y el factor memorizacin del instrumento.

III. La confiabilidad de un instrumento

2. Equivalencia (formas alternativas o paralelas): se evala la

equivalencia de dos versiones de un mismo instrumento que se ha

comprobado que miden lo mismo.

La aplicacin de las versiones del instrumento se debe realizar con una distancia temporal.

Las versiones del instrumento deben ser similares en contenido, instrucciones, duracin, dificultad, etc.

El instrumento ser confiable si los resultados de ambos instrumentos estn correlacionados.

Ventaja: no existe problemas de memorizacin del instrumento.

Desventaja: costos adicionales relacionados con la elaboracin de dos o ms versiones del instrumento.

III. La confiabilidad de un instrumento

3. Consistencia Interna: para evaluar este tipo de confiabilidad slo se

requiere una aplicacin del instrumento. Existen dos

procedimientos para evaluar este tipo de confiabilidad:

3.1. Mtodo de mitades partidas: el conjunto de tems se divide en dos mitades

y los resultados de ambas se comparan. Si estn correlacionados se puede

afirmar que el instrumento presenta consistencia interna.

Supuesto: un sujeto con baja puntuacin en una mitad, tender a tener tambin una baja puntuacin en la otra mitad.

Ventaja: se requiere una sola aplicacin del instrumento. Desventaja: costos asociados a la generacin de un instrumento ms extenso y

cansancio del encuestado debido a la extensin del cuestionario.

Instrumento (tems):

1-2-3-4-5-6-7-8

1 Mitad: 2-5-7-8

21 Mitad: 1-3-4-6

Resultado

Resultado

Correlacin

III. La confiabilidad de un instrumento

3.2. Universo de tems: anlisis de la interrelacin entre el conjunto de tems

del instrumento.

Se aplica cuando hay homogeneidad entre los tems de un instrumento: cuando miden un mismo constructo.

Cuando todos los tems miden un solo concepto se espera una alta consistencia interna.

Cuando un instrumento mide mltiples dimensiones de un concepto complejo, se espera que un conjunto de tems relacionadas a una dimensin estn ms

relacionadas entre s que con el resto del instrumento.

Para evaluar este tipo de confiabilidad se utilizan dos coeficientes estadsticos: - Coeficiente Alfa de Cronbach.

- Coeficiente Kunder Richarson (se utiliza para ndices dicotmicos).

- Ambos coeficientes van de 0 (nula consistencia interna) a 1 (mxima

consistencia interna).

IV. Evaluacin de la confiabilidad en SPSS

1. Encuesta de Opinin Pblica de la Universidad Diego Portales (2009).

2. Conjunto de preguntas en las que se centra el anlisis: preguntas 72 (1-15) y

preguntas 92 (1-10).

3. Anlisis descriptivo de preguntas 72 (1-15): ndice de consumo responsable.

4. Anlisis descriptivo de preguntas 92 (1-10): ndice de satisfaccin con la vida.

5. Construccin de ndices sumatorios.

6. Anlisis de confiabilidad de ndices (Coeficiente alfa de Cronbach).

IV. Evaluacin de la confiabilidad en SPSS

Elementos a considerar en la interpretacin del coeficiente Alfa de Cronbach:

El puntaje del coeficiente va de 0 (nula consistencia interna) a 1 (mxima consistencia interna). Criterios de interpretacin de los puntajes:

PUNTAJE INTERPRETACIN

0.9 o ms Excelente

0.8 8.9 Bueno

0.7 0.79 Aceptable

0.6 0.69 Bajo

0.5 0.59 Muy bajo

Menos de 0.5 Inaceptable

IV. Evaluacin de la confiabilidad en SPSS

Salida de resultados en SPSS:

Anlisis descriptivos. Estadstico de confiabilidad. Matriz de correlaciones. Estadstico total elemento: alfa de Cronbach si se elimina el

elemento.

Cmo se puede mejorar la confiabilidad ?

Eliminar tems que se correlacionan poco con la escala. Eliminar tems con poca variabilidad. Aumentar nmero de tems que se relacionan con la escala.

V. La validez de un instrumento

La validez hace referencia a si el instrumento (test) efectivamente mide el concepto que dice medir y no otros conceptos.

La validez es siempre parcial, ya que siempre estaremos midiendo parcialmente otros conceptos distintos a los buscados.

De acuerdo a Asn (2006) existen un conjuntos de limitaciones de la medicin

que pueden afectar la validez de un instrumento de medicin cuantitativa:

1. El autoreporte.

2. Influencia de las caractersticas particulares de cada pregunta.

3. Adaptacin de los sujetos a las respuestas.

4. Cristalizacin.

5. Adopcin de roles por parte del encuestado.

6. Ambigedad en la interpretacin de los puntajes.

7. Omisin de preguntas.

8. Incomprensin de preguntas.

V. La validez de un instrumento

VALIDEZ

CONTENIDO

CONSTRUCTO CRITERIO

La validez se puede interpretar de 3 modos distintos, existiendo para cada uno de

ellos procedimientos de chequeo especficos.

V. La validez de un instrumento

1. Validez de contenido: grado en que el instrumento refleja un

dominio especfico del contenido de la variable que se mide. La

medicin debe representar el concepto medido en todas sus

dimensiones.

Ejemplo:

Concepto: Capital social

1. Nivel de informacin

2. Participacin

3. Redes de ayuda

4. Confianza

5. Accin colectiva

6. Cooperacin

7. Empoderamiento

8. Liderazgo

9. Accin poltica

Instrumento para

medir Capital social

1.Redes de ayuda

2.Confianza

3.Accin colectiva

4.Cooperacin

Se trata de un instrumento que

no tiene validez de contenido

V. La validez de un instrumento

Procedimiento para determinar la validez de contenido: anlisis de jueces y anlisis de tems y preguntas.

Definicin conceptual

y de dimensiones

Diseo del instrumento

Construccin definitiva

del instrumento

Anlisis de jueces

Anlisis de jueces

- Distribucin de respuestas.

- Asociacin o correlacin entre tems.

- Relacin entre tems y puntaje global.

- Anlisis de dimensiones (anlisis

factorial)

V. La validez de un instrumento

2. Validez de criterio: se establece comparando los resultados del

instrumento (test) con un criterio externo. Mientras mayor sea la

asociacin o correlacin entre los resultados del instrumento

(test) y el criterio establecido, mayor ser la validez de criterio.

Un criterio es una variable distinta del test que se toma como referencia,

que se sabe que es un indicador de aquello que el test pretende medir o

que se sabe que debe presentar una relacin determinada con lo que el

test pretende medir.

V. La validez de un instrumento

2.1. Validez concurrente: los resultados del instrumento se correlacionan

con el criterio establecido en el mismo punto del tiempo. Ejemplo:

- Instrumento: Intencin de voto / Criterio: Resultado de las elecciones.

- Criterio: Promedio de notas en el colegio / Instrumento: PSU

2.2. Validez de predictiva: los resultados del instrumento se correlacionan

con un criterio medido en el futuro. Ejemplo:

- Instrumento: Prueba de capacidad administrativa / Criterio:

Desempeo de los ejecutivos.

**Es el caso de todas las pruebas de seleccin y clasificacin de

personal.

V. La validez de un instrumento

3. Validez de constructo: grado en que una medicin se relaciona

consistentemente con otras mediciones de acuerdo con hiptesis

sustentadas tericamente.

Un constructo es una variable medida y que se enmarca dentro de

una teora o esquema terico.

Ejemplo:

Instrumento que

mide MOTIVACIN

LABORAL

Revisin de antecedentes y

marco terico: relacin

positiva entre motivacin

laboral y persistencia en

el desarrollo de una tarea

Se miden ambas variables

y se correlacionan. Si la

correlacin es positiva

se aporta evidencia para

la validez de constructo

del instrumento

V. La validez de un instrumento

Procedimiento para determinar la validez de constructo:

1. Establecer y especificar la relacin terica entre los conceptos.

2. Correlacionar las mediciones de ambos conceptos.

3. Interpretacin de la evidencia emprica: aporta o no a la validez de

constructo del instrumento, para finalmente poder afirmar que el

instrumento realmente mide lo que se propone medir.

VI. Aplicacin del Anlisis Factorial para

evaluar la validez de un instrumento

El Anlisis Factorial es una tcnica de reduccin de datos que sirve para encontrar grupos homogneos de variables a partir de un conjunto numeroso

de variables.

Los grupos de variables homogneas se forman a partir de las variables que se correlacionan entre s (interdependencia de variables). De esta manera se

descubren las diferentes dimensiones de variabilidad comn existente en un

cierto campo de fenmenos.

Su objetivo final es buscar el menor nmero de dimensiones (factores, componentes o variables latentes) capaces de explicar el mximo de

informacin contenida en los datos.

VI. Aplicacin del Anlisis Factorial para

evaluar la validez de un instrumento

Usos del Anlisis Factorial:

Explorar cmo se interrelacionan un grupo de variables entre s.

Determinar qu factores o dimensiones latentes hay detrs de un conjunto de variables (anlisis factorial exploratorio).

Evaluar validez de contenido (anlisis factorial confirmatorio). Para estudiar un concepto determinado se han observado una serie de indicadores, el

anlisis factorial permite ver si el comportamiento de estos indicadores

responde a una dimensin comn (concepto que queremos medir).

Referencia bibliogrfica

- Asn, R. (2006). Construccin de cuestionarios y escalas: el proceso de la

produccin de informacin cuantitativa. En Canales, M. (ed). Metodologas de

Investigacin Social. Introduccin a los oficios. Santiago de Chile: LOM. (Extracto:

La validez y fiabilidad de la investigacin con cuestionarios).

- Hernndez, R., Fernndez, C. y Baptista, P. (1991). Metodologa de la

Investigacin. Mxico: McGraw-Hill. Captulo 9: Recoleccin de datos (pp. 241-251).