Validacion de instrumentos

Dra. Ilse Janine Villavicencio Ramírez 1

VALIDEZ DE UN ESTUDIO


Desde la revolución científica ocurrida en el renacimiento en el siglo XV hasta nuestros días, el hombre se ha valido de la investigación científica para identificar las causas de las enfermedades o las mejores formas de tratarlas. Este elemento es parte integral del paradigma conocido como la Medicina Basada en la Evidencia. Este paradigma postula que las decisiones médicas deben basarse en la mejor evidencia científica disponible, adaptada al caso individual del paciente mediante la experiencia clínica.

Dra. Ilse Janine Villavicencio Ramirez 3

Es la credibilidad de sus resultados, o dicho de otra manera la capacidad de demostrar o refutar la hipótesis propuesta. Es máxima cuando el estudio carece de sesgos. En términos generales, los sesgos que afectan la validez interna surgen siempre que los grupos estudiados difieren en más características que la exposición. Por ejemplo, si se está estudiando la frecuencia de infarto de miocardio en un grupo de sujetos obesos o de peso normal, cualquier diferencia en la edad de los grupos podría afectar la relación entre la obesidad y la ocurrencia de infarto de miocardio. Asimismo, existe sesgo siempre que los grupos de sujetos no son evaluados de la misma manera.

1. La validez interna


La aplicabilidad de los resultados del estudio se relaciona con la validez externa del estudio. En muchas ocasiones el universo e incluso el marco muestral es demasiado grande como para ser estudiado e incluso muestreado; es estos casos se realiza el estudio en una porción deliberada de la población; teniendo en cuenta que el conglomerado seleccionado es lo suficientemente homogéneo con el resto de la población; los resultados encontrados en este grupo podrán ser extrapolados a la población objeto del estudio. Por ejemplo si tratamos de conocer la satisfacción de la atención en los pacientes de un servicio de salud; bastará con estudiar a los pacientes que acudan durante un mes a dicho servicio; otro ejemplo más claro es cuando tomamos una muestra de sangre con la finalidad de conocer concentración de gases y asumimos que lo encontrado en 10 mililitros corresponde a los 5 litros de sistema circulatorio.

2. La validez externa


Validación de Instrumentos

Si las herramientas de recolección usadas son defectuosas, hay que

olvidarse del éxito de la investigación. El tratamiento estadístico no conseguirá el milagro de transformar

datos de mala calidad en buenos resultados.

CONSTRUCCIÓN

Elaboración del instrumento preliminar: Definición de las dimensiones y de los ítems.


1. Validación cualitativa

Se realiza cuando no hay expertos sobre el tema ni estudios preliminares; por ejemplo se reclutan 10 unidades de estudio a quienes se les hace un seguimiento durante un tiempo necesario; para identificar preliminarmente los distintos tópicos del cuestionario a plantear y sus resultados son sometidos a un análisis cualitativo de contenido.


Un instrumento de medición debe contener representados a todos los ítems del dominio de contenido de las variables a medir. Se refiere al grado en que la medición representa al concepto medido. Es decir, que el instrumento debe contener todos los aspectos o ítems del dominio de la variable que se esta midiendo, y se construye de acuerdo con la teoría. Su finalidad es garantizar que el test constituye una muestra adecuada y representativa del contenido que éste pretende evaluar.

2. Validez de contenido (Juicio de Expertos o validación por jueces)

Primero : Identificación de los jueces Segundo : Revisión de los reactivos por parte de jueces expertos


a. Para variables numéricas: Se utiliza el índice de consistencia interna alfa de Cronbach; su aumenta cuando las correlaciones ítem – total son altas, por ello, mejores correlaciones, dan mayor fiabilidad al instrumento. Los ítems cuyos coeficientes de correlación son menores a 0,35 deben ser o recodificados reformulados o desechados (Cohen –Manion, 1990). Se recodifican los ítems cuya varianza se encuentran dentro del rango intercuartílico.

Es la fiabilidad en sentido estricto, y requiere de un pretest algunos autores la denominan Coherencia. Siendo un procedimiento estadístico se considera la naturaleza de las variables.

3. Consistencia interna (Alfa de Cronbach)

Dra. Ilse Janine Villavicencio Ramirez

9

a. Para variables numéricas: El coeficiente de fiabilidad es afectado por la heterogeneidad de los individuos que contestan la prueba; cuanto más heterogéneo es el grupo de encuestados, mayor es el coeficiente de fiabilidad. Así entonces, este coeficiente no es una propiedad exclusiva del instrumento en si, sino que es del instrumento para un determinado grupo de personas en una determinada situación (Lang Silveira, 1993). Se puede decir también que es un índice de discriminación. Este método supera ampliamente a la fiabilidad por equivalencia donde el cuestionario se divide en dos mitades (se divide en 2, pares e impares) y se aplica una t de student. En los casos de puntajes generados por instrumentos para comparar grupos a través de diferencias de medias, se toma 0,7 como valor mínimo aceptable (Lang Silveira, 1993).

3. Consistencia interna (Alfa de Cronbach)

Alfa de Cronbach


Él método de fiabilidad más utilizado en psicometría es el Alfa de Cronbach (desarrollado el año 1951). Se trata de un índice de consistencia interna que toma valores entre 0 y 1 y que sirve para comprobar si el instrumento que se está evaluando recopila información defectuosa y por tanto nos llevaría a conclusiones equivocadas o si se trata de un instrumento fiable que hace mediciones estables y consistentes. Alfa es por tanto un coeficiente de correlación al cuadrado que, a grandes rasgos, mide la homogeneidad de las preguntas promediando todas las correlaciones entre todos los ítems para ver que, efectivamente, se parecen.

Su interpretación será que, cuanto más se acerque el índice al extremo 1, mejor es la fiabilidad, considerando una fiablilidad respetable a partir de 0,80

Formulación El cálculo del coeficiente de Cronbach puede

llevarse a cabo de dos formas:


a) Bien mediante la varianza de los ítems y la varianza del puntaje total:

Siendo

la suma de varianzas de cada ítem.

la varianza del total de filas (puntaje total de los jueces)

K el número de preguntas o ítems.

b) o bien mediante la matriz de correlación de los ítems:

Siendo n el número de ítems, p el promedio de las correlaciones

lineales entre cada uno de los ítems

α =


Denominada también fiabilidad como equivalencia o también precisión: Es el equivalente de la consistencia interna para la consistencia interna y se calcula con el índice KAPPA de Cohen. Criterio: es una comparación entre nuestra situación de medida y un estándar al que se le llama criterio. Es disponer de otra situación de la que conozco su validez. Pero se requiere de consenso entre la comunidad científica, se trabaja en relación al criterio o Gold Standard (patrón de oro). Es el patrón de comparación de cualquier medida para determinar si es válida. A éste se deberá comparar cualquier medida que se aprecie de ser válida. El índice kappa se le considera como muy bueno a partir de 0,8 y muy malo por debajo de 0,20.

4. Validez de criterio (Índice Kappa)


Si se trabaja con variables dicotómicas, el análisis pasa a llamarse análisis de sensibilidad y especificidad. Cuando no hay criterios, hay que idearlos o inventarlos, y el Kappa se calculará para cuantificar el grado de acuerdo entre los observadores, corrigiendo de esta manera el factor azar. Solo en este caso se le denomina fiabilidad por equivalencia o concordancia entre observadores. El instrumento y el estándar se miden al mismo tiempo, en cuyo caso se llama “validez de criterio concurrente” y cuando el instrumento y el estándar no son medidos a la vez se habla de “validez de criterio predictiva” en este último caso, debemos conocer previamente los datos del estándar y lo que se obtiene es la predicción.

4. Validez de criterio (Índice Kappa)


En ocasiones tenemos una medición que hay que valorar y no contamos con un criterio o estándar, el procedimiento consiste en aplicar el instrumento a dos o más grupos y ver si discrimina. Para ello hay que contar con una estructura Factorial del cuestionario. Por ejemplo en los instrumentos para medir variables psicológicas no podemos garantizar la existencia de un constructo psicológico que subyaga y dé sentido y significado a las puntuaciones del test; por lo mismo que no tenemos una prueba patrón.

5. Validez de constructo (Rotación de Varimax)


La Estabilidad o confiabilidad se refiere a la confianza que se concede a los datos; requiere de un retest en condiciones similares a la primera evaluación y está relacionada con la estabilidad o constancia test-retest. Se trata de ver hasta que punto un conjunto de medidas son reproducibles en el tiempo, el grado en que las puntuaciones son estables sería el grado de fiabilidad. Por ello es sinónimo de estabilidad. La mayoría de las variables biológicas no admiten este tipo de fiabilidad. Se viola el supuesto de independencia. Sobrestima la fiabilidad de la situación de medida. Es imposible decir, que las circunstancias de la primera medida son idénticas a la segunda evaluación. Siempre hay cambios.

6. Estabilidad (ANOVA)


Muchas variables cuantitativas y continuas se dicotomizan. Habitualmente requerimos que el instrumento nos conduzca a una decisión dicotómica (positivo-negativo) para tratar o no a alguien; Se realizan trazando un diagrama en el que la ordenada es la sensibilidad y la abscisa la especificidad. En este sentido la curva ROC nos muestra en un gráfico todos los pares sensibilidad-especificidad resultantes de la variación continua de los puntos de corte en todo el rango de resultados observados. Las Curvas de Roc optimizan el punto de corte. Cuanto más sensible y especifica sea la prueba (representación: puntos más hacia arriba y más hacia la izquierda) más se alejará de la diagonal, el mejor punto de corte es el que más se aleja de la diagonal.

7. Punto de corte (Curvas ROC)


NOTAS: Se recomienda aplicar como mínimo a una cantidad de individuos igual a 5 veces el número de ítems a efectos de evitar obtener correlaciones ítem – total espuriamente altas (Hair et al., 1998:99). Esto es también útil para la rotación de Varimax En el instrumento debe armarse en función a núcleos temáticos o dimensiones que conformen subtests, cada uno de ellos construido por diversos ítemes, cada uno con su correspondiente puntaje, que genera a su vez un puntaje total particular para cada unidad de estudio.


OBJETIVO ESTADÍSTICO

Nivel Investigativo Relacional

Var Numérica


1. COMPARAR (Grupos): Su finalidad es identificar las diferencias entre los grupos participantes; se puede comparar dos o más grupos y habitualmente estos grupos se construyen en la etapa de planificación del estudio. La comparación inicial es a dos colas; pero debe complementarse con un test de una sola cola. Cuando se comparan mas de dos grupos, debe realizarse una prueba post Hoc, con la finalidad de detectarse diferencias entre cada uno de los grupos.

La prueba de hipótesis se realiza con el estadístico: t de Student para muestras independientes.

Ho: Los promedios de los grupos no son diferentes. H1: Los promedios de los grupos son diferentes.


2. COMPARAR (Antes - Después): Siempre corresponde a estudios individuales, es la comparación de un mismo grupo antes y después de una intervención o de un acontecimiento; la idea de hacer dos medidas sobre el mismo grupo, es detectar cambios entre una medida y otra; donde las variaciones pueden adjudicarse a la intervención o al periodo de seguimiento; por ello corresponden a estudios longitudinales. La hipótesis habitualmente es de una sola cola.

La prueba de hipótesis se realiza con el estadístico: t de Student para muestras relacionadas.

Ho: No existe variación entre las medidas antes y después de la intervención. H1: Existe variación entre las medidas antes y después de la intervención.


3. CORRELACIONAR (Unidades): Se puede correlacionar las unidades de dos variables, incluso de diferente dimensión, para ello hay que definir las unidades en ambas variables; que habitualmente esta involucra dos eventos aleatorios. La correlación puede significar el primer paso para la asociación, muy útil cuando se realiza minería de datos. Ejm.: Correlacionar los niveles séricos de sodio con los valores de presión arterial en un grupo de pacientes hospitalizados.

La prueba de hipótesis se realiza con el estadístico: Correlación R de Pearson.

Ho: Existe independencia entre las dos variables. H1: Existe dependencia entre las dos variables.


22

4. CORRELACIONAR (Como valor predictivo): Aquí se tiene por descontado la presencia de correlación; por lo que su fin es medir el grado de correlación. Desde el punto de vista de la evaluación de pruebas diagnósticas se utiliza la correlación para evaluar el valor predictivo de una variable sobre la otra. Ejm. Hallar el valor predictivo del ponderado fetal recién nacidos a término. En general para la validación de instrumentos se puede utilizar para calcular el Alfa de Cronbach: Correlación Ítem-Total.

La prueba estadística es el Índice Correlación R de Pearson ó el R2

Ho: No existe correlación entre las dos medidas.

H1: Existe correlación entre las dos medidas.


ESCALAS DE MEDICIÓN

DE LAS VARIABLES


VARIABLES CATEGÓRICAS O CUALITATIVAS

1.1 Escala NOMINAL: Posee categorías a las que se

asigna un nombre sin que exista ningún orden implícito entre ellas. (ningún atributo)

• Género: Masculino - Femenino

• Estado Civil: Soltero - Casado - Conviviente



1.2 Escala ORDINAL: Posee categorías ordenadas,

pero no permite cuantificar la distancia entre una categoría y otra. (un atributo - Orden)

• Instrucción: Primaria - Secundaria - Superior

• Intensidad del dolor: Leve - Moderado - Severo



Dicotómicas: Tienen solamente dos categorías. Ejemplos de Ordinal Dicotómica:

Nuevo - Continuador Vivo - Muerto Sano – Enfermo

Politómicas: Tienen más de dos categorías.

OBSERVACIONES


27

VARIABLES NUMÉRICAS O CUANTITATIVAS

Escala DE INTERVALO: Tiene intervalos iguales y

medibles. No tiene un origen real, por lo que puede asumir valores negativos. (dos atributos - Orden y Distancia)

• Temperatura: -10OC, 0OC, 20OC, etc.

• Hora del día: 00 horas, 10 horas, 20 horas


28


Escala DE RAZÓN: Tiene intervalos constantes entre valores; además de un origen real. El cero significa la ausencia del individuo. (tres atributos - Orden, Distancia y Origen)

• Peso: 00.00Kg, 10.24Kg, 20.00Kg, etc.

• Hijos: Uno, Dos, Tres, etc.



Continuas: Provienen de medir

– Se pueden representar con números enteros o fraccionarios

– Entre dos valores siempre existe un valor intermedio

Discretas: Provienen de contar

– Solamente pueden ser representados con números enteros

OBSERVACIONES


30

PRUEBAS ESTADÍSTICAS DE ACUERDO

AL TIPO DE VARIABLE

OBJETIVO COMPARATIVO


31

Variable de estudio

Diseño y Número de grupos

NOMINAL DICOTOMICA

NOMINAL POLITÓMICA ORDINAL

Estudio Transversal

Muestras

Independientes

Un grupo

X2 Bondad de Ajuste

Binomial

X2 Bondad de Ajuste

X2 Bondad de

Ajuste

Dos grupos

X2 de Homogeneidad

Corrección de Yates Test exacto de

Fisher

X2 de Homogeneidad

U Mann-

Withney

Más de dos

grupos

X2 de Homogeneidad

X2 de Homogeneidad

H Kruskal-Wallis

PRUEBAS NO PARAMETRICAS


Variable de estudio


NOMINAL DICOTOMICA

NOMINAL POLITÓMICA ORDINAL

Estudio Longitudinal

Muestras

Relacionadas

Dos medidas Mc Nemar Q de Cochran Wilcoxon

Más de dos

medidas Q de Cochran Q de Cochran Friedman

PRUEBAS NO PARAMETRICAS


Variable de estudio


NUMÉRICA

Estudio Transversal

Muestras

Independientes

Un grupo

T de Student para una muestra

Dos grupos

T de Student para muestras independientes

Más de dos

grupos

ANOVA con un factor entre sujetos

PRUEBAS PARAMETRICAS


Variable de estudio


NUMÉRICA

Estudio Longitudinal

Muestras

Relacionadas

Dos medidas

T de Student para muestras relacionadas

Más de dos

medidas

ANOVA para medidas repetidas

PRUEBAS PARAMETRICAS

Validacion de instrumentos

Documents

Transcript of Validacion de instrumentos