Cálculos de Poder · de (bajo 50% de tratamiento, 5% sig y 90% poder) 0.2 Modesto El participante...

Cálculos de Poder

Juan Saavedra

RAND Corporation

¿Qué es poder estadístico?

¿Qué es poder estadístico?

Beta= Impacto

¿Por qué calcular poder?

Tema práctico:

• Ayuda a anticipar si el tamaño de la muestra será lo

suficientemente grande para detectar “efectos

esperados”.

• Administrar encuestas y tratamientos puede ser

muy caro y uno tiene que adherirse a un

presupuesto.

• Necesario optimizar la muestra al presupuesto.

• Tamaño de muestra limitado por factores de

implementación.

Incertidumbre

Tema Estadístico

• Queremos minimizar las probabilidades de no poder

rechazar la hipótesis nula dado que es falsa.

• Cálculos de poder dependen de algunos parámetros

con valores desconocidos.

¿De qué depende el poder muestral?

Beta= Impacto

¿De qué depende el poder muestral?

La probabilidad de rechazar la hipótesis nula dado que es

falsa depende (principalmente) de:

• Magnitud del efecto bajo la hipótesis alternativa

• Tamaño de muestra

• Varianza de los resultados en la población

• Criterio de significancia

• Diseño

Formalicemos la intuición…

La hipótesis que queremos probar es:


La hipótesis que queremos probar es:

En muestras grandes se rechaza la hipótesis nula si:

Donde:


Pero si β>0, en muestras grandes:


Pero si β>0, en muestras grandes:

Por tanto, el poder muestral es:

Gráficamente…

Beta= Impacto


Restando β/SE(.) a ambos lados:


Aplicando la función inversa de Φ(∙) a ambos lados de la ecuación y utilizando el hecho de que la distribución normal es simétrica y centrada en cero obtenemos:


Aplicando la función inversa de Φ(∙) a ambos lados de la ecuación y utilizando el hecho de que la distribución normal es simétrica y centrada en cero obtenemos:

Por tanto, para alcanzar un poder κ es necesario que:


Es decir, el EFECTO MINIMO DETECTABLE es tal que:

Puesto que el EFECTO MINIMO DETECTABLE es generalmente una diferencia de medias en el indicador de impacto entre tratamientos y controles:


Resolviendo para N tenemos:



¿De qué depende N?



¿De qué depende N? Efecto Mínimo Estandarizado

Ejercicio 1

Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la productividad agrícola. Con asignación individual 50% a tratamiento y 50% a control y sin línea de base, estime cuantos agricultores necesita si quiere encontrar un incremento en el rendimiento por hectárea de 10% dado un rendimiento promedio de 50 kilos/hectárea y una desviación estándar de 60 kilos/hectárea. Asuma significancia de 5% y poder de 90% tal que: tα=1.65 t1-κ=1.28

Tamaño del Efecto

Tamaño del

Efecto de….

Es considerado.. Lo que significa que… Necesita un N

de (bajo 50% de

tratamiento, 5%

sig y 90%

poder)

0.2 Modesto El participante promedio

del grupo de tratamiento

tuvo un resultado mejor

que el 58 percentil del

grupo de control

859

0.5 Grande El participante promedio




grupo de control

138

0.8 MUY grande El participante promedio




grupo de control

54

Distribución tratamientos/controles

¿Es siempre deseable 50% de la muestra total en cada

grupo?

¿Por qué si?



grupo?

¿Por qué si? Minimiza la varianza



grupo?


¿Por qué no?



grupo?


¿Por qué no? Cuando el tratamiento es caro y la

recolección de datos barata, asignación óptima esta

dada por:

Donde Cc y CT son costos unitarios de encuesta + tratamiento

¿Cómo incrementar el poder muestral?

¿Dado un N, un nivel de significacia y un nivel de

poder, se puede reducir el EFECTO MINIMO

DETECTABLE?

Si, con covariables de línea de base


Es un caso particular de:

Donde R2 es la proporción de la varianza en el indicador de impacto que explican las covariables de línea de base.

Ejercicio 2

¿Cuál es el EFECTO MINIMO DETECTABLE de un

programa de capacitación laboral para el que, σ=$7,000, N=500, q=0.5, R2=0, tα=1.65 y t1-κ=1.28 ?

Ejercicio 2

¿Cuál es el EFECTO MINIMO DETECTABLE de un

programa de capacitación laboral para el que σ=$7,000, N=500, q=0.5, R2=0, tα=1.65 y t1-κ=1.28 ?

¿Y si ahora R2=0.2?




DETECTABLE?

Sí, con covariables de línea de base.

Sí, balanceando la distribución de covariables de línea

de base entre los grupos de tratamiento y control.




DETECTABLE?

Si, con covariables de línea de base.

Si, balanceando la distribución de covariables de línea


¿Cómo puedo balancear la distribución de covariables

de línea de base entre tratamientos y controles?


Estratificando: dividiendo la muestra de análisis en estratos (bloques) según alguna característica (por ejemplo, hombres y mujeres) y aleatorizando al interior de cada estrato.


Estratificando: dividiendo la muestra de análisis en estratos (bloques) según alguna característica (por ejemplo, hombres y mujeres) y aleatorizando al interior de cada estrato. Varianza total del indicador de impacto (en ausencia de estratificación) es la suma de la varianza entre estratos y la varianza al interior de cada estrato:


Y el EFECTO MINIMO DETECTABLE se puede escribir como:

Entre mayor la varianza entre estratos (en ausencia de estratificación) mayor la ganancia de poder muestral que obtengo estratificando.




DETECTABLE?

Sí, con covariables de línea de base.

Sí, balanceando la distribución de covariables de línea


Sí, usando pruebas de significancia estadística

direccionales (Bloom, 1995)

Intuición gráfica: prueba direccional

Beta= Impacto

Intuición gráfica: prueba no direccional

Beta= Impacto

Recordemos que…

Cumplimiento Imperfecto

Cuando la asignación al tratamiento no es idéntica al

tratamiento recibido:

• Diseño por invitación/estímulo

• Algunos asignados a tratamiento deciden no recibirlo

• Algunos que no fueron asignados sí reciben

tratamiento


Denotemos como d la diferencia en la participación (P) entre tratamientos y controles. Si z es la asignación al tratamiento:


Denotemos como d la diferencia en la participación (P) entre tratamientos y controles. Si z es la asignación al tratamiento:

Podemos re-escribir ecuación que define EFECTO MÍNIMO DETECTABLE en función de d como:

Impacto de Cumplimiento Imperfecto

Con diferencia de 50% entre la participación de tratamientos y controles:

Asignación aleatoria por conglomerados

• Hasta ahora, nos hemos enfocado en asignaciones

aleatorias a individuos.

• Pero en mucho casos es deseable y/o necesario

aleatorizar a un nivel de agregación grupal: municipio,

escuela, aula de clase, etc, tal que:

• Individuos dentro de cada conglomerado reciben

el mismo tratamiento.

• ¿Puede esto afectar los cálculos de poder estadístico

de un experimento? ¿Cómo?

Impacto de asignación por conglomerados

• Los individuos dentro de cada conglomerado

comparten carácterísticas comunes:

• Estudiantes dentro de una misma aula de clase

comparten el mismo profesor y los mismos

compañeros.

• Individuos dentro de cada conglomerado no

representan observaciones independientes:

• Un individuo adicional no aporta el mismo poder

que en un diseño simple (a nivel individual).


El EFECTO MÍNIMO DETECTABLE se puede escribir como:

Donde J es el número de conglomerados, n número de individuos en cada conglomerado, ρ es la correlación intra-clase. Cuando ρ>0, J tiene (mucho) mayor impacto sobre EMD que n ¿Por qué?


La razón entre el error estándar del impacto estimado bajo asignación por conglomerados y bajo asignación individual se denomina efecto de diseño:

Cuando ρ=0, asignación por conglomerados tiene el mismo poder estadístico que la asignación individual

¿Qué tan malo puede ser?

Si ρ = 0.2,

En un experimento con 50 escuelas: D =√(1+(n-1) ρ)=

3.3

Con 30 estudiantes por escuela, N = 1500

Efecto Mínimo Detectable estandarizado con

aleatorización individual: 0.15

Efecto Mínimo Detectable estandarizado con efecto de

diseño: 0.15*3.3 = 0.50

Transición de “pequeño” a “grande”

Tomado de Lipsey y Hurley (2009)

Ejemplos de Valores de ρ en educación

Busia, Kenia: Matemáticas y Lenguaje 0.22

Udaipur, India: Matemáticas y Lenguaje 0.23

Mumbai, India: Matemáticas y Lenguaje 0.29

Vadodara, India: Matemáticas y Lenguaje 0.28

Busia, Kenia: Matemáticas 0.62

Chile: Comprensión Lectora, clusters de

clases en escuelas municipales

0.42

¿Ideas centrales a manera de resumen?

¡Gracias!

Cálculos de Poder · de (bajo 50% de tratamiento, 5% sig y 90% poder) 0.2 Modesto El participante...

Documents

Transcript of Cálculos de Poder · de (bajo 50% de tratamiento, 5% sig y 90% poder) 0.2 Modesto El participante...