Download - Curso de Estadística no-paramétricainscripciones.adeit-uv.es/econgres/finanzas_2012-13/handout_tema1.pdf · Curso de Estadística no-paramétrica Sesión 1: Introducción Inferencia

Curso de Estadística no-paramétricaSesión 1: Introducción Inferencia no Paramétrica

David Conesa

Grup d’Estadística espacial i Temporal Departament d’Estadísticaen Epidemiologia i Medi Ambient i Investigació Operativa

Universitat de València

Junio 2013

Introducción Est. paramétrica Est. no paramétrica Introducción SPSS Análisis 1 muestra var. continua

Inferencia Estadística

Estadística: recopilación, presentación, análisis y uso de los datos con elobjetivo de tomar decisiones y resolver problemas.

¿Necesaria? → Los procesos de la vida real presentan variabilidad.el número de empresas que cierran por año es diferente,la cantidad de lluvia recogida en un dia en una determinada zona varía,el precio de una acción varía continuamente, etc.

La Probabilidad juega un papel destacado en el razonamiento científico:El azar está presente en gran parte de los procesos cotidianos.Los resultados experimentales presentan variabilidad atribuible afactores no controlados por el experimentador.La selección de las unidades experimentales se basa en mecanismosaleatorios.

Las conclusiones de un análisis estadístico se formulan en términosprobabilísticos, ya que los modelos probabilísticos fundamentan lajustificación teórica de la Inferencia Estadística.

2 / 36


Inferencia estadística (2)

Distinguir entreEstadística Descriptiva: métodos para resumir y organizar datosInferencia Estadística: métodos para obtener conclusiones válidas paratoda una población a partir de los datos que nos aportan una parte dedicha población.

El esquema básico:

Población muestra

Selección aleatoria

Inferencia Estadística

Estadística Descriptiva

RepresentatividadConclusiones en la Población

3 / 36


Inferencia Paramétrica

Población: conjunto de individuos objeto de estudio; de dicha poblaciónestudiamos una variable de interés: X .Población: conjunto de valores de la variable observacional que obtendríamos si serepitiera indefinidamente el proceso de obtención de los datos.La variable de interés X tiene una distribución de probabilidad asociada, ladistribución poblacional (lo que habitualmente entendemos por población).Tipos de variables aleatorias: Categóricas (nominal u ordinal) y Cuantitativas(discreta o continua).Habitualmente (en problemas reales), la distribución poblacional de la variable deinterés es desconocida o al menos no es completamente conocida.En la mayoría de los casos, lo que se conoce es la familia (o el tipo) a la cualpertenece la distribución (exponencial, normal, etc.) pero lo que no se conocen sonsus parámetros.Los parámetros son las características de interés de la población (media, varianza,proporción poblacional, etc.).En los casos en los que no conocemos la distribución (Estadística no paramétrica)no tiene sentido preguntarse por los parámetros.

4 / 36


Ejemplos: poblaciones e inferencia

1 Siete empresas familiares voluntarias participaron en un estudio para determinar siuna campaña publicitaria podría elevar las ventas anuales de la empresa. Semidieron las ventas dos veces, una antes de la campaña y otra después. Losresultados de las ventas (en miles de euros) aparecen en la siguiente tabla:

EMPRESAS Antes Después Diferencia1 46 56 102 47 52 53 41 47 64 45 48 35 37 37 06 48 51 37 58 62 4

¿Cual es la población? ¿Muestra? ¿Variable de interés? ¿Tamaño muestral? ¿Quéinferencia tiene sentido aquí?

2 Once empresas fueron analizadas por un inspector de hacienda. Tres de ellasestaban en regla, y el resto no:¿Población? ¿Muestra? ¿Parámetro de interés? ¿Qué inferencia tiene sentido aquí?

5 / 36


¿Cómo hacemos inferencia paramétrica?

Muestreo aleatorio: muestra, tamaño muestral, representatividad.Una muestra aleatoria de observaciones de una variable X de tamañomuestral n es un conjunto de variables aleatorias X1,X2, . . . ,Xnindependientes e idénticamente distribuidas con la misma distribuciónde la variable X .Estadísticos. Distribución en el muestreo.Utilizar esta información para extrapolar los resultados obtenidos auna población más grande (Inferencia Estadística):

1 Estimación: la estimación trata de utilizar la información muestral paraaproximar el valor de los parámetros desconocidos del modelo

Puntual.Por Intervalos de Confianza.

2 Contraste de Hipótesis: a partir de las observaciones podemos obtenerevidencia a favor o en contra de hipótesis referidas a losparámetros desconocidos del modelo.

¿Qué pasa si no conocemos la distribución de la variable?6 / 36


Estimación paramétrica

MuestreoPoblación muestra

Estimación y/o Contraste de HipótesisUtilizamos t(X) para explicar θ

X ∼ Modelo(θ)θ Parámetro(s)desconocido(s)

X = (X1, . . . ,Xn)

t(X) funciónde los datos

7 / 36


Estimación paramétrica

Ω, Espacio Paramétrico: conjunto de valores posibles de los parámetros.S, Espacio Muestral: conjunto de todos los valores posibles que pueden tomar lasmuestras X = (X1, . . . ,Xn).Estimador es cualquier función del espacio muestral en el espacio paramétrico,t(X):

T : S −→ ΩX ⇒ t(X)

Es decir, cualquier estadístico es un estimador y tiene asociado una distribuciónmuestralEstimación es cualquier realización del estimador.

No todos los estimadores que se pueden obtener son igual de buenos. Buscamospues métodos de obtención de estimadores y criterios para su evaluación:

Que la distribución del estimador esté centrada en el parámetro,que tenga poca dispersión.

¿Qué pasa si no conocemos la distribución de la variable?

8 / 36


Contraste de Hipótesis paramétricos

En general una hipótesis estadística tiene la forma: θ ∈ Θ0 ⊂ Θ.Por el propio objetivo de un contraste, este siempre tendrá dos hipótesis:Hipótesis nula que denotaremos H0 y que representa la afirmación que se quiere

contrastar θ ∈ Θ0Hipótesis alternativa que denotaremos H1 ó HA y que contiene los otros valores

posibles del parámetro θ ∈ Θ1

Se suele denotar como: H0 : θ ∈ Θ0HA : θ ∈ Θ1

El tratamiento no es simétrico, aceptaremos H0 mientras no demostremos que esfalsa. Por eso, habitualmente, indicaremos en HA lo que es más relevante y en H0lo que consideraremos como cierto mientras no se demuestre lo contrario.¿Qué pasa si no conocemos la distribución de la variable?

9 / 36


Contraste de Hipótesis paramétricos

Contrastar una hipótesis es realizar un experimento relacionado con el(los)valor(es) desconocido(s) de un parámetro y, a partir del resultado de estainformación, decidir sobre el rechazo o aceptación de la hipótesiscontrastada.

Un test de hipótesis es una regla de decisión que asigna uno de los dosposibles resultados (Aceptar H0 y Rechazar H0) para cada posible valor delexperimento X ∈ S.

Los valores para los cuales se rechaza H0 se denominan Región Crítica.

Los tests de hipótesis se describen en términos de un estadístico T (X) quese denomina estadístico de contraste o test estadístico o estadístico del test.

¿Y si queremos hacer no paramétrica?

10 / 36


Ejemplo contrastes

1 En el ejemplo de las empresas que hacen un estudio para valorar elfuncionamiento de la mejora de una campaña publicitaria, identificarsus elementos básicos como un problema de contraste de hipótesis:

• Hipótesis • Hipótesis estadísticas• Población Estadística • Parámetro• Experimento • Espacio Muestral• Estadístico del contraste • Test de hipótesis• Región crítica

2 Análogamente con el ejemplo de las empresas investigadas por uninspector.

11 / 36


Concepto de p-valor

Los contrastes de hipótesis se pueden resolver como reglas de decisión sobrerechazar o no la hipótesis nula.Una alternativa muy popular se basa en la medición de la credibilidad de lahipótesis nula a la luz de los datos obtenidos. Esta información sobre laconcordancia de los datos y la H0 se mide con probabilidades.Sea X1, . . . ,Xn una m.a. de una distribución de probabilidad (modelo) conocida.

Sea

H0 : θ ∈ Θ0H1 : θ ∈ Θ1

una hipótesis que se desea contrastar y sea T un estadístico

para el que los datos toman el valor T = t0 del que sabemos su distribución.El p-valor correspondiente al valor observado t0 es la probabilidad (bajo H0) deobtener dicho valor t0 o valores más extremos (en la dirección o direcciones de HA).La forma habitual de resolver el contraste es fijar un nivel de significatividad (errorde tipo I máximo que queremos cometer) y rechazar si el p-valor es menor quedicho nivel.Los pasos finales incluyen decidir que conclusión es la que vamos a tomar,interpretar los resultados obtenidos y reportar las conclusiones.

12 / 36


Concepto de p-valor (2)

Contrastes unilaterales

A menudo está claro que la desviación de la mediana solo puede darse en unsentido o solamente nos interesa demostrar que esa desviación se da en unúnico sentido.

En estos casos utilizaremos una hipótesis alternativa direccional para indicarque rechazaremos la hipótesis nula si la diferencia entre muestra y poblaciónes significativa en la dirección que propone la hipótesis alternativa.

En este caso sólo tenemos que cambiar la forma de calcular el P-valor:1 En primer lugar debemos comprobar que los datos están en la misma

dirección que la hipótesis alternativa. Si no es así no es posiblerechazar la hipótesis nula.

2 Si los datos están en la misma dirección que la hipótesis alternativadebemos dividir por dos el P-valor obtenido (solo queremos el área deuna cola).

13 / 36


Inferencia no paramétrica

En el campo de las ciencias sociales y del comportamiento nos encontramos condos características que hacen de la inferencia no paramétrica una herramienta muyimportante:

Muchos datos están clasificados en forma nominal u ordinal.Cuando tenemos datos continuos, no tenemos garantizada la normalidad.

La mayoría de los tests paramétricos (test t para comparar medias, ANOVA, etc.)se basan en una serie de suposiciones (datos normales, independencia de lasobservaciones, poblaciones con varianzas aproximadamente iguales, etc.) que nosiempre se cumplen, por lo que se necesitan tests alternativos para llevar a cabo lainferencia.A veces es posible evitar estos problemas, transformando los datos, o eliminarndoobservaciones extremas (outliers) que no dan sentido al modelo.Cuando los datos analizados cumplen las asunciones para la aplicación de los testsparamétricos es preferible usarlos SIEMPRE, ya que los paramétricos son máspotentes (en el sentido que tienen mayor capacidad para rechazar la hipótesis nulacuando ésta es falsa).La inferencia no paramétrica fundamentalmente se realiza mediante contrastes dehipótesis (aunque es posible ampliar la información que da un test mediante laestimación por intervalos de confianza).

14 / 36


Inferencia no paramétrica (2)

Un test no paramétrico es un test basado en un modelo que no necesita laespecificación de ninguna condición sobre los parámetros de la población de la quese ha extraido la muestra. Ni siquiera sobre la propia población.Observar pues que no necesitan suposiciones (datos normales, independencia delas observaciones, poblaciones con varianzas aproximadamente iguales, etc.) tanfuertes como las de los paramétricos.Además existen mucho para datos nominales y ordinales: tests binomiales, bondadde ajuste, tablas de contingencia, medidas de correlación entre variablescategóricas, etc.Los tests no paramétricos para datos continuos se focalizan en conteos y rankingsu ordenaciones. Los datos se convierten de puntuaciones a rangos o signos.Así, por ejemplo, un test que compara medias (test t) se basa en la diferenciamedia, mientras que un test no paramétrico se focaliza en la diferencia entre lasmedianas.

15 / 36


Inferencia no paramétrica (3)

Hay diferentes tests no paramétricos dependiendo del tipo de datosque analizamos y del número de variables analizadas.

Variables continuas:1 muestra: tests de localización, tests para valorar la forma de unadistribución, tests de aleatoriedad.Comparación 2 muestras independientesComparación 2 muestras relacionadasComparación K muestras independientesComparación K muestras relacionadasRegresión y correlación

Variables categóricas:Bondad de ajusteHomogeneidad e IndependenciaMedidas de AsociaciónContrastes de Aleatoriedad

16 / 36


Conteos y rangos

Dos de las herramientas más básicas en las que se basan muchos deestos tests son:

1 Conteos: varios tests no paramétricos requieren el conteo (ofrecuencia) de las observaciones.

Basta contar el número de veces que una observación se repite.Tiene mucho sentido en variables categóricas y en localización porencima de la mediana.Ejemplo: se observa el capital social de 15 empresas y se quiere ver siel valor central es superior a 15000 euros. Se construye un test basadoen el número de observaciones que superan dicho valor.

2 Rangos (o transformaciones de rangos):La clave es ordenar los datos y ver cada valor en qué posición queda.Hay que tener en cuenta los empates.Tiene mucho sentido en variables continuas para ver si los grupos sondiferentes.Ejemplo: se observa el capital social de 5 empresas valencianas y sequiere ver si el valor central es superior al de 5 empresas catalanas. Seconstruye un test basado en el orden que ocupan las empresas trasordenarlas conjuntamente.

17 / 36


Introducción a SPSS

SPSSSPSS (Statistical Package for the Social Sciences) es un programaestadístico informático muy usado en las ciencias sociales y en el ámbitosanitario.

Sistema amigable de menús y ventanastambién nos permite programar utilizando sintaxis

Fácil análisis de datos y generación de gráficospoco flexible

Desventaja: Software privadoalternativas como R (R-Commander) o PSPP

18 / 36


Interfaces de SPSSEditor de datos

Vista de datosEsta página es visible al abrir por primera vez el Editor de datos y contieneel banco de datos.

19 / 36


Interfaces de SPSSEditor de datos

Vista de variablesDescripción de las variables que tenemos en el banco de datos

20 / 36


Interfaces de SPSSVisor

VisorVentana donde aparecen los resultados

21 / 36


Interfaces de SPSSEditor de sintaxis

Editor de sintaxisPara programar en SPSS

22 / 36


Importación de datosIntroducción de datos

Importar datosSPSS nos permite importar datos en diferentes formatos.xls, .txt, .dat, .sav, etc...Archivo/Abrir/Datos...

23 / 36


Importación de datosIntroducción de datos: Importar datos txt

Importar datos txt

24 / 36


Importación de datosIntroducción de datos: Importar datos xls

Importar datos xls

25 / 36


Importación de datosIntroducción de datos: Directa (1)

Introducción directa de datosArchivo/Nuevo/Datos...

26 / 36


Análisis de una muestra de una variable continua

Cuando analizamos una muestra de una población, lo primero que(siempre) debemos hacer es concretar cual es nuestro objetivo:

Comparar unos datos observados con unos esperados:Datos categóricos (sesión 3): test binomial (datos binarios) y testchi-cuadrado (variables categóricas en general)Datos continuos: test de Kolmogorov-Smirnov (utilizado habitualmentepara contrastar normalidad)

Comprobar la aleatoriedad de una muestra: test de rachasComprobar la localización de una muestra respecto a un valorprefijado: test de Wilcoxon

27 / 36


Test de Kolmogorov-Smirnov

Cuando queremos comprobar si unos datos siguen una determinada distribuciónutilizamos el test de Kolmogorov-Smirnov.Este procedimiento comprueba si la función de distribución muestral de unamuestra se parece a la función de distribución de la distribución uniforme, normal,Poisson, o exponencial.Definición de distribución muestral de una muestra: distribución discreta queasigna la probabilidad 1/n a cada valor obtenido Xj .Si la variable de la población es discreta con posibles valores x1, x2, . . . , xm esosignifica asignar probabilidad fj/n para cada valor x1, x2, . . . , xm (donde fj es lafrecuencia de ocurrencia del valor xj en la muestra).Ejemplo: si en una Universidad con 5000 estudiantes realizamos una muestra de50 estudiantes con los siguientes resultados:

Curso 1 2 3 4 5Frec. Abs. 10 12 8 7 13

La distribución muestral es:Curso 1 2 3 4 5

Frec. Rel. 0.2 0.24 0.16 0.14 0.26

28 / 36


Test de Kolmogorov-Smirnov (2)

En nuestro caso, como es continua ⇒ utilizamos la función dedistribución de la distribución muestral.Definición: es la función de distribución que aumenta 1/n a cadavalor, es decir:

Fn(x) =](observaciones ≤ x)

nObservar que si el valor aparece k veces, tiene probabilidad k/n y laf.d.m. sube a k/n en ese valor (teóricamente, si la variable escontinua los valores no pueden repetirse, pero por redondeo a vecesocurre en la práctica).Observar que esta función f.d.m. es una versión empírica de lafunción de distribución poblacional y en principio debería parecerse(por la ley de los grandes números, Fn(x) converge a F (x)).

29 / 36


Análisis de una muestra de una variable continuaComparar unos datos observados con unos esperados (1)

Test de Kolmogorov-SmirnovAnalizar/Tests no paramétricos/1 muestra...

30 / 36




31 / 36




32 / 36


Test de Wilcoxon

Cuando el objetivo es comprobar la localización de una muestrarespecto a un valor, analizamos su mediana y vemos si vale el valorque estamos cuestionando.En concreto, el test de rangos de Wilcoxon comprueba si la medianamuestral de una muestra difiere significativamente de un hipotéticovalor (que es que queremos contrastar).Por ejemplo si queremos comprobar si el capital social de 5 empresases superior a 15000 euros. También podríamos plantearnos si esdiferente.

33 / 36


Análisis de una muestra de una variable continuaLocalización de una muestra (1)

Test de WilcoxonAnalizar/Tests no paramétricos/1 muestra...

34 / 36


Análisis de una muestra de una variable continuaLocalización de una muestra (2)

Test de WilcoxonAnalizar/Tests no paramétricos/1 muestra...

35 / 36


Ejemplos

Ejemplos

1 Existe información sobre el porcentaje de la población (p.e. Anon, 1991) con edadsuperior a 60 años en más de 200 países. La siguiente muestra aleatoria se haobtenido de 12 de esos países:

4.9 6.0 6.9 17.6 4.5 12.35.7 5.3 9.6 13.5 15.7 7.7

Utilizar el test de Wilcoxon par comprobar si la mediana es 12 o diferente.2 Comprobar la normalidad de los datos anteriores. Comprobar también si pueden

venir de una distribución uniforme.3 El valor de las reclamaciones por siniestros de automóvil en un seguro durante un

año ha sido de 1000 euros. Para comprobar que las del año siguiente no sondiferentes realizan una muestra de 8 reclamaciones, cuyos resultados son:

409 900 1120 1700 450 1123 530 990

¿Están los datos de acuerdo con la suposión de la empresa?

36 / 36