Estimación de Parámetros

Estadística Aplicada

Algunas consideracionesprevias

Conceptos básicos Distribuciones usadas en InferenciaTeoremas relevantesEstimación puntualEstimación por intervalos

Distribuciones usadas en Inferencia1.- Ji-Cuadrado con “n” grados de libertad.Sea X1, X2,...,Xn n v.a. continuas independientestal que Xi ~ N (0,1) i = 1,n (i.i.d.)

~ donde)(n

n

iiXY 2

1

2 χ∑=

=

)()( yIn

eyyf Rn

yn

Y +

Γ

=−−

222

21

2

donde

OBS:1.

2.

3.

( ) ∫∞

−=+Γ0

1 dyey yαα

[ ] nYE = [ ] nYVar 2=

Γ⇔ 2

22 ;)(

nnχ

2)21()(n

Y tt−

−=ϕ

[ ] nYE =

[ ] nYVar 2=

y

)( yfY TABLA

Distribuciones usadas en Inferencia2.- t-StudentSea X v.a.c. tal que X ~ N (0,1)

Y v.a.c. tal que Y ~ χ2(n)Sea ~ )(nStudentt

nY

Xt −=

)()( tInn

ntn

tf R

n

T

Γ

+

+

Γ=

+−

2

12

1 21

2

π

OBS:

1.

2.

3.

[ ] 0=tE [ ]2−

=n

ntVar

[ ]tTPtFT ≤=)(

existenotT )(ϕ

TABLA

t

)( yfT

Distribuciones usadas en Inferencia3.- F-de FisherSea X v.a.c. tal que X ~ χ2(n)

Y v.a.c. tal que Y ~ χ2(m) independientes

Sea ~ ),( mnF

mYnX

Z =

)()( zI

zmn

zKzf Rmn

n

Z ++

−

+

=•

2

12

1

siendo

OBS:1.

2.

2

22

2n

mn

mn

mn

K

Γ+

Γ

+

Γ=

[ ]2−

=m

nZE [ ])()(

)(42

222

2

−−−+

=mmn

mnmZV

TABLA[ ]zZPzFZ ≤=)(

[ ]2−

=m

nZE z

)(zfZ

Teoremas Límites•Convergencia en Distribución:

∀x pto. continuidad

•Convergencia en Probabilidad:

∀ε>0•Nota:

)()( xFxFlimssiXX XXnD

n n=→ ∞→

( ) 0=≥−→ ∞→ εXXPlimssiXX nnP

n

XXXX Dn

Pn →⇒→

Desigualdad de Chebyshev:

Sea X v.a. /

Entonces

[ ] ∞<XE [ ] ∞<XV ;

[ ]( ) [ ]2ε

ε XVXEXP ≤≥−

Ley débil de los grandes números:

suc. de v.a.i.i.d. /entonces:

[ ] RXE ∈= µ

[ ] ∞<= 2σXV

{ } NnnX ∈

( ) 0=≥−∞→ εµnn XPlim

Teorema Central de Límite:

Sea {X} suc. de v.a.i.i.d /

finitas. Entonces:

[ ] µ=XE [ ] 2σ=XV;

)1,0(N

n

XY Dnn →

−

= σµ

El objetivo de la estimación de parámetros es proveer demétodos que permitan determinar con cierta precisión, elvalor de los parámetros desconocidos de un modeloestadístico a partir de una muestra extraída al azar de unaPoblación.

1. Método de estimación Puntual2. Método de estimación por Intervalos

Estimación de Parámetros

Definición de EstimadorUn estimador es una regla que nos indica cómo obtener unparámetro de un modelo, basándose en la informacióncontenida en una muestra ( M={ f ( x , θ ) : θ ∈ Θ } modelo )

T : χ τ ⊂ Θ

x T (x) = T (X1, X2,...., Xn)T (x) : Estimador de θ, variable aleatoria, función de lamuestra, que no depende del parámetro θ.

(Estadística basada en la Información χ)χ={x : x es una muestra aleatoria} Espacio de Información

♦ En lo que sigue = T (X1, X2,...., Xn) estimador de θ.θ̂

Propiedades de los estimadores puntualesUn estimador es una v.a. y todo juicio sobre él, se basaráen su ley de Probabilidad, y más específicamente sobre suEsperanza y Varianza.

1. se dice que es insesgado

2. se llama sesgo de

3. se llama error cuadráticomedio del estimador

4. se dice que esconsistente

[ ] ( )[ ] θθ == nXXTEE ,...,ˆ1 θ̂

[ ] [ ] θθθ −= ˆEB θ̂

( ) [ ] ( )θθθ ˆˆˆ 2BVarECM +=

( ) 1ˆlim =≤−∞→ εθθPn θ̂( )θθ →Wˆ

Propiedades de los estimadores puntuales

5. Si , decimos que es un estimador insesgadode varianza mínima para θ . Si todo otro estimadorinsesgado de θ , digamos , se verifica que:

6. Sea X1, X2,..., Xn m.a. ∝ f ( x , θ ). Si es:

Nota: Si es eficiente

[ ] θθ =ˆE θ̂

( ) ( )θθ ~ˆ VarVar ≤θ~

[ ] [ ]12 −

∂∂

≥⇒=θ

θθθθ ),(lnˆˆ xfnEVarE

θ̂

[ ] θθ

θθ ˆ),(lnˆ ⇒

∂∂

=

−12xfnEVar

7. Sean dos estimadores de . Se llama

eficiencia relativa de a:

8. es un estimador suficiente si usa toda la informacióncontenida en la muestra.

21 θθ ~ˆ y θ

( ) ( )( )1

212 θ

θθθ ˆ

~ˆ,~

ECMECMef =

θ̂

12 θθ ˆ/~ rc

Propiedades de los estimadores puntuales

Métodos de estimación puntual

♦ Método de Momentos♦ Método de Máxima Verosimilitud♦ Método de Mínimos Cuadrados

Momentos (K. Pearson)

[ ] ∑== rir

r xn

mXE 1

La idea es simple. Consiste enigualar los momentos de lapoblación y de la muestra

Máxima VerosimilitudConsideremos X = (X1, X2,..., Xn ) m.a. ∝ f ( x , θ ). Sellama función de verosimilitud a:

Además se define:♦ función soporte:

♦ función score:

El valor (vector) de θ que maximiza se llamaestimador máximo verosimil, i.e.

(caso univariado)

( ) ( ) ( )∏=

==n

iixfxf

10 θθθ ,,

( ) ( )[ ]θθ ln=L( )θθ

∂∂L

( ) ( )[ ]θθ L

( ) ( ) 00 2

2

<∂∂

∧=∂

∂θθ

θθ LL

Propiedades de los Estimadores Máximo Verosímiles

Los estimadores máximo verosímiles son:

Asintóticamente insesgadosAsintóticamente normalesAsintóticamente eficientesInvariantes bajo transformaciones biunívocasSi ∃ estimador suficiente, es suficienteMVθ̂

Sea X1, X2,..., Xn m.a. ∝ N ( µ , σ2 ).Encontrar el EMV de

( ) ( )∑ −−−= 22

22

21

2µ

σσσµ iX XnL ln,

( ) [ ] ( )

−−− ∑

=2

221

222µ

σσσµiXn

X e,

( )

−

−=

4

22

20

0

Sn

Sn

SXH ,

( )2σµθ ,=

( ) 222 0 nnX SXL =∧=⇒=∇ σµσµ

,

En general:

( )( )

( )

( )

−−

−−−

=

∂

∂∂∂∂

∂∂

= ∑6

2

4

42

22

2

2

2

2

2

2

12 σ

µσ

σµ

σ

σ

σµµσµ

iXn

Xnn

L

LL

H ,

:= Matriz de Información de Fisheresperada.

:= Matriz de Información observadaen la muestra.

( )[ ]2σµ ,HE −

( )2SXH ,−

( )θIE

( )θIO

OBS: Caso θ escalar

Se dice que es un estimador eficiente de θ

..RCLE =

∂∂

−−1

2

2

θ

( ) ..~ RCV =θ θ~

Estimación por IntervalosEn la práctica, interesa no sólo dar una estimaciónde un parámetro, sino que además, un intervaloque permita precisar la incertidumbre existente enla estimación.Definición: Sea x m.a. ∝ f ( x , θ ). Sean θ1=T1(x),θ2=T2(x) dos estadísticas de θ : T1 ≤ T2 ∧ ∀x ∈χ ;P [θ1 ≤ θ ≤ θ2] = 1 - α = γ

Entonces el I = [θ1 ; θ2] se llama intervalo aleatoriode confianza del 100 γ % para θ ( 0 < α < 1 ).

Fijado α, el problema de determinar θ1 y θ2 puederesolverse encontrando una variable aleatoriaQ(x,θ) cuya distribución esté totalmente definida,que sea independiente de θ.

La variable Q(x,θ) se denomina “Cantidad Pivotal”

Estimación por Intervalos

Ejemplo: X1, X2,..., Xn1 ∝ N ( µ1 ,σ21)

Q(x,θ)= Q(x,θ)=)1,0(~11

11 Nn

Xσ

µ−)1(

11

11 ~ −−

ntnS

X µ

1. Encontrar una cantidad Q.2. P [q1 ≤ Q ≤ q2] = 1 - α = γ3. Invertir P [θ1 ≤ θ ≤ θ2] = γ , obteniendo así unintervalo I=[θ1 ; θ2] de confianza para θ de nivel100 γ %.

Observación: Para muestras grandes la v.a. Qsiempre existe, ya que si , entonces

tiene distribución asintóticamente normal estándar.

MVθ̂( )MV

MV

θσθθˆˆ−

Método de la Cantidad Pivotal

Intervalo de Confianza para diferencia de medias

P1: X1, X2,..., Xn1 ∝ N ( µ1 ,σ21)

P2: Y1, Y2,..., Yn2 ∝ N ( µ2 ,σ22)

Supuesto: Poblaciones Normales

)1,0(11

11 Nn

Xσ

µ− ),( 1022

22 Nn

Yσ

µ−

( ))( 1

22

1

211

1

1−

−n

Sn χσ

( ))( 1

22

2

222

2

1−

−n

Sn χσ

~

~

~

~

( ) ( ))( 2

22

2

222

21

211

21

11−+

−+

−nn

SnSn χσσ

( ))( 2

22

221

21

2−+

−+nn

PSnn χσ

~

~

Asumiendo independencia de las muestras :

22

21 σσ =Si

( ) ( )( )2

21

2121

2111 −+

+

−−−= nn

P

t

nnS

XXQ µµ~

( ) ( )

+±−=−

−+21

222121

1121 nn

StXXI Pnn,)( αγ µµ

Finalmente:

Es un Intervalo de confianza de nivel γ para µ1 - µ2

( ) ( )

+±−=−

2

22

1

21

22121 n

SnStXXI

g,)( αγ µµ

Supongamos que

Siendo g = n1 + n2 - 2 - ∆ grados de libertad

22

21 σσ ≠

( ) ( )[ ]( ) ( ) 2

212

12

22112

1111

''

''

SnSnSnSn

−−−−−−

=∆ 21,' == inSS

i

ii

Intervalo de Confianza para σ12/σ2

2

( ) .., lgFSSF nn 112

22

2

21

21

21 −−=σσ ~

Recordemos que:

( ))( 1

22

1

211

1

1−

−n

Sn χσ

( ))( 1

22

2

222

2

1−

−n

Sn χσ

~ ~

<<=

2

1

22

21

22

21

22

21

22

SSF

SSFI ba σ

σσσ

γ

donde [ ] αγ −==≤≤ 1ba FFFP2αFFa = 2αFFb =Si Se obtiene el intervalo

de iguales colas;

Resumen: Intervalos de Confianza

Poblaciones NormalesPoblaciones no Normales

Parámetro Estadística Distribución Intervaloµ , σ

conocido

µ , σdesconocido

µ1 - µ2σ1 = σ2

µ1 - µ2σ1 ≠ σ2

θmuestra grande

N (0,1)

N (0,1)

221 −∆−+nnt

1−nt

221 −+nnt

12

−nχ2σ

( ) ( )

21

2121

11nn

S

XX

P +

−−− µµ

( ) ( )

2

22

1

21

2121

nS

nSXX

+

−−− µµ

( )MV

MV

θσθθˆˆ−

( )2

21σ

Sn −

( )SXn µ−

( )σ

µ−Xnn

zX σα 2±

nStX 2α±

( ) ( )

−−− 2

2

2

212

2 11αα χχ

SnSn ;

( )21

22111nn

StXX P +±− α

( )2

22

1

21

221nS

nStXX +±− α

( )MVMV z θσθ αˆˆ

2±