Estimación de Parámetros
Estadística Aplicada
Algunas consideracionesprevias
Conceptos básicos Distribuciones usadas en InferenciaTeoremas relevantesEstimación puntualEstimación por intervalos
Distribuciones usadas en Inferencia1.- Ji-Cuadrado con “n” grados de libertad.Sea X1, X2,...,Xn n v.a. continuas independientestal que Xi ~ N (0,1) i = 1,n (i.i.d.)
~ donde)(n
n
iiXY 2
1
2 χ∑=
=
)()( yIn
eyyf Rn
yn
Y +
Γ
=−−
222
21
2
donde
OBS:1.
2.
3.
( ) ∫∞
−=+Γ0
1 dyey yαα
[ ] nYE = [ ] nYVar 2=
Γ⇔ 2
22 ;)(
nnχ
2)21()(n
Y tt−
−=ϕ
[ ] nYE =
[ ] nYVar 2=
y
)( yfY TABLA
Distribuciones usadas en Inferencia2.- t-StudentSea X v.a.c. tal que X ~ N (0,1)
Y v.a.c. tal que Y ~ χ2(n)Sea ~ )(nStudentt
nY
Xt −=
)()( tInn
ntn
tf R
n
T
Γ
+
+
Γ=
+−
2
12
1 21
2
π
OBS:
1.
2.
3.
[ ] 0=tE [ ]2−
=n
ntVar
[ ]tTPtFT ≤=)(
existenotT )(ϕ
TABLA
t
)( yfT
Distribuciones usadas en Inferencia3.- F-de FisherSea X v.a.c. tal que X ~ χ2(n)
Y v.a.c. tal que Y ~ χ2(m) independientes
Sea ~ ),( mnF
mYnX
Z =
)()( zI
zmn
zKzf Rmn
n
Z ++
−
+
=•
2
12
1
siendo
OBS:1.
2.
2
22
2n
mn
mn
mn
K
Γ+
Γ
+
Γ=
[ ]2−
=m
nZE [ ])()(
)(42
222
2
−−−+
=mmn
mnmZV
TABLA[ ]zZPzFZ ≤=)(
[ ]2−
=m
nZE z
)(zfZ
Teoremas Límites•Convergencia en Distribución:
∀x pto. continuidad
•Convergencia en Probabilidad:
∀ε>0•Nota:
)()( xFxFlimssiXX XXnD
n n=→ ∞→
( ) 0=≥−→ ∞→ εXXPlimssiXX nnP
n
XXXX Dn
Pn →⇒→
Desigualdad de Chebyshev:
Sea X v.a. /
Entonces
[ ] ∞<XE [ ] ∞<XV ;
[ ]( ) [ ]2ε
ε XVXEXP ≤≥−
Ley débil de los grandes números:
suc. de v.a.i.i.d. /entonces:
[ ] RXE ∈= µ
[ ] ∞<= 2σXV
{ } NnnX ∈
( ) 0=≥−∞→ εµnn XPlim
Teorema Central de Límite:
Sea {X} suc. de v.a.i.i.d /
finitas. Entonces:
[ ] µ=XE [ ] 2σ=XV;
)1,0(N
n
XY Dnn →
−
= σµ
El objetivo de la estimación de parámetros es proveer demétodos que permitan determinar con cierta precisión, elvalor de los parámetros desconocidos de un modeloestadístico a partir de una muestra extraída al azar de unaPoblación.
1. Método de estimación Puntual2. Método de estimación por Intervalos
Estimación de Parámetros
Definición de EstimadorUn estimador es una regla que nos indica cómo obtener unparámetro de un modelo, basándose en la informacióncontenida en una muestra ( M={ f ( x , θ ) : θ ∈ Θ } modelo )
T : χ τ ⊂ Θ
x T (x) = T (X1, X2,...., Xn)T (x) : Estimador de θ, variable aleatoria, función de lamuestra, que no depende del parámetro θ.
(Estadística basada en la Información χ)χ={x : x es una muestra aleatoria} Espacio de Información
♦ En lo que sigue = T (X1, X2,...., Xn) estimador de θ.θ̂
Propiedades de los estimadores puntualesUn estimador es una v.a. y todo juicio sobre él, se basaráen su ley de Probabilidad, y más específicamente sobre suEsperanza y Varianza.
1. se dice que es insesgado
2. se llama sesgo de
3. se llama error cuadráticomedio del estimador
4. se dice que esconsistente
[ ] ( )[ ] θθ == nXXTEE ,...,ˆ1 θ̂
[ ] [ ] θθθ −= ˆEB θ̂
( ) [ ] ( )θθθ ˆˆˆ 2BVarECM +=
( ) 1ˆlim =≤−∞→ εθθPn θ̂( )θθ →Wˆ
Propiedades de los estimadores puntuales
5. Si , decimos que es un estimador insesgadode varianza mínima para θ . Si todo otro estimadorinsesgado de θ , digamos , se verifica que:
6. Sea X1, X2,..., Xn m.a. ∝ f ( x , θ ). Si es:
Nota: Si es eficiente
[ ] θθ =ˆE θ̂
( ) ( )θθ ~ˆ VarVar ≤θ~
[ ] [ ]12 −
∂∂
≥⇒=θ
θθθθ ),(lnˆˆ xfnEVarE
θ̂
[ ] θθ
θθ ˆ),(lnˆ ⇒
∂∂
=
−12xfnEVar
7. Sean dos estimadores de . Se llama
eficiencia relativa de a:
8. es un estimador suficiente si usa toda la informacióncontenida en la muestra.
21 θθ ~ˆ y θ
( ) ( )( )1
212 θ
θθθ ˆ
~ˆ,~
ECMECMef =
θ̂
12 θθ ˆ/~ rc
Propiedades de los estimadores puntuales
Métodos de estimación puntual
♦ Método de Momentos♦ Método de Máxima Verosimilitud♦ Método de Mínimos Cuadrados
Momentos (K. Pearson)
[ ] ∑== rir
r xn
mXE 1
La idea es simple. Consiste enigualar los momentos de lapoblación y de la muestra
Máxima VerosimilitudConsideremos X = (X1, X2,..., Xn ) m.a. ∝ f ( x , θ ). Sellama función de verosimilitud a:
Además se define:♦ función soporte:
♦ función score:
El valor (vector) de θ que maximiza se llamaestimador máximo verosimil, i.e.
(caso univariado)
( ) ( ) ( )∏=
==n
iixfxf
10 θθθ ,,
( ) ( )[ ]θθ ln=L( )θθ
∂∂L
( ) ( )[ ]θθ L
( ) ( ) 00 2
2
<∂∂
∧=∂
∂θθ
θθ LL
Propiedades de los Estimadores Máximo Verosímiles
Los estimadores máximo verosímiles son:
Asintóticamente insesgadosAsintóticamente normalesAsintóticamente eficientesInvariantes bajo transformaciones biunívocasSi ∃ estimador suficiente, es suficienteMVθ̂
Sea X1, X2,..., Xn m.a. ∝ N ( µ , σ2 ).Encontrar el EMV de
( ) ( )∑ −−−= 22
22
21
2µ
σσσµ iX XnL ln,
( ) [ ] ( )
−−− ∑
=2
221
222µ
σσσµiXn
X e,
( )
−
−=
4
22
20
0
Sn
Sn
SXH ,
( )2σµθ ,=
( ) 222 0 nnX SXL =∧=⇒=∇ σµσµ
,
En general:
( )( )
( )
( )
−−
−−−
=
∂
∂∂∂∂
∂∂
= ∑6
2
4
42
22
2
2
2
2
2
2
12 σ
µσ
σµ
σ
σ
σµµσµ
iXn
Xnn
L
LL
H ,
:= Matriz de Información de Fisheresperada.
:= Matriz de Información observadaen la muestra.
( )[ ]2σµ ,HE −
( )2SXH ,−
( )θIE
( )θIO
OBS: Caso θ escalar
Se dice que es un estimador eficiente de θ
..RCLE =
∂∂
−−1
2
2
θ
( ) ..~ RCV =θ θ~
Estimación por IntervalosEn la práctica, interesa no sólo dar una estimaciónde un parámetro, sino que además, un intervaloque permita precisar la incertidumbre existente enla estimación.Definición: Sea x m.a. ∝ f ( x , θ ). Sean θ1=T1(x),θ2=T2(x) dos estadísticas de θ : T1 ≤ T2 ∧ ∀x ∈χ ;P [θ1 ≤ θ ≤ θ2] = 1 - α = γ
Entonces el I = [θ1 ; θ2] se llama intervalo aleatoriode confianza del 100 γ % para θ ( 0 < α < 1 ).
Fijado α, el problema de determinar θ1 y θ2 puederesolverse encontrando una variable aleatoriaQ(x,θ) cuya distribución esté totalmente definida,que sea independiente de θ.
La variable Q(x,θ) se denomina “Cantidad Pivotal”
Estimación por Intervalos
Ejemplo: X1, X2,..., Xn1 ∝ N ( µ1 ,σ21)
Q(x,θ)= Q(x,θ)=)1,0(~11
11 Nn
Xσ
µ−)1(
11
11 ~ −−
ntnS
X µ
1. Encontrar una cantidad Q.2. P [q1 ≤ Q ≤ q2] = 1 - α = γ3. Invertir P [θ1 ≤ θ ≤ θ2] = γ , obteniendo así unintervalo I=[θ1 ; θ2] de confianza para θ de nivel100 γ %.
Observación: Para muestras grandes la v.a. Qsiempre existe, ya que si , entonces
tiene distribución asintóticamente normal estándar.
MVθ̂( )MV
MV
θσθθˆˆ−
Método de la Cantidad Pivotal
Intervalo de Confianza para diferencia de medias
P1: X1, X2,..., Xn1 ∝ N ( µ1 ,σ21)
P2: Y1, Y2,..., Yn2 ∝ N ( µ2 ,σ22)
Supuesto: Poblaciones Normales
)1,0(11
11 Nn
Xσ
µ− ),( 1022
22 Nn
Yσ
µ−
( ))( 1
22
1
211
1
1−
−n
Sn χσ
( ))( 1
22
2
222
2
1−
−n
Sn χσ
~
~
~
~
( ) ( ))( 2
22
2
222
21
211
21
11−+
−+
−nn
SnSn χσσ
( ))( 2
22
221
21
2−+
−+nn
PSnn χσ
~
~
Asumiendo independencia de las muestras :
22
21 σσ =Si
( ) ( )( )2
21
2121
2111 −+
+
−−−= nn
P
t
nnS
XXQ µµ~
( ) ( )
+±−=−
−+21
222121
1121 nn
StXXI Pnn,)( αγ µµ
Finalmente:
Es un Intervalo de confianza de nivel γ para µ1 - µ2
( ) ( )
+±−=−
2
22
1
21
22121 n
SnStXXI
g,)( αγ µµ
Supongamos que
Siendo g = n1 + n2 - 2 - ∆ grados de libertad
22
21 σσ ≠
( ) ( )[ ]( ) ( ) 2
212
12
22112
1111
''
''
SnSnSnSn
−−−−−−
=∆ 21,' == inSS
i
ii
Intervalo de Confianza para σ12/σ2
2
( ) .., lgFSSF nn 112
22
2
21
21
21 −−=σσ ~
Recordemos que:
( ))( 1
22
1
211
1
1−
−n
Sn χσ
( ))( 1
22
2
222
2
1−
−n
Sn χσ
~ ~
<<=
2
1
22
21
22
21
22
21
22
SSF
SSFI ba σ
σσσ
γ
donde [ ] αγ −==≤≤ 1ba FFFP2αFFa = 2αFFb =Si Se obtiene el intervalo
de iguales colas;
Resumen: Intervalos de Confianza
Poblaciones NormalesPoblaciones no Normales
Parámetro Estadística Distribución Intervaloµ , σ
conocido
µ , σdesconocido
µ1 - µ2σ1 = σ2
µ1 - µ2σ1 ≠ σ2
θmuestra grande
N (0,1)
N (0,1)
221 −∆−+nnt
1−nt
221 −+nnt
12
−nχ2σ
( ) ( )
21
2121
11nn
S
XX
P +
−−− µµ
( ) ( )
2
22
1
21
2121
nS
nSXX
+
−−− µµ
( )MV
MV
θσθθˆˆ−
( )2
21σ
Sn −
( )SXn µ−
( )σ
µ−Xnn
zX σα 2±
nStX 2α±
( ) ( )
−−− 2
2
2
212
2 11αα χχ
SnSn ;
( )21
22111nn
StXX P +±− α
( )2
22
1
21
221nS
nStXX +±− α
( )MVMV z θσθ αˆˆ
2±