Teoria General del Modelo Lineal

7/25/2019 Teoria General del Modelo Lineal

1/33

Captulo 3

TEORA GENERAL DEL MODELO

LINEAL

57


2/33

58


3/33

3.1. Introduccin.

Un problema muy frecuente en estadstica consiste en buscar y estimar interdependencias entre variables. En

efecto, cuando un par de variables aleatorias(X,Y)no son independientes, el conocimiento del valor por X

cambia nuestro incertidumbre con respecto a la realizacin deY: disminuye en general esta incertidumbre,

ya que la distribucin de YdadoX=xtiene una varianza que en promedio es menor que la varianza marginal

de Y:

Var(Y) =EX{Var(Y|X)} +VarX{E(Y|X)}

Demostracin: Observamos en primer lugar queEX(E(Y|X)) =E(Y).

Consideramos

Var(Y) =

(y E(Y))2dIPY(y)

Comoy E(Y) =y E(Y|X) +E(Y|X) E(Y), se tiene que

(y E(X))2 = (y E(Y|X))2 + (E(Y|X) E(Y))2 + 2(y E(Y|X))(E(Y|X) E(Y))

Ademsd IP(x,y) =dIPY|X(y)dIPX(x), en dondeIPY|X es la distribucin condicional de Y dadoXyIPX es la

distribucin marginal deX. Luego

Var(Y) =

(y E(Y|x))2dIPY|X(y)

dIPX(x) +

(E(Y|x) E(Y))2dIPY|X(y)

dIPX(x)

+2 (E(Y|x) E(Y)) (y E(Y|x))dIPY|X(y)dIPX(x)Pero por definiciones y algunos desarrollos vemos que:

EX(Var(Y|X)) =

(y E(Y|x))2dIPY|X(y)

dIPX(x)

VarX(E(Y|X)) =

(E(Y|x) E(Y))2dIPY|X(y)

dIPX(x)

(y E(Y|x))dIPY|X(y) =0

LuegoVar(Y) =EX{Var(Y|X)} +VarX{E(Y|X)}.

Se deduce queEX{Var(Y|X))} Var(Y). Es un resultado promedio, eso no impide que para algunos valores

deX, Var(Y|X)sea el mayor que Var(Y).

Cuando se puede aceptar que el fenmeno aleatorio representado por una variable o un vector Xpuede servir

para predecir aquel representado por Y, hay que buscar una frmula de prediccin. Algunas relaciones son

fciles de plantear y verificar, como las relaciones planteadas a partir de leyes fsicas o mecnicas, pero

59


4/33

cuando la aleatoriedad juega un papel importante, el estudio se hace ms difcil.

Se busca aqu descubrir como un conjunto de variablesX1,X2, Xpinfluye sobre una o varias otras variables

Y. Para este propsito, se busca una funcin f que permita reconstruir los valores obtenidos sobre una

muestra de la variables respuesta Y:Y= f(X1,X2, . . .Xp}.

Las variables {X1,X2, Xp} se llamanvariables explicativas o variables independientes o variables exge-

nasy la variables Yse llamavariable a explicar o variable respuesta o variables dependiente o variable

endgena.

Daremos algunos ejemplos, en que se ocupan estos modelos:

Ejemplo 3.1 La distancia que una partcula recorre en el tiempotest dada por la frmula:

d=

+t

en que es la velocidad promedio y la posicin de la parttula en el tiempo inicial t=0. Si y

son desconocidos, observando la distancia den dos pocas distintas, la solucin del sistema de las dos

ecuaciones lineales obtenidas permite obtener y. Sin embargo es difcil obtener en general una distancia

sin error de medicin. Por lo cual se observa una variable aleatoria: Y=d+ en vez ded, en que (ruido

blanco") es de tipo aleatorio. En ese caso no basta tener dos ecuaciones sino valores de la distancia para

varios valores del tiempo. Los mtodos estadsticos basados en la aleatoriedad del error permiten estimar a

, y dsobre la base de una relacin funcional de tipo lineal.

Ejemplo 3.2 Si consideramos el peso P y la talla Tde las mujeres chilenas adultas, est claro que noexiste una relacin funcional entre P y T, pero existe unatendencia. Considerando queP y Tson variables

aleatorias de ditribucin conjunta normal bivariada:

P= f(T) +

con f(T) =E(P|T)

en que refleja la variabilidad del peso P entre las chilenas de la misma talla con respecto a la media. El

tipo de funcional fno es evidente.

Ejemplo 3.3 Para decidir la construccin de la nueva central elctrica, ENDESA busca prever el consumo

total de electricidad en Chile despus del ao 2002. Se construye un modelo que liga el consumo de elec-

tricidad con variables econmicas, demogrficas y metereolgicas, y este modelo estima en base a datos

obtenidos en el pasado. Se aplica entonces el modelo para predecir el consumo de electricidad segn ciertas

evoluciones econmicas, metereolgicas y demogrficas.

60


5/33

Ejemplo 3.4 Para establecer una determinada publicidad en la televisin, se cuantifica el efecto de vari-

ables culturales y socio-econmicas en la audiencia de los diferentes programas. Sobre la base de una

encuesta telespectadores se construye un modelo que determina los efectos de las variables culturales y

socio-econmicas en la audiencia.

Ejemplo 3.5 Ajuste polinmial. El modelo lineal puede ser generalizado tomando funciones de las vari-

ables explicativas y/o de la variable a explicar. Es el caso cuando se tiene una variables respuesta Ya partir

de una sola variableXen un modelo polinomial:Y=a0+ a1X2 + + apX

p en dondeXj es la potencia j

deX.

Ejemplo 3.6 Se quiere estimar la constantegde la gravitacin. Se toman los tiempos de cada tde un objeto

desde la alturah dada del suelo:d=1

2gt2.

Observamos en los distintos ejemplos que las variables pueden ser aleatorias o no, las relaciones lineales o

no y que cuando no son lineales pueden eventualmente existir transformaciones de las variables que llevan

a relaciones lineales.

Se presenta a modo de introduccin un enfoque terico de la regresin funcional, para presentar despus el

caso lineal sobre valores muestrales.

Se usaran dos mtodos de estimacin:

El mtodo matemtico de ajuste de los mnimos cuadrados, que permite estimar los coeficientes del

modelo lineal a partir de valores observados. En este caso no se toma en cuenta la aleatoriedad de lasvariables en la estimacin del modelo.

El mtodo de mxima verosimilitud basado en un modelo probabilstico normal, que permite justificar

el mtodo de mnimos cuadrdos y discutir las propiedades de los estimadores y la precisin del ajuste.

Finalmente se usar el modelo lineal para predecir. Se enfatizar los aspectos geomtricos del problema y

como hacer una crtica de los supuestos probabilsticos usuales.

3.2. Modelo terico condicional.Proposicin 3.1 Sean la v.a. Y IRy el vector aleatorioXIRp. El mnimo deE{(Y f(X))2} se alcanza

en f(X) =E(Y|X).Demostracin: Geomtricamente, en el espacio de HilbertL2p+1 de dimensin p + 1 tomando como pro-

ducto escalar

< U,V>=E(UVt)

61


6/33

E(Y|X)es la proyeccin ortogonal de Ysobre el subespacioL2X generado por las funciones deX.

El criterio para minimizar es el error cuadrtico medio

E{(Y g(X))2

}

Si f(X) =E(Y|X), entonces para toda funcin g(X), se tiene:

E{(Y g(X))2} =E{(Yf(X))2} +E{(f(X) g(X))2} E{(Yf(X))2}.

En efecto

E{(Yf(X))(f(X) g(X))} =E{(f(X) g(X))E{(Yf(X))|X}}

dado que f(X) g(X)es independiente de Y yE{(Yf(X)|X) =0 se obtiene el resultado.

Un ndice para medir la calidad del modelo est dado pro el coeficiente de correlacin entre Y y E(Y|X)cuyo cuadrado es:

2Y|X= Cor2(Y,E(Y|X)) =

Var{E(Y|X)}

Var(Y) =1

Var()

Var(Y)

donde= YE(Y|X), y entonces

Var() = (1 2Y|X)Var(Y).

En efecto:

Cov(Y,E(Y|X)) =E[(y E(Y))(E(Y|X) E(Y))]

ComoE((X,Y))) =EX{EY|X((X,Y)|X)}

Cov(Y,E(Y|X)) =EXE{(YE(Y))(E(Y|X) E(Y))|X}

Ahora bien:

E{(YE(Y))(E(Y|X) E(Y))|X} = (E(Y|X) E(Y))(E(Y|X) E(Y)) = (E(Y|X) E(Y))2

y

Cov(Y,E(Y|X)) =EX{(E(Y|X) E(Y))2} = Var(E(Y|X))

Finalmente

Cor2(Y,E(Y|X)) = Var(E(Y|X))2

Var(Y)Var(E(Y|X))=

Var(E(Y|X))

Var(Y)

En el caso lineal f(X) =E(Y|X) =TXyE() =0.

62


7/33

Minimizar Var() equivale a tomar Cov(,X) = 0. Luego Cov(Y,X) =Var(X) en donde= (Var(X))1Cov(Y,

Var(Y) = Var{E(Y|X)} +Var().

3.3. Estimacin de los parmetros del modelo lineal

Sean {(yi,xi,1,xi,2, . . . ,xi,p)|i= 1, 2, . . . , n} los valores obtenidos sobre una muestra aleatoria simple de

tamaon del vector(Y,X1,X2, . . . ,Xp)de IRp+1. Se plante el modelo lineal:

E(Y|X= (xi,1,xi,2, . . . ,xi,p)) =0+1xi,1+2xi,2+ +pxi,p.

Consideraremos aqu el vectorXcomo no aleatorio.

Denotamos i= 1, 2, . . . , n: xi= (xi,1,xi,2, . . . ,xi,p) y hacemos los siguientes supuestos sobre los errores:

i =yi E(Y) N(0,2), independientes entre si e independientes de los xi. Tenemos entonces p + 2

parmetros a estimar, que son0,1, . . . ,p y 2. Dos tipos de mtodos de estimacin se pueden usar aqu:

el mtodo de ajuste de los mnimos cuadrados y el mtodo de mxima verosimilitud.

3.3.1. Solucin de los mnimos cuadrados

Se busca minimizar una funcin de los errores, como por ejemplo:

p

i=12

i,

n

i=1 |i|, maxi {i}

El criterio de los mnimos cuadrados toma como funcinn

i=1

2i cuya solucin es fcil de obtener y que

tiene una interpretacin geomtrica simple. Escribiremos matricialmente el modelo aplicado a la muestra de

observaciones.

Sea Y=

y1

y2...

yn

, X=

1 x1,1 x1,2 . . . x1,p

1 x2,1 x2,2 . . . x2,p...

......

......

1 xn,1 xn,2 . . . xn,p

, =

0

1...

p

, =

1

2...

n

.

Entonces el modelo se escribe

Y=X+.

El criterio de los mnimos cuadrados consiste en buscar el punto del subespacio vectorial W=Im(X)deIRn

generado por las columnas de la matriz Xms cercano al punto Y. La solucin es la proyeccin ortogonal

63


8/33

del punto Y sobreWy esta es obtiene de lasecuaciones normalescon la mtrica usual:

XtX=XtY

Este sistema de ecuaciones lineales tiene una solucin nica cuando las columnas de Xson lineales inde-

pendientes, es decir que forman una base del subespacio vectorial de W, o sea que la dimensin del rango

deXes igual a p + 1. En este caso la solucin de los mnimos cuadrados es igual a:

= (XtX)1XtY.

Se deduce que el operador de proyeccin ortogonal sobre W, que es un operador lineal idempotente de orden

2 y simtrico, se escribe matricialmente como:

P=X(XtX)1Xt

Si el rango deXes inferior a p + 1, basta encontrar una base de Wentre las columnas deX, y reemplazarX

porX1 la matriz formada por estas columnas linealmente independientes. Se observar que si bien no es

necesariamente nico, Y=X=PY y= YX= (I P)Y lo son. El mtodo no permite estimar a2.

3.3.2. Solucin de mxima verosimilitud

En el prrafo anterior, para estimar los coeficientesj se us un criterio ma temtico que permite ajustar unhiperplano afin de IRp+2 . Aqu usaremos el mtodo de mxima verosimilitud para estimarlos. El modelo

probabilstico se basa en los errores. El modelo

E(Y) =0+1X1+ +pXp=X

con Y=E(Y) + =X+ en donde se supone Nn(0,2In). La funcin de verosimilitud utilizada es la

densidad conjunta de los errores:

f(1,2, . . . ,n) = 1

22 n2

exp 1

22t

f(1,2, . . . ,n;,2) =

1

22

n2

exp

1

22(YX)t(YX)

Calculemos el estimador de mxima verosimilitud de : lnf

= 0

(YX)t(YX)

= 0 (XtX)=

XTY (Ecuaciones normales).

64


9/33

Calculemos el estimador de mxima verosimilitud de2:

lnf

2 =0 2 =

(YX)t(YX)

n

y si= YX, entonces

2 =1

n

n

i=1

2i

Es decir que la funcin de verosimilitud es mxima cuando se cumplen las ecuaciones normales:(XtX)=

XtY y adems 2 = 1

n

n

i=1

2i llamado la varianza residual dado que es la varianza emprica de los i; en

efecto ya que Y=X+ , Im(X) y

X (Im(X)) 1nn

i=1

2i =0

El estimador de los mnimos cuadrados es igual entonces al estimador de mxima verosimilitud cuando se

tiene el supuesto de normalidad Nn(0,2In).

3.4. Propiedades del estimador

Las propiedades del estimadorsolucin de las ecuaciones normales estn ligadas a los supuestos hechos

sobre los erroresi. Supondremos aqu que X es de rango completo (p + 1).

Propiedades:

El estimadores un estimador insesgado de:

E() =0 E(Y) =X E() =

El estimador Y=PY=Xes un estimador insesgado deX.

Nn(0,2In) YNn(X,

2P)dondeP era el proyector ortogonal sobre W enIRn.

Nn(0,2In) Nn(o,

2(In P)), conortogonal a W oindependiente deX.

Np+1(,2(XtX)1).

1

n

n

i=1

2i es un estimador sesgado para2. En efecto:

E

n

i=1

2i

X

= (n p 1)2;

65


10/33

luego2 = 1

n p 1

n

i=1

2i es un estimador insesgado para2. En efecto,

= (In P)Y= (In P)X+ (In P)= (In P).

Luego

t=t(In P)=Traza((In P)t)

y

E(t) =2Traza((In P)) = (n p 1)2

es independiente den

i=1

2i.

es un estimador consistente para y 2 = 1

n p 1

n

i=12

i

es consistente para2.

El estimador es ptimo con respecto a la varianza (ver el teorema de Gauss Markov a continuacin).

Consideremos la siguiente definicin:

Definicin 3.1 Sean A,B Mn(IR). Se dice que A B si y solamente si B = A + C, en dondeCes

semi-definida positiva

Teorema 3.1 Teorema de Gauss-Markov:si E() =0 y E(T) = 2In, entoncestiene varianza entre

los estimadores insesgados de , lineales en Y. Adems si Nn(0,2In), entonces tiene mnima

varianza entre los estimadores insesgados de .Demostracin: Si entre los estimadores insesgados de y lineales enY, tiene la varianza ms pequea,

hay que mostrar que:

=GY :E() = Var() Var().

Sea=AYuna solucin de las ecuaciones normales, entonces = +DY, en queD=G A.

Como los dos estimadores son insesgados,E( ) = E(DY) = 0 y comoY=X+ entoncesDX=0.

Calculemos la varianza de:

Var() = Var() +Var(DY) + 2Cov(,DY)

en donde

Cov(,DY) =E(()(DY)t) =E(YtDt) =E((XtX)1XtYYtDt) =

(XtX)1XtE(YYt)Dt = (XtX)1[Var(Y) +E(Y)E(Y)t]Dt =0

Finalmente Var() = Var() +2DDt en dondeDDt es semi-definida positiva.

66


11/33

Si adems los errores siguen una distribucin normal, el estimador es de mnima varianza entre todos

los estimadores insesgados de . En efecto la cantidad de informacin de la muestra multivariada para el

parmetroes igual a

In() =

1

2Xt

X

y el estimador tiene una matriz de varianza igual a 2(XtX)1. Luego se obtiene la igualdad en la de-

sigualdad de Cramer-Rao.

Se obtiene faclmente una generalizacin de este teorema cuando Var() =, que supondremos invertible.

El estimador de mnima varianza es entonces:

= (Xt1X)1Xt1Y

Es decir que estamos proyectando ortogonalmente en el sentido de la mtrica1.

3.5. Calidad del modelo

Para ver si el modelo es vlido, hay que realizar varios estudios: la verificacin de los puestos sobre los

errores, la forma y significacin de las dependencias, el aporte de cada variable explicativa. Lo que se har

estudiando, mediante grficos, ndices y test, no solamente la calidad del modelo global y el aporte individual

de cada variable explicativa, sino que el aporte de un grupo de m variables explicativas tambin.

3.5.1. Calidad global del modelo.

Los residuosidan la calidad del ajuste para cada observacin de la muestra. Pero es una medida individual

que depende de la unidad de medicin. Un ndice que evita este problema est dado por:

n

i=1

y2i

n

i=1

y2i

que representa el cuadrado del coseno del ngulo del vector Ycon el vector Y enIRn (Figura??).

Se puede comparar las siguientes varianzas:

Varianza residual:1

n

n

i=1

2i.

Varianza explicada por el modelo:1

n

n

i=1

( yi y)2.

67


12/33

Varianza total: 1

n

n

i=1

(yi y)2.

Figura 3.1: Proyeccin del vector Y en W

Un ndice estadsticamente ms interesante es elcoeficiente de correlacin mltiple R o su cuadrado, el

coeficiente de determinacin:

IR2 =

n

i=1

( yi y)2

n

i=1

(yi y)2

que compara la varianza explicada por el modelo con la varianza total. El coeficiente de correlacin mltiple

R es el coeficiente de correlacin lineal entreY e Y. El valor de R est comprendido entre 0 y 1. Cuando

R=0, el modelo obtenido es i: yi= y, la media muestral de los valoresyi y en consecuencia las variables

no explican nada en el modelo. En cambio cuando R es igual a 1, el vector Y pertenece al subespacio

vectorialW, es decir que existe un modelo lineal que permite escribir las observaciones yi exactamente

como combinacin de las variables explicativas. Cuando R es cercano a 1, el modelo es bueno siendo que

los valores estimados yi ajustan bien los valores observados yi.

Para el caso general se tiene:

Corr(Y,Y) =

Yy1nYy1n

= maxZ=X

Corr(Y,Z)

en donde 1nes el valor de la bisectriz deIRn de componentes todas iguales a 1.

Si se plantea la hiptesis globalH0: 1= 2= = p=0 H0:E(Y) = 01n, esta hiptesis significa

que los valores de las pvariables explicativas no influyen en los valores de Y. Como Nn(0,2(In P))

68


13/33

e YNn(X,2P), si res el rango de la matriz X, se tiene:

n

i=1

2i

2 =

(n r)2

2

nr.

Como Y|H0 Nn(11n,2P) 0= y, se tiene:

n

i=1

yi 0

2y

n

i=1

yi y

2 2r1

Adems

n

i=1

y2i

2 y

n

i=1

yi y

2son independientes. Se tiene entonces que bajo la hiptesis nula H0:

F=

n

i=1

( yi y)2/(r 1)

n

i=1

2i/(n r)

Fr1,nr

en dondeFr1,nrsigue una distribucin de Fisher a r 1 yn rgrados de libertad. Se puede expresar F

en funcin del coeficiente de correlacin mltipleR:

F (n r)R2

(r 1)(1 R2).

La regin crtica para la hiptesis nulaH0:E(Y|X) = 01ncontra la hiptesis alternativaH1:E(Y|X) =X

con un nivel de significacin est definida por

IP(Fr1,nr> c) =.

Se rechazaH0, por lo tanto se declara el modelo globalmente significativo cuando se encuentra un valor F

en la muestra mayor que c.

En la prctica, se define laprobabilidad crticao p-valorque es el valor pc tal queIP(Fr1,nr> F) = pc.

Si el valor de la probabilidad crtica pc es alta, no se rechaza H0, es decir que se declara el modelo como

poco significativo.

3.5.2. Medicin del efecto de cada variable en el modelo

Cuando las variables explicativas son independientes, el efecto asociado a l variableXj se mide con Xjj.

Se observar que el modelo lineal es invariante por el cambio de escalas de mediciones.

69


14/33

Consideramos la hiptesis nulaH0: j=0. Comoj N(j,2j )en donde

2j= Var(j)(

2j=

2(XtX)1j,j

en el caso del modelo con rango completo),j jj

N(0, 1). Por otra parte, como (n r)

2 2nr, se

deduce que

j jj

tnr.

Bajo la hiptesis nulaH0:j= 0,

j

j tnr.

Si la probabilidad crtica o P-valorIP

|tnr| >

jj

= pc es grande, no se rechaza H0 y si es pequea se

rechazaH0, lo que en este caso muestra un efecto significativo de la variablesXj sobreY.

Estos test individuales sobre los efectos tienen validez cuando las variables explicativas son relativamente

independientes. Cuando no es el caso, es decir cuando una variable Xjpuede tener un efecto sobre Y distintocuando se combina con otras variables, hay entonces que eliminar los efectos de las otras variables. Para eso

se puede usar elcoeficiente de correlacin parcial.

3.5.3. Coeficiente de correlacin parcial

El efecto de una variable Xsobre la variable Ypuede estar afectado por una tercera variable Z cuando Z

tiene efecto sobreX tambin. El estudio se basa entonces en las dos relaciones del tipo lineal:

X= Z+

Y=Z+.

Una vez eliminada la influencia de la variableZsobre las variablesX eYse mide solamente a partir de los

restos:

XZ=

Y Z=.

Definicin 3.2 El coeficiente de correlacin parcial entre X eY bajoZconstante es el coeficiente de

correlacin entre los erroresy :

(X,Y|Z) = Corr(,)

Se observa que siXy Z son muy correlacionados entonces la correlacin parcial entreXe Yes muy pequea.

En efectoXaporta casi ninguna informacin nueva sobre Y(o vice-versa) cuandoZes conocida.

Se usa el grfico de los errores para medir los efectos y el tipo de efecto (lineal o no). Del grfico3.2(a)

podemos decir que la variableX2 no tiene efecto sobre la variableY en presencia de la variableX1. Pero en

70


15/33

el grfico3.2(b) la variableX2 aporta a la explicacin de la variableYan si la variable X1es presente en el

modelo.

Figura 3.2: Interpretacin de los errores y del coeficiente de correlacin parcial

Se puede generalizar a ms de 2 variables Zj, j=1, 2, . . . , q. Si

X=q

j=1

jZj+ Y=q

j=1

Zj+

entonces se define el coeficiente de correlacin parcial entreXe Y, dadas las variables Zj, por:

(X,Y|Z1,Z2, . . . ,Zq) = Corr(,).

Si las variablesZj no tienen efecto sobreXe Y, es decir que las correlaciones Corr(X,Zj)y Corr(Y,Zj)son

todas nulas, entonces(X,Y|Z1,Z2, . . . ,Zq) = Corr(X,Y).

Se generaliza tambin la matriz de correlacin parcial con mas de dos variables. Definimos para eso la

matriz de varianza-covarianza del vectorXdado el vectorZfijo:

Var(X|Z) =XX X Z1

ZZZX.

Se tiene una intertretacin geomtrica del coeficiente parcial(X,Y|Z)mediante los tringulos esfricos: El

ngulo(A)del tringulo esfrico(ABC)est definido por el ngulo entre las dos tangentes en A a los lados

del tringulo esfrico (Grfico3.3). El ngulo(A)es entonces igual a la proyeccin del ngulo entre OX y

OY sobre el plano ortogonal a OZ. Los ngulos siendo relacionados a los arcos, se tiene:

cos(A) =cos(a) cos(b) cos(c)

sin(b) sin(c) .

Luego:

71


16/33

Figura 3.3: Representacin esfrica del coeficiente de correlacin parcial

Figura 3.4: (a)(X,Y|Z) = 1 (b)Corr(X,Z) =0,Corr(Y,Z) =0, 01,(X,Y|Z) =1.

(X,Y|Z) = Corr(X,Y) Corr(X,Z)Corr(Y,Z)

1 Corr2(X,Z)

1 Corr2(Y,Z)

En la figura3.4a, el ngulo A = 2

, el coeficiente de correlacin parcial es1. Pero puede haber un efecto

escondido de la variable Xsobre la variableZcomo se ilustra en la figura3.4b: el coeficiente de correlacin

mltiple de X eY sobre Zes igual a 1, a pesar que el coeficiente de correlacin entre X y Zes nulo y el

coeficiente de correlacin entre Y y Z es muy pequeo aquel entre X eY cercano a 1. El coeficiente de

correlacin parcial es igual a 1 tambin.

3.5.4. Efecto de un grupo de variables

Vimos que el efecto global de todas las variables explicativas y los efectos individuales. Veremos aqu el

efecto de un grupo de k variables, sean Xj1 ,Xj2 , . . . ,Xjk (k p), entre las p variables. El efecto de estas

72


17/33

variables se mide considerando la hiptesis nula H0 : j1 =j2 = = jk=0 contra H1 : E(Y) =0+

1X1+ +pXp.

SeanXjk+1 ,Xjk+2 , . . . ,Xjp el restante de lasP variables. BajoH0, el modelo se escribe:Y=0+ jk+1Xjk+1+

+ jpXjp+ o. Se tiene la varianza residual bajoH1menor que la varianza residual bajo H0:

i

2i i

2oi

Se puede estudiar el cociente de las dos varianzas residuales

i

2oi

i

2io su complemento

i

y2oi

i

2ien donde

yoi=yi 2oi son las componentes del estimadorE(Y|X)bajoH0.

Bajo la hiptesisH0

Q=i ( y

i yoi)2/k

i

2i/(n r) Fk,nr.

Lo que conduce a un test de regin crtica de la forma Q c.

Considerando otra forma de escribir el problema. Sea la hiptesis nula H0 : E(Y) = X0 W0, con X0 de

rangos, contraH1=X W.

La hiptesis H0 equivale a (XX0)= 0 lo que corresponde a k= p s + 1 ecuaciones independientes

Dk(p+1) =0, en queD es de rangok. Para que el test tenga sentido,Dtiene que ser estimable, es decir queel estimadorDno debe depender de una solucin particularde las ecuaciones normales.

Sean Y e Y las proyecciones Y sobre W y W0respectivamente yE(Y) =0bajoH0y E(Y) = bajoH1.

Y02 = YY +Y 0

2 = YY2 + Y 02

Y2 = YY2 + Y2

SeanS2 =YY2

YY2 yR2 =

YY2

YY2. BajoH0, se tiene

n p 1

kR2 Fk,nr. La regin crtica es de la

forman r

k R2 > C.

Se puede plantear el test de razn de verosimilitudes tambin: =max

H0L

maxL. La regin crtica se escribe S> C

Este test coincide con el testF.

Se observar queYY2

n sy

YY2

kson ambos estimadores insesgados de2 bajoH0.

73


18/33

Cuando la varianza2 es conocida, la razn de verosimilitudes es igual a:

=

maxH0

L

maxL=exp

1

22Yy2

.La regin crtica del test se escribe entonces YY2 >22k.

Se puede construir un test a partir deD N(D,2)cuando N(0,2). BajoH0,tDt1D

2 2k.

Pero este test no equivale en general al test de razn de verosimilitudes basado en YY2.

3.5.5. Caso de una hiptesis lineal general

Sea la hiptesis nulaH0:A= ccontra la hiptesis alternativaH1:A= c, en dondeA Mk,p+1es conocida

y de rango k. A tiene que ser estimable, es decir no debe depender de una solucin de las ecuaciones

normales. Se supondr aqu un modelo de rango completo.

Sea = (XtX)1XtYel estimador de mxima verosimilitud sin restriccin y 0el estimador bajoH0:A =

c. Se obtiene 0usando los multiplicadores de Lagrange:

Q= (YX)t(YX) + 2(A c)

Q

=0 XtX0=X

tY+At 0= (XtX)1(XtY+At) = + (XtX)1At.

Utilizando la restriccinA0=c, obtenemos que= [A(XtX)1At]1(c A)

0= + (Xt

X)1

At

[A(Xt

X)1

At

]1

(c A)

SeanP0y Plos proyectores asociados respectivamente aX0y X, es decir tales queP0Y= X0yPy =X.

Entonces

P0Y=PY+X(XtX)1At[A(XtX)1At]1(c A).

Sea la varianza residual del modelo sin restriccin: V = (Y X)t(Y X) y la varianza residual bajo

H0: T= (YX0)t(YX0). ComoT V,consideramos U= T Vque compararemos a V.

Proposicin 3.2 La diferencia de las varianzas residuales con y sin restriccin es:

U= (A

c)t

[A(Xt

X)1

A

t

]1

(A

c)

y bajo la hiptesis nula U

2 2k.

Demostracin:

U(YX0)t(YX0) (YX)

t(YX) = Yt(P P0)Y.

Como P0Y= PY+X(XtX)1At[A(XtX)1At]1(cA) y U= Yt(PP0)t(PP0)Y U= (Ac)t[A(XtX)

1At]1(A

74


19/33

c).

Por otro lado como A es de rango igual a k,A Nk(A,2A(XtX)1At), luego

U

2 2k.

Comoes independiente de V=i 2i (ver ejercicio 1.7b), el estadstico del test es:

U/k

V/(n p) Fk,np.

3.5.6. Anlisis de los residuos

Se supone que el efecto de numerosas causas no identificadas est contenido en los errores, lo que se traduce

como una perturbacin aleatoria. De aqu los supuestos sobre los errores, que condicionan las propiedades

del estimador. Es importante entonces comprobar si los supuestos se cumplen.

La mejor forma de chequear si los errores son aleatorios de medias nulas, independientes y de la misma

varianza, consiste en estudiar los residuos

i=1, 2, . . . , n:i= yi j

jxi,j

considerndolos como muestra i.i.d. de una distribucin normal.

Se puede usar el grfico (Yi, i), que debera mostrar ninguna tendencia de los puntos, o bien construir

test de hiptesis sobre los errores. En el grfico de la izquierda ( 3.5) se puede ver los residuos aleatorios

independientes de Y, lo que no es el caso de los residuos del grfico de la derecha.

Si el supuesto que los errores sonN(0,2)no se cumple, tenemos que estudiar el efecto que esto tiene sobre

la estimacin de los parmetros y sobre los tests de hiptesis, adems tenemos que detectar si este supuesto

es cierto o no y corregir eventualmente la estimacin de los parmetros y tests.

Vimos donde interviene el supuesto de normalidad en la estimacin de los parmetros del modelo y en los

tests de hiptesis para verificar la significacin de las variables en el modelo. Este tema se relaciona con el

concepto de larobustez(ver MILLER R.G. (1986), Beyond ANOVA, Basics of Applied Statistics).

La teora de estimacin y de test de hiptesis se basa en supuestos sobre la distribucin de poblacin. Por lo

tanto si estos supuestos son inexactos, la estimacin o la conclusin del test sera distorsionada. Se buscan

entonces mtodos que sean lo menos sensibles a la inexactitud de los supuestos. Se habla entonces de

robustez del mtodo.

Se divide el estudio en tres partes: la normalidad, la independencia y la igualdad de las varianzas de los

errores.

75


20/33

Figura 3.5: Grficos de residuos

Estudio de la normalidad de los errores

Si no se cumple la normalidad de los errores, los efectos sobre la estimacin o tests relativos a los parmetros

son pequeos, pero son ms importantes sobre los tests relativos a coeficiente de correlacin. El problema

es ms agudo en presencia de observaciones atpicas.

Tenemos entonces que verificar la hiptesis nula Ho:i N(0,2)o sea si ui=

i

,Ho: ui N(0, 1). Esto

sugiere de comparar la funcin de distribucin empricaFn de los residuos normalizados con la funcin de

distribucin de laN(0, 1). SeaFla funcin de distribucin de laN(0, 1), que es invertible.

Entonces si losui provienen deN(0, 1),F1(Fn(ui)) ui. Consideramos entonces los estadsticos de orden

de los ui, que son los residuos normalizados ordenados de menor a mayor: sea u(1) u(2) ... u(n). La

funcin de distribucin emprica es entonces:

Fn(u) =card{u(i) u}

n

Se define los cuantiles empricosqi=F1(Fn(u

(i)). Notemos queFn(u

(i)) =Fn(

(i)).

Si Fn se parece a F, los puntos(ui, qi) deberan ser colineales (sobre la primera bisectriz). Este grfico se

llamaprobito recta de Henri( grfico 3.6).

Si los puntos en ell grfico probit aparecen como no lineal, se rechaza la normalidad de los errores y se

puede corregir utilizando la regresin no paramtrica basada o bien otras alternativas segn la causa de la

no normalidad (no simetra, observaciones atpicas, etc..

76


21/33

Figura 3.6: Recta de Henri

Test de Durbin y Watson

Test para la igualdad de las varianzas

3.6. Prediccin.

Si se tiene una nueva observacin para la cual se conocen los valores de las variables explicativas, sean

x0,1,x0,2, . . . ,x0,p, pero se desconoce el valorY0de la variables respuesta, se puede entonces usar el modelopara inferir un valor para Y0a travs de su modelo esperado:

0=E(y0) =xt0

en quext0= (x0,1x0,2 . . .x0,p).

Si es el estimador deobtenido sobre las antiguas observaciones, se estima 0dados los valores tomados

por las variables explicativas por:

0=E(y0) =xt0.

Se puede calcular un intervalo de confianza para 0: la distribucin de y0 es N(0,2xt0(XtX)1x0), luegoy0 0

xt0(XtX)1x0

tnp1. Se usa este estadstico para construir un intervalo de confianza de nivel 1

para0:

IP

y0 t

/2np1

xt0(X

tX)1x0 0 y0+ t/2np1

xt0(X

tx)1x0

=1

Un problema distinto es de estimar un intervalo para y0. Hablamos de un intervalo para la prediccin. En

77


22/33

este caso hay que tomar en cuenta de la varianza aleatoria y0:

y0= y0+ 0.

La varianza de0es igual a: 2 +2xt0(XtX)1x0, dado que y0. Un intervalo de prediccin paray0se obtiene

entonces a partir de y0 y0

1 + (xt0(XtX)1x0)

tnp1

El intervalo es entonces definido por:

IP

y0 t

/2np1

1 +xt0(X

tX)1x0 yo y0+ t/2np1

1 +xt0(X

tX)1x0

=1 .

3.7. Caso de modelo de rango incompleto.

Vimos que en el caso de una matriz Xde rango rmenor que p + 1, la solucin de las ecuaciones normales

no es nica. se habla en este caso demodelo de rango incompleto. Construyendo una solucin de las

ecuaciones normales a partir de una inversa generalizada A= (XtX) no se obtiene necesariamente un

estimador insesgado de. En efecto, sib es una solucin de las ecuaciones normales:

(XtX)b=XtY

entonces b =AXtYE(b) =AXtE(Y) =AXtX. SiH=AXtX, entoncesE(b) =HH= en general:

bes un estimador insesgado de Hy no de.

Sin embargo, Y= X b= (X AXt)Y es nico, dado queX AXt no depende de la inversa generalizadaA. LuegoE(Y) =E(X b) = (X AXt)X=X. Los vectoresY de las predicciones yde los residuos son invariantes e

insesgados y 2 =Yt(1 X AXt)Y

n rel estimador de2 lo es tambin.

Se presentan tres enfoques para estudiar estos modelos de rango incompleto

mediante un modelo reducido;

a partir de funciones estimables;

mediante restricciones identificables sobre los coeficientes del modelo.

Veremos las relaciones que existen entre estos mtodos.

3.7.1. El modelo reducido.

Sea X de rango r (< p + 1), entonces U Mr,p+1r tal que X= (X1|X2) con X1 de rango completo r

78


23/33

X2=X1U. Entonces, si=

1

2

:

X=X11+X22= X1(1+U2) =X1+

El modelo se escribe entonces: Y=X+ = X1+ + , que es un modelo de rango completo sobre X1

equivalente al modelo de rango incompleto:

+ = 1+U2= (Xt1X1)

1Xt1Y

E(+) =+

Var(+) =2(Xt1X1)1

3.7.2. Funciones vectoriales estimables

Definicin 3.3 Sea E=Rp+1 el espacio vectorial de los parmetros y G= Rk. Una aplicacin

lineal H :E G esestimable si existe una aplicacin lineal L: IRn G (L l (IRn,IRk)) tal que

E(LY) =H.

CuandoG=IR, se habla de funcin estimable.

Veamos a continuacin algunas condiciones para queHsea estimable.

Teorema 3.2 Una condicin necesaria y suficiente para queH: E Gsea estimable es que existeL

l(IRn,IRk)(o L Mk,n) tal queLX= H.

Demostracin: SiHes estimable L l(IRn,IRk) tal queE(LY) =H E(L(X+)) =H

LX= H.

Figura 3.7: Esquema de funciones

Teorema 3.3 Una condicin necesaria y suficiente para queHsea estimable es queKer(X)Ker(H).

Demostracin: () Si H es estimable L l (IRn,IRk) tq LX =H; si X b= 0 H b= 0, luego

Ker(X)Ker(H).

() SiKer(X)Ker(H), luego siX b = 0 Hb = 0 L Mk,n:LX b =Hb = 0. SeaIRp+1 = Ker(X)F,

entoncesXes un isomorfismo sobreW=Im(X) =X(IRp+1) =X(F). Entonces a todoY W corresponde

79


24/33

a un solo b F tal queY=X b. Si se toma LY=H b, lo que define L de manera nica, se tiene Y W :

LY=H b, es decir que b F: LX b=H b. Se deduce entonces queHes estimable.

Consecuencias del teorema:

Sea b una solucin de las ecuaciones normales. Si Hes estimable, entonces Hb no depende de la

solucin particularbelegida. En efecto,b = b0 +b1en queb0 Ker(X),b1nico. Luegob0 Ker(H)

y Hb = H b0+Hb1= H b1 que es invariante. Adems LXb= H b no depende de L. Adems Hb es

insesgado paraH.

Si se busca un estimador insesgado de, como se tieneq= p + 1,Hes la identidad enIRp+1 y como

Ker(H) = {0} Ker(X) = {0}. El modelo tiene que ser de rango completo.

En conclusin, en un modelo de rango completo, toda funcin vectorial deXes estimable.

3.7.3. Aplicacin al modelo de rango incompleto.

Sea X de rango r y X= (X1|X2) en que X1 es de rango completo r y X2 =X1U. Sea =

1

2

la

descomposicin de tal que X= X11+X22. Sea 1 L1 de dimensin r y 2 L2 de dimensin

p + 1 r. Entonces+ =1+U2 L1.

Figura 3.8:

Teorema 3.4 Una condicin necesaria y suficiente para queH l(IRp+1,IRk)sea estimable es queH2=

H1U, en dondeH1y H2son las restricciones deHa L1y L2.

Demostracin:

SiHes estimable, existeL tal queLX= Hy ademsLX1=H1y LX2=H2.

LX=L(X11+X22) =LX11+LX22=H11+H22. PeroLX2=LX1U, por lo tantoH2=H1U.

Recprocamente, siH2=H1U, mostramos que se puede construirL tal queLX= H.

Observemos que basta construirL, sobreIm(X). AdemsX1es de rango completo, luego YIm(X) !b1

L1 tq Y=X1b1. ExisteL tal queLY=LX1b1. EntoncesH2=LX1U= LX2.

80


25/33

Figura 3.9:

Finalmente IRp+1 :LX=L(X11+X22) =H11+H22=H. LuegoHes estimable.

Consecuencias: el teorema de Gauss-Markov, que vimos para el caso de modelo de rango completo, puede

aplicarse al caso de un modelo de rango incompleto para estimadores de funciones estimables:

Teorema 3.5 Si H es una funcin vectorial estimable, el nico estimador lineal insesgado de mnima

varianza deHes Hen donde es cualquiera solucin de las ecuaciones normales.

Demostracin:

H=H11+H22=H1+

H=H1+

Var(H) = Var(H1+) =2H1(X

t1X1)

1Ht1

que no depende de la particinXenX1y X2.

3.7.4. Estudio imponiendo restricciones.

Si el rango deXes igual ar< p + 1, se tiene p + 1 rgrados de indeterminacin en la eleccin de . Se

puede levantar esta indeterminacin imponiendo p + 1 r restricciones lineales independientes sobre , de

manera que conociendo Y, se obtenga un nico estimador de tal que Y=X.

Las restricciones son de la forma

K =0

conK Mp+1r,p+1,Kes de rangos= p + 1 r.

Se tiene entonces que estimar con tal que

Y=X con la restriccinK =0. (1)

Veamos que esta condicin nos asegura de obtener la unicidad con cualquier Kde rangos.

81


26/33

Teorema 3.6 ConsiderandoK1 y K2 las restricciones de Ka L1 y L2, la condicin necesaria y suficiente

para que (1) tenga una solucin nica es queK2 K1Usea invertible.

Demostracin: La ecuacin (1) puede escribirse usando la particinX= (X1,X2);

+ = 1+U2= (Xt1X1)1Xt1YK11+ K22=0

1= + U2

(K2 K1U)2= K1+

(2)

este sistema de ecuaciones (2) tiene una solucin nica si y solo si K2 K1Ues invertible.

Notas:

Kno puede ser estimable en este caso. Si lo fueraK2=K1Uy 2no es nico.

SiHes estimable,H no depende del estimador solucin de las ecuaciones normales por lo tanto

de las restricciones elegidas.

Dos maneras de encontrar la solucin de (2):

ComoK b=0, se puede escribir las ecuaciones normales de la forma:

(XtX+MK)K= XtY

en dondeMes una matriz tal que XtX+MKinvertible. El problema es de encontrar esta matriz M.

La otra manera , ms operativa, consiste en construir el modelo aumentado: XtX Kt

K 0

0

=

XtY

0

.

Si la matriz aumentada A =

XtX Kt

K 0

es invertible, su inversa se escribe: A1 =

C Pt

P Q

,

entonces = CXtY.

3.8. Intervalos y regiones de confianza.

Vimos que los test de hiptesis sobre los parmetros individualmente no son adecuados en general. Por

la misma razn, no se construye en general intervalo de confianza para cada parmetro por separado. Se

propone construir regiones de confianza o intervalos simultneos de confianza.

82


27/33

3.8.1. Regiones de confianza.

Vemos aqu intervalos o regiones de confianza para parmetros individualmente o para funciones de los

parmetros.

Para cada parmetroj del modelo lineal, se puede construir un intervalos de confianza utilizado:

j jj

tnr

en donde 2j es la estimacin deVar(j) = 2(XtX)1j,j ; es decir

2j (X

tX)1j,j . El intervalo de confianza de

nivel de confianza igual a 1 es: j t

/2nrj,

j+ t/2nrj

Para una combinacin lineal del vector : at a

t

at(XtX)1a tnr, luego el intervalo de confianza es:

at t

/2nr

at(XtX)1a, at+ t

/2nr

at(XtX)1a

Para un vectorA IRk conA Mk,p+1, sabemos de 2.5.5 que

( )tAt[A(XtX)1At]1A( ) 22k

y 1

2 i2

i 2

nr

son independientes.

Luego

( )tAt[A(XtX)1At]1A( ) k

n r2Fk,nr

define una regin de confianza elipsoidal paraA.

Ejemplo 3.7 Sean p=3,n=18,(XtX)1 = 1n

1 0 0

0 2 1

0 1 2

, 22 =n y =

0

2

1

.

Las varianzas de1 y2 son: 21= 1 y

22= 1. Los intervalos de confianza individuales con 1 =0, 95

para1y 2son:1 [0, 13;4, 13]y 2 [1, 13;3, 13].

El intervalo para1 2:at = ( 0 1 1 );Var(at) =3 1 2 [2, 691;4, 691].

El intervalo para1+2:at = ( 0 1 1 );Var(at) =1 1+2 [0, 891;5, 131].

83


28/33

En la figura3.10a se represent los dos intervalos de confianza individuales para 1y 2y en la figura3.10b,

las regiones de confianza para1 2y 1+2.

Figura 3.10: (a) Intervalo para1y 2 (b) Intervalo para1 2y 1+2

3.8.2. Intervalos simultneos de confianza.

Vimos que par un vector A IRk

conA Mk,p+1, la regin de confianza elipsoidal es tal que

IP(( )tAt[A(XtX)1At]1A( ) k

n r2Fk,nr) =1 .

Ahora bien, si representamos esta regin, por ejemplo, con loskintervalos asociados a losatj, j= 1, 2, . . . k

es dondeatj es la fila jde A, tomando la interseccin de loskintervalos:atj

k

n rFnrVar(a

tj), a

tj+

k

n rFnrVar(a

tj)

obtenemos una regin ms amplia que la definida por el elipsoide. En efecto:

Proposicin 3.3 Si Ces invertible, entonces supu=0

(utb)2

utCu

=btC1b.

Demostracin:

v h2 =2h2 2htv + v2 =

h

htv

h

2+ v2

(htv)2

h2 0.

84


29/33

Para h=0 v2h2 (htv)2. Luego (htv)2

v2 h2 sup

v=0

(htv)2

v2 =h2. Tomando v= C1/2u y

h= C1/2bobtenemos(btu)2

utCu btC1b.

Aplicando este resultado a la regin de confianza deA:

IP

( )tAt[A(XtX)1At]1A( )

k

n r2Fk,nr

=1 .

y tomando=A, C= [A(XtX)1At]y q= kn r2Fk,nr, obtenemos

IP(( )tC1( ) q) =1 IP

u =0 :

(ut( )2)

utCu q

=1 .

Ahora bien, cuando se quiere un intervalo para A, es equivalente a pedir kintervalos Ij al mismo tiempo

para losatj, j=1, 2, . . . , ken dondeatj es la fila jde A. De lo anterior deducimos que el elipsoide obtenido

paraAes ms que lo que pedimos que es para jIj:

IP(Ij) 1 .

Para A =I, Scheff propone proyectar el elipsoide asociado a sobre los ejes de coordenadas. En general

puede ser demasiado pesimista dado que

IP(Ij) 1 .

Bonferroni propone simplemente que cadaIj sea tal que IP(Ij) = 1 k (j= 1, 2, . . . , k). Aqu tambin se

tiene queIP(Ij) 1 . En efecto

IP(Ij) =1 IP

Ij

=1 IP

Ij

1 j

IPIj

=1 j

j= 1 .

3.9. Ejercicios.

1. Cuatro mdicos estudian los factores que explican porque hacen esperar a sus pacientes en la consulta.

Toman una muestra de 200 pacientes y consideran el tiempo de espera de cada uno el da de la

consulta, la suma de los atrasos de los mdicos a la consulta este mismo da, el atraso del paciente a la

consulta este da (todos estos tiempos en minutos) y el nmeros de mdicos que estn al mismo tiempo

es la consulta este da. Se encuentra un tiempo promedio de espera de 32 minutos con una desviacin

tpica de 15 minutos. Se estudia el tiempo de espera en funcin de las otras variables mediante un

modelo lineal cuyos resultados estn dados a continuacin:

85


30/33

Variable Coeficiente Desv. tpica t-Student IP(|X| > t)Constante 22,00 4,42 4,98 0,00

Atraso mdico 0,09 0,01 9,00 0,00

Atraso paciente -0,02 0,05 0,40 0,66

Nmero de mdicos -1,61 0,82 1,96 0,05Coef. determinacin=0,72 Fde Fisher=168 IP(X> F) =0, 000

Cuadro 3.1: Resultados de la regresin

a) Interprete los resultados del modelo lineal. Comente su validez global y la influencia de cada

variable sobre el tiempo de espera. Especifique los grados de libertad de lastde Student y la F

de Fisher.

b) Muestre que se puede calcular laF de Fisher a partir del coeficiente de determinacin. Si se

introduce una variable explicativa suplementaria en el modelo, el coeficiente de determinacin

sar ms elevado?

c) D un intervalo de confianza a 95

d) Predecir el tiempo de espera, con un intervalo de confianza a 95que llega a la hora un da que el

consultorio funciona con 4 mdicos que tienen respectivamente 10, 30, 0, 60 minutos de atraso.

2. Suponga que tenemos un modelo lineal Y=X+con Nn(0,2In),IR

p+1,XMn,p+1(IR).

a) EscribamosX como:X= (X1,X2), conX1 y X2 submatrices deXtales queXt1X2= 0 (la matriz

nula). El modelo inicialY=X+ se escribeY=X11+X22+con = 1

2

. Si 1 esel estimador de mxima verosimilitud de1en el modelo Y=X11+y 2es el estimador de

mxima verosimilitud dees igual a

1

2

.

(Indicacin: se usar el siguiente resultado: si A Mn,n(IR)es una matriz diagonal por bloque,

i.e.A1 =

A11 0

0 A12

, con las submatricesA1 y A2 invertibles , entonces A es invertible, y

A1 =

A1 0

0 A2

).

b) Si Xt1X2=0 y si se toma=

1

2

como estimador de, que propiedad pierde bajjo el

supuesto usualE() =0.

3. Consideremos tres variables Y,X,Zobservadas sobre una muestra de tamao n = 40, {(yi,xi,zi) tq i =

1, . . . , 40}. Se busca explicar Ylinealmente a partir de X yZ.

86


31/33

Variable Medias Desv. tpica

Y 11,68 3,46

X 5,854 2,74

Constante Estimacin Dev. tpica estimacin t-Student IP(|X| > t)

7,06 1,03 6,84 0,00 0,79 0,16 4,94 0,00

Coef. determinacin=0,39 Fde Fisher=24,44 IP(X> F) =0, 000


a) Se representan los resultados de modelo lineal:yi= +xi+ i,i =1, . . . , 40: Interprete estos

resultados y efecte el test de hiptesisH0:=0.

b) D una estimacin insesgada para2 la varianza de los errores de este modelo.

c) Comente el grfico de los residuos en funcin de losyi.

d) Se tiene una nueva observacin que toma sobre la variableXel valor x0= 6, 50. D una esti-

macin y0del valory0que toma sobre la variable Y.

e) Se presentan los resultados del modelo lineal:yi=+ zi+i:

Variable Medias Desv. tpica

Y 11,68 3,46

Z 0,00 2,65

Constante Estimacin Dev. tpica estimacin t-Student IP(|X| > t)

11,68 0,36 32,54 0,00

1,00 0,14 7,27 0,00Coef. determinacin=0,58 Fde Fisher=52,78 IP(X> F) =0, 000


Se tiene i

xizi=0 y i

zi=0.

Muestre que si X1= (1n|X) es una matriz formada del vector de unos y del vector de los xi y

X2Zel vector formado de los zi, se tieneXt1X2= 0. Usando los resultados del ejercicio 2 deduzca

las estimaciones de los parmetros del modelo yi=0+1X+2Z+ .

4. Se requiere ajustar una funcin escalny= f(t)con fconstante en los intervalos en que j=0, . . . , K

y a0< a1< ... < aK. Para ello se observan datos {(ti,yi) i= 1, . . . , n}. Se asume que los yi son

mutuamente independientes y que la distribucin de los yi es N(f(ti),2).

a) Formule el problema anterior como modelo lineal.

b) Obtenga la funcin ajustada por mnimos cuadrados.

87


32/33

c) Concluya un intervalo de confianza para

aKa

0

f(t)dt.

5. SeaY IRn un vector aleatorio con E(Y) = y Var(Y) = 2In. Se considera el modelo lineal Y=

X+, en queX Mn,pes de rango completo. Llamaremos Wal subespacio deIRn conjunto imagen

deXe Yal estimador de mnimos cuadrados de =E(Y).

a) Sea a W ya la recta generada por a. Se define H0= {z W tq atz=0} el suplemento

ortogonal de a enW. Se tiene entonces la descomposicin en suma directa ortogonal de W:

W=Ha a. Muestre que el estimador de mnimos cuadradosY de en Hase escribe como:

Y = Y

atYata

a.

b) Sib IRn, muestre que Var(btY) = Var(btY) 2(btb)2

ata .

c) Suponiendo que los errores son normales, d la distribucin de

i

2i

2 , en quei = Yi Y

i .

d) Se considera el caso particulara=In. D la distribbucin de

i

Y2i /p

i

2i /(n p). Muestre que si las

variables son centradas, Y= Y.

6. Teorema de Gauss-Markov generalizado.

Si Var(Y) =, invertible, entonces el estimador insesgado de mnima varianza entre los esti-

madores lineales insesgados de es aquel que minimiza YX21

.

a) Encuentre el estimador de mxima verosimilitud de y.

b) Demuestre el teorema.

88


33/33

c) Si el rango deXes igual ar, muestre que la norma del vector de residuos de un modelo lineal

YY21 2nr

en donde Y la proyeccin1-ortogonal de Y sobreIm(X).

7. Sea el modelo lineal:y i= 0+1xi,1+ +pxi,p+ i, i = 1, 2, . . . , n. MatricialmenteY=X+ ,

conrango(X) = p + 1,E() =0,Var()2In.

a) Se escribeXtX=

n at

a V

. D las expresiones dea y V. Muestre queV es definida positiva.

Muestre que a es un vector nulo cuando las variables explicativas estn centradas

j:

n

i=1

xi,j=0

.

Relacione los valores propios de Vcon los de V1.

b) Muestre quej

Var() sujeto a j :n

i=1

xi,j= 0 yj :n

i=1

x2i,j= c (c es una constante positiva)

alcanza su mnimo cuandoXtXes diagonal.

c) En qu difieren de las propiedades optimales obtenidas en el teorema de Gauss-Markov?

d) Se supone queXtXes diagonal con j:n

i=1

xi,j=0 y j:n

i=1

x2i,j=c. Deducir las expresiones de

, Var(), Y. Exprese el coeficiente de correlacin mltipleR2 en funcin de los coeficientes de

correlacin lineal de Ycon las variables explicativasX.

8. Sea el modelo lineal Y=X+, conXde rango completo peroXtXno diagonal.

a) D la expresin de una prediccin de la variable respuesta Yy un intervalo de confianza asocia-

do.

b) Se hace un cambio de base de las columnas de X, sea Z la matriz de las nuevas columnas,

de manera que Im(X) =I m(Z) y que ZtZ sea diagonal. Muestre que el cambio de variables

explicativas no cambia las predicciones de Y. Deduzca la expresin del intervalo de confianza

en funcin deZ.

9. Concluye el test de razn de verosimilitudes para la hiptesis nula H0 : A= c para los supuestos

usuales. Muestre que es equivalente al test Fde Fisher dado en 2.5.5.

10. Sea el modelo linealY=X+ con Nn(0,2In), X Mnp de rango incompleto. Sea A una

funcin vectorial estimable de , con A Msp de rango completo s. Muestre que A(XtX)At es

invertible.

Teoria General del Modelo Lineal

Documents

Transcript of Teoria General del Modelo Lineal