2 REGRESIÓN LINEAL ÚLTIPLE - codexjam.com · En general, un modelo de regresión es no lineal...

Facultad de CienciasEconómicas y Empresariales

ECONOMETRÍA

2

REGRESIÓN LINEAL MÚLTIPLE I

José Alberto Mauricio

Departamento de Análisis Económico y Economía Cuantitativa

II

EctrGr-JAM-2.pdf

COPYRIGHT 2012-2018 José Alberto Mauricio E-mail: [email protected]

Versión 5.0 - Enero 2018

III

2

REGRESIÓN LINEAL MÚLTIPLE I

BIBLIOGRAFÍA Wooldridge (2013), Capítulos 2, 3, 4, 5, 6. Apéndice E.

Heij, de Boer, Franses, Kloek, van Dijk (2004), Capítulos 2, 3. Secciones 5.1, 5.2.

Los apartados indicados en estas transparencias con el símbolo no forman parte del programa actual de la asignatura.

IV

CONTENIDO

2.1 Especificación I ......................................................................................................... 1 Forma Funcional ......................................................................................................... 2

2.2 Estimación ................................................................................................................. 9 Aspectos Algebraicos ................................................................................................ 13 Propiedades Estadísticas .......................................................................................... 29

2.3 Contrastes de Hipótesis ......................................................................................... 44 El Estadístico F ......................................................................................................... 45 Estadísticos t ............................................................................................................. 50 Intervalos de Confianza ............................................................................................. 56 Previsión ................................................................................................................... 57

2.4 Propiedades Asintóticas ........................................................................................ 61

2.5 Especificación II ...................................................................................................... 67

ECONOMETRÍA PÁGINA 1

2.1 Especificación I

La especicación inicial de un modelo RLM requiere considerar tres cuestiones:

La elección de las variables explicativas.

La elección de la forma funcional de la relación entre la variable dependiente y las variables explicativas.

La especicación de las hipótesis que garantizan unas buenas propiedades para los métodos de inferencia que serán utilizados.

Las dos primeras cuestiones suelen resolverse mediante algún tipo de razonamiento lógico basado (quizás) en un modelo teórico y (fundamentalmente) en un análisis inicial de las características muestrales de los datos disponibles sobre todas las variables. También es muy importante la experiencia y el buen juicio del investigador.

La tercera cuestión suele resolverse planteando inicialmente aquellas hipótesis que justican el empleo de métodos de inferencia sencillos y con propiedades óptimas.

2 · REGRESIÓN LINEAL MÚLTIPLE I 2.1 ESPECIFICACIÓN I


FORMA FUNCIONAL

El modelo RLM es lineal porque los parámetros que guran en su lado derecho lo hacen de forma lineal (a lo sumo, están multiplicados por un término que no depende de ningún parámetro del modelo):

1 2 2 .K KY X X Ub b b= + + + + [1]

No obstante, en el modelo pueden aparecer cualesquiera transformaciones lineales y no lineales de las variables originales de interés; ver la Tabla 1 (donde Q y P representan variables originales). En la Tabla 1, [M1]-[M7] son todos ellos casos particulares de [1] (deniendo adecuadamente Y, jX y K en cada caso), que, además, pueden combinarse entre sí para formular modelos que resultan muy exibles en la práctica.

Observación: Modelos como 21 1 1 2Q P P Ub b= + + y 1 2

0 1 2Q P P Ub bm= + son no lineales con respecto a sus parámetros (ninguno de ellos es un caso particular de [1]). Un modelo como 2 3

0 1 2UQ P P eb bm= es equivalente

(tomando el logaritmo neperiano en ambos lados) a 1 2 1 3 2ln ln lnQ P P Ub b b= + + + , con 1 0lnb mº , que sí es lineal con respecto a los parámetros 1b , 2b y 3b . En general, un modelo de regresión es no lineal cuando ni es lineal en su formulación original, ni se puede convertir en un modelo lineal mediante alguna transformación. Los modelos de regresión no lineal sólo se consideran marginalmente en esta asignatura.



TABLA 1 Tipos de Efectos Causales en Diferentes Modelos de Regresión Lineal

Modelo Tipo de Efecto Causal

M1 1 2Q P Ub b= + + 2 2QP

Q Pb b¶¶= D = D

M2 1 2 1 2ln ln exp lnQ P U Q P Ub b b bé ù= + + = + +ë û 2 2% %Q QP P

Q Pb b¶¶= D @ D

M3 1 2 1 2ln expQ P U Q P Ub b b bé ù= + + = + +ë û 2 2% (100 )QP

Q Q Pb b¶¶= D @ D

M4 1 2 lnQ P Ub b= + + 212 100

%QP P

Q Pbb¶

¶æ ö÷ç= D @ D÷ç ÷çè ø

M5 11 2 P

Q Ub b= + + 22

12 100

%QP PP

Q Pbb -¶

¶æ ö÷ç= - D @ D÷ç ÷çè ø

M6 21 2 3Q P P Ub b b= + + + 2 3 2 32 ( 2 )Q

PP Q P Pb b b b¶

¶= + D @ + D

M7 1 2 3 4 ( )A B A BQ P P P P Ub b b b= + + + ´ + 2 4 2 4( )A

QB B AP

P Q P Pb b b b¶¶= + D = + D

En M2, 2b es la elasticidad de Q con respecto a P. En M3, 2100b es la semielasticidad de Q con respecto a P.



2 0

1 2M1: Q P

2 0

Q

P

2 1

1 2 1 2M2: ln Q lnP Q exp lnP

21 0 Q

2 1

2 1

20 1

P

FIGURA 1 Formas Funcionales Alternativas para Modelos de Regresión Lineal I



2 0

1 2 1 2M3: ln Q P Q exp P

2 0

Q

P

2 0

1 2M4: Q lnP

2 0

Q

P

FIGURA 2 Formas Funcionales Alternativas para Modelos de Regresión Lineal II



2 0

11 2 PM5: Q

2 0

Q

P

3 0

21 2 3M6: Q P P

3 0

Q

P

FIGURA 3 Formas Funcionales Alternativas para Modelos de Regresión Lineal III



0

5

10

15

20

25

30

0 4 8 12 16 20

EDUC : EDUCACIÓN

SLRP

H :

SA

LARI

O

0

5

10

15

20

25

30

0 10 20 30 40 50

EXLP : EXPERIENCIA

SLRP

H :

SA

LARI

O

FIGURA 4 Datos de Sección Cruzada sobre Salarios, Educación y Experiencia

Salario medio anual (dólares por hora), educación (años) y experiencia laboral potencial (años) de 526 personas trabajadoras entrevistadas en 1976

(Current Population Survey - U.S. Census Bureau). Archivo SC03-Salarios3.wf1.



TABLA 2 Algunos Modelos de Regresión Lineal para los Datos de la Figura 4

RLS

2Y X

1 2ln SLRPH EDUC U.

RLM.1

32 XY X

1 2 3ln SLRPH EDUC EXLP U.

RLM.2

32 4XY X X2

1 2 3 4ln SLRPH EDUC EXLP EXLP U.

RLM.3

32 4

5

XY X X2

1 2 3 4X

5

ln SLRPH EDUC EXLP EXLP

EDUC EXLP U.

EJ2


2.2 Estimación

Para estimar los parámetros 1b y 2b del modelo RLS

1 2 2Y X Ub b= + + , [2]

se dispone de una colección de datos o muestra de N observaciones sobre cada una de las variables (Y, 2X ), que puede representarse como

1 12

2 222

2

[ , ]

N N

y xy x

y x

é ùê úê úê úº ê úê úê úë û

y x

. [3]

Las N observaciones o las 2[ , ]i iy x ( 1, 2, ..., )i N= de la muestra [3] pueden referirse a N entidades observables en un momento dado (datos de sección cruzada, como en la Figura 1 de la Introducción), o bien a N momentos consecutivos de la historia de una única entidad observable (datos de series temporales, como en la Figura 2 de la Introducción).

2 · REGRESIÓN LINEAL MÚLTIPLE I 2.2 ESTIMACIÓN


1 2 22b b x1 2 12b b x

12x22x

2y1b

0

2e 0

1e 0

X2 : VARIABLE EXPLICATIVA

Y :

VARI

ABL

E D

EPEN

DIE

NTE

1y

1 2 2b b X

2

La pendiente deesta recta es b

FIGURA 5 Estimación "arbitraria" de un Modelo RLS



Residuos

1 2 1 2 2( , ) ( ) ( 1, ..., )i i ie b b y b b x i Nº - + = . [4]

Criterio de estimación MCO

22

1 2 1 1 2 1 1 2 2Minimizar SCR( , ) ( , ) ( ) .N Ni i i i ib b e b b y b b x= = é ùº å º å - +ë û [5]

Estimaciones MCO de 1 y 2

1 2 2ˆ ˆy xb b= - , [6]

2 2 212 22 2 22 21

( )( ) ˆ ˆcov[ , ] dvt[ ]ˆ ˆcorr[ , ].ˆ ˆvar[ ] dvt[ ]( )

Ni ii

Nii

x x y y

x xb =

=

- -å= = = ´

-åx y y

x yx x [7]

Valores Ajustados y Residuos MCO

1 2 2ˆ ˆˆ ( 1, ..., )i iy x i Nb bº + = . [8]

1 2 2ˆ ˆˆ ˆ ( ) ( 1, ..., )i i i i iu y y y x i Nb bº - º - + = . [9]



1 2 2ˆ ˆ ˆY X

1 2 22ˆ ˆ x

1 2 12ˆ ˆ x

12x22x

2y

1

0

Y :

VARI

ABL

E D

EPEN

DIE

NTE

1y

2u 0

1u 0

2

La pendiente deˆesta recta es

1 1 2 12ˆ ˆy x

2 1 2 22ˆ ˆy x


FIGURA 6 Estimación MCO de un Modelo RLS



ASPECTOS ALGEBRAICOS

Para estimar el vector de K parámetros 1 2[ , , ..., ]Kb b b ¢ºb del modelo RLM

1 2 2 ... K KY X X Ub b b= + + + + , [10]

se dispone de una colección de datos o muestra de N observaciones sobre cada una de las variables Y, 2X , …, KX , que puede representarse como

1 12 1

2 22 22

2

[ , , ..., ]

K

KK

N N NK

y x xy x x

y x x

é ùê úê úê úº ê úê úê úë û

y x x . [11]

Residuos

1 2 2

2 1 2

( ) ( ... ) ( 1, ..., ),

[1, , ..., ] ( 1, ..., ), [ , , ..., ] .

i i i K iK i i

i i iK K

e y b b x b x y i N

x x i N b b b

¢º - + + + º - =

¢ ¢º = º

b x b

x b [12]

Notación: En [11], jx es un vector columna ( 1)N ´ referido a los datos disponibles sobre jX (2 )j K£ £ . En [12], i¢x es un vector la (1 )K´ referido a los datos disponibles sobre 2 , ..., KX X en la -ésimai observación (1 )i N£ £ .

En adelante, una x (o una X) con un subíndice puede representar un vector de un tipo o del otro según el contexto.



1 11

2 2 2

( )

( )( )

( )N N N

ye

e y

e y

¢é ù-é ù ê úê ú ê úê ú ¢-ê úê úº º º -ê úê ú ê úê ú ê úê ú ¢-ê úê úë û ë û

x bbb x b

e b y Xb

b x b

,

11 12 1

2 22 22

2

1

1,

1

K

K

N N NKN

y x x

y x x

y x x

¢é ùé ù é ùê úê ú ê úê úê ú ê ú¢ê úê ú ê úº º ºê úê ú ê úê úê ú ê úê úê ú ê ú¢ê úê ú ê úë û ë ûë û

xx

y X

x

.

Notación: La matriz X ( )N K´ puede denirse a través de sus N las (como en la última parte de la expresión anterior), o bien a través de sus K columnas: 2[ , , ..., ]KºX i x x (ver [11]), donde i es un vector columna de N unos.

Criterio de estimación MCO

21Minimizar SCR( ) ( ) ( ) ( ) ( ) ( )N

i ie= ¢ ¢º å º º - -b b e b e b y Xb y Xb . [13]

Estimación MCO del vector

b b b2ˆ ˆ ˆ[C1] SCR( ) 2 2 . [C2] SCR( ) 2 de nida positiva.¢ ¢ ¢= - = =X X X y 0 X X

La condición [C1] puede escribirse como

¢ ¢=bX X X y , [14]

que se denomina sistema de ecuaciones normales (ver [18]). Si ¢X X (una matriz simétrica de orden K ) es no singular, entonces b puede representarse explícitamente como



-¢ ¢=b 1ˆ ( )X X X y [15]

Observación I: La no singularidad de ¢X X está garantizada cuando la matriz X satisface la condición de que rango( ) K N= £X , es decir, cuando las K columnas de X son linealmente independientes entre sí (de manera que los datos sobre cada variable explicativa no son una combinación lineal exacta de los datos sobre otra/s variable/s explicativa/s). A esta condición se le denomina ausencia de multicolinealidad exacta en la matriz X. Al mismo tiempo, esta condición garantiza que ¢X X es una matriz denida positiva (como requiere la condición [C2] anterior).

Observación II: El sistema de ecuaciones normales [14] puede escribirse detalladamente como

12 1 1 21

12 22 2 22 2 12 22 2 22

1 2 2 1 2

11

ˆ1 1 1 1 1 1 1ˆ1

ˆ1

K i

N K N

K K NK N NK K K NK NKK N N K K N NK

x x y N xx x x x x x x x y

x x x x x x x x y

bb

b´ ´ ´ ´´

é ùé ù é ù é ù é ù åê úê ú ê ú ê ú ê úê úê ú ê ú ê ú ê úê úê ú ê ú ê ú ê ú= ê úê ú ê ú ê ú ê úê úê ú ê ú ê ú ê úê úê ú ê ú ê ú ê úë û ë û ë û ë ûë û

12 22 2 22

22

11

ˆˆ

ˆ

iK ii ii i iKi

iK iK i iK iKiKK K KK

x yx yx x x x

x x x x x y

bb

b´ ´´

é ù é ùé ùå åê ú ê úê ú ê ú ê úê ú åå å å ê ú ê úê ú =ê ú ê úê ú ê ú ê úê ú ê ú ê úê úå å å åê ú ê úê úë û ë ûë û

,

donde todas las sumas van desde i = 1 hasta N. .EJ3 HASTA A.

Valores Ajustados y Residuos MCO

1 2 2

1

ˆ ˆ ˆ ˆˆ ... ( 1, ..., ),

ˆˆ ( ) .

i i K iK iy x x i Nb b b-

¢º + + + º =

¢ ¢º = =H

x

y X X X X X y Hy

b

b [16]



1 2 2

1 1

ˆ ˆ ˆ ˆˆ ˆ ( ... ) ( 1, ..., ),

ˆˆ ˆ ( ) ( ) .

i i i i i K iK i iu y y y x x y i Nb b b

- -

º -

¢º - º - + + + º - =

é ù¢ ¢ ¢ ¢º - º - = - = - =ë ûM I H

x

u y y y X y X X X X y I X X X X y My

b

b [17]

Propiedades de los Residuos y los Valores Ajustados

De [14] y [17] se deduce que:

¢ ¢ ¢ ¢- = - = =b bˆ ˆ ˆ( )X y X X 0 X y X 0 X u 0, [18]

lo que signica que cada la de ¢X (o cada columna de X, es decir el vector de datos sobre cada variable explicativa) es ortogonal (perpendicular o normal) a los residuos MCO:

é ù é ù é ùåé ùê ú ê ú ê úê úê ú ê ú ê úê úåê ú ê ú ê úê ú= =ê ú ê ú ê úê úê ú ê ú ê úê úê ú ê ú ê úê úåê úê ú ê ú ê úë ûë û ë û ë û

1

212 22 2 2

1 2

ˆ ˆ1 1 1 0ˆˆ 0

ˆˆ 0

i

i iN

iK iK K NK N

u ux ux x x u

x ux x x u

.

La primera la de esta expresión implica que en modelos con término constante:

ˆ ˆ ˆ ˆ0 ( ) 0 .i i i i iu y y y y y yå = å - = å = å = [19]



2x0

Y :

VARI

ABL

E D

EPEN

DIE

NTE

y 1 2 2ˆ ˆy + x

1 2 2ˆ ˆ ˆY X


FIGURA 7 Representación de la Ecuación [19] en un Modelo RLS

1i 1 2 i2 1 2 2N

ˆ ˆ ˆ ˆˆ ˆu 0 y y y ( x ) y x



Por otro lado, [16] y [18] implican que

ˆ ˆ ˆˆ ˆ ˆ ˆ( ) ( ) 0¢ ¢ ¢ ¢ ¢= = = =y u X u X u 0b b b , [20]

lo que signica que los valores ajustados MCO también son ortogonales a los residuos MCO. De [17] y [20] se deduce que

¢ ¢ ¢ ¢= + + = +ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ( ) ( )y y y u y u y y u u , [21]

lo que implica junto con [15]-[17] que

ˆ ˆ ˆˆ ˆ ˆ ˆ¢ ¢ ¢ ¢ ¢ ¢ ¢ ¢ ¢ ¢= - = - = - =u u y y y y y y X X y y X y y Myb b b . [22]

Observación: Si 1[ , ..., ]Nv v ¢=v , entonces 21

Nii v=¢ = åv v (el cuadrado de la norma euclídea de v) es una medida del

"tamaño" de v o de la "cantidad de información" que contiene v. .EJ3 HASTA B.

Grado de Ajuste I - 2R No Centrado

El 2R no centrado de un modelo RLM estimado por MCO se dene como

2 2

2 2

[ 21 ]

ˆ ˆˆ ˆ ˆ ˆ2NC

.1 1i i

i i

y u

y yR

å å¢ ¢¢ ¢å å

º = = - = -y y u uy y y y

[23]

Como ¢ ³ 0y y , ¢ ³ˆ ˆ 0y y y ¢ ³ˆ ˆ 0u u , siempre ocurre que £ £2NC0 1R .



Grado de Ajuste II - 2R Centrado

El coeciente de determinación (el 2R centrado, o simplemente el 2R ) de un modelo RLM estimado por MCO se dene como (comparar con [23])

22 2 2

2 2 2 2 2

T.CTE. [19] [21]

ˆˆ ˆ) ˆ ˆ ˆ ˆ ˆ ˆ ˆ2) )

.1 1i i

i i

uy y Ny NyNy Ny Nyy y y y

Rå¢ ¢å( - - - ¢

¢ ¢ ¢- - -å( - å( - º = = = - = -y y y y u u

y y y y y y [24]

Por lo tanto, 2 0R ³ siempre, pero 2 1R £ sólo está garantizado en modelos con término constante. [Sin término constante, la segunda parte de [24] puede ser un número negativo.]

Observación I: En modelos con término constante, el 2R es igual al cuadrado del coeciente de correlación lineal simple entre y e y. En un modelo RLS del tipo 1 2 2Y X Ub b= + + , el 2R es igual al cuadrado del coeciente de correlación lineal simple entre 2x e y. En un modelo del tipo 1Y Ub= + , el 2R es igual a cero. .EJ4 P1-P3.

Observación II: En modelos con término constante, ciertas transformaciones lineales en y (cambios de origen) pueden modicar el valor del 2

NCR , pero el valor del 2R es invariante ante cualesquiera transformaciones lineales (cambios de escala y/o de origen) tanto en X como en y. No obstante, la inclusión de nuevas variables explicativas en un modelo con término constante nunca reduce el valor del 2R (ni el del 2

NCR ), ya que ˆ ˆ¢y y ( ˆ ˆ¢u u) nunca disminuye (aumenta) al aumentar K (en particular, 2 1K N R= = ). .EJ4 P4-P5.

Observación III: 2 2SCT )iy y Ny¢º å( - = -y y ; 2 2ˆ ˆ ˆ ˆ ˆSCE )iy y Ny¢º å( - = -y y ; 2ˆ ˆ ˆSCR iu ¢º å = u u (Suma de Cuadrados Total, Explicada y Residual). Por la primera parte de [24], 2 SCE/SCTR º . En modelos con término constante (ver [19]), [i] 2 2ˆ ˆ ˆSCE )iy y Ny¢= å( - = -y y ; en este caso, además, [ii] SCT SCE SCR= + (ver [21]), y



[iii] 2 1 SCR/SCTR = - (como en la segunda parte de [24]). La manera más sencilla de calcular SCE es a través de ˆˆ ˆ¢ ¢ ¢=y y X yb (ver [22]). La manera más sencilla de calcular SCR es como ˆˆ ˆ¢ ¢ ¢ ¢= -u u y y X yb (ver [22]), que en

modelos con término constante coincide con -SCT SCE .

Grado de Ajuste III - 2R Ajustado

El 2R ajustado o 2R asociado con [24] para modelos con término constante se dene como

SCR /( )2 21SCT /( 1)1 1 (1 )N K N

N KNR R- ---º - = - - . [25]

Observación: En [25] cabe la posibilidad de que al incluir nuevas variables explicativas la reducción consiguiente en SCR no sea tan grande como la reducción en N K- , de manera que el 2R puede disminuir. Por otro lado (excepto cuando K = 1), 2 2R R< , por lo que 2 1R < ; sin embargo, el 2R puede ser negativo cuando un modelo tiene muy poca capacidad explicativa, de manera que SCR / SCT sea mayor que ( ) /( 1)N K N- - . .EJ3 HASTA C.

Datos en Desviaciones con respecto a la Media

Un modelo con término constante estimado por MCO puede escribirse cuando 2K ³ como

[ ] 1b

b

ˆˆ ˆ ˆ, ,ˆ

bé ùê ú= + = +ê úê úë û

y X u i X ubb

[26]

donde i es la primera columna de X (un vector de unos), b 2[ , ..., ]KºX x x (las restantes 1K - columnas de X), y bb 2ˆ ˆ ˆ[ , ..., ]Kb b ¢º . La partición b[ , ]=X i X en [26] implica que



b

b b b b,

¢ ¢ ¢é ù é ùê ú ê ú¢ ¢= =¢ ¢ ¢ê ú ê úë û ë û

i i i X i yX X X yX i X X X y ,

1 1 1 1 1 1

b b b b b b b11 1 1

b b b b b

( ) ( ) ( ) ( ) ( ) ( )( )

( ) ( ) ( )

- - - - - --

- - -é ù¢ ¢ ¢ ¢ ¢ ¢ ¢ ¢ ¢+ -ê ú¢ = ê ú¢ ¢ ¢ ¢-ë û

i i i i i X X DX X i i i i i i X X DXX X

X DX X i i i X DX ,

donde 1( )-é ù¢ ¢º -ë ûD I i i i i es una matriz simétrica ( )¢ =D D e idempotente ( )=DD D . A partir de las expresiones anteriores para 1( )-¢X X y ¢X y , puede comprobarse que:

1 11

b b b b11 1

b b b b

( ) ( )( )

( ) ( )N

- --

- -

é ù¢ ¢¢ ¢+ -ê ú¢ = ê ú¢ ¢-ê úë û

x X X x x X XX X

X X x X X

, [27]

1 b11

b b b b

ˆ ˆˆ ( )ˆ ( )

yb --

é ùé ù ¢-ê úê ú ¢ ¢= = = ê úê ú ¢ ¢ê ú ê úë û ë û

xX X X y

X X X ybb

b , [28]

donde 1( )y -¢ ¢= i i i y es la media muestral de y, 12 b[ , ..., ] ( )Kx x -¢ ¢ ¢º =x i i i X es el vector

1 ( 1)K´ - que contiene las medias muestrales de 2, ..., Kx x , y la matriz b bºX DX [ ( 1)]N K´ - y el vector ºy Dy [ 1]N ´ contienen datos en desviaciones con respecto a sus medias muestrales correspondientes:



1

1 1( ) ,Ny N

y y

y y

-

é ù-ê úê úé ù¢ ¢ ¢º - = - = ê úë û ê ú-ê úë ûD

y I i i i i y y i i y

11 1

b 2[ , ..., ], ( ) ( 2, ..., )j

j j

K j j j jNx Nj j

x x

j K

x x

-

é ù-ê úê úé ù¢ ¢ ¢º º - = - = =ê úë û ê ú-ê úë û

D

X x x x I i i i i x x i i x

.

Dado que =Di 0 y ˆ ˆ=Du u , los residuos MCO en [26] quedan (comparar con [17])

1b b b b b b bˆˆ ( ) ,-é ù¢ ¢= - = - =ë ûu y X I X X X X y M yb [29]

con 1b b b b b( )-¢ ¢º -M I X X X X (simétrica e idempotente). Por último (comparar con [22]):

2b b b

SCR SCR SCT SCE SCR

ˆˆ ˆ SCT (1 )R¢ ¢ ¢ ¢ ¢= = - = ´ -u u y M y y y X yb . [30]

Ejemplo I - Importante: En relación con la estimación por MCO del modelo RLS 1 2 2Y X Ub b= + + (K = 2), el vector de parámetros, el vector de datos sobre la variable dependiente, la matriz de datos sobre las variables explicativas, y la estimación MCO del vector de parámetros, pueden representarse, respectivamente, como:



1 122 221 1

22 2

2

1ˆ1 ˆ. . [ , ] . .ˆ

1N N

y xy x

y x

b bb b

é ù é ùê ú ê ú é ùé ù ê ú ê ú ê ú= = = = =ê ú ê ú ê ú ê úê úë û ê ú ê ú ë ûê ú ê úë û ë û

y X i xb b

En [26]: b 2=X x , b 2ˆ b=b . En [27]-[28]:

112 2

22 2 22 b 2

2 22

b b 2 2 2 2 21

b 2 2 2 21

. . .

ˆ( ) var[ ].

ˆ( )( ) cov[ , ].

N NN

iiN

i ii

y yx xx x y y

x

x x y y

x x N

x x y y N=

=

-- é ùé ùê úê ú- -ê úê úê úê ú= = º º ê úê úê úê ú- -ê úê úë û ë û

¢ ¢= = - = ´å

¢ ¢= = - - = ´å

x X x y

X X x x x

X y x y x y

Por lo tanto, en el modelo RLS: .EJ3 HASTA D.

[27]

22 2

2 2 2 2

2

2 2 2 2

11

1( ) .

x xN

x

¢ ¢-

¢ ¢

é ù+ -ê ú

ê ú¢ = ê úê ú-ê úë û

x x x x

x x x x

X X

[28]

2 22 1 2

2 2 22 2 2 21

( )( ) ˆcov[ , ] ˆdvt[ ]1 2 2 2 2ˆ ˆvar[ ] dvt[ ]( )

ˆ ˆ ˆ ˆ. corr[ , ].N

i iiN

ii

x x y y

x xy xb b b =

=

¢ - -å¢ -å

= - = = = = ´x y x y yx xx x

x y

[29]-[30]

22 2 2 2 2 2 21 1

SCR SCT SCE

ˆ ˆ ˆˆ ˆ ˆ. ( ) ( )( ).N Ni i ii iy y x x y yb b b= =¢ ¢ ¢= - = - = - - ´ - -å åu y x u u y y x y



Ejemplo II - Importante: En relación con la estimación por MCO del modelo RLM 1 2 2 3 3Y X X Ub b b= + + + (K = 3), el vector de parámetros, el vector de datos sobre la variable dependiente, la matriz de datos sobre las variables explicativas, y la estimación MCO del vector de parámetros, pueden representarse, respectivamente, como:

1 12 13 11 2 22 232 2 3 23 32 3

1 ˆ1 ˆ ˆ. . [ , , ] . .

ˆ1N N N

y x xy x x

y x x

bbb bb b

é ù é ù é ùé ù ê ú ê ú ê úê ú ê ú ê ú ê ú= = = = =ê ú ê ú ê ú ê úê ú ê ú ê ú ê úë û ê úê ú ê ú ë ûë û ë û

y X i x xb b

En [26]: b 2 3[ , ]=X x x , b 2 3ˆ ˆ ˆ[ , ]b b ¢=b . En [27]-[28]:

112 2 13 3

22 2 23 3 22b 2 3

3

2 2 3 3

2 2 2 3 2 22b b 2 3

3 3 2 3 3

. [ , ] . .

( )[ , ]

N N N

i

y yx x x xx x x x y yx

xx x x x y y

x x

-- - é ùé ùê úê ú- - -ê úê úé ùê úê úê ú= = º º ê úê úê úë û ê úê ú- - -ê úê úë û ë û

¢ ¢é ù -¢é ù ê ú¢ ê ú= = =ê ú¢ ¢ ¢ê úë û ê úë û

x X x x y

x x x xxX X x x

x x x x x

22 2 3 31 1

23 3 2 2 3 31 1

2 2 3

2 2 3

2 2 22b

3 3

( )( )

( )( ) ( )

ˆ ˆvar[ ] cov[ , ] .ˆ ˆcov[ , ] var[ ]

( )(

N Ni ii i

N Ni i ii i

i i

x x x x

x x x x x x

N

x x y y

= =

= =

é ù- -å åê ú =ê ú- - -å åê úë û

é ùê ú= ´ ê úë û

¢é ù - -¢é ù ê ú¢ ê ú= = =ê ú¢ ¢ê úë û ê úë û

x x xx x x

x yxX y y

x x y21

33 31

ˆ) cov[ , ].ˆcov[ , ]( )( )

NiN

i iiN

x x y y=

=

é ù é ùåê ú ê ú= ´ê ú ê ú- -åê ú ë ûë û

x yx y



Por lo tanto, en el modelo RLM 1 2 2 3 3Y X X Ub b b= + + + (K = 3): .EJ5 P1.

[28]

21 2 3 2 2 3 3

31 1

2 2 2 2 3 2 2 2 3 2

3 2 3 33 2 3 3 33

ˆˆ ˆ ˆ[ , ] .ˆ

ˆ ˆ ˆ ˆvar[ ] cov[ , ] cov[ , ]ˆ ˆ ˆ ˆcov[ , ] var[ ] cov[ , ]

y x x y x xb

b b bb

b

b

- -

é ùê ú= - = - -ê úê úë û

é ù ¢ ¢ ¢é ù é ù é ù é ùê ú ê ú ê ú ê ú ê ú= =ê ú ê ú ê ú ê ú ê ú¢ ¢ ¢ê ú ê ú ê ú ë û ë ûë û ë ûë û

x x x x x y x x x x yx x x x yx x x x x y

.

Nótese que si 2 3 3 2( ) 0¢ ¢= =x x x x 2 3 3 2ˆ ˆ[ cov[ , ] ( cov[ , ]) 0] = =x x x x , entonces 2b coincide con la estimación de la pendiente en la RLS de Y sobre 2X , y 3b coincide con la estimación de la pendiente en la RLS de Y sobre 3X .

[29] 22 3 2 2 3 3

3

ˆˆ ˆˆ [ , ] .ˆ

bb b

b

é ùê ú= - = - -ê úê úë û

u y x x y x x

[30]

22 3 2 2 3 3

3SCR SCT SCE

22 2 2 3 3 31 1 1

ˆ ˆ ˆ ˆˆ ˆ [ , ] [ ]

ˆ ˆ( ) ( )( ) ( )( ) .N N Ni i i i ii i iy y x x y y x x y y

b b b b

b b= = =

¢é ùê ú¢ ¢ ¢ ¢ ¢= - = - + =ê ú¢ê úë û

é ù= - - ´ - - + ´ - -å å åë û

x yu u y y y y x y x y

x y

Regresión Particionada I

De acuerdo con la primera parte de [29], un modelo con término constante estimado por MCO puede escribirse cuando 3K ³ como



2

b b 2 33

ˆˆ ˆ ˆ[ , ] ˆ

é ùê ú= + = +ê úê úë û

y X u X X ub

bb

. [31]

La partición b 2 3[ , ]=X X X en [31] implica que

2 2 2 3 2b b b

3 2 3 3 3,

é ù é ù¢ ¢ ¢ê ú ê ú¢ ¢= =ê ú ê ú¢ ¢ ¢ë û ë û

X X X X X yX X X yX X X X X y

,

1 1 1 1 1 1

2 2 2 2 2 3 3 2 3 3 2 2 2 2 2 2 3 3 2 31b b 1 1 1

3 2 3 3 2 2 2 3 2 3

( ) ( ) ( ) ( ) ( ) ( )( )( ) ( ) ( )

- - - - - --

- - -

é ù¢ ¢ ¢ ¢ ¢ ¢ ¢ ¢ ¢+ -ê ú¢ = ê ú¢ ¢ ¢ ¢-ë û

X X X X X X X M X X X X X X X X X X M XX XX M X X X X X X M X

, [32]

con 12 2 2 2 2( )-¢ ¢º -M I X X X X (simétrica e idempotente). Por lo tanto:

1

2 2 2 2 3 31b b b b 1

3 2 3 3 23

ˆ ˆ( ) ( )ˆ ( ) .ˆ ( )

--

-

é ù é ù¢ ¢ -ê ú ê ú¢ ¢= = =ê ú ê ú¢ ¢ê ú ê úë ûë û

X X X y XX X X y

X M X X M yb b

bb

[33]

Regresión Particionada II

Si en [31] se escoge 2 j-=X X (la matriz formada por todas las columnas de bX excepto la columna jx ), y 3 j=X x (2 )j K£ £ , de manera que 3ˆ ˆjb=b (la estimación MCO del parámetro asociado con la variable explicativa jX ), entonces [33] implica que



b - - - -

- - - - -

¢ ¢ ¢¢ ¢ ¢= = =

( ) ( ) ( )

( ) ( ) ( ) ( )ˆ ,j j j j j j j

j j j j j j j j j j jj

x M y M x y M x M yx M x M x M x M x M x

[34]

con 1( )j j j j j-

- - - - -¢ ¢º -M I X X X X (simétrica e idempotente).

[34] ˆjb puede expresarse como

b¢ ¢¢ ¢= =ˆ ˆ ˆ

ˆ ˆ ˆ ˆˆ ,j j j

j j j jj

r y r ur r r r

[35]

donde j j j-ºr M x -º ˆ( )j ju M y son los residuos MCO (ver [29]) en la regresión con término constante de jx (y) sobre j-X . Como [35] es igual a la estimación de la pendiente en la RLS (ver [7]) de y (o de ˆ ju ) sobre jr , ˆjb mide la relación muestral directa (parcial o neta) entre jX e Y que no es debida a la presencia de las demás variables explicativas.

Si en [31]-[33] 2 j=X x y 3 j-=X X (2 )j K£ £ , de manera que 2ˆ ˆjb=b , entonces

1ˆ ˆ ˆ( ) ( ) .j j j

j j j jj j j j j j jb -¢ ¢-

- - -¢ ¢¢ ¢= - = -

x y x Xx x x x

x x x y X b b [36]

[36] ˆ ( ) /( )j j j jb ¢ ¢=/ x y x x (la estimación de la pendiente en la RLS de y sobre jx ) excepto cuando j j-¢ =x X 0 (cuando todas las covarianzas muestrales entre jx y j-X son



iguales a cero), o bien cuando ˆ j- = 0b (cuando en la RLM las estimaciones de las pendientes de todas las demás variables explicativas son iguales a cero).

[36] La estimación ˆjb puede ser distinta de cero aunque 0j¢ =x y , es decir, aunque la correlación lineal simple (covarianza) muestral entre jx e y sea igual a cero.

[36] El signo de la estimación ˆjb puede no coincidir con el signo de la correlación lineal simple (covarianza) muestral entre jx e y.

El Coeficiente de Correlación Lineal Parcial

¢´ ¢ ¢

º = =ˆ ˆ ˆ ˆˆcov[ , ]

ˆ ˆˆ ˆdvt[ ] dvt[ ] ˆ ˆ ˆ ˆ,ˆ ˆˆ ˆcp [ , ] corr[ , ] j j j j

j j j j j jj j j j

r u r ur u r r u u

x y r u [37]

con j j j-ºr M x , ˆ j j-ºu M y . [37] ˆ ˆcp [ , ] corr[ , ]j j j=/x y x y (excepto si j j-¢ =x X 0 ). Además (ver [35]), [i] ˆˆcp [ , ] ( ) 0 ( ) 0j j jb= =/ = =/x y , y [ii] ˆˆsgn(cp [ , ]) sgn( )j j jb=x y .

Ejemplo III: En el modelo RLM 1 2 2 3 3Y X X Ub b b= + + + (K = 3), [35] implica que: .EJ5 P1.

2 2 2 3 3 3

2 2 2 2 3 3 3 3

ˆ ˆ ˆ ˆ ˆ ˆ2 3ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ

ˆ ˆ, ,b b¢ ¢ ¢ ¢¢ ¢ ¢ ¢= = = =r y r u r y r u

r r r r r r r r

donde 2r ( 3r ) es el vector de residuos MCO en la RLS de 2x sobre 3x ( 3x sobre 2x ), y 2u ( 3u ) es el vector de



residuos MCO en la RLS de y sobre 3x ( 2x ). Por lo tanto, b2 (b3ˆ ) es igual a la estimación MCO de la pendiente en

la RLS de y, o de los residuos 2u ( 3u ), sobre los residuos 2r ( 3r ).

Por su parte, [36] implica las relaciones siguientes entre el modelo RLM considerado y diferentes modelos RLS:

RLM RLS(Y,X2) RLS(X3,X2) RLM RLM RLS(Y,X3) RLS(X2,X3) RLM

2 2 3 3 3 2

2 2 2 2 3 3 3 3

3 3 2 2

2 3 3 2

3 2ˆ ˆ ˆ ˆ

ˆ ˆ ˆ ˆ, .

ˆ ˆˆ ˆ, .

b b b b

b b

¢ ¢ ¢ ¢¢ ¢ ¢ ¢

= - ´ = - ´

= - ´ = - ´

x y x x x y x xx x x x x x x x

u r u ru u

En esta expresión, 2b (el "efecto muestral directo" de 2X sobre Y ) se calcula quitando del "efecto muestral total" de 2X sobre Y 2 2 2( / )¢ ¢x y x x el "efecto muestral indirecto" de 2X sobre Y a través de 3X 2 3 2 2 3( / )b¢ ¢ ´x x x x ; del

mismo modo, 3b (el "efecto muestral directo" de 3X sobre Y ) se calcula quitando del "efecto muestral total" de 3X sobre Y 3 3 3( / )¢ ¢x y x x el "efecto muestral indirecto" de 3X sobre Y a través de 2X 3 2 3 3 2( / )b¢ ¢ ´x x x x .

Por último, [37] implica que:

¢ ¢

¢ ¢ ¢ ¢º = º =2 2 3 3

2 2 2 2 3 3 3 3

ˆ ˆ ˆ ˆ2 2 2 2 3 3 3 3ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ

, ,ˆ ˆ ˆ ˆˆ ˆ ˆ ˆcp [ , ] corr[ , ] cp [ , ] corr[ , ]r u r u

r r u u r r u ux y r u x y r u

que no coinciden, en general, con 2ˆcorr[ , ]x y , 3ˆcorr[ , ]x y , respectivamente.

PROPIEDADES ESTADÍSTICAS

El modelo estadístico RLM está formado por un conjunto de hipótesis que, por un lado, ponen en relación los datos [11] con el modelo [10] que se pretende utilizar para describirlos,



y, por otro lado, garantizan que el método MCO proporciona estimaciones (relativamente) ables en la práctica. Con esta doble nalidad, en el modelo estadístico RLM se considera que los datos [11] son una realización particular de una colección W de variables aleatorias,

1 12 13 1

2 22 23 22 3

2 3

[ , , , ..., ]

K

KK

N N N NK

Y X X X

Y X X X

Y X X X

é ùê úê úê úº ºê úê úê úê úë û

W Y X X X

, [38]

que satisface las hipótesis clásicas HC1-HC5 siguientes:

HC1 Linealidad con respecto a los parámetros

1 2 2 1 2... ( 1, 2, ..., )Ki i K iK i j ij ijY X X U X U i Nb b b b b== + + + + = + å + = , [39]

donde 1 2, , ..., Kb b b son K parámetros cuyos valores (desconocidos) son los mismos en todos los puntos muestrales, y iU (1 )i N£ £ es una perturbación aleatoria (error) no observable asociada con el -ésimoi punto muestral.



La ecuación [39] puede escribirse como

= +Y X Ub [40]

donde

112 1 11 1

2 2222 2 2

1 11

2

1

1, , ,

1

K

K

N N K NK

N NKN NK N

X XY U

Y UX X

Y UX X

b

b

b´ ´ ´´

¢é ùé ù é ùé ù é ùê úê ú ê úê ú ê úê úê ú ê úê ú ê ú¢ê úê ú ê úê ú ê úê úº º = º ºê ú ê úê ú ê úê úê ú ê úê ú ê úê úê ú ê úê ú ê úê úê ú ê úê ú ê ú¢ê ú ê úë û ë ûë ûë û ë û

X

XY X U

X

b

, [41]

o bien como ( 1, 2, ..., )i i iY U i N¢= + =X b ,

donde 2[1, , ..., ]i i iKX X¢ ºX es la -ésimai la de la matriz X.

HC2 Ausencia de multicolinealidad exacta

Rango(X) = K (con probabilidad igual a 1). Además, se supone que K < N (N – K > 0 grados de libertad positivos).



HC3 Exogeneidad estricta

E[ | ] E[ ]i iU U=X para todo i = 1, ..., N, o bien E[ | ] E[ ]=U X U . Adicionalmente:

HC3.1 E[ ]iU es la misma para todo i = 1, ..., N (inuencia esperada homogénea).

HC3.2 E[ ] 0iU = para todo i = 1, ..., N, o bien E[ ] =U 0 (término constante).

E[ | ] 0iU =X para todo i = 1, ..., N, o bien E[ | ] =U X 0 .

Observación: La hipótesis HC3 constituye un enunciado formal de la idea de independencia entre inuencias omitidas e inuencias incluidas en un análisis aplicado, mencionada repetidamente en la Introducción. Cuando E[ ] =U X 0 , se dice que los regresores del modelo son estrictamente exógenos, en el sentido de que el valor esperado de las inuencias incluidas en cada perturbación del modelo es independiente de lo que valga cualquier variable explicativa (regresor) en cualquier punto muestral (entidad observable o momento). En particular, E[ ] =U X 0 implica que E[ ]t iU =X 0 (es, decir, que Cov[ , ] Corr[ , ]t i t iU U= =X X 0 ) para todos t, i = 1, …, N (ortogonalidad entre regresores y perturbaciones). Según los datos empleados, la exogeneidad estricta puede requerir lo siguiente:

Cuando se supone que una colección de datos de sección cruzada procede de una muestra aleatoria del tipo [ , ]i iY ¢X ( 1, ...,i N= ), con cada una de sus observaciones independiente de las demás, la hipótesis de que E[ ] 0i iU =X para todo 1, ...,i N= es suciente para garantizar HC3.

Cuando se supone que una colección de datos de series temporales procede de una secuencia ordenada de variables aleatorias del tipo [ , ]t tY ¢X ( 1, ...,t N= ), en la que cada observación está correlacionada con las anteriores, HC3



no permite la presencia de regresores correlacionados con valores pasados de tU (feedback). Esto excluye, en particular, la presencia de retardos de la variable dependiente 1 2( , , ...)t tY Y- - en el lado derecho del modelo.

HC4 Perturbaciones esféricas - Homoscedasticidad y ausencia de autocorrelación 2E[ | ] s¢ =UU X I .

En conjunto, HC3 y HC4 implican que E[ ] =U 0 y 2Var[ ] s=U I (incondicionalmente):

21 1 2 11

22 2 1 2 2

21 2

0 0Var[ ] Cov[ , ] Cov[ , ]0

0 Cov[ , ] Var[ ] Cov[ , ] 0 0E[ ] E , Var[ ]

0 Cov[ , ] Cov[ , ] Var[ ] 0 0

N

N

N N N N

U U U U UU

U U U U U U

U U U U U U

s

s

s

éé ùé ù é ù êê úê ú ê ú êê úê ú ê ú êê úê ú ê ú êº = º =ê úê ú ê ú êê úê ú ê ú êê úê ú ê ú êê úê ú ê ú êê úë ûë û ë û ë

U U

.

ùúúúúúúúúû

Observación: Var[ | ] E[( E[ | ])( E[ | ]) | ]¢º - -U X U U X U U X X . [HC3]-[HC4] 2Var[ | ] E[ | ] s¢= =U X UU X I , que se denomina una matriz escalar (diagonal con elementos iguales en su diagonal principal). Cuando las perturbaciones satisfacen HC4, se dice que son "esféricas" por ciertas características geométricas de su distribución de probabilidad.

HC5 Normalidad

| NormalU X . Observación: [i] HC3-HC5 2| N( , )sU X 0 I . [ii] HC1-HC5 2| N( , )sY X X Ib ; ver Figura 8.



1 2 22x 1 2 12x

22x

2y1

02u 0

1u 0

Y :

VARI

ABL

E D

EPEN

DIE

NTE

1y

2 12E[Y | X x ]

2 22E[Y | X x ]

2 1 2 2E[Y X ] X |

12x


FIGURA 8 Representación del Modelo Estadístico RLS bajo HC1-HC5



1 2 2ˆ ˆ ˆY X

1 2 22ˆ ˆ x

1 2 12ˆ ˆ x

12x22x

2y

1

0

Y :

VARI

ABL

E D

EPEN

DIE

NTE

1y

2u 0

1u 0

2

La pendiente deˆesta recta es

1 2 12ˆy E[Y X x ] |

2 2 22ˆy E[Y X x ] |


FIGURA 9 Interpretación del Modelo Estadístico RLS Estimado por MCO



Notación: Para abreviar, en adelante no vuelve a emplearse (en general) la notación |⋅ X ("condicionado por X"). No obstante, cualquier momento (esperanza, varianza, covarianza) o, en general, cualquier distribución de probabilidad, deberá entenderse siempre condicionado por X. Cuando un momento o una distribución no dependa de X, entonces también podrá entenderse como un momento o una distribución incondicional o marginal.

El Estimador MCO de

El estimador MCO de b es el vector ( 1)K ´ de variables aleatorias

1ˆ ( )-¢ ¢ºW X X X Yb , [42]

donde X e Y son la matriz y el vector de variables aleatorias que guran en [41]. Observación: Concebir un estimador como un vector de variables aleatorias permite, a través del estudio de sus propiedades estadísticas, obtener información sobre cualquier estimación en cualquier situación práctica en la que puedan asumirse razonablemente las hipótesis que garantizan las propiedades del estimador.

Propiedades Estadísticas del Estimador W

[A] Insesgadez: Bajo HC1-HC3, ˆE[ ] =Wb b. [B] Varianza: Bajo HC1-HC4, 2 1ˆVar[ ] ( )s -¢=W X Xb . [C] Teorema de Gauss-Markov: Bajo HC1-HC4, si Wb es cualquier estimador de b lineal en Y con E[ ] =Wb b , entonces ˆVar[ ] Var[ ]-W Wb b es una matriz semidenida positiva, por lo que ˆWb es el estimador lineal e insesgado de b con varianza mínima (ELIO/BLUE).



1k 2k

f W f W

1k 2k

f W

f W

FIGURA 10 Valor Esperado - Insesgadez

FIGURA 11 Varianza - Eficiencia Relativa

El Estimador MCO de s2

El estimador MCO de 2s es la variable aleatoria

ˆ ˆ2 ,ˆ N Ks ¢-º U U

W [43]



donde ˆˆ º - WU Y Xb es el vector de residuos MCO asociado con [40] y [42].

Propiedades Estadísticas de Û y del Estimador s2W

[A] Bajo HC1-HC4, ˆE[ ] =U 0 y 2 2ˆVar[ ] s s= =/U M I , con 1( )-¢ ¢º -M I X X X X (ver [17]).

[B] Bajo HC1-HC4, 2 2ˆE[ ]s s=W .

El Estimador MCO de Var[W ]

El estimador MCO de 2 1ˆVar[ ] ( )s -¢=W X Xb es la matriz ( )K K´ de variables aleatorias

2 1ˆˆ ˆVar[ ] ( )s -¢ºW W X Xb , [44]

que, por [B] en el punto anterior, es un estimador insesgado de ˆVar[ ]Wb .

Observación I: Cuando en [42]-[44] tanto el vector Y como la matriz X de variables aleatorias se remplazan por los datos correspondientes a una aplicación concreta (nótese que se emplea el mismo símbolo X para representar tanto la matriz de variables aleatorias como la matriz de datos referidos a las variables explicativas), se obtienen las cantidades numéricas siguientes: [A] 1ˆ ( )-¢ ¢º X X X yb (la estimación MCO de b dada en [15]), [B]

2 ˆ ˆˆ ( ) /( )N Ks ¢º -u u (la estimación MCO de la varianza de las perturbaciones 2s , cuyo numerador es la SCR), y, por último, [C] 2 1ˆˆ ˆVar[ ] ( )s -¢ºW X Xb (la matriz de varianzas-covarianzas estimadas del estimador ˆWb , que se representa con el mismo símbolo que el estimador denido en [44]). Los elementos de 2 1ˆˆ ˆVar[ ] ( )s -¢ºW X Xb son:



1 1 2 1

2 1 2 2

1 2

ˆ ˆ ˆ ˆ ˆˆ ˆ ˆVar[ ] Cov[ , ] Cov[ , ]ˆ ˆ ˆ ˆ ˆˆ ˆ ˆCov[ , ] Var[ ] Cov[ , ]ˆˆVar[ ]

ˆ ˆ ˆ ˆ ˆˆ ˆ ˆCov[ , ] Cov[ , ] Var[ ]

K

K

K K K

b b b b b

b b b b b

b b b b b

é ùê úê úê ú= ê úê úê úê úê úë û

W W W W W

W W W W WW

W W W W W

b .

La raíz cuadrada de 2 ˆ ˆˆ ( ) /( )N Ks ¢º -u u se denomina el error estándar de la regresión. La raíz cuadrada de la varianza estimada ˆˆVar[ ]jb W se denomina el error estándar del estimador ˆ (1 )j j Kb £ £W (que es simplemente la desviación típica estimada del estimador MCO de jb ). Otras cantidades que suelen incluirse en el resumen de un modelo estimado son el 2R (centrado), el 2R (ajustado), y el tamaño muestral N. .EJ3 HASTA E.

Observación II: En modelos con término constante, las fórmulas [27] y [32] referidas a 1( )-¢X X pueden utilizarse para expresar cualquier "parte" de ˆˆVar[ ]Wb . En modelos con 2K ³ , [27] implica que 2 1

b b bˆˆ ˆVar[ ] ( )s -¢=W X Xb ; en particular, 2 1

2 2ˆˆ ˆVar[ ] (SCT )b s -=W (con 2 2 2SCT ¢º x x ) en un modelo RLS ( 2)K = . En modelos con 3K ³ , [32] con 2 j-=X X , 3 j=X x (2 )j K£ £ (ver también [34]-[35]) implica que

2 2

2ˆ ˆˆˆVar[ ] (2 , 3),

ˆ ˆ SCT (1 )j

j j j jj K K

Rs sb = = £ £ ³¢ ´ -W r r

.EJ5 P2.

donde j j j-ºr M x , SCTj j j¢º x x y 2 ˆ ˆ1 /j j j jjR ¢ ¢º - r r x x son, respectivamente, el vector de residuos MCO, la SCT y el 2R en la regresión con término constante de jX sobre las demás variables explicativas. Así, entre otros factores, la varianza estimada de ˆjb W (o su error estándar) es tanto menor cuanto menor es el grado de asociación lineal entre los datos de jX y los de las demás variables explicativas (es decir, cuanto mayor es ˆ ˆj j¢r r , o cuanto menor es 2

jR ).

Observación III: HC5 añade a todo lo anterior que [i] 2 1ˆ N[ , ( ) ]s -¢W X Xb b , [ii] 2 2 2ˆ [ /( )] ( )N K N Ks s - ´ -W , y [iii] ˆWb y 2sW son independientes. HC5 también posibilita la estimación del modelo RLM por máxima verosimilitud.



La Función de Verosimilitud en el Modelo RLM

En el modelo estadístico RLM descrito por las hipótesis clásicas HC1-HC5, se especica que b 2| N( , )sY X X I , cuya función de densidad es

22

12 22( ; , ) (2 ) exp ( ) ( )

Nf ss ps - é ù¢= - - -ê úë ûy y X y Xb b b ,

que asigna diferentes densidades de probabilidad a las diferentes realizaciones posibles de Y, para unos valores dados (aunque desconocidos) de 2 y sb .

Si y es una realización dada de Y (unos datos), la función de verosimilitud de 2y sb es

22

12 22

( , ; ) (2 ) exp ( ) ( )N

sL s sp - é ù¢º - - -ê úë ûb y y Xb y Xb ,

que asigna diferentes verosimilitudes a los diferentes valores posibles de b y 2s , para unos datos y sobre Y dados. Es decir, (·)L es (·)f con el papel de sus argumentos intercambiado.

Los Estimadores MV de y de s2

Las estimaciones de máxima verosimilitud (MV) de 2 y de sb son los valores de b y de 2s ,



respectivamente, que maximizan (·)L (o su logaritmo neperiano). Dichos valores son

1 ˆ( )-¢ ¢º =X X X yb b ,

( ) ( ) ˆ ˆ2 2ˆN K

N N Ns s¢- - ¢ -º = =y X y X u ub b .

Por lo tanto, los estimadores MV de 2y de sb son

1 ˆ( )-¢ ¢º =W WX X X Yb b ,

( ) ( )2 2ˆN K

N Ns s¢- - -º =W WY X Y XW W

b b .

Sustituyendo b y 2s en (·)L por b y 2s , respectivamente, se obtiene que

( ) 2 2

2 2 ˆ ˆln ( , ; ) 1 ln ln( )N NMAX Nl L ps é ù ¢º = - + -ë ûy u ub .

Propiedades Estadísticas de W

y de 2Ws

Como ˆ=W Wb b , el estimador MV de b tienen exactamente las mismas propiedades que el

estimador MCO. Por otro lado, la relación 2 2ˆN KNs s-=W W implica que

2 2 2E[ ] N KNs s s-= <W , 4 4

22( )2 2 2 .ˆVar[ ] Var[ ]N K

N KNs ss s-

-= < =W W

Observación: El estimador MV 2sW no es insesgado, pero su varianza es menor que la del estimador MCO 2sW . (La esperanza y la varianza de 2sW pueden calcularse fácilmente a partir de [ii] en la Observación III de la página 39.) Por otro lado, 2 2E[ ]s sW y 2Var[ ] 0s W cuando N ¥ , por lo que 2sW es un estimador consistente (Sección 2.4).



El Teorema de Cramér-Rao en el Modelo RLM

Sea 2[ , ]s¢ ¢ºq b el vector ( 1) 1K + ´ que contiene a todos los parámetros del modelo estadístico RLM denido por las hipótesis clásicas HC1-HC5. Bajo ciertas condiciones de regularidad sobre la función de densidad ( ; )f y q , la matriz de varianzas de cualquier estimador insesgado Wq de q es tal que 1Var[ ] ( )--W Iq q es una matriz semidenida positiva para todo q , donde

2

2ln ( ; )( ) E E[ ln ( ; )]

ff

é ù¶ê úº - º -ê ú¢¶ ¶ë û

YI Yq

qq qq q

se denomina la matriz de información sobre q , e 1( )-I q se denomina la cota (mínima) de Cramér-Rao (CCR). En el modelo estadístico RLM, la matriz de información es

2 2

2

2

2 242 2 2

ln ( ; ) ln ( ; )

11

ln ( ; ) ln ( ; )2

1 11

( )( ) E

f f

K K KNf f

K

ss

ss s s

¶ ¶¢¶ ¶ ¶ ¶

´ ´¶ ¶

¢¶ ¶ ¶ ¶´´

é ùê úê ú é ù¢ê ú ê úê ú= - = ê úê ú ¢ê úê ú ë ûê úê úë û

Y Y

Y Y

X X 0I

0

q qb b b

q qb

q ,



por lo que la CCR queda

4

2 11

2

( )( )

Ns

s --

é ù¢ê ú= ê úê ú¢ë û

X X 0I

0q .

Por lo tanto, 1ˆ ( ) ( )-¢ ¢= ºW W X X X Yb b es un estimador eciente de b , ya que su

varianza es mínima con respecto a la de cualquier otro estimador insesgado de b .

Por su parte, 4 42 2 2ˆVar[ ] N K Ns ss -= >W ; no obstante, puede demostrarse (por otros medios

distintos del Teorema de Cramér-Rao) que no existe ningún estimador insesgado de 2s con varianza menor que

42N Ks- , por lo que 2sW también es un estimador eciente.

Observación I: En relación con la eciencia de ˆWb , suele de decirse que ˆWb es el MVUE (Minimum Variance Unbiased Estimator) o el BUE (Best Unbiased Estimator) de b . El Teorema de Gauss-Markov implica que ˆWb es el BLUE (Best Linear Unbiased Estimator) o el ELIO (Estimador Lineal Insesgado Óptimo) de b (lo que no requiere la hipótesis de Normalidad HC5), pero no que ˆWb sea eciente: el Teorema de Gauss-Markov no excluye la posibilidad de que existan estimadores insesgados no lineales con menor varianza que ˆWb ; por su parte, la hipótesis de Normalidad HC5 (requerida por el Teorema de Cramér-Rao) sí excluye esa posibilidad.

Observación II: El estimador 2sW no es insesgado, por lo que el Teorema de Cramér-Rao no es aplicable en este caso. Por este motivo, no debe sorprender que 2Var[ ]sW sea menor que la CCR referida a estimadores insesgados de 2s .


2.3 Contrastes de Hipótesis

Objetivo: Obtener información sobre ciertos aspectos cuantitativos de la relación entre la variable dependiente y las variables explicativas en un modelo RLM.

Método: Contrastar la posible existencia de relaciones entre Ab y c, con A ( )M K´ tal que rango(A) = M (1 )M K£ £ y c ( 1)M ´ dados.

Componentes de un contraste:

[1] 0H (hipótesis nula): conjetura que se mantiene como válida (no se rechaza) mientras no se encuentre suciente evidencia muestral en su contra.

[2] 1H (hipótesis alternativa): conjetura en favor de la cual se rechaza (si procede) 0H .

[3] FW (estadístico de contraste): estadístico (variable aleatoria que no depende de parámetros desconocidos) cuya distribución se conoce bajo 0H .

[4] RC (región crítica): RC Ì tal que RF CÎ rechazar 0H en favor de 1H .

2 · REGRESIÓN LINEAL MÚLTIPLE I 2.3 CONTRASTES DE HIPÓTESIS


EL ESTADÍSTICO F

El Estadístico F I - Forma Inicial y Distribución .EJ5 P3.

En el modelo estadístico RLM, HC1-HC5 implican que

1 1

2

ˆ ˆ[ ( )] [ ( ) ] [ ( )]( , )

ˆF F M N K

Ms

- -* ¢ ¢ ¢- -º -W W

WW

A A X X A Ab b b b.

Si =A cb , la expresión anterior puede escribirse como

1 1

2

ˆ ˆ( ) [ ( ) ] ( )( , )

ˆF F M N K

Ms

- -¢ ¢ ¢- -º -W W

WW

A c A X X A A cb b, [45]

que se denomina el estadístico F para el contraste de 0: H =A cb frente a 1: H =/A cb .

Observación: Dado que 2 1 ˆˆ ˆ( ) Var[ ]s -¢ ¢ = WWA X X A Ab , el estadístico FW puede escribirse como

1 1ˆ ˆ ˆˆ( ) Var[ ] ( )MF -¢= - -W W W WA c A A cb b b ,

que puede interpretarse como la distancia entre ˆWAb y c, ponderada por la matriz b 1ˆˆ( Var[ ])M -´ WA . El valor calculado del estadístico F es

1 1 1

2

ˆ ˆ ˆ ˆ ˆˆ( ) [ ( ) ] ( ) ( ) Var[ ] ( ) .ˆ

FMMs

- - -¢ ¢ ¢ ¢- - - -º = WA c A X X A A c A c A A cb b b b b



0 F

Prob. de obtener un valor mayor que F

P-value

( , )F M N Kf

0

( , )F M N Kf

1F

0Rechazar H0No rechazar H

FIGURA 12 Región Crítica y "p-value" para Contrastes basados en el Estadístico F

aPr[ ( , ) ] 1F M N K -- £ = - a1F Pr[ ( , ) ]F M N K F= - ³*a



El Estimador MCR de

La estimación de Mínimos Cuadrados Restringidos (MCR) de b cuando en un modelo RLM se impone la restricción de que =A cb , es el valor de b que resuelve el problema

Minimizar: SCR( ) ( ) ( )

Sujeto a: .

¢º - -

=

b y Xb y Xb

Ab c

La solución de este problema es

1 1 1ˆ ˆ ˆ( ) [ ( ) ] ( )* - - -¢ ¢ ¢ ¢º - -X X A A X X A A cb b b ,

por lo que el estimador MCR de b se dene como

1 1 1ˆ ˆ ˆ( ) [ ( ) ] ( )* - - -¢ ¢ ¢ ¢º - -W WW X X A A X X A A cb b b . [46]

Observación: El estimador MCR de b satisface (entre otras) las propiedades siguientes: [i] Si =A cb ( =/A cb ), entonces ˆE[ ]* =Wb b ( ˆE[ ]* =/Wb b ), [ii] 2 1 2 1 1 1 1ˆVar[ ] ( ) ( ) [ ( ) ] ( )s s* - - - - -¢ ¢ ¢ ¢ ¢ ¢= -W X X X X A A X X A A X Xb en cualquier caso (tanto si =A cb como si =/A cb ), por lo que [iii] ˆ ˆVar[ ] Var[ ]* £W Wb b .

El Estadístico F II - Forma Basada en Sumas de Cuadrados de Residuos

La forma inicial [45] del estadístico F puede escribirse, teniendo en cuenta la expresión [46]



para el estimador MCR, como

2

ˆ ˆ ˆ ˆ( ) ( )( , )

ˆF F M N K

Ms

* *¢ ¢- -= -W WW W

WW

X Xb b b b ,

o bien como

2

ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ( , ),ˆ ˆˆ

N KF F M N KMMs

* * * *¢ ¢ ¢ ¢- --= = ´ -¢W

W

U U U U U U U UU U

[47]

donde ˆˆ ** º - WU Y Xb (residuos MCR) y ˆˆ º - WU Y Xb (residuos MCO).

Observación I: La expresión [47] para el estadístico F permite contrastar 0: H =A cb frente a 1: H =/A cb en cualquier modelo estadístico RLM, simplemente comparando la suma de cuadrados de los residuos restringida por la hipótesis nula 0H ( ˆ ˆ* *¢U U ) con la suma de cuadrados sin restringir ( ˆ ˆ¢U U ). En las dos observaciones siguientes se mencionan dos aplicaciones muy populares de esta posibilidad.

Observación II: De acuerdo con [47], el estadístico F puede calcularse en cualquier aplicación práctica como

ˆ ˆ ˆ ˆ ,

ˆ ˆN KF

M* *¢ ¢--= ´¢

u u u uu u

.EJ5 P4.

donde (en modelos con término constante; ver [24]) 2ˆ ˆ SCT (1 )R¢ = ´ -u u , 2ˆ ˆ SCT (1 )R* * * *¢ = ´ -u u . Entonces, si



SCT SCT* = (en particular, si la variable dependiente en ambos modelos es la misma), el estadístico F queda

2 2

2.

1R RN KF

M R*--= ´

-

En consecuencia, si en un modelo con término constante la hipótesis nula que se desea contrastar es la de que todas las pendientes son conjuntamente iguales a cero (de manera que 0 2 3: ... 0KH b b b= = = = , 1M K= - , y en el modelo restringido tan sólo queda el término constante 1b ), entonces

2

2,

1 1N K RFK R-= ´- -

.EJ5 P5.

que bajo 0H debe proceder de una distribución ( 1, )F K N K- - . El contraste al que reere la expresión anterior se denomina un contraste de signicación global (de las pendientes) en modelos con término constante.

Observación III: El denominado Test de Chow es un contraste de estabilidad o de ausencia de cambio estructural en los parámetros de dos modelos estadísticos RLM (referidos al mismo conjunto de variables) del tipo

1 1 1 2 2 2

1 1 1 2 2 21 2( 1) ( ) ( 1) ( 1) ( ) ( 1)( 1) ( 1)

, ,N N K N N N K NK K´ ´ ´ ´ ´ ´´ ´

= + = +Y X U Y X Ub b

con 1N K> y 2N K> , tales que en el modelo no restringido

1 1 1 1

2 2 22

é ùé ù é ù é ùê úê ú ê ú ê ú= +ê úê ú ê ú ê úê ú ê ú ê úê úë û ë û ë ûë û

Y X U

Y X 0 U

Y 0 X U

b

bb



se cumplen las hipótesis clásicas HC1-HC5. Para contrastar 0 1 2: H =b b frente a 1 1 2: H =/b b , puede utilizarse el estadístico F de [47], teniendo en cuenta que el modelo restringido por 0H queda en este caso

1 1 1

22 2 2

é ù é ù é ùê ú ê ú ê ú= +ê ú ê ú ê úê ú ê ú ê úë û ë û ë û

Y X U

Y X Ub .

En el modelo no restringido, puede comprobarse que 1 1 2 2ˆ ˆ ˆ ˆSCR ¢ ¢= +u u u u , donde 1u y 2u son los residuos MCO de las regresiones (estimadas por separado) de 1y sobre 1X y de 2y sobre 2X , respectivamente. Por su parte, en el modelo restringido, ˆ ˆSCR* * *¢= u u , donde ˆ*u son los residuos MCO de la regresión de 1 2[ , ]¢ ¢ ¢y y sobre 1 2[ , ]¢ ¢ ¢X X . En consecuencia, el estadístico F puede calcularse en este caso como

1 1 2 21 2

1 1 2 2

ˆ ˆ ˆ ˆ ˆ ˆ( )2 ,ˆ ˆ ˆ ˆ

N N KFK

* *¢ ¢ ¢- ++ -= ´¢ ¢+

u u u u u uu u u u

que bajo 0H debe proceder de una distribución 1 2( , 2 )F K N N K+ - .

ESTADÍSTICOS t

El Estadístico t l - Forma General y Distribución .EJ5 P6-P7.

En relación con el contraste de una hipótesis nula general del tipo 0: H =A cb (que consta de 1M ³ las o enunciados), consideramos el caso particular de que dicha hipótesis conste de un único enunciado (M = 1) del tipo 0 1 1 2 2: ... K KH a a a cb b b+ + + = , de manera que,



en este caso, 1 2[ , , ..., ]Ka a a ¢= =A a (un vector la 1 K´ ), y c=c (un escalar 1 1´ ). El estadístico F [45] referido a la hipótesis nula 0: H c¢ =a b queda

1 1 2

2 2 1

ˆ ˆ ˆ( ) [ ( ) ] ( ) ( )(1, )

ˆ ˆ [ ( ) ]c c c

F F N Ks s

- -

-¢ ¢ ¢ ¢ ¢ ¢- - -

= = -¢ ¢

W W WW

W W

a a X X a a aa X X a

b b b .

Teniendo en cuenta que 2 1 ˆˆ ˆ[ ( ) ] Var[ ]s -¢ ¢ ¢= WW a X X a a b y que 2(1, ) ( )F N K t N K- = - , la expresión anterior es equivalente a que

ˆ

( )ˆˆDvt[ ]ct t N K

¢ -º -¢

WW

W

aabb

, [48]

donde ˆ ˆˆ ˆDvt[ ] Var[ ]¢ ¢ºW Wa ab b es el estimador MCO de la desviación típica de ˆ¢ Wa b . El estadístico [48] se denomina el estadístico t general referido a la hipótesis nula 0: H c¢ =a b .

El Estadístico t II - Casos Particulares .EJ5 P8.

El estadístico [48] referido a una hipótesis nula del tipo 0: jH cb = (1 j K£ £ ), se obtiene particularizando [48] cuando [0, ..., 1, ..., 0]¢ =a (un vector lleno de ceros excepto por un 1 en la posición -ésimaj ):



ˆ

( )ˆˆDvt[ ]j

j

ct N K

bb-

-W

W , [49]

donde ˆ ˆˆ ˆDvt[ ] Var[ ]j jb bºW W . Cuando 0: 0jH b = , [49] queda

ˆ

( )ˆˆDvt[ ]j

jt N K

bb

-W

W , [50]

que se denomina el estadístico t para el contraste de signicación individual del parámetro

jb (o, simplemente, el estadístico t de jb ).

Observación I: El valor calculado de cualquier estadístico t puede expresarse como

0 0

0

Lado izquierdo estimado de H Lado derecho de H .Error estándar del estimador del lado izquierdo de H

t-

=

Observación II: En modelos con término constante, el denominador del valor calculado de [49]-[50] es (ver Observación II en página 39) 2 ½ˆˆ ˆDvt[ ] [SCT (1 )]j j jRb s -= -W . Por lo tanto, cualquier contraste basado en [49]-[50] será más propenso a generar valores de t pequeños (y, por lo tanto, a no rechazar 0H ; ver la Figura 13) cuanto mayor sea el grado de relación muestral entre jX y las demás variables explicativas (entre otros factores), es decir, cuanta menos información especíca aporten los datos de jX acerca de las inuencias muestrales sobre Y.



02t

( )t N Kf

2

1t

2

2

0Rechazar H 0Rechazar H0No rechazar H

0

( )t N Kf

2

2

Prob. de obtener un valor más extremo que | |t

| |t| |t P-value

FIGURA 13 Región Crítica y "p-value" para Contrastes basados en Estadísticos t cuando 1H es de tipo

Contrastes de Dos Colas o Bilaterales

a2

Pr[ ( ) ] 1t N K -a2- £ = -1t a 2 Pr[ ( ) ]t N K t= ´ - ³*



1t

0No rechazar H

0

( )t N Kf

0Rechazar H

0

( )t N Kf

Prob. de obtener un valor mayor que t

t P-value


Contrastes de Una Cola o Unilaterales por la Derecha

aPr[ ( ) ] 1t N K -- £ = - a1t a Pr[ ( ) ]t N K t= - ³*



t

0No rechazar H

0

( )t N Kf

0Rechazar H

t

Prob. de obtener un valor menor que t

P-value0

( )t N Kf


Contrastes de Una Cola o Unilaterales por la Izquierda

aPr[ ( ) ]t N K- £ = at a Pr[ ( ) ]t N K t= - £*



INTERVALOS DE CONFIANZA

En relación con un modelo estadístico RLM estimado por MCO, un intervalo conanza (estimado) del 100(1 )%a- para una combinación lineal de b del tipo ¢a b (donde ¢a es un vector 1 K´ ), es un subconjunto de tal que para cualquier número c de dicho subconjunto, el resultado de contrastar 0: H c¢ =a b frente a 1: H c¢ =/a b al (100 )%a´ consiste en no rechazar 0H (ver la Figura 13):

{ }21 1IC ( ) : c t t aa- -¢ º Î £a b , [51]

donde t es el valor calculado del estadístico [48]. La cantidad 1 a- [o, en términos porcentuales, 100(1 )%a- ] se denomina el nivel de conanza del intervalo [51].

Observación I: Un intervalo de conanza contiene todos aquellos valores posibles de ¢a b que son relativamente compatibles con la información contenida en los datos. La interpretación frecuente de un intervalo de conanza en los términos " 1Pr[ IC ( )] 1a a-¢ ¢Î = -a ab b " es incorrecta, entre otros motivos porque el "suceso" que gura como argumento de la probabilidad anterior no tiene absolutamente nada de "aleatorio".

Observación II: De manera más explícita, 1IC ( )a- ¢a b puede denirse como el conjunto formado por todos aquellos números reales c Î tales que

21ˆ ˆˆDvt[ ]c t a-¢ ¢- £ ´Wa ab b ,



donde 21t a- es un valor crítico de la distribución ( )t N K- tal que

21 2Pr[ ( ) ] 1t N K t a a-- £ = - . La desigualdad

anterior puede escribirse de forma equivalente como

2 21 1

ˆ ˆ ˆˆ ˆDvt[ ] Dvt[ ]t c ta a- -¢ ¢ ¢- ´ £ - £ ´W Wa a ab b b , o bien, nalmente, como

2 21 1ˆ ˆ ˆ ˆˆ ˆDvt[ ] Dvt[ ]t c ta a- -¢ ¢ ¢ ¢- ´ £ £ + ´W Wa a a ab b b b ,

por lo que

21 1ˆ ˆˆIC ( ) Dvt[ ] t aa- -

é ù¢ ¢ ¢º ´ê úë ûWa a ab b b . .EJ5 P9.

Observación III: En la práctica, el tipo de intervalo de conanza que suele tener mayor interés es el referido a algún componente individual jb (1 )j K£ £ de b . En este caso,

21 1

ˆ ˆˆIC ( ) Dvt[ ]j j j t aa b b b- -é ùº ´ê úë ûW , .EJ5 P9.

que es un intervalo cerrado cuya amplitud depende (dado un nivel de conanza) del error estándar del estimador del parámetro jb . En consecuencia, cuanto menor (mayor) sea dicho error estándar, menor (mayor) será el rango de valores posibles para jb que son relativamente compatibles con los datos, y, por lo tanto, con mayor (menor) precisión o abilidad estará localizado el verdadero valor de jb . Éste es el sentido que tiene interpretar el error estándar de jb W como una medida de su precisión o de la abilidad de la estimación puntual ˆjb .

PREVISIÓN

Previsión Puntual .EJ5 P10.

En relación con un modelo estadístico RLM



b1 2 2 ... ( 1, 2, ..., )i i K iK i i iY X X U U i Nb b b ¢= + + + + = + =X [52]

descrito por las hipótesis clásicas HC1-HC5, consideramos la previsión de una variable aleatoria fY tal que b1 2 2 ...f f K fK f f fY X X U Ub b b ¢= + + + + = +X . [53]

La variable fY se puede prever puntualmente después de estimar [52] siempre que se disponga de datos sobre 2 , ...,f fKX X .

Si 1 2ˆ ˆ ˆ, , ..., Kb b b son las estimaciones MCO de 1 2, , ..., Kb b b en [52], entonces la previsión puntual de fY en [53] asociada con unos datos 2 , ...,f fKx x , es la estimación puntual

b1 2 2ˆ ˆ ˆ ˆˆ ...f f K fK fy x xb b b ¢º + + + º x , [54]

cuyo estimador correspondiente es bf fY ¢º WX , [55]

donde ˆWb es el estimador MCO de b en el modelo [52].

Error de Previsión

El error de previsión de fY en [53] asociado con el estimador [55] es la variable aleatoria



ˆf f fV Y Yº - , [56]

que, de acuerdo con [53] y [55], puede escribirse como

b b bˆ ˆ( )f f f f fV Y U¢ ¢= - = - -W WX X . [57]

Propiedades del Error de Previsión

Si en el modelo resultante de "ensamblar" [52] y [53],

bf ff

Y U

é ùé ù é ùê úê ú ê ú= +ê úê ú ê ú¢ë û ë ûë û

Y X U

X,

se cumplen las hipótesis clásicas HC1-HC5, entonces fV sigue una distribución Normal con

2 2 2 1ˆE[ ] 0, Var[ ] Var[ ] ( ) .f f f f fV V Ys s s -¢ ¢= = + = + X X X X [58]

En consecuencia:

ˆ ˆ[ ]

N(0, 1) ( ).ˆDvt[ ] Dvt[ ] Dvt[ ]

f f f f f f

f f f

V E V Y Y Y Yt N K

V V V- - -

= - [59]



Intervalo de Confianza para fY .EJ5 P10.

Un intervalo de conanza (estimado) del 100(1 )%a- para fY en [53] es un subconjunto

1IC ( )fYa- de tal que la probabilidad de que 1IC ( )f fY Ya-Î es igual al nivel de conanza 100(1 )%a- (o, en términos proporcionales, 1 a- ).

Por la segunda parte de [59],

2 2 211 1 1

ˆˆ ˆPr 1 IC ( ) Dvt[ ] .

ˆDvt[ ]f f

f f ff

Y Yt t Y y V t

Va a aaa -- - -

é ù- é ùê ú- £ £ = - º ´ê úê ú ë ûê úë û [60]

Estimación de Probabilidades referidas a fY .EJ5 P10.

[ ] [ ]ˆ ˆ ˆˆPr Pr Pr Pr ( ) .

ˆ ˆ ˆDvt[ ] Dvt[ ] Dvt[ ]f f f f

f ff f f

Y Y a Y a yY a Y a t N K

V V V

é ù- - é - ùê ú ê ú³ = ³ ³ = - ³ê ú ê úë ûê úë û [61]

Análogamente:

[ ]ˆ

Pr Pr ( ) .ˆDvt[ ]

ff

f

b yY b t N K

Vé - ùê ú£ = - £ê úë û

[62]

.REPASO - EJ6.


2.4 Propiedades Asintóticas

El modelo estadístico RLM de las Secciones 2.2-2.3 está formado por un conjunto de hipótesis (HC1-HC5) que dotan al método MCO de unas propiedades (estadísticas) exactas o en muestras nitas que son, por un lado, fácilmente obtenibles analíticamente, y, por otro lado, óptimas para hacer inferencia sobre los parámetros del modelo.

En muchas situaciones prácticas, alguna o algunas de las hipótesis clásicas de las que se derivan las propiedades exactas del método MCO, no son asumibles, por lo que el empleo del método MCO en esos casos no puede justicarse sobre la base de dichas propiedades.

En ciertos casos, aún es justicable el empleo del método MCO gracias a sus propiedades asintóticas (aproximadas) o en muestras grandes. Por ejemplo, en ciertas situaciones en las que no se conoce la distribución exacta del estimador MCO, sí se puede comprobar que dicho estimador es consistente y asintóticamente Normal, lo que puede justicar su empleo aún sin saber nada sobre su distribución exacta o en muestras nitas.

2 · REGRESIÓN LINEAL MÚLTIPLE I 2.4 PROPIEDADES ASINTÓTICAS


Las Hipótesis "Ampliadas" del Modelo Estadístico RLM

HA1 Linealidad: Igual que HC1. Además, { } {[ , ] }i i iY ¢ ¢ºW X es un proceso estocástico [i] estacionario y [ii] débilmente dependiente. [Wooldridge (2013), Sección 11.1.]

HA2 Ausencia de Multicolinealidad: Igual que HC2. Además, E[ ]i i¢ºQ X X es una matriz ( )K K´ nita y no singular (que, por HA1, es la misma en cada punto muestral).

HA3 Exogeneidad Contemporánea: E[ | ] 0i iU =X para todo i = 1, …, N. Esto implica, en particular, que [i] E[ ] 0iU = , y [ii] Cov[ , ] E[ ]i i i iU U= =X X 0 (en cada punto muestral).

HA4 Perturbaciones Esféricas: [i] 2 2E[ | ]iiU s=X , [ii] 1 2 1 2E[ | , ] 0i i i iU U =X X ( 1 2i i=/ ).

Observación I: En HA1, la hipótesis de que { } {[ , ] }i i iY ¢ ¢ºW X es estrictamente estacionario y débilmente dependiente incluye, como caso particular, la posibilidad de que { } {[ , ] }i i iY ¢ ¢ºW X sea una muestra aleatoria (es decir, una muestra cuyos elementos son IID), lo cual resulta adecuado para muchas colecciones de datos de sección cruzada.

Observación II: En HA2, la hipótesis de que E[ ]i i¢ºQ X X es nita y no singular requiere que las variables explicativas no varíen "excesivamente" (de manera que Q sea nita) aunque sí "lo suciente" (para que Q sea no singular).

Observación III: Para que ˆWb tenga buenas propiedades asintóticas, en HA3 bastaría con que [i] E[ ] 0iU = , y [ii] E[ ]i iU =X 0 (ortogonalidad contemporánea) en cada punto muestral. Por otro lado, aunque HC3 implica HA3, la implicación contraria no es, en general, cierta. La diferencia fundamental entre HC3 y HA3 consiste en que HA3 no



excluye la posibilidad de que 1 2E[ ]i iU =/X 0 para cualquier par de puntos muestrales diferentes ( 1 2i i=/ ), en cuyo caso 2 1E[ | ] 0i iU =/X , y, por lo tanto, E[ | ] =/U X 0 (lo cual está excluido del modelo RLM clásico por HC3). Así, por ejemplo, 1ˆE[ | ] ( ) E[ | ]-¢ ¢= +W X X X X U Xb b será (en general) bajo HA3 un vector distinto de b (porque E[ | ] =/U X 0 ). Por lo tanto, ampliar el modelo RLM clásico en el sentido de HA3 implica que todas las propiedades exactas de los estadísticos MCO de las Secciones 2.2-2.3 dejan de ser válidas. La ausencia de la hipótesis de Normalidad también tiene implicaciones (aunque menos relevantes) en el mismo sentido.

Propiedades Asintóticas de ˆW

Las hipótesis HA1-HA4 (que incluyen como caso particular a las hipótesis HC1-HC5), junto con ciertas condiciones adicionales, implican que ( )½ 2 1ˆ( )} Normal ,dN s -{ - W 0 Qb b . Por lo tanto,

ˆ }p

{ Wb b y ( )2 1ˆ Normal ,a

Ns -

W Qb b , [63]

La expresión [63] implica que ˆWb es un estimador consistente y asintóticamente Normal (CAN) de b . Observación I: El estimador MCO de b puede escribirse como

1 11

1 111 1

ˆ ( )

N NN N

i i i ii iN N U

- --¢ ¢-

= =¢ ¢

é ù é ùê ú ê úê ú ê ú¢ ¢ ¢= + = + å ´ åê ú ê úê ú ê úë û ë û

X X X U

W

X X X U

X X X U X X Xb b b

,



ˆ 2( )f N N W

ˆ 3( )f N N W

ˆ 1( )f N N W

1k 2k

31 2N NN

por lo que ˆWb es una función de determinadas medias muestrales. Bajo HA1-HA3, a dichas medias se les puede aplicar cierta Ley de los Grandes Números, de manera que, bajo HA1-HA3: [i] 1 } E[ ]

pi iN- ¢ ¢{ ºX X Q X X (ver

HA2), y [ii] 1 } E[ ]p

i iN U- ¢{ =X U X 0 (ver HA3), lo que implica que ˆ }p

{ Wb b , ó ˆplim[ ] =Wb b . En este caso, la probabilidad de que cualquier realización particular de ˆWb (es decir, cualquier estimación puntual b de b ) esté próxima a b , es esencialmente igual a 1 si el tamaño muestral N es sucientemente grande. [Ver Figura 16.]

FIGURA 16 Consistencia y Normalidad Asintótica



Observación II: Las "condiciones adicionales" mencionadas en relación con [63] garantizan a través de cierto Teorema Central del Límite que ½ } Normal( , )dN- ¢{ X U 0 S , con 1lim{ Var[ ]}N

¢=S X U , de manera que

1 1

1

1

1 1½ ½ 11 1

Normal( , )

ˆ( ) Normal ,

p d

N NdN N

i i i ii iN NN N U

- -

-

-¢ ¢-

= =¢ ¢

é ù é ùê ú ê úê ú ê ú¢- = å ´ å ê ú ê úê ú ê úë û ë û

X X X U

W

X X X U

0Q S

X X X 0 Qb b

( )1-SQ .

Cuando dichas condiciones adicionales van acompañadas de [ii] en HA4, entonces ]i i i iU U ¢= E[S X X , lo cual, junto con [i] en HA4, implica que 2s=S Q . [Ver, por ejemplo, Hayashi, F. (2000), Econometrics, Princeton University Press, Secciones 2.1-2.6 y 6.5-6.6.]

Propiedades Asintóticas de s2W

Las hipótesis HA1-HA4 (junto con ciertas condiciones adicionales) garantizan que 2sW es un estimador CAN del parámetro 2s .

El Estimador de la matriz VarAs[ ˆW ]

La matriz de varianzas-covarianzas asintótica de ˆWb es la matriz de varianzas-covarianzas de la distribución asintótica de ˆWb dada en [63]: 2 1ˆVarAs[ ] N

s -=W Qb . Como, por un lado, plim[ 2sW ] = 2s , y, por otro lado, 1plim[ ]N- ¢ =X X Q, entonces 2 1 1ˆ ( )Ns - -¢W X X es



un estimador consistente de 2 1s -Q , por lo que un estimador consistente de ˆVarAs[ ]Wb es simplemente 1 2 1 1ˆ ( )N Ns- - -¢W X X , es decir,

2 1ˆˆ ˆVarAs[ ] ( )s -¢ºW W X Xb . [64]

La distribución asintótica [63] junto con el estimador [64] de bVarAs[ ]W , se pueden usar en la práctica para hacer inferencia sobre b de la forma habitual (como en las Secciones 2.2-2.3), aunque ahora (bajo HA1-HA4) la justicación es aproximada (asintótica) en vez de exacta (como lo era en las Secciones 2.2-2.3 bajo HC1-HC5).

Los Estadísticos de Wald y de los Multiplicadores de Lagrange

Para contrastar 0: H =A cb frente a 1: H =/A cb , HA1-HA4 implican si 0H es cierta que

21 11

ˆˆ ˆ( )] [ ( ) ] ( ) ( )aW M F M

s- -¢ ¢ ¢º - - = ´

WW W W WA c A X X A A cb b . [65]

1

2ˆ

ˆ ˆ( ) ( ),ˆ ˆaLM N N R M

*

-** *

* *

¢ ¢ ¢= ´ = ´

¢W UU X X X X U

U U [66]

(ver [45]-[47]), donde 2ˆR*U es el 2

NCR (ver [23]-[24]) de la regresión de ˆ*U sobre X.


2.5 Especificación II

La elección inicial del conjunto de variables explicativas y de la forma funcional de un modelo RLM se basa (en ocasiones) en algún modelo teórico y (fundamentalmente) en el examen de los datos y en la experiencia y el buen juicio del investigador.

Una vez estimado un modelo inicial, la revisión de sus variables explicativas y de su forma funcional puede llevarse a cabo teniendo en cuenta las consideraciones de esta sección.

Omisión de Variables Explicativas Relevantes

[BE.1] 1 2 2 3 3Y X X Ub b b= + + + .

[ME.1] 1 2 2Y X Vb b= + + , con 3 3V X Ub= + 3( 0)b =/ .

[BE.1] 2 2ˆE[ ]b b=W , 2

22 2

2 SCT (1 )ˆ .Var[ ]

Rsb´ -

=W

[ME.1] 2 3

2

ˆcov[ , ]2 3 22 ˆvar[ ]

ˆE[ ]b b b b* = + =/X XW X ,

2

2 22 SCTˆ ˆVar[ ] Var[ ].sb b* = £ WW

2 · REGRESIÓN LINEAL MÚLTIPLE I 2.5 ESPECIFICACIÓN II


Observación I: La omisión de variables explicativas relevantes que están correlacionadas con las variables explicativas incluidas en un modelo, es también la causa más frecuente de la inconsistencia de los estimadores MCO. En particular, si [BE.1] satisface las hipótesis HA1-HA3 (Sección 2.4) que garantizan la consistencia de b2W , entonces en [ME.1] 2 3 2 3Cov[ , ] Cov[ , ] 0i i i iX V X Xb= =/ , lo que implica que HA3 no se cumple en [ME.1]. Esto implica que

2 3

2

Cov[ , ]2 3 22 Var[ ]

ˆplim[ ] ,i i

i

X XXb b b b* = + =/W

por lo que el estimador MCO de 2b en [ME.1] es inconsistente. [Nótese que 2 3ˆcov[ , ]X X y 2ˆvar[ ]X en 2Ê[ ]b*W son

momentos muestrales, mientras que 2 3Cov[ , ]i iX X y 2Var[ ]iX en 2ˆplim[ ]b*W son momentos teóricos.]

Observación II - Caso General: Si en [BEG.1] 1 2 2 3 3b= + = + + +Y X U i X X Ub b b se cumplen HC1-HC4, pero en su lugar se especica [MEG.1] 1 2 2b= + +Y i X Vb , con 3 3= +V X Ub , entonces (ver [31]-[33] y [26]-[28]):

[BEG.1] [ ]2 1 1 1 12 2 2 2 2 2 2 2 3 3 2 3 3 2 2 2ˆ Ê[ ] , Var[ ] ( ) ( ) ( ) ( )s - - - -¢ ¢ ¢ ¢ ¢ ¢= = +W W X X X X X X X M X X X X Xb b b .

[MEG.1] 1 2 12 2 2 2 3 3 2 2 22 2

ˆ ˆ Ê[ ] ( ) , Var[ ] ( ) Var[ ].s* - * -¢ ¢ ¢= + = £ WW WX X X X X Xb b b b b

[MEG.1] 12 23 3 22 2 23 2 3222

ˆplim[ ] , Var[ ], Cov[ , ].i i i* -= + = =W Q Q Q X Q X Xb b b

Inclusión de Variables Explicativas Irrelevantes

[BE.2] 1 2 2Y X Ub b= + + .

[ME.2] 1 2 2 3 3Y X X Ub b b= + + + 3( 0)b = .



[BE.2] 2 2Ê[ ]b b=W , 2

22 SCTˆ .Var[ ] sb =W

[ME.2] 22Ê[ ]b b* =W , 3

Ê[ ] 0b* =W , 2

22 2

22 SCT (1 )ˆ ˆVar[ ] Var[ ].

Rsb b*´ -

= ³ WW

Observación - Caso General: Si en [BEG.2] 1 2 2b= + = + +Y X U i X Ub b se cumplen HC1-HC4, pero se especica en su lugar [MEG.2] 1 2 2 3 3b= + + +Y i X X Ub b (donde 3 = 0b ), entonces (ver [26]-[28] y [31]-[33]):

[BEG.2] 2 12 2 2 2 2ˆ Ê[ ] , Var[ ] ( ) .s -¢= =W W X Xb b b

[MEG.2] [ ]

22 32 1 1 1 1

2 2 2 2 2 3 3 2 3 3 2 2 2 22

ˆ Ê[ ] , E[ ] ,

ˆ ˆVar[ ] ( ) ( ) ( ) ( ) Var[ ].s

* *

* - - - -

= =

¢ ¢ ¢ ¢ ¢ ¢= + ³W W

WW

0

X X X X X X X M X X X X X

b b b

b b

Omisión del Término Constante

[BE.3] 1 2 2Y X Ub b= + + .

[ME.3] 2 2Y X Vb= + , con 1V Ub= + 1( 0)b =/ .

[BE.3] 2 2Ê[ ]b b=W , 2 2

22 2 2 22 SCT

ˆ .Var[ ]NX

s sb¢ -

= =W X X

[ME.3] 2

2 22 1 22

Ê[ ] NXb b b b*¢= + =/W X X

, 2

2 222

ˆ ˆVar[ ] Var[ ].sb b*¢= £ WW X X



Revisión del Contenido del Conjunto de Variables Explicativas

El sesgo y la inconsistencia asociados con la omisión de variables explicativas relevantes y la pérdida de precisión asociada con la inclusión de variables irrelevantes, ponen de relieve la importancia de revisar cuidadosamente el contenido inicial del conjunto de variables explicativas de un modelo estimado.

La señal más evidente de una mala especicación (o del empleo de un método de estimación inadecuado) suele ser la obtención de estimaciones con valores y/o signos chocantes.

Diferentes contrastes de signicación pueden ayudar a decidir si una o varias variables son irrelevantes en un modelo, aunque la posible escasa signicación estadística de uno o varios parámetros no debe llevar directamente a la eliminación de sus variables respectivas.

En primer lugar, porque la signicación estadística depende del tamaño muestral y de la posible presencia de multicolinealidad [Wooldridge (2013), Sección 3.4]. Y, sobre todo, porque la signicación teórica y/o la signicación práctica de una variable pueden ser tan relevantes o más que su signicación estadística [Wooldridge (2013), Sección 4.2].



Sin olvidar las consideraciones anteriores, también se puede recurrir al uso de ciertos criterios de especicación para seleccionar un conjunto adecuado de variables explicativas.

Criterios de Información y de Evaluación de Previsiones - Ejemplo en Tabla 3

Akaike IC ( )SCR 2ln KN NAIC º +

Schwarz (Bayesian) IC ( ) ln( )SCR ( ) ln K NN NSC BIC º +

Root Mean Squared Error 211 ˆ( )P

f ffPRMSE y y=º -å

Mean Absolute Error 11 ˆP

f ffPMAE y y=º -å

Mean Absolute Percentage Error ˆ100

1f f

f

y yPyfPMAPE-

=º å

Observación: En RMSE, MAE, MAPE, [i] el número P representa un número de previsiones calculadas a partir de un modelo estimado con un conjunto de N observaciones (estimation sample), [ii] ( 1, ..., )fy f P= son datos de fuera de dicho conjunto (hold-out sample), y [iii] ˆˆ ( 1, ..., )f fy f P¢= =x b son las previsiones puntuales calculadas con el modelo estimado, de manera que [iv] ˆ ( 1, ..., )f fy y f P- = son los errores de previsión cometidos u observados.



TABLA 3 Criterios de Especificación para los Modelos de la Tabla 2

2R AIC SC (BIC) RMSE MAE MAPE

RLS 0.1248 1.3474 1.3644 0.59 0.50 21.90 %

RLM.1 0.1853 1.2777 1.3032 0.55 0.46 20.26 %

RLM.2 0.2361 1.2154 1.2494 0.52 0.44 19.31 %

RLM.3 0.2435 1.2076 1.2501 0.50 0.41 18.73 %

Datos del archivo SC03-Salarios3.wf1 (526 observaciones en total). Modelos estimados con las 495 primeras observaciones..

RMSE, MAE y MAPE calculados a partir de previsiones de Y ln SLRPH para las observaciones 496-526 (31 observaciones).

Cuestiones Importantes para Estudio Personal Fuera de Clase Multicolinealidad - Significación Práctica vs. Significación Estadística

2 REGRESIÓN LINEAL ÚLTIPLE - codexjam.com · En general, un modelo de regresión es no lineal...

Documents

Transcript of 2 REGRESIÓN LINEAL ÚLTIPLE - codexjam.com · En general, un modelo de regresión es no lineal...