Modelo de regresion lineal

Apuntes de Econometría EMI – Ingeniería Comercial

MODELO DE REGRESIÓN LINEAL

2.1 Estimación por Mínimos Cuadrados Ordinarios (MCO) Sea el siguiente modelo lineal simple:

Y i=β1+β2 X i+μi (11 )i=1 .. N

En base a una muestra de tamaño N , es posible estimar los parámetros del modelo.

Un criterio muy utilizado es el de Mínimos Cuadrados Ordinaros (MCO).

Este método consiste en la minimización de la suma de los residuos del modelo elevados al cuadrado.

El programa de Minimización es el siguiente:

Minβ1 , β2

∑i=1

N

μ i2=∑

i=1

N

(Y i−β1−β2 X i)2=f (β1 , β2 )

Se eleva al cuadrado de tal manera de ponderar o castigar más a las observaciones más alejadas a la FRM y menos a las más cercanas.

Asimismo a fin de evitar que los valores positivos se eliminen con los negativos.

Como se verá más adelante, el criterio MCO tiene propiedades estadísticas muy deseables.

Nótese:Y i=β1+β2 X i+μ i

μi=Y i−β1−β2 X i

μi2=(Y i−β1−β2 X i )

2

∑i=1

N

μ i2=∑

i=1

N

(Y i−β1−β2 X i )2 (12)

Condición de primer orden:

∂∑ μi2

∂ β1

=−2∑ (Y i− β1− β2 X i)=0

∑ (Y i− β1− β2 X i )=∑Y i−N β1− β2∑ X i=0

N β1+ β2∑ X i=∑Y i

1


∂∑ μi2

∂ β2

=−2∑ (Y i− β1− β2 X i)X i=0

∑ (Y i− β1− β2 X i )X i=∑Y i X i− β1∑ X i− β2∑ X i2=0

β1∑ X i+ β2∑ X i2=∑Y i X i

Por tanto, las denominadas ecuaciones normales son:

N β1+ β2∑ X i=∑Y i

β1∑ X i+ β2∑ X i2=∑ Y i X i

Resolviendo el sistema de ecuaciones normales se obtienen las siguientes soluciones:

β2=∑i=1

N

x i y i

∑i=1

N

x i2

(13)

β1=Y− β2 X (14 )

Donde:x i=(X i−X )y i=(Y i−Y ) X , Y

X , Y Son las medias muestrales de X i y Y i

2.2 Propiedades de la solución MCO

1) Nótese que las estimaciones de los parámetros del modelo están en función de las variables del modelo, en términos observables.

Si variamos la muestra de datos, tendremos diferentes estimaciones de los parámetros, de la LRM y de la estimación de los errores del modelo.

2) Obtenemos estimadores puntuales de los parámetros.

Los estimadores por intervalos los veremos más adelante.

3) La LRM se puede escribir como:

2


Y i= β1+ β2 X i

Y i=Y− β2 X+ β2 X i

Y i=Y + β2(X i−X ) (15)4)

^Y i=YSi :Y i=Y + β2( X i− X )

∑ Y i=∑ ( Y + β2(X i−X ))= N Y + β2∑ (X i−X )

^Y i=∑ Y i

N=Y

∑ (X i−X )=∑ X i−N X=NN∑ X i−N X=N X−N X=0

5) La LRM pasa por las medias muestrales:

β1=Y− β2 X (16 )Y= β1+ β2 X

6)

∑ μ i=0

Al minimizar la ecuación (12) respecto a β1 obtuvimos la condición de primer orden:

∂∑ μi2

∂ β1

=−2∑ (Y i− β1− β2 X i )=0

⇒∑ (Y i− β1− β2 X i )=∑ u i=0

7)

∑ μ i X i=0

Al minimizar la ecuación (2) respecto a β2 obtuvimos que:

∂∑ μi2

∂ β2

=−2∑ (Y i− β1− β2 X i )X i=0

⇒∑ (Y i− β1− β2 X i )X i=∑ μ i X i=0

3


8) El modelo en desviaciones a la media

Y i=β1+β2 X i+μi (11)Y i= β1+ β2 X i+ μi (10 )

Y i= β1+ β2 X i (9 )Y= β1+ β2 X (16 )

Restando a (10), (16), obtenemos:

Y i−Y= β1− β1+ β2 X i− β2 X+ μi⇒ y i= β2 xi+ μ i (10)

Restando a (9), (16), obtenemos:Y i−Y= yi= β2 xi (17)

Operando sobre (11) también se puede obtener:

y i=β2x i+μ i−u=β2 xi+μ i¿ (18 )

9)

∑ μ i y i=0

∑ μ i y i=∑ μi β2x i= β2 (∑ μi X i−X∑ μi)=0

2.3 Supuestos de la estimación MCO

Sean los siguientes supuestos de la estimación de MCO-Modelo clásico de regresión lineal:1. El modelo de regresión es lineal en los parámetros2. Los valores de X son fijos en muestreo repetido3. El valor esperado de la perturbación estocástica condicionada en los valores X’s es

igual a cero4. Homoscedasticidad5. Ausencia de autocorrelación en los errores6. El modelo está correctamente especificado7. Existe suficiente variabilidad en la(s) variable(s) explicativa(s)

1. El modelo de regresión es lineal en los parámetros

Y i=β1+β2 X i+μi (11 )

Esto claramente se ve en la ecuación (11).

4


Este supuesto se cumple mientras los parámetros del modelo son lineales en la LRP (es decir

en la esperanza condicional de Y i )

2. Los valores de X son fijos en muestreo repetido: las X’s no son estocásticas

El investigador selecciona las X y en base a los valores de X realiza un muestreo aleatorio de la variable dependiente.

Por ejemplo, selecciona X=80 y luego selecciona aleatoriamente el valor de Y.

Inicialmente se realiza el análisis de regresión condicionado en las X’s.

3. El valor esperado de la perturbación estocástica es igual a cero

Esto quiere decir que los valores de μi no afectan sistemáticamente a los valores de Y i

Si:Y i=β1+β2 X i+ui (11)E [μi /X i ]=0 ∀ i=1. . .N

Entonces:E(Y i /X i )=E( β1+β2 X i+μi/X i )E(Y i /X i )=E( β1+β2 X i/X i )+E( μi/X i)E(Y i /X i )=β1+β2 X i

4. Homoscedasticidad o igual varianza de la perturbación estocástica del modelo

Las varianzas condicionales de la perturbación estocástica son iguales.

Bajo este supuesto:

var ( μi/X i)=E {( μi−E( μi ))2 /X i}

var ( μi/X i)=E {( μi )2 /X i}

var ( μi/X i)=σ2 (19 )∀ i=1. .. N

El supuesto anterior implica que:

5


var (Y i/X i)=var ( β1+ β2 X i+μ i /X i)var (Y i/X i)=var ( μi /X i )=σ 2

Este resultado se obtiene fácilmente, ya sea utilizando las propiedades de la varianza o mediante la definición de varianza.

5. No existen problemas de autocorrelación de los errores

cov ( μt μ t− j /X t , X t− j )=E {(μ t−E( μt ))(μ t− j−E( μt− j))/X t , X t− j }cov ( μt μ t− j /X t , X t− j )=E {(μ t μt− j/X t , X t− j }=0 (20)∀ t=1 .. T j=1,2 ,. . .

El problema de autocorrelación es generalmente un problema de series de tiempo.

La ausencia de autocorrelación implica que Y t depende sistemáticamente y únicamente de X t

.

Si existieran problemas de autocorrelación, también dependería sistemáticamente de los errores rezagados del modelo.

LRP

6


6. No existen problemas de correlación entre la(s) variable(s) explicativa(s) y el término de error

cov ( μi X i /X i )=0 (21 )∀ i=1. . N

El segundo supuesto garantiza que esto se cumpla. Al ser las X’s determinísticas la covarianza con el término de error es 0.

Más adelante se levantará el supuesto de no aleatoriedad y se verán las consecuencias.

7. El número de observaciones debe ser por lo menos igual al número de parámetros a estimar

N≥kk es el número de parámetros a estimar. k=2 en el modelo de regresión simple.

8. Existe suficiente variabilidad en las X’s

Esto se puede comprender mejor utilizando la solución:

β2=∑i=1

N

x i yi

∑i=1

N

x i2

Si las X’s no tuvieran variabilidad entonces:

∑i=1

N

x i2=0

7


Ello implicaría que la solución sería indeterminada.

9. El modelo está correctamente especificado

+ Todas las variables importantes están incluidas en el modelo.

+ La forma funcional es la correcta.

+ El modelo está bien definido en términos de las ecuaciones necesarias.

+ Los supuestos probabilisticos sobre Yi, Xi y ui son los correctos.

+ Las variables se miden correctamente.

+ En general, no se ha cometido ningún error de especificación.

De haberlo hecho, dependiendo del tipo de error, ello tendría implicaciones más o menos serias sobre las propiedades de los estimadores MCO.

10. En un modelo de regresión múltiple, se agrega el supuesto de ausencia de multicolinealidad

Ninguna de las variables explicativas puede ser escrita como combinación lineal de las otras variables explicativas del modelo (incluyendo la constante).

2.4 Propiedades del estimador de MCO bajo los supuestos del modelo lineal clásico

Bajo los supuestos del modelo lineal clásico, los estimadores MCO son los Mejores Estimadores Lineales Insesgados (MELI o BLUE)

1) Los estimadores son una función lineal de la variable aleatoria dependiente

β2=∑ x i yi

∑ xi2=∑ ki yi

Donde:

k i=x i

∑ x i2

Nótese:

∑ k i=∑ x i

∑ x i2=0 ; ∑ k i x i=

∑ x i2

∑ x i2=1

Por tanto:

8


β2=∑ k i(Y i−Y )=∑ k iY i−Y∑ ki=∑ ki Y i

2) Los estimadores son insesgados

β2=∑ x i yi

∑ xi2=∑ ki yi=∑ ki( β2 xi+μi− μ )

β2=∑ ki β2 xi+∑ k i μi− μ∑ k i

β2=β2+∑ k i μi (22)

Tomando el valor esperado a la ecuación 22 y sabiendo que las X’s son determinísticas

E [ β2 ]=E [ β2+∑ k i μi ]E [ β2 ]=E [β2]+∑ k i E [μi ]

E [ β2 ]=β2

3) Estimador MELI.

Para mostrar que los estimadores son MELI, debemos encontrar la varianza de los mismos.

Para β2 :β2=β2+∑ k i μi

β2−β2=∑ k i μi

Var ( β2 )=E [( β2−E( β2 ))2 ]

Var ( β2 )=E [( β2−β2 )2]

Var ( β2 )=E [(∑ k i μi )2 ]

Var ( β2 )=(∑ k i E( μi ))2

Var ( β2 )=E [k12 μ1

2+. ..+k N2 μN

2 +2 (k 1 k ,2 μ1 μ2+ .. .+k N−1 k N μN−1μN ) ]Var ( β2 )=k1

2 E (u12 )+.. .+k N

2 E(uN2 )+2 (k1k ,2 E (μ1μ2)+. . .+k N−1k N E ( μN−1μN ))

Utilizando los supuestos de homoscedasticidad y no autocorrelación:

Var ( β2 )=x1

2 σ2+. ..+x N2 σ2

(∑ x i2 )2

= σ2

∑ x i2

Teorema Gauss-Markov

9


El Estimador MCO es de Mínima Varianza entre los estimadores lineales e insesgados.

Sea:

β2=∑ k i Y i

Definamos un estimador lineal e insesgado alternativo:

~β2=∑ wi Y i~

β2=∑ w i( β1+β2 X i+μ i)

E [~β2]=E [∑w i( β1+β2 X i+μ i)]E [~β2 ]=β1 E [∑w i ]+β2 E [∑ wi X i ]+E [∑w i μ i ]

E [~β 2]=β1∑ wi+ β2∑ wi X i

E [~β2 ]=β2 Si :∑ wi=0; ∑ wi X i=1

Sea:

Var [~β 2]=Var [∑ wi Y i ]=∑ wi2Var (Y i )=σ 2∑ w i

2

∑ wi2=∑(wi−

x i

∑ x i2+

x i

∑ x i2 )

2

=∑ (wi−x i

∑ x i2 )

2

+2∑ (wi−x i

∑ x i2 )( x i

∑ x i2 )+∑ ( x i

∑ x i2)

2

∑ wi2=∑ (w i−

xi

∑ x i2)

2

+ 1

∑ xi2

La expresión se minimiza cuando:

w i=xi

∑ x i2

De lo que resulta que:

~β2=∑ wi y i=

∑ x i y i

∑ x i2

= β2

Var (~β2 )=σ 2

∑ x i2

Por tanto, queda demostrado que el estimador lineal e insesgado que minimiza la varianza es el de MCO.

Posteriormente, con un enfoque matricial se generalizará este resultado.

10


En el modelo lineal simple también se puede demostrar que:

var ( β1)=σ 2∑ X i

2

N∑ x i2

cov ( β1 β2)=−X var( β2)

Para tener una estimación de la varianza de los parámetros es necesario contar con una estimación de la varianza de los errores.

Se plantea el siguiente estimador insesgado:

σ 2=∑ μi

2

N−2

(En el modelo lineal general, se hará la demostración del insesgamiento de este estimador de la varianza de los errores).

2.5 Prueba de Bondad de Ajuste: coeficiente de determinación R 2

Si:y i= y i+ui

Al cuadrado y sumando:

∑ yi

2=∑ ( y i+ui )2

∑ yi

2=∑ y i2+2∑ y i ^u i+∑ u i2

Pero:

∑ yi u i=0

Entonces:

∑ yi

2=∑ y i2+∑ ui2

STC=SEC+SRC

STC = Suma Total de CuadradosSEC = Suma Explicada de CuadradosSRC = Suma de Residuos al Cuadrado

11


La STC es la variación total de la variable dependiente respecto a su media.

La SEC es la variación de la variable dependiente respecto a su media explicada por la regresión estimada.

La SRC es la variación de la variable dependiente respecto a su media que no es explicada por la regresión estimada.

El R2

o coeficiente de determinación se define como la proporción de la variación total explicada por la regresión.

En términos de las ecuaciones vistas:

R2=∑ y

i2

∑ yi

2

También puede expresarse como:

R2=∑ y

i2

∑ yi

2 =∑ ( β2 x i)

2

∑ yi

2 =β2

2∑ xi2

∑ yi

2

R2=β2

2∑ xi2/(N−1)

∑ yi

2¿(N−1)=

β22 S X

2

SY2

Donde SX2

y SY2

son las varianzas muestrales de X y Y respectivamente.

Asimismo:

12


R2=β2

2∑ xi2

∑ yi

2 =(∑ x i y i )

2∑ xi2

(∑ xi2 )2∑ y

i

2=

R2=(∑ x i y i/(N−1))2

∑ xi2/(N−1)∑ y

i

2 ¿(N−1 )=

SXY2

SX2 SX

2 =r2

Donde r es el coeficiente de correlación simple entre X y Y , y SXY es la covarianza muestral entre X y Y.

El R2

también se puede escribir como:

R2=1−∑ u

i2

∑ yi

2

El R2

implica que:

0 ≤ R2 ≤ 1

Un R2

próximo a 1 implica un buen ajuste.

Por el contrario, cuando se aproxima a 0 implica un mal ajuste.

2.6 Supuesto de Normalidad de los errores

Se agrega un supuesto adicional, donde los errores del modelo se distribuyen normalmente:μi → N (0 , σ2 )

Sin la necesidad de este nuevo supuesto, los estimadores eran MELI.

Sin embargo, eran estimadores puntuales para los cuales no se podía construir intervalos de confianza.

El supuesto de normalidad permite, entre otras cosas solucionar este inconveniente.

Dado además el supuesto de ausencia de correlación entre los errores y el de homoscedasticidad, se puede decir que los errores del modelo están normal idéntica e independientemente distribuidos (iid).

¿Es razonable este supuesto?

13


R. Sí lo es en la medida que se considere que la perturbación estocástica en i, mide el efecto neto de un conjunto grande de variables/factores independientes.

Bajo el Teorema del Límite Central si la perturbación estocástica en i es la suma de un conjunto grande (que tiende a infinito) de variables aleatorias distribuidas independientemente unas de otras, entonces tendrá una distribución normal.

Incluso si no es un conjunto grandes de variables/factores, la suma podrá aproximarse mediante una distribución normal.

La utilización de la distribución genera algunas propiedades deseables además de que hace manejable la utilización de los estimadores (los intervalos de confianza y pruebas de hipótesis se manejan en función a dos parámetros: la media y la varianza (y covarianzas) de los estimadores)

¿Cuáles son las Implicaciones?

R. Gracias al supuesto de normalidad, los estimadores tendrán adicionalmente las siguientes propiedades:

1) Los estimadores son consistentes2) Los estimadores se distribuyen normalmente3) Los estimadores son MEI4) Los estimadores se distribuyen independientemente de la varianza estimada del

modelo.5) La variable dependiente hereda una distribución normal6) El siguiente estadístico, hereda la distribución Chi-cuadrado

( N−k ) σ2

σ2→ χk

2

1) Los estimadores son consistentes:

Esta es una propiedad asintótica que establece que a medida que la muestra aumenta de tamaño los estimadores del modelo convergen a su verdadero valor poblacional, es decir, a los parámetros del modelo

22

11

ˆplim

ˆplim

Donde la probabilidad límite (plim) se define de la siguiente manera:

14


plim β1= limN→∞

P(|β1−β1|<δ )=1

plim β2= limN→∞

P(|β2−β2|<δ )=1

δ es un valor arbitrariamente pequeño.

Es decir, a medida que aumenta la muestra, bajo la propiedad de consistencia, la probabilidad que los estimadores difieran de su verdadero valor poblacional se hace cero.

Gráficamente:

2) Los estimadores se distribuyen normalmente:

β1→N ( β1 , σβ1

2 )

Donde:

σβ1

2 =σ 2 ∑ X i2

N∑ xi2

En el caso de β2 :

β2→N ( β2 , σβ2

2 )

Donde:

σβ2

2 =σ 2 1

∑ x i2

Cabe notar que la variable Z se distribuye normal estándar:

15


Z=β i−β i

σβ i

→N ( 0,1)

3) Bajo el supuesto de normalidad de los errores, los estimadores son los Mejores Estimadores Insesgados.

Esto quiere decir que los estimadores son de mínima varianza, no solamente entre los estimadores lineales sino entre los no lineales que son insesgados.

Bajo el supuesto de normalidad de los errores del modelo, el estimador MCO coincide con el estimador de Máxima Verosimilitud (MV).

Una de las propiedades de MV es que los estimadores obtenidos por esta metodología son MEI.

4) Los estimadores β1 ,β2 se distribuyen independientemente de σ2

.

Esta es una propiedad estadística muy útil para obtener las distribuciones t-student de los estimadores (vistas a continuación).

5) La variable dependiente hereda la distribución normal.

Habíamos mostrado que:E [Y i /X i ]=β1+ β2 X i

Var [Y i/X i ]=σ 2

Una propiedad deseable de una variable cuya distribución es normal es que otra variable aleatoria, que es combinación lineal de la misma, también tendrá distribución normal.

Dado que: Y i=β1+β2 X i+μi

Por tanto:

Y i→N ( β1+β2 X i , σ2 )

6) Estadístico Chi-Cuadrado

El siguiente estadístico hereda la distribución Chi-Cuadrado:

16


( N−k ) σ2

σ2→ χk

2

Junto a las propiedades 2) y 4), esta propiedad permite obtener la distribución t-student empíricamente utilizada en las pruebas de hipótesis y en la construcción de intervalos de confianza. Veamos cómo.

La primera propiedad establecía que:

β i→N ( β i , σβ i

2 )

Sin embargo, no es posible utilizar directamente esta propiedad para construir intervalos de

confianza o pruebas de hipótesis, en la medida que σ

βi

2

contiene un parámetro poblacional desconocido.

Para ello utilicemos él siguiente resultado estadístico:

Si Z1=β i−β i

σβ i

→N ( 0,1)

Y

Z2=( N−k ) σ2

σ2→ χk

2

Sabiendo además que Z1 y Z2 se distribuyen independientemente, entonces:

tβ i=

Z1

√Z2 ¿(N−k )=

β i−β i

σ βi

√( N−k ) σ2

σ2 ¿(N−k )

=

β i−βi

σ βi

σσ

→tN−k

Para β1 :

17


t β1=

Z1

√Z2¿ (N−k )=

β1−β1

√ ∑ X i2

N∑ x i2 σ

σσ

=β1−β1

√ ∑ X i2

N∑ x i2 σ

→ tN−k

Paraβ2 :

tβ2=

Z1

√Z2¿ (N−k )=

β2−β2

√ 1

∑ x i2 σ

σσ

=β2−β2

√ 1

∑ xi2 σ

=→ tN−k

2.7 Intervalo de Confianza-Estimador por intervalos

Intervalo de Confianza para los estimadores

Si:

P(−tα /2≤i

βi−β i

σβ i

¿ t α /2)=1−α

Entonces podemos construir un intervalo de confianza para cada uno de los parámetros del

modelo. En el caso de β1 :

β1±tα /2 σβ1

= β1±t α /2√ ∑ X i2

N∑ x i2 ^ σ

En el caso deβ2 :

β2±tα /2 σβ2

= β2±t α /2√ 1

∑ x i2 ^ σ

Donde α es el nivel de significancia y (1−α )es denominado coeficiente de confianza.

En (1−α )∗100 de las veces, el intervalo contendrá el verdadero valor poblacional. α también es conocida como la probabilidad de cometer el error tipo I o como p-value.

El error tipo I es rechazar la hipótesis nula cuando es verdadera.

18


Intervalo de Confianza para la varianza

También es posible construir un intervalo para la varianza del modelo:

P((N−k ) σ2

χα /2≤σ 2≤−

(N−k ) σ2

χ1−α /2 )=1−α

2.8 Prueba de Hipótesis

Pruebas individuales

Para llevar a cabo alguna prueba de hipótesis para los coeficientes del modelo, se pueden construir intervalos de confianza o llevar a cabo una prueba de significancia.

En ambos casos es necesario plantear la hipótesis nula y la hipótesis alterna.

En el caso de una prueba de 2 colas:H0 : β i=β i

¿

H1 : β i≠βi¿

Utilizando el intervalo de confianza, se concluye que si β i¿

está dentro del mismo no se puede rechazar la hipótesis nula.

Bajo el segundo enfoque, se tiene la siguiente regla de decisión:

Si: |tβ i|>t α /2 , N−k⇒RH 0

Donde:

tβ i=

βi−β i¿

σ βi

Una prueba muy utilizada en nuestro modelo de regresión simple es denominada “prueba de significancia individual” de X.

¿Explica X a Y?

19


H0 : β2=0H1 : β2≠0

En este caso:

tβ2=

β2

σ β2

=β2

σ √∑ xi2

Si:|t

β2|> t α /2 , N−k⇒RH 0

Para N-k≥20 yα=0 .05 , se puede utilizar la siguiente regla práctica:

Si:|t

β2|>2⇒ RH 0

En el caso de una prueba de 1 cola:H0 : β i≥β i

¿

H1 : β i<β i¿

Si:t

β i<−t α, N−k⇒RH 0

Donde:

tβ i=

βi−β i¿

σ βi

Otra prueba de 1 cola es:H0 : β i≤β i

¿

H1 : β i>β i¿

Si:t

β i> t α, N−k⇒RH 0

Donde:

tβ i=

βi−β i¿

σ βi

Prueba de significancia global del modelo-Análisis de varianza

Sabíamos que:

20


∑ y i2=∑ y i

2+∑ μ i2

STC = SEC + SRC

∑ yi2 tiene N-1 grados de libertad

∑ y i2 tiene k-1 grados de libertad

∑ μ i2 tiene N-k grados de libertad

Por tanto, tenemos la siguiente tabla ANOVA:

SC gl SPC

STC ∑ y i2 N−1

∑ yi2

N−1

SEC ∑ y i2 k−1

∑ yi2

k−1

SRC ∑ μ i2 N−k

∑ μi2

N−k

Puede demostrarse que bajo la hipótesis nula de que el modelo no es globalmente

significativo, o que ninguna de las variables explicativas del modelo explica Y i , el siguiente estadístico:

F=∑ y i

2/ (k−1 )

∑ μ i2/ (N−k )

=β2

2∑ x i2 /(k−1)

∑ μi2 /(N−k )

→Fk−1, N−k

Nótese que en el modelo de regresión simple, la hipótesis nula equivale a β2=0 .

La regla de decisión es:

Si: F>Fk−1 , N−k , α→RH 0

Para entender esta prueba, debemos tomar en cuenta que:

E [∑ μi2

N−k ]=σ2

E [∑ y i2

k−1 ]=E [ β22∑ xi

2]=E [(β2+∑ x i μi

∑ x i2 )

2

∑ x i2 ]

¿ β22∑ x i

2+σ 2

21


Bajo la hipótesis nula, β2=0 el modelo no tiene poder predictivo.

La variación explicada es en valor esperado igual a la variación no explicada.

No hay explicación adicional porque la variación es explicada por la varianza de la perturbación estocástica.

El estadístico F tiene la distribución Ji-cuadrado debido al siguiente conjunto de resultados:

Si:Z1→N (0,1)

Donde:

Z1=( β2−β2)

σβ2

Entonces:

Z12=( β2−β2 )

2

σβ2

2

Tiene una distribución Ji-Cuadrado con 1 grado de libertad.

Además habíamos visto que:

Z2=(N−k )σ 2

σ2=∑ μ i

2

σ 2→ χ(N-k )

2

Por tanto, bajo la hipótesis nula, y siguiendo el teorema que establece que si Z1 y Z2 son variables ji-cuadradas independientemente distribuidas, con (k-1) y (N-k) grados de libertad, respectivamente, entonces:

F=Z1/( k−1 )Z2 /(N−k )

→Fk−1, N−k

F=( β2

2∑ x i2/σ 2) /(k−1)

(∑ μi2 /σ2) /(N−k )

=β2

2∑ x i2 /(k−1)

∑ μ i2/(N−k )

→Fk−1, N−k

Para obtener el resultado anterior, también es necesario imponer el supuesto de normalidad de la perturbación estocástica del modelo.

22


Prueba de normalidad de Jarque-Bera

Puede demostrarse que bajo la hipótesis nula de normalidad el siguiente estadístico Jarque-Bera:

JB=N [ S2

6+(K−3 )2

24 ]Tiene una distribución asintótica ji-cuadrado con 2 grados de libertad (correspondientes al coeficiente de asimetría y al coeficiente de curtosis)

En una distribución normal S=0 (coeficiente de asimetría) y K=3 (coeficiente de curtosis). Estos coeficientes se definen de la siguiente manera:

S= 1N∑ ( μ

σ s )3

K= 1N∑( μ

σs )4

σs=1N∑ μi

2

2.9 Predicción

En función al valor X 0 es posible llevar a cabo la predicción media de la variable dependiente.

Es decir, se intenta estimar: E(Y 0/X0 )

E(Y 0/X0 )=β1+β2 X0

Utilizando la regresión la predicción media es:

Y 0= β1+ β2 X 0

Nótese que el valor esperado de la predicción media coincide con:

E(Y 0/X0 )La varianza de predicción es:

V ar ( Y 0 )=Var [ β1+ β2 X0 ]=Var [Y 0 ]=Var [ β1]+2Cov [ β1 , β2 ] X0+Var [ β2 ] X0

2

23


Var [Y 0 ]=σ 2 ∑ X i2

N∑ x i2−2 X Xalignl ¿ 0 ¿

¿σ2 1

∑ x i2+X0

2 σ2 1

∑ x i2¿Var [Y 0]=σ2 [ ∑ X i

2

N∑ x i2−2 X Xalignl¿ 0 ¿

¿¿

1

∑ x i2+X 0

2 1

∑ x i2 ] ¿¿

Var [Y 0 ]=σ 2[ ∑ X i2

N∑ x i2− X2

∑ x i2+ X2

∑ x i2−2 X Xalignl¿ 0 ¿

¿¿

1

∑ x i2+X 0

2 1

∑ x i2 ]

Var [Y 0]=σ2 [ 1N+( X−X0 )

2

∑ xi2 ]

Por tanto,

E [Y 0 ]=β1+ β2 X0

Var [Y 0 ]=σ 2[ 1N+( X−X 0)

2

∑ x i2 ]

Al igual que en la construcción de intervalos de confianza para los parámetros del modelo, resulta sencillo determinar que la predicción tiene una distribución t-student (utilizando el estimador de la varianza de los errores).

Es decir:

t=Y 0−( β1+β2 X0 )

ee [Y 0 ]→ tN−k

ee [Y 0]=√ σ2 [ 1N+( X−X0 )

2

∑ xi2 ]

Pr ( β1+ β2 X0−tα /2ee [Y 0]≤β1+β2 X0≤ β1+ β2 X0+tα /2ee [Y 0])=1−α

En función al valor X 0 es posible llevar a cabo la predicción individual de la variable dependiente.

Se intenta predecir:

Y 0=β1+β2 X 0+μ0

La predicción individual es:

Y 0= β1+ β2 X 0

24


Se define el error de predicción como:

e0=Y 0−Y 0=β1+β2 X0+μ0− β1− β2 X0

El valor esperado del error de predicción es:

E [e0 ]=E [(β1− β1)+( β2− β2 )X0+μ0]E [e0]= [( β1−β1 )+( β2−β2)X 0]=0

La varianza es:

Var [e0]=Var [( β1− β1)+( β2− β2)X 0+μ0 ]Var [e0]=Var [− β1− β2 X0 ]+Var [μ0 ]=

Var [ e0 ]=σ 2[ 1N+( X−X0)

2

∑ xi2 ]+σ2

Var [e0]=σ2 [1+ 1N+( X−X0 )

2

∑ xi2 ]

De manera similar:

t=Y 0−Y 0

ee [ e0 ]→ tN−k

ee [e0 ]=√ σ2 [1+ 1N+( X−X )2

∑ xi2 ]

Pr ( β1+ β2 X0−tα /2ee [e0 ]≤β1+β2 X 0≤ β1+ β2 X0+tα /2ee [e0] )=1−α

25


II. MODELO DE REGRESIÓN LINEAL GENERAL

2.10 Introducción.-

El modelo de regresión simple (visto anteriormente) puede ser inadecuado, en la medida que una variable puede estar determinada por más de una variable explicativa.

Es más realista suponer que una variable depende de un conjunto k-1 de variables explicativas. Es decir:

Y i=f ( X2i , X3 i , X4 i . .. . , Xki , μi ) ∀ i=1,2 ,. . .N (1 )

El anterior sistema puede ser escrito alternativamente de la siguiente manera (Asumiendo linealidad en los parámetros y que el término de error del modelo entra de manera aditiva en el modelo):

Y 1=β1+β2 X21+β3 X31+β4 X41+.. .+βk X k1+μ1

Y 2=β1+β2 X22+β3 X32+β4 X42+.. .+βk X k2+μ2

. ..Y N=β1+β2 X2 N+β3 X3 N+ β4 X 4 N+. ..+ βk XkN+μN (2)

O también así:y=Xβ+μ (3)

Donde las matrices están conformadas de la siguiente manera:

y=[Y 1

Y 2

⋮Y N

] X=[1 X21 . .. X k1

1 X22 X k2

⋮ ⋮ ⋱ ⋮1 X2 N . .. XkN

] β=[β1

β2

⋮βk] μ=[ μ1

μ2

⋮μN]

Donde:

y es una matriz de dimensión N x 1X es una matriz de dimensión N x kμ es una matriz de dimensión N x 1β es una matriz de dimensión k x 1

2.11 Supuestos del modelo de regresión clásico

1) El modelo es lineal en los parámetros y la perturbación estocástica entra de manera aditiva en la ecuación.

26


2) El valor esperado de la perturbación estocástica es 0.

E [ μ ]=0 →E [μ ]=[ E( μ1 )E( μ2 )⋮

E( μN )]=[00⋮0 ]

3) Homoscedasticidad y ausencia de problemas de autocorrelación

La matriz de varianzas y covarianzas de μ :

E [ μμ' ]=E [[ μ1

μ2

⋮μN] [μ1 μ2 . .. μN ]]=[ E( μ1

2 ) E (μ1 μ2 ) . .. E ( μ1 μN )

E( μ2 μ1 ) E (μ22 ) . .. E (μ2 μN )

⋮ ⋱ ⋮E( μN μ1 ) E ( μN μ2) . .. E ( μN

2 ) ]Bajo el supuesto de homoscedasticidad y ausencia de autocorrelación de los errores:

E( μi2 )=σ2 ∀ i=1 .. . N

E( μi μ j )=0 ∀ i , j=1 .. N i≠ jPor tanto:

Var ( μ )=E( μμ ' )=σ 2 I

4) X 2i , X3 i , X4 i .. .. , Xki son variables no estocásticas o determinísticas y, por tanto, no están correlacionadas con la perturbación estocástica del modelo.

5) No existen problemas de multicolinealidad.

A lo largo de la muestra, ninguna variable explicativa puede escribirse como una combinación lineal de otra o de otras variables explicativas del modelo.

Asimismo, se supone que rango de X es k (rango completo) y que el número de observaciones N es mayor o igual a k.

27


6) El modelo está bien especificado.

7) Se añade el supuesto de normalidad de los errores.

μ tiene distribución normal multivariada. Es decir, μ→N (0 , σ 2 I )

2.12 Estimación por MCO

La ecuación (3) puede escribirse de la siguiente manera:

μ= y−Xβ

La cual premultiplicada por μ ' resulta en:

μ ' μ=( y−Xβ ) '( y−Xβ )=∑ μ i2

Que a su vez, puede escribirse como:

μ ' μ=( y−Xβ ) ' ( y−Xβ )= y ' y− y ' Xβ−β ' X ' y+β ' X ' Xβ

Debido a que y ' Xβ es un escalar que es igual a su transpuesta, β ' X ' y .

Por tanto:μ ' μ= y ' y−2 β ' X ' y+β ' X ' Xβ

El programa de minimización es, por tanto:

Min(β

μ ' μ )=Min(β

y ' y−2 β ' X ' y+β ' X ' Xβ )

Bajo la condición de primer orden se deriva respecto a β y se iguala a 0.

∂ μ ' μ∂ β

=−2 X ' y+2 X ' X β=0

Donde se ha hecho uso de los siguientes resultados de la derivación de matrices:

∂a ' x∂ x

=a∂ x ' ax∂ x

=2ax

Por tanto:

−2 X ' y+2 X ' X β=0 →X ' y=X ' X β

28


β=(X ' X )−1 (X ' y ) (4)

Para que la solución exista, la inversa de (X ' X ) debe existir.

Es decir, (X ' X ) no es una matriz singular.

Bajo la condición de segundo orden obtenemos que:

∂2 μ' μ∂ β ∂ β '

=X ' X

Es una matriz semidefinida positiva lo cual garantiza que sea un mínimo.

2.13 Propiedades de MCO bajo los supuestos del modelo lineal clásico

En el modelo de regresión demostraremos que los estimadores son MELI (MEI añadiendo el supuesto de normalidad de los errores):

1) β=(X ' X )−1 (X ' y ) es un estimador lineal de las observaciones en y.

Esto se deduce rápidamente del resultado obtenido:

β=(X ' X )−1 (X ' y )=g (X ) y

2) β=(X ' X )−1 (X ' y )es un estimador insesgado

β=(X ' X )−1 (X ' y )=(X ' X )−1 X '( Xβ+μ )β=β+( X ' X )−1 X ' μ (5)

Tomando el valor esperado de β y utilizando el supuesto de que E( μ )=0 y que las X’s son no estocásticas se obtiene:

E( β )=E (β+(X ' X )−1 X ' μ)=E( β )+E ((X ' X )−1 X ' μ)=β+(X ' X )−1 X ' E( μ )=β

E( β )=β

3) La varianza deβ es Var ( β )=σ2 (X ' X )−1

La definición de la varianza es:

Var ( β )=E [( β−E( β ))( β−E( β ))' ]

29


De la ecuación (5) y sabiendo que el estimador es insesgado:

Var ( β )=E [( β−E( β ))( β−E( β ))' ]=E [( β−β )( β−β ) ' ]Var ( β )=E [(X ' X )−1 X ' μ(( X ' X )−1 X ' μ )' ]=E [(X ' X )−1 X ' μμ ' X (X ' X )−1]Var ( β )=(X ' X )−1 X ' E [uu' ] X (X ' X )−1=(X ' X )−1 X ' σ2 IX ( X ' X )−1

Var ( β )=σ2 (X ' X )−1 (X ' X )(X ' X )−1=σ 2(X ' X )−1

Var ( β )=σ2 (X ' X )−1 (6 )Donde se han utilizado algunos de los supuestos del modelo y otros resultados:

X’s no estocásticas y por tanto no correlacionadas con μ

E( μμ ' )=σ2 I

β es insesgado

(( X ' X )−1 )'=(X ' X )−1 dado que (X ' X )−1

es simétrica

3) β=(X ' X )−1 (X ' y )es MELI (Estimador de Mínima Varianza)

Es el Teorema de Gauss-Markov

Sea ~β=~A y un estimador lineal en y alternativo.

Además, considérese la siguiente definición de A:

A=~A−(X ' X )−1 X ' de tal manera que si A=0 entonces:~A=( X ' X )−1 X '

Desarrollando la expresión, se tiene que:

~β=[ A+(X ' X )−1 X ' ] y=[ A+(X ' X )−1 X ' ]( Xβ+μ )~β=AX β+Aμ+(X ' X )−1 X ' Xβ+( X ' X )−1 X ' μ~β=AX β+Aμ+β+(X ' X )−1 X ' μ

Manteniendo los supuestos de que:

30


X’s no estocásticas

X’s no correlacionadas con μ

E( μ )=0

E( μμ ' )=σ2 I

El estimador ~β es insesgado sólo si AX=0→(AX ) '=X ' A '=0

~β=AX β+Aμ+β+(X ' X )−1 X ' μ~β=Aμ+β+(X ' X )−1 X ' μE(~β )=0+β+0=β~β−β=Aμ+(X ' X )−1 X ' μ (7 )

La varianza de ~β es:

Var (~β )=E [(~β−β )(~β−β ) ' ]Var (~β )=E [(Aμ+(X ' X )−1 X ' μ )( Aμ+(X ' X )−1 X ' μ) ' ]Var (~β )=E [ Aμ(Aμ )' ]+E [Aμ ((X ' X )−1 X ' μ) ' ]+E [(X ' X )−1 X ' μ)( Aμ ') ' ]+E [(X ' X )−1 X ' μ)((X ' X )−1 X ' μ ) ' ]Var (~β )=E [ A μμ' A ' ]+E [A μμ ' X (X ' X )−1]+E [(X ' X )−1 X ' μ )μ ' A ' ]+σ2 (X ' X )−1

Var (~β )=σ 2(X ' X )−1+AE( μμ ' )A '+AE [μμ ' ] X (X ' X )−1+(X ' X )−1 X ' E [μμ ' ] A 'Var (~β )=σ 2(X ' X )−1+σ2 AA '+σ 2 AX (X ' X )−1+σ 2(X ' X )−1( AX ) 'Var (~β )=σ 2(X ' X )−1+σ2 AA '

Se puede demostrar que AA’ es una matriz semidefinida positiva por lo que se concluye que el estimador alternativo tiene una varianza cuando menos igual a la varianza del estimador MCO.

Por tanto, MCO es el estimador de varianza mínima.

2.14 Resultados adicionales de la estimación MCO

a) X ' μ=0

X ' μ=X '( y−X β )=X ' y−(X ' X )(X ' X )−1 X ' y=X ' y−X ' y=0

31


Donde se ha hecho uso de que la variable dependiente se expresa como combinación lineal de la línea de regresión muestral y el error estimado:

y=X β+ μ

Veamos que significa este resultado

X ' μ=[ 1 1 .. . 1X21 X22 .. . X 2 N

⋮ ⋱ ⋮Xk 1 XkN .. . X kN

] [ μ1

μ2

⋮μN]=[ ∑ μi

∑ μi X 2i

⋮∑ μi Xki

]=[00⋮0 ]Establece que la suma de los residuos estimados es igual a cero (siempre que el modelo haya sido especificado con constante) y que la suma del producto de los residuos estimados por cada una de las variables explicativas es de la misma manera igual a cero.

En el modelo de regresión simple habíamos obtenido este resultado, el cual simplemente

hemos generalizado para el caso de k−1 variables explicativas.

b) SRC=∑ μ i2= μ ' μ= y ' y− β ' X ' y

μ ' μ=( y−X β ) '( y−X β )= y ' y− y ' X β− β ' X ' y+ β ' X ' X β= y ' y−2 β ' X ' y+ β ' X ' X β= y ' y−2 β ' X ' y+ β ' X ' y= y ' y− β ' X ' y

c) SRC=∑ μ i2= μ ' μ= y ' y− y ' y

La línea de regresión muestral es:

y=X β

Por tanto,

y ' y=(X β )' (X β )= β ' X ' X β= β ' X ' X (X ' X )−1 X ' y= β ' X ' y

Utilizando el resultado de la propiedad b), se obtiene:

μ ' μ= y ' y− y ' y

d)μ=My=Mμ

32


Donde:

M=I−X (X ' X )−1 X '

Es una matriz singular, simétrica e idempotente (MM=M)

μ= y−X β= y−X (X ' X )−1 X ' y=(I−X (X ' X )−1 X ' ) y=Myμ=My=M (Xβ+μ)=MX β+Mμ=Mμ

ya que MX=( I−X (X ' X )−1 X ' )X=X−X (X ' X )−1 X ' X=X−X=0

e) μ ' μ=μ ' Mμ

μ ' μ=(Mμ )' Mμ=μ ' M ' Mμ=μ ' M ' μ

Ya que M es una matriz idempotente.

Este resultado será muy útil cuando demostremos la propiedad de insesgamiento de la estimación de la varianza de los errores.

f) STC=SEC+SRC

Esta proposición establece que la variación total de la variable dependiente respecto a su media (Suma Total de Cuadrados) es igual a la variación explicada (Suma Explicada de Cuadrados) más la variación no explicada del modelo (Suma de Residuos al Cuadrado)

Se había mostrado que:

y ' y= y ' y+ μ ' μ

Donde se puede verificar fácilmente que:

y ' y=[Y 1 Y 2 . .. Y N ][Y 1

Y 2

⋮Y N

]=∑Y i2

y ' y=[Y 1 Y 2 . . . Y N ][ Y 1

Y 2

⋮Y N

]=∑ Y i2

Si:

33


STC=∑ (Y i−Y )2=∑Y i2−N Y 2= y ' y−N Y 2

STC= y ' y−N Y 2

De manera similar:

SEC=∑ ( Y i−Y )2=∑ Y i2−N Y 2= y ' y−N Y 2

SEC= y ' y−N Y 2

Donde fácilmente se verifica que:

Y−

=Y

Y i=Y i+ μi

∑Y i=∑ Y i+∑ μi

∑Y i=∑ Y i

Y=Y−

Por tanto,

y ' y−N Y−

2= y ' y−N Y−

2+ μ ' μSTC=SEC+SRC

g) SEC= y ' y−N Y−

2= β ' X ' X β−N Y−

2= β ' X ' y−N Y−

2

Este resultado es directo de demostraciones anteriores.

Sin embargo, requiere que el modelo tenga constante.

h) Bondad de Ajuste-Coeficiente de determinación

Se define el coeficiente de determinación R2

, como el porcentaje de la variación total de la variable dependiente en torno a su media (STC) explicado por la variación explicada por el modelo (SEC).

Por tanto, de los resultados obtenidos anteriormente:

34


R2=SECSTC

= y ' y−N Y−

2

y ' y−N Y−

2

= β ' X ' y−N Y−

2

y ' y−N Y−

2

= β ' X ' X β−N Y−

2

y ' y−N Y−

2

R2=1− SRCSTC

=1− μ ' μ

y ' y−N Y−

2

i) El R2

ajustado

Se puede demostrar que el R2

es una función creciente del número de variables explicativas del modelo (es decir, de k) independientemente si las variables que se incluyan tengan poder explicativo o no sobre la variable dependiente.

Para corregir esta situación se plantea el uso del R2

ajustado:

R2=1−(N−1)(N−k )

(1−R2 )=f (k−)

El R2

penaliza la introducción de variables explicativas en el modelo.

j) σ 2= μ ' μ

N−k es un estimador insesgado de σ2

Se puede demostrar que E [ μ ' μ

N−k ]=σ 2

Nótese que de la propiedad e):

E [ μ' μ ]=E [μ ' Mμ ]

Al ser un escalar y utilizando propiedades de traza, se obtienen los siguientes resultados:

E [ μ' μ ]=E [μ ' Mμ ]=E [ tr ( μ ' Mμ ) ]=E [ tr ( M μμ ' ) ]=tr (E [μμ ' ] M )=tr (M )σ2

Pero:

tr (M )=tr ( I−X (X ' X )−1 X ' )=tr ( I )−tr ( X (X ' X )−1 X ' )=tr (I N )−tr ((X ' X )−1 X ' X ))=tr (I N )−tr( I k )=N−k

Por tanto:

E [ μ' μ ]=( N−k ) σ2

Resultado del cual se demuestra fácilmente que:

E [ σ 2]=E [ μ' μN−k ) ]= 1

N−kE [ μ ' μ ]= 1

N−k( N−k ) σ2=σ2

35


k) La normalidad de los errores añade los resultados vistos anteriormente que se generalizan

para el modelo de (k-1) variables explicativas. (μ→N (0 , σ 2 I )).

El estimador β :

i) Es un estimador consistente:plim( β )=βii) Es MEI

iii) Hereda la distribución normal: β→N ( β , σ 2(X ' X )−1 )

iv) Y i también hereda la distribución normal: Y i→N (x i β , σ2)

v) β y σ2son independientes entre sí.

vi)

σ2

σ2(N−k )= μ ' μ

σ2= μ ' Mμ

σ 2→ χ N−k

2

l) μ también tiene distribución normal

μ→N (0 , σ 2 M )

m) Contraste de normalidad de los errores del modelo

Para contrastar la normalidad de los errores, se utiliza la prueba de Jarque-Bera.

Bajo la hipótesis nula de normalidad de errores, en muestras grandes, el estadístico JB tiene una distribución Ji-Cuadrada con 2 grados de libertad

JB=N ( S2

6+( k−3 )2

24 )Donde:

S= 1N∑ ( μ

σ s)3

K= 1N∑( μ

σs)4

σs=1N∑ μi

2

n) Para el parámetro estimadoβ i :

E ( β i)=β i

var ( β i)=σ2 a ii

36


donde: β i , βi corresponden a los elementos en la i-ava posición de los vectores columna β , β ,

respectivamente; a ii corresponde al elemento de la i-ava fila e i-ava columna de la matriz

(X ' X )−1.

Considerando adicionalmente el supuesto de normalidad, entonces: β i→N ( β i , σ2a ii)

2.15 Pruebas de hipótesis

Prueba t-student

La prueba de hipótesis para un parámetro del modelo (t-student) se puede generalizar para el caso de (k-1) variables explicativas.

Dado que:β i→N ( β i , σ2 a ii) , se tiene que:

Zi=βi−β i

σ √aii

tiene una distribución normal estándar.

Por otro lado, dado que:

σ2

σ2(N−k )→ χ N−k

2

y usando las propiedades estadísticas (anteriormente), se tiene que el siguiente estadístico tiene una distribución t-student con (N-k) grados de libertad.

t=

β i−β i

σ √aii

√ σ 2

σ 2(N−k )/(N−k )

=β i−β i

σ √aii

Como se estableció antes, sobre la base de este estadístico, se pueden llevar a cabo pruebas de una o dos colas.

Bajo el razonamiento de los intervalos de confianza, también se pueden construir intervalos de confianza:

Prob ( β i−tα /2 σ √aii≤β i≤ β i+tα /2 σ √a ii)=1−α

Por lo que para que no se rechace la hipótesis nula, el valor planteado en la hipótesis debería entrar dentro del intervalo.

37


Prueba de significancia global

En el modelo lineal general, la hipótesis de la prueba de significancia global es: H0 : β2=β3=β4=.. . ..=βk=0 contra la hipótesis alterna de que uno o más de estos parámetros es distinto de cero.

Se puede demostrar que bajo la hipótesis nula, el siguiente estadístico sigue una distribución F, con (k-1) grados de libertad en el numerador y (N-k) grados de libertad en el denominador.

F=( β ' X ' y−N Y

−2 )/(k−1)

μ ' μ /(N−k )

El estadístico F, puede ser escrito en función del R2

del modelo.

F=( β ' X ' y−N Y

−2 )/(k−1)

μ ' μ /(N−k ) ( y ' y−N Y 2

y ' y−N Y 2 )= R2/ (k−1 )(1−R2 )/(N−k )

Si el estadístico planteado supera el valor F de tablas con (k-1) grados de libertad en el numerador y (N-k) grados de libertad en el denominador a un nivel de significancia αentonces se rechaza la hipótesis nula.

Prueba de hipótesis de un conjunto de restricciones lineales

La hipótesis nula bajo una prueba de hipótesis de un conjunto de restricciones lineales consiste en:

Ho :Rβ=r

Donde:

R de dimensión q x k (y de rango igual a q), tiene como elementos los coeficientes que acompañan a cada uno de los parámetros en cada una de las restricciones.

r de dimensión q x 1, tiene como elementos los valores independientes en cada una de las restricciones.

Bajo la hipótesis nula, el siguiente estadístico, sigue una distribución F con q grados de libertad en el numerador y (N-k) grados de libertad en el denominador.

F=(R β−r )' (R (X ' X )−1 R ' )−1 (R β−r )/q

μ ' μ /(N−k )

38


Esta prueba es muy poderosa en la medida que permite probar desde la hipótesis lineal más simple (significancia individual de algún parámetro) hasta hipótesis lineales más complejas.

Ej: En el modeloY i=β1+β2 X2 i+β3 X3 i+β4 X4 i+β5 X5 i+μi

Se desea probar la siguiente hipótesis:

H0 :{β2+β3=13 β4=0 .5

β5=−1 }En este caso:

R=[0 1 1 0 00 0 0 3 00 0 0 0 1 ] r=[ 1

0 . 5−1 ]

Nótese que tanto las pruebas de significancia individual, como la prueba de significancia global son casos particulares de esta prueba.

La regla de decisión establece que si el estadístico supera los valores críticos, se rechaza la

hipótesis nula: Si: F >Fq , N−k ,α , entonces se rechaza Ho.

Prueba de hipótesis a través del modelo restringido y el no restringido

Una forma alternativa de llevar a cabo pruebas de hipótesis es a través del modelo restringido y no restringido.

Se puede demostrar que bajo la hipótesis nula, el siguiente estadístico sigue una distribución F, con q grados de libertad en el numerador y (N-k) grados de libertad en el denominador.

F=( μr

' μr− μnr' μnr )/q

μnr' μnr / (N−k nr)

Donde:

μr , μnr son los errores estimados del modelo restringido y no restringido, respectivamente.

k nr corresponde al número de parámetros estimados del modelo no restringido

La estimación del modelo no restringido corresponde a la del modelo original, mientras que la estimación de los resultados del modelo restringido proviene de aquella estimación donde una vez introducidas en el modelo las restricciones se lleva a cabo la estimación.

39


La regla de decisión establece que si el estadístico supera los valores críticos, se rechaza la

hipótesis nula: Si: F >Fq , N−k nr , α , entonces se rechaza Ho.

2.16 Ejemplo: La función de producción Cobb-Douglas

La función de producción de Cobb-Douglas se escribe en términos estocásticos de la siguiente manera:

Y i=β0 Li

β1 K i

β2 eμi

aplicando logaritmos:

Ln(Y i )=Ln( β0 )+β1Ln (Li )+β2 Ln(K i)+μi

Ln(Y i )=β0¿+β1 Ln(Li )+ β2 Ln(K i)+μi

a) Estimación: Para estimar los parámetros de este modelo, podemos utilizar MCO.

Utilizando notación matricial:

X ' X=[ N ∑ Ln(Li ) ∑ Ln(K i )

∑ Ln(Li) ∑ (Ln (Li ))2 ∑ Ln(K i )Ln(Li )

∑ Ln(K i ) ∑ Ln(K i )Ln(Li ) ∑ (Ln(K i))2 ]

X ' y=[ ∑ Ln(Y i )

∑ Ln(Y i)Ln(Li)

∑ Ln(Y i )Ln(K i )]

De esta manera:

β=(X ' X )−1 (X ' y )Var ( β )=σ2 (X ' X )−1

σ 2= μ ' μN−k

b) Pruebas de hipótesis:

Existen rendimientos constantes a escala... o en otras palabras β1+β2=1?

Existen diferentes formas de probar esta hipótesis.

40


i) Prueba tH0 : β1+ β2=1 → β1+β2−1=0 → β3=0H0 : β1+ β2≠1 → β1+β2−1≠0 → β3≠0

tβ3=

β3−0σ β

3

=β1+ β2−1σ β

3

σβ3=√Var ( β1)+Var ( β2)+2 Covar ( β1, β2)

En este caso, la regla de decisión es:

Si |tβ3|¿ tN−k ,α /2→RH 0

ii) A través del test F de un conjunto de restricciones lineales. En este caso:

R=[0 1 1 ] r=1

y se construye el estadístico de prueba F.

F=(R β−r )' (R (X ' X )−1 R ' )−1 (R β−r )/q

μ ' μ /(N−k )

En este caso, notar que q=1.

La regla de decisión es la siguiente

Si F>F1 ,N−K , α →RH 0

iii) A través del modelo no restringido y el modelo restringido

El modelo no restringido es el modelo original:


Se estima dicho modelo y se calcula la suma de residuos al cuadrado de este modelo

denominada: μnr ' μnr

El modelo restringido se lo determina imponiendo al modelo original, la restricción:

41



Ln(Y i )=β0¿+β1 Ln(Li )+(1−β1 )Ln(K i )+μi

Ln(Y i )−Ln(K i )=β0¿+β1 (Ln (Li )−Ln(K i ))+μi

La última ecuación la estimamos y obtenemos la suma de residuos del modelo restringido: μr ' μr

2.17 Temas adicionales de la estimación MCO

Predicción de un vector de valores de la variable endógena

Queremos predecir la evolución de la variable dependiente del modelo a lo largo de un

número T 1 de períodos.

La proyección a realizarse de la variable dependiente sobre T 1 de períodos es y f '=( yT +1 , yT +2 , .. . , yT +T1

)que en términos de las variables explicativas del modelo puede

expresarse como:

y f=X F βT+μ f

Donde X F es una matriz de dimensión T 1 xk que contiene los valores de cada una de las

variables para cada momento en el período o ventana de proyección. μ f es el vector que

contiene los errores correspondientes asociados a la proyección (es de dimensión T 1 x1).

βT es el vector de parámetros usando T observaciones (a ser estimado en la ventana de estimación).

Nótese que cuando T 1=1 , X F es una matriz de dimensión 1 xk (vector fila) y y f es un escalar

(En el modelo de regresión simple se analizó este caso).

La predicción media en este caso es:

y f=X F βT

Donde βT es la estimación del vector de parámetros utilizando T observaciones.

El valor esperado de la variable dependiente, extendiendo al período de proyección los supuestos vistos del modelo lineal clásico, es:

E( y f )=E (X F βT )=X F βT

42


La varianza de la predicción media es:

Var ( y f )=Var (X F βT )=E [(X F βT−E (XF βT ))(X F βT−E( XF βT ))' ]=Var ( y f )=E [X F( βT−βT )( βT−βT )' X F ' ]=X F E [( βT−βT )( βT−βT )' ] XF '=

Var ( y f )=σ 2 X F(XT XT )−1 X F '

Donde XT es la matriz de las variables explicativas del modelo tomando las T observaciones del mismo.

Si el término de error del modelo econométrico tiene una distribución normal, entonces el vector de errores de predicción también seguirá una distribución normal:

y F=XF βT→N (X F βT ,σ 2 X F(XT ' XT )−1 X F ' )=N (X F βT ,V 1 )

Para la predicción individual, se define el error de predicción:

e y f= y f− y f =XF βT+μ f−X F ^ βT

E( e yf)=E ( y f− y f )=E (X F βT+μ f−X F ^ βT )=E( XF βT )+E( μ f )−E (X F ^ βT )

E( e yf)=XF βT−XF βT=0

La varianza del error de predicción es:

Var (e y f)=Var ( XF ( βT− βT )+μf )=Var (XF ( βT− βT ))+Var (μ f )

Var (e y f)=σ2 XF (XT XT )

−1 X F '+σ 2 IDonde se ha utilizado el resultado de la varianza de la predicción media.

Asimismo, se toma en cuenta que el vector de perturbaciones en el período de proyección es independiente de los parámetros estimados con T observaciones.

El vector de errores de predicción también seguirá una distribución normal:

X β→N (0 , σ2 (I+X F( XT ' XT )−1 XF ' ))=N (Xβ ,V 2 )

Cuando se quiere predecir un período adelante, las fórmulas se simplifican.

La predicción media es:y t+1=xt+1 ' βT

43


Donde: y t+1 es la predicción media (un escalar) y, x t+1 ' es un vector fila de los valores de las variables explicativas en el período t+1.

La predicción individual coincide con la predicción individual.

La varianza de la predicción media es:

Var ( y t+1 )=σ2 x t+1 '(X T XT )−1 x t+1

y la varianza del error de predicción es:

Var (e y t+1)=σ2(1+x t+1 ' (XT XT )

−1 x t+1 )

El intervalo de confianza para la predicción media es:

Pr (x t +1 β t−tα /2√ var [ y t+1]≤x t +1 β t≤x t+1 β t+tα /2√var [ y t+1 ] )=1−α

Para la predicción individual es:

Pr (x t+1 ' β t−tα /2√var [e y t+1 ]≤x t+1 ' β t+μt+1¿ x t+1 ' β t+t α /2√var [e y t+1 ])=1−α

Donde para generar la distribución t-student se utiliza la estimación de σ2 : σ2

Evaluación predictiva del modelo

Habiendo estimado el modelo con T observaciones (ventana de estimación), después de haber

transcurrido T 1observaciones más (ventana de proyección), se dispondrá de estas últimas observaciones para evaluar la bondad de las predicciones que se hicieron.

Se define la Raíz del Error Cuadrático Medio, RECM:

RECM=√ 1T1∑

j=T+1

T +T1

( y j− y j )2

Mientras más chico el RECM, mejor capacidad predictiva tiene nuestro modelo.

Otro estadístico similar es el denominado coeficiente de desigualdad de Theil.

44


U=√ 1

T 1∑

j=T +1

T +T1

( y j− y j)2

√ 1T1∑

j=T+1

T+T 1

y j2+√ 1

T 1∑

j=T +1

T +T 1

y j2

Pruebas de estabilidad

A continuación veremos una serie de pruebas de estabilidad aplicables a los parámetros del modelo estimado.

Prueba de cambio estructural de Chow

Esta prueba es utilizada cuando el investigador sospecha que a partir de un momento en el tiempo o para un conjunto de observaciones, los parámetros del modelo han cambiado (son diferentes).

Algunos ejemplos de estos cambios podrían ser: el consumo de la economía en períodos normales versus en períodos de guerra, la demanda diferenciada de un bien en función a cierta cualidad (sexo, educación, edad, etc.), cambios en las variables debido a cambios institucionales o en la regulación, etc.

Metodología

En una muestra de series de tiempo supóngase que se sospecha de un cambio estructural a

partir del período t1+1 .

Para verificar la sospecha definamos el modelo restringido y no restringido:

Modelo restringidoy t=x t β+μ t=1,2. .. . t1 , t1+1 ,. . .. .. T

Modelo no restringido

y t=x t α+μ t=1,2. .. . t1 t1 observacionesy t=x t λ+μ t=t1+1 , .. . .. .T t2 observaciones

Nótese que bajo la hipótesis nula β=α= λ .

Es decir, diferencias en los vectores que conforman los parámetros del modelo serían evidencia del cambio estructural.

45


La hipótesis nula plantea que no existe tal cambio.

La verificación de la hipótesis nula a través de esta prueba comprende una serie de pasos:

1) Estimar el modelo restringido y obtener los residuos del modelo y calcular la suma de

los residuos al cuadrado, denominándose al resultado SRC1 .

Nótese que en este caso los grados de libertad de SRC1 son iguales a t1+t2−k=T−k

2) Estimar las dos ecuaciones del modelo no restringido, cuyas sumas de residuos al

cuadrado se denominan SRC2 y SRC 3 . SRC 2 tiene t1−k grados de libertad.

En tanto que SRC 3 tiene t2−k .

3) Calculamos SRC 4=SRC 2+SRC 3 que tiene t1+t2−2 k=T−2k grados de libertad.

4) Luego, calculamos SRC5=SRC1−SRC 4 que como puede comprobarse de manera

simple, tiene k grados de libertad.

5) Bajo la hipótesis nula de que no existe cambio estructural, el siguiente estadístico,

tiene una distribución F con k grados de libertad en el numerador y T−2k grados de libertad en el numerador:

F=SRC5 /k

SRC4 /T−2 k

6) La regla de decisión establece que si F>Fk , T−2 k , α se rechaza la hipótesis nula.

Otros contrastes de estabilidad

Una serie de contrastes son útiles para verificar la homogeneidad temporal del modelo (es decir cuan estables son empíricamente los parámetros de los modelos presentados).

Son las denominadas pruebas CUSUM y CUSUMQ, que se construyen en base a los residuos recursivos del modelo.

Sea la siguiente definición del residuo recursivo:

μt= y t−x 't β t−1

46


Donde μt no es más que el error de proyección en t calculado en base a la estimación del

vector (fila) de parámetros que utiliza t-1 observaciones, β t−1. y t es la observación en t de la

variable dependiente y x t ' es el vector de observaciones de las variables explicativas en t.

La varianza de predicción es:

Var ( μt )=σ2 (1+ xt' (X t−1 ' X t−1 )

−1 x t )

Donde X t−1 es una matriz de dimensión (t-1)xk formada por las (t-1) observaciones recogidas en la muestra. Se define finalmente el residuo recursivo normalizado:

~μ t=μ t

√(1+ xt' (X t−1 ' X t−1 )

−1 x t )

Bajo la hipótesis de estabilidad, ~μ t→N (0 , σ2 ) y que este error es independiente de

~μs∀ s≠t , el estadístico CUSUM (W t ) permite contrastar la hipótesis de estabilidad.

Se construye de la siguiente manera:

W t= ∑r=k+1

t~μr /

~σ ~σ= 1T−k

∑r=k+1

T

(~μr− μ )2 μ= 1T−k

∑r=k+1

T~μr

Se puede demostrar que bajo la hipótesis nula de estabilidad, el estadístico W t tiene una distribución normal con valor esperado igual a cero y varianza igual al número de residuos

acumulados. Se construyen bandas de confianza para W t mediante líneas rectas que unen los

puntos (k ,±a√T−k ) y (T ,±3 a√T−k ) donde al 95% de confianza donde se ha calculado a=0.948.

Al 99% el cálculo corresponde a a=1.143. Se rechaza la hipótesis nula si W t traspasa las bandas.

El CUSUMQ se construye en base a los cuadrados de los residuos normalizados:

St=∑

r

t~μr

2

∑r

T~μr

2

47


Cada término de la sumatoria tiene distribución Ji-cuadrado con un grado de libertad. Dado

que son independientes, se puede demostrar que E( S t )=

t−kT−k

El contraste consiste en dibujar St , así como las líneas que limitan su banda de confianza.

El intervalo consiste en:

st=±c0+t−kT−k .

Los valores de c0 pueden encontrarse en la tabla A-10 de Novales.

Si el estadístico sale fuera de las bandas construidas, ello es señal de inestabilidad.

48

Modelo de regresion lineal

Education

Transcript of Modelo de regresion lineal