Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas...

26
Tema 3 Modelo de Regresi´ on Lineal M´ ultiple Contenido 3.1. Introducci´ on. Un ejemplo ...................... 52 3.2. Estimaci´ondeM´ ınimos Cuadrados Ordinarios utilizando Gretl . 54 3.3. An´ alisis de los resultados mostrados ................ 55 3.3.1. Coeficientes estimados ...................... 58 3.3.2. Desviaciones t´ ıpicas e intervalos de confianza .......... 61 3.3.3. Significatividad individual y conjunta ............... 64 Contrastes de significatividad individual ............. 64 Contraste de significaci´ on conjunta ................ 66 3.4. Bondad de ajuste y selecci´ on de modelos ............. 69

Transcript of Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas...

Page 1: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

Tema 3

Modelo de Regresion Lineal Multiple

Contenido

3.1. Introduccion. Un ejemplo . . . . . . . . . . . . . . . . . . . . . . 52

3.2. Estimacion de Mınimos Cuadrados Ordinarios utilizando Gretl . 54

3.3. Analisis de los resultados mostrados . . . . . . . . . . . . . . . . 55

3.3.1. Coeficientes estimados . . . . . . . . . . . . . . . . . . . . . . 58

3.3.2. Desviaciones tıpicas e intervalos de confianza . . . . . . . . . . 61

3.3.3. Significatividad individual y conjunta . . . . . . . . . . . . . . . 64

Contrastes de significatividad individual . . . . . . . . . . . . . 64

Contraste de significacion conjunta . . . . . . . . . . . . . . . . 66

3.4. Bondad de ajuste y seleccion de modelos . . . . . . . . . . . . . 69

Page 2: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

52 Tema 3. Modelo de Regresion Lineal Multiple

3.1. Introduccion. Un ejemplo

En este tema consideramos introducir en el modelo de regresion, ademas del termino cons-

tante, mas de una variable explicativa por lo que pasamos del llamado modelo de regresion

lineal simple al modelo de regresion lineal multiple.

Comenzamos con el ejemplo que se ha seguido en el tema sobre el Modelo de Regresion

Lineal Simple. El precio de una casa, en miles de dolares, (P) era la variable dependiente

y las variables explicativas eran el termino constante y el tamano de la casa o el numero

de pies cuadrados del area habitable (F2). Ampliaremos el modelo incluyendo dos variables

explicativas mas, el numero de habitaciones (BEDRMS) y el numero de banos (BATHS)

siendo el modelo de regresion lineal multiple1

Pi = β1 + β2 F2i + β3 BEDRMSi + β4 BATHSi + ui i = 1, 2, . . . , N (3.1)

El modelo de regresion lineal general (MRLG), con K variables explicativas

Yi = β1 + β2X2i + . . . + βKXKi + ui i = 1, 2, . . . , N. (3.2)

se puede escribir en notacion matricial:

Y(N×1)

= X(N×K)

β(K×1)

+ u(N×1)

donde cada uno de los elementos se definen:

Y =

Y1

Y2...

YN

X =

1 X11 X21 · · · XK1

1 X12 X22 · · · XK2...

......

. . ....

1 X1N X2N · · · XKN

β =

β1

β2...

βK

u =

u1

u2...

uN

Por el momento, seguimos suponiendo las mismas hipotesis basicas sobre el termino de per-

turbacion y sobre las variables explicativas o regresores, a saber:

i) E(ui) = 0 ∀ i, E(u2i ) = σ2 ∀ i, E(uiuj) = 0 ∀i 6= j.

ii) La perturbacion sigue una distribucion normal.

iii) Las variables X2 a Xk no son estocasticas. Esto quiere decir que en muestras repetidas

de N observaciones de Yi, X2i, . . . , Xki, las variables X2i, . . . , Xki, i = 1, . . . , N tomarıan

siempre los mismos valores. Este supuesto, junto a E(ui) = 0, implica que los regresores

y el termino de perturbacion estan incorrelacionados.

iv) Los regresores son linealmente independientes, esto quiere decir que el rango de la

matriz de datos de los regresores X es K tal que no tiene columnas repetidas ni unas

son combinaciones lineales de otras.

v) Ademas se supone que se dispone de un numero suficiente de observaciones para estimar

los parametros βj , j = 1, . . . , K, esto es K < N .

1Dado que seguimos con los mismos datos de seccion cruzada utilizamos el subındice i = 1, . . . , N . Lanotacion para datos de series temporales suele ser t = 1, . . . , T .

Page 3: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

Analisis de regresion con Gretl 53

Interpretacion de cada uno de los coeficientes de regresion:

• Los parametros βj , j = 2, . . . , K:

Manteniendo constante el valor del resto de variables explicativas, si Xji

cambia en una unidad, Yi se espera que cambie en media βj unidades.

• El parametro β1 que acompana al termino constante recoge el valor esperado de la

variable dependiente cuando el resto de variables explicativas o regresores incluidos

toman el valor cero.

Siguiendo con el ejemplo, el modelo (3.1) se puede escribir en notacion matricial:

Y(N×1)

= X(N×4)

β(4×1)

+ u(N×1)

donde cada uno de los elementos se definen:

Y =

P1

P2...

PN

X =

1 F21 BEDRMS1 BATHS1

1 F22 BEDRMS2 BATHS2...

......

...1 F2N BEDRMSN BATHSN

β =

β1

β2

β3

β4

u =

u1

u2...

uN

Interpretacion de los coeficientes:

• El coeficiente β1 es el valor medio esperado de aquellas viviendas que no tienen ningun

pie cuadrado de area habitable, ni habitaciones ni banos.

• El coeficiente β2:

Considerando dos casas con el mismo numero de habitaciones y de banos, para aquella

casa que tenga un pie cuadrado mas de area habitable se espera que cambie en media

su precio de venta en β2 miles de dolares.

• El coeficiente β3:

Considerando dos casas con el mismo numero de pies cuadrados de area habitable y

numero de banos, para aquella casa que tenga una habitacion mas se espera que cambie

en media su precio de venta en β3 miles de dolares.

• El coeficiente β4:

Considerando dos casas con el mismo numero de pies cuadrados de area habitable y

numero de habitaciones, para aquella casa que tenga un bano mas se espera que cambie

en media su precio de venta en β4 miles de dolares.

El analisis de regresion multiple nos permite examinar el efecto marginal de una variable

explicativa en particular, una vez hemos controlado por otras caracterısticas recogidas en

el resto de variables explicativas que mantenemos constantes. Por eso a veces al resto de

regresores se les llama variables de control. Veremos mas adelante cuando es importante

controlar por otras variables y que problemas tendremos si las omitimos.

Page 4: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

54 Tema 3. Modelo de Regresion Lineal Multiple

3.2. Estimacion de Mınimos Cuadrados Ordinarios utilizando Gretl

Se dispone de una base de datos sobre el precio de venta de una vivienda y distintas carac-

terısticas de 14 viviendas vendidas en la comunidad universitaria de San Diego en 1990. Son

datos de seccion cruzada y las variables que se consideran son:

P: Precio de venta en miles de dolares (Rango 199.9 - 505)

F2: Pies cuadrados de area habitable (Rango 1065 - 3000)

BEDRMS: Numero de habitaciones (Rango 3 - 4)

BATHS: Numero de banos (Rango 1,75 - 3)

Los datos para P y F2 son los mismos que los utilizados en el ejemplo del Tema 2 sobre el

modelo de regresion lineal simple. Ademas tenemos informacion sobre dos nuevas variables

que vamos a considerar incluir como explicativas en el modelo para el precio de la vivienda.

Comenzamos una sesion en Gretl para estimar este modelo con la muestra de 14 viviendas:

Pi = β1 + β2F2i + β3BEDRMSi + β4BATHSi + ui i = 1, . . . , 14

En la parte de arriba de la ventana principal de Gretl tenemos distintas opciones. Si posicio-

namos el cursor podemos ir eligiendo dentro de ellas.

1. Leemos los datos que estan disponibles en Gretl como archivo de muestra:

Archivo → Abrir datos → Archivo de muestra

Elegir de Ramanathan el fichero data4-1 proporcionados en el cuarto capıtulo del libro

de Ramanathan (2002). Abrir.

2. Podemos ver los datos de todas las variables. Las dos primeras columnas coinciden con

los datos utilizados en el Tema 2.

P F2 BEDRMS BATHS

199.9 1065 3 1.75

228.0 1254 3 2.00

235.0 1300 3 2.00

285.0 1577 4 2.50

239.0 1600 3 2.00

293.0 1750 4 2.00

285.0 1800 4 2.75

365.0 1870 4 2.00

295.0 1935 4 2.50

290.0 1948 4 2.00

385.0 2254 4 3.00

505.0 2600 3 2.50

425.0 2800 4 3.00

415.0 3000 4 3.00

Tabla 3.1: Modelo (3.1). Datos de caracterısticas de viviendas

Page 5: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

Analisis de regresion con Gretl 55

3. Estimacion por Mınimos Cuadrados Ordinarios (MCO).

Modelo → Mınimos Cuadrados Ordinarios

Se abre una nueva ventana. Utilizando el cursor, seleccionar de la lista de variables de

la izquierda:

• La variable dependiente (P) y pulsar elegir.

• Las variables independientes o regresores de esta especificacion y pulsar anadir

cada vez. La variable Const es el termino constante o variable que toma siempre

valor uno. Por defecto ya esta incluida pero si no se quisiera poner se podrıa excluir.

Simplemente habrıa que seleccionarla con el cursor y dar a Quitar.

Pinchar en Aceptar.

Aparece una nueva ventana con los resultados de la estimacion2. Iremos comentando los

resultados mostrados. Situando el cursor en la parte de arriba de esta ventana podremos

ver que hay distintos menus cuyas funciones estaran asociadas a esta regresion.

4. Hay varios formatos para guardar los resultados, como por ejemplo un formato compa-

tible con Microsoft Word mediante:

Editar → Copiar → RTF(Ms Word)

Abrir un documento con Microsoft Word. Elegir Edicion → Pegar. Se pegaran todos

los resultados de la ventana anterior. Guardar el documento y minimizar si se quiere

volver a utilizar mas tarde para pegar y guardar otros resultados.

3.3. Analisis de los resultados mostrados

En esta seccion vamos a ir comentando los resultados que nos muestra el programa cuando

utilizamos la opcion de estimacion por Mınimos Cuadrados Ordinarios. Algunos de estos

resultados ya han sido comentados en el Tema 2 sobre el modelo de regresion lineal simple,

pero nos servira tambien de repaso. Una vez especificado el modelo, el programa Gretl muestra

en la ventana gretl:modelo1 la siguiente informacion sobre la estimacion MCO del modelo

con los datos del fichero elegido:

Modelo 1: estimaciones MCO utilizando las 14 observaciones 1–14

Variable dependiente: P

Variable Coeficiente Desv. tıpica Estadıstico t valor p

const 129,062 88,3033 1,4616 0,1746F2 0,154800 0,0319404 4,8465 0,0007BEDRMS −21,587 27,0293 −0,7987 0,4430BATHS −12,192 43,2500 −0,2819 0,7838

2Recordar que esta ventana puede ser minimizada para su posible utilizacion posterior o el modelo puedeguardarse en la sesion como icono. Si la cerramos tendrıamos que volver a hacer lo mismo para obtener denuevo esta ventana y poder elegir dentro de las opciones asociadas a esta regresion.

Page 6: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

56 Tema 3. Modelo de Regresion Lineal Multiple

Media de la var. dependiente 317,493D.T. de la variable dependiente 88,4982Suma de cuadrados de los residuos 16700,1Desviacion tıpica de los residuos (σ) 40,8657R2 0,835976R2 corregido 0,786769F (3, 10) 16,9889valor p para F () 0,000298587Log-verosimilitud −69,453Criterio de informacion de Akaike 146,908Criterio de informacion Bayesiano de Schwarz 149,464Criterio de Hannan–Quinn 146,671

Algunos Graficos.

En la ventana de resultados de estimacion, Gretl nos ofrece la posibilidad de analizar el grafico

de residuos ası como el grafico de la variable observada y estimada tanto por observacion como

sobre las distintas variables que hay en la especificacion del modelo. Por ejemplo elegimos

Graficos → Grafico de residuos → Por numero de observacion

y obtenemos el grafico de los residuos del modelo estimado para el precio de la vivienda a lo

largo de las 14 observaciones de la muestra En el grafico 3.1 se observa que los residuos se

−60

−40

−20

0

20

40

60

80

2 4 6 8 10 12 14

resi

duo

Residuos de la regresión (= price observada − estimada)

Grafico 3.1: Grafico de residuos por numero de observacion

disponen alrededor del valor cero ya que esta es su media muestral. La dispersion de estos

residuos es mayor para las ultimas viviendas en la muestra. Si elegimos

Graficos → Grafico de residuos → Contra F2

obtenemos el grafico de los residuos sobre la variable F2. Este grafico muestra que la dispersion

de los residuos alrededor de su media muestral que es cero, aumenta a mayor valor de F2. Esto

sugiere que la hipotesis basica sobre la varianza de la perturbacion pueda no ser adecuada.

Page 7: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

Analisis de regresion con Gretl 57

−60

−40

−20

0

20

40

60

80

1500 2000 2500 3000

resi

duo

F2

Residuos de la regresión (= price observada − estimada)

Grafico 3.2: Grafico de residuos contra la variable F2

Otro grafico que ilustra la bondad del ajuste de nuestro modelo relativamente a los datos

observados, es el grafico de la variable estimada y observada por numero de observacion. Para

obtener este grafico elegimos

Graficos → Grafico de variable estimada y observada → por numero de observacion

De esta forma obtenemos el siguiente grafico

300

400

500

600

700

800

900

1000

1100

2 4 6 8 10 12 14

pric

e

observación

price observada y estimada

estimadaobservada

Grafico 3.3: Grafico de la variable estimada y observada por numero de observacion

En este grafico se puede observar el valor estimado del precio de las viviendas en la muestra,

dados los valores observados de las variables explicativas y el modelo estimado, en relacion

al precio observado. El ajuste parece empeorar para las ultimas viviendas en la muestra. Si

hacemos el grafico de la variable estimada y observada contra la variable F2 que recoge el

tamano de las viviendas

Graficos → Grafico de variable estimada y observada → Contra F2

Page 8: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

58 Tema 3. Modelo de Regresion Lineal Multiple

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

pric

e

F2

price con respecto a sqft, observada y estimada

estimadaobservada

Grafico 3.4: Grafico de la variable estimada y observada contra F2

En el grafico 3.4 se observa que el modelo se ajusta mejor a las observaciones asociadas a las

viviendas de menor tamano, ya que los valores estimados estan mas concentrados alrededor

de los observados para esas viviendas. El ajuste es peor para viviendas de mas de 2000 pies

cuadrados.

3.3.1. Coeficientes estimados

Las estimaciones obtenidas de los coeficientes que se muestran en la segunda columna estan

asociados a cada una de las variables explicativas que figuran al lado en la primera columna.

Dadas las realizaciones muestrales de la variable dependiente Yi ≡ Pi, y explicativas, X2i ≡F2i, X3i ≡ BEDRMSi, X4i ≡ BATHSi, las estimaciones se obtienen de minimizar la suma

de cuadrados de los residuos con respecto a los coeficientes desconocidos β1, β2, β3, β4. Estos

coeficientes estimados se han obtenido de utilizar el siguiente criterio de estimacion por el

metodo de Mınimos Cuadrados Ordinarios

mınβ1,β2,β3,β4

N∑

i=1

(Yi − β1 − β2X2i − β3X3i − β4X4i)2

Las condiciones de primer orden de este problema resultan en cuatro ecuaciones con cuatroincognitas.

∑Yi = Nβ1 + β2

∑X2i + β3

∑X3i + β4

∑X4i

∑YiX2i = β1

∑X2i + β2

∑X2

2i+ β3

∑X3iX2i + β4

∑X4iX2i

∑YiX3i = β1

∑X3i + β2

∑X2iX3i + β3

∑X2

3i+ β4

∑X4iX3i

∑YiX4i = β1

∑X4i + β2

∑X2iX4i + β3

∑X3iX4i + β4

∑X2

4i

Estas ecuaciones se conocen con el nombre de Ecuaciones Normales. Al igual que en el

modelo de regresion lineal simple, la primera ecuacion o primera condicion asociada al termi-

no constante implica que la suma de los residuos debe de ser cero. El resto de ecuaciones

Page 9: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

Analisis de regresion con Gretl 59

implican que los residuos tienen que ser ortogonales a cada una de las variables explicati-

vas. En conjunto, estas condiciones implican que los residuos de la estimacion MCO estan

incorrelacionados con los regresores. En terminos matriciales se pueden escribir como:

X ′Y = (X ′X)β ⇔ X ′(Y − Xβ) = 0 ⇔ X ′u = 0

Si las cuatro ecuaciones son linealmente independientes, el rango de (X ′X) es igual a K = 4,

y por lo tanto existe una unica solucion a este sistema de ecuaciones. La solucion sera el

estimador MCO del vector de parametros β.

βMCO = (X ′X)−1X ′Y

Sustituyendo los valores muestrales del fichero data4-1 para Y y X darıan lugar a las esti-

maciones obtenidas de los coeficientes.

Para el modelo especificado en la ecuacion (3.1), la relacion estimada es

Pi = 129, 062 + 0, 1548 SQFTi − 21, 588 BEDRMSi − 12, 193 BATHSi (3.3)

Aunque hemos utilizado los mismos datos para P y F2 que en el Tema 2, el incluir las dos

nuevas variables explicativas en el modelo ha hecho que las estimaciones de los coeficientes

asociados al termino constante y a F2 hayan cambiado3.

Esto ocurre porque las nuevas variables BEDRMS y BATHS estan correlacionadas con la ya

incluida F2 y su media es distinta de cero4.

Si esto no ocurriera y∑

X3i =∑

X4i =∑

X2iX3i =∑

X2iX4i = 0, las ecuaciones normalesquedarıan de la siguiente forma

∑Yi = Nβ1 + β2

∑X2i ⇔ ∑

(Yi − β1 − β2X2i) = 0

∑YiX2i = β1

∑X2i + β2

∑X2

2i⇔ ∑

(Yi − β1 − β2X2i)X2i = 0

∑YiX3i = β3

∑X2

3i+ β4

∑X4iX3i

∑YiX4i = β3

∑X3iX4i + β4

∑X2

4i

3En el caso de considerar un MRLS solamente con F2 ademas de la constante se obtenıa

P = 52, 3509(37,285)

+ 0, 138750(0,018733)

F2

T = 14 R2 = 0, 8056 F (1, 12) = 54, 861 σ = 39, 023

(Desviaciones tıpicas entre parentesis)

4Usando las observaciones 1 - 14, la matriz de correlaciones entre BEDRMS, BATHS y F2 es

F2 BEDRMS BATHS1, 0000 0, 4647 0, 7873 F2

1, 0000 0, 5323 BEDRMS1, 0000 BATHS

y las medias muestrales de BEDRMS y BATHS son:

Variable Media

BEDRMS 3, 64286BATHS 2, 35714

Page 10: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

60 Tema 3. Modelo de Regresion Lineal Multiple

Dadas esas condiciones, las dos ultimas ecuaciones no dependen de β1 ni de β2 y las dos

primeras ecuaciones normales coinciden con las que se obtenıan en el Tema 2 para el modelo

de regresion lineal simple. Por lo tanto, en ese caso se obtendrıa la misma solucion para β1

y β2 que en el MRLS inlcuyendo solamente el termino constante y F2 ≡ X2 y entonces las

mismas estimaciones de esos coeficientes. Por lo tanto, en general no da lo mismo incluir o no

otras variables en el modelo a la hora de estimar el efecto de una variable sobre la variable

dependiente.

Interpretacion de los coeficientes estimados.

El coeficiente estimado que acompana a la variable F2, variable que recoge el tamano total

de la vivienda, es positivo y parece ser el signo adecuado. Si consideramos dos viviendas con

el mismo numero de banos y habitaciones, parece razonable pensar que aquella con mayor

area habitable tenga un precio mayor. Esto indica que las habitaciones seran mas grandes.

Los signos de los coeficientes asociados a BEDRMS y BATHS son negativos. Podemos pensar

que si aumenta el numero de habitaciones o el numero de banos, esto indicarıa una vivenda

mas lujosa y por lo tanto deberıa de aumentar el valor de la vivienda. Pero hay que tener en

cuenta que a la hora de interpretar un coeficiente de regresion asociado a uno de los regresores

estamos manteniendo constante el resto de variables explicativas.

Si la misma superficie habitable se tiene que dividir para poder incluir una nueva habitacion,

el resultado sera que cada habitacion sera mas pequena. El signo del coeficiente estimado

indica que un comprador medio valora negativamente tener mas habitaciones a costa de un

menor tamano de estas. Lo mismo se puede interpretar en el caso del coeficiente que acompana

a BATHS.

Interpretacion de los coeficientes estimados:

• El coeficiente estimado β1 = 129, 062 indica el precio medio estimado en miles de

euros, de aquellas viviendas que no tienen ningun pie cuadrado de area habitable, ni

habitaciones ni banos.

• El coeficiente estimado β2 = 0, 154800:

Considerando dos casas con el mismo numero de habitaciones y de banos, para aquella

casa que tenga un pie cuadrado mas de area habitable se estima que en media su precio

de venta se incremente en 154.800 dolares.

• El coeficiente estimado β3 = −21, 5875:

Si aumenta el numero de habitaciones, manteniendo constante el tamano de la vivienda

y el numero de banos, el precio medio se estima disminuira en 21.588 dolares.

• El coeficiente β4 = −12, 1928:

Manteniendo el tamano de la vivienda y el numero de habitaciones constante, anadir

un bano completo mas significa tener habitaciones mas pequenas, por lo que el precio

medio se estima disminuira en 12.193 dolares.

Page 11: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

Analisis de regresion con Gretl 61

¿Se mantendrıa el signo del coeficiente que acompana a BEDRMS si no incluimos

la variable F2 ni BATHS?

Pues seguramente no, porque en ese caso no estamos controlando por esa variable en la regre-

sion, y como hemos visto F2 y BEDRMS estan correlacionados. Por lo tanto mas habitaciones

implicarıa mayor superficie de piso, y por lo tanto mas precio en media. Lo mismo ocurrirıa si

solamente incluimos BATHS. Ahora bien, ¿que ocurrirıa si excluimos solamente F2 y dejamos

las otras dos variables explicativas? Veremos las implicaciones que tiene omitir o no controlar

por variables relevantes en un tema posterior.

Estimacion del incremento medio en el precio de la vivienda ante cambios en las

variables explicativas.

Utilizando los resultados (3.3) de la estimacion del modelo (3.1), si manteniendo el numero

de banos tenemos dos habitaciones mas y aumenta el area habitable en 500 pies cuadrados,

el cambio en el precio medio estimado de una vivienda sera de 34.224 dolares, esto es

△Pi = 0, 1548△F2i − 21, 588△BEDRMSi = (0, 1548 × 500) − (21, 588 × 2) = 34, 224

3.3.2. Desviaciones tıpicas e intervalos de confianza

Por el momento nos hemos centrado en la interpretacion de las estimaciones puntuales. Pero

tambien tenemos que tener en cuenta que estas estimaciones son realizaciones muestrales de

un estimador, que es una variable aleatoria. Por lo tanto, pueden estar sujetas a variacion

muestral ya que distintas muestras puedan dar lugar a distintas realizaciones muestrales. Estas

estimaciones de un mismo vector de parametros β estaran distribuidas con mayor o menor

variacion alrededor de su valor poblacional siguiendo cierta distribucion de probabilidad.

Bajo las hipotesis basicas que hemos enumerado al principio de este tema, el valor poblacional

del vector de parametros β es la media de la distribucion ya que βMCO es un estimador

insesgado. Su distribucion es una Normal y la matriz de varianzas y covarianzas viene dada

por la expresion V (βMCO) = σ2(X ′X)−1. Esto se suele denotar como

βMCO ∼ N(β, σ2(X ′X)−1) (3.4)

La varianza de las perturbaciones, σ2, es un parametro desconocido. Un estimador insesgado

de la misma bajo las hipotesis basicas es

σ2 =u

u

N − K

donde u = Y − XβMCO es el vector de residuos. El programa, en la ventana gretl:modelo1

muestra las realizaciones muestrales de la suma de cuadrados de los residuos (SCR), u′u =

16700, 1 y de la desviacion tıpica de los residuos√

σ2 = 40, 8657.

Un estimador insesgado, bajo las hipotesis basicas, de la matriz de varianzas y covarianzas

de βMCO es

V (βMCO) = σ2(X ′X)−1

En la ventana de resultados de la estimacion del modelo por MCO, gretl:modelo1, podemos

obtener la realizacion muestral de este estimador V (βMCO) = σ2(X ′X)−1 eligiendo:

Analisis → Matriz de covarianzas de los coeficientes

Page 12: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

62 Tema 3. Modelo de Regresion Lineal Multiple

Se abre una nueva ventana, gretl:covarianzas de los coeficientes, donde se muestra la

estimacion de las varianzas (elementos de la diagonal principal) y covarianzas (elementos

fuera de la diagonal principal) de los coeficientes de regresion β, como se muestra en la

Tabla 3.2. Dado que es una matriz simetrica, solamente aparecen los valores por encima de la

diagonal principal. La raız cuadrada de los elementos de la diagonal principal son los mismos

Matriz de covarianzas de los coeficientesconst F2 BEDRMS BATHS

7797, 47 0, 670891 −1677, 1 −1209, 3 const0, 00102019 −0, 0754606 −0, 995066 F2

730, 585 −356, 40 BEDRMS1870, 56 BATHS

Tabla 3.2: Modelo (3.1). Estimacion de la matriz de covarianzas de β

valores que los mostrados en la tercera columna de la ventana gretl:modelo1. Por ejemplo,

la varianza estimada del coeficiente β2 asociado a F2 es var(β2) = 0, 00102019 y su raız

cuadrada es su desviacion tıpica estimada des(β2) = 0, 0319404.

Tambien podemos obtener estimaciones de las covarianzas entre los coeficientes estimados.

Por ejemplo, la covarianza estimada entre los coeficientes β2 asociado a F2 y β4 asociado a

BATHS es igual a ˆcov(β2, β4) = −0, 995066.

Intervalos de confianza:

Seguidamente vamos a ver como podemos obtener intervalos de confianza para cada coefi-

ciente individual. ¿Que nos indican estos intervalos? ¿Cual es su utilidad?

Bajo las hipotesis basicas, se puede demostrar que la variable aleatoria

βj − βj

des(βj)∼ t(N − K) (3.5)

donde des(βj) es la desviacion tıpica estimada del estimador βj y t(N − K) denota la dis-

tribucion t de Student de (N − K) grados de libertad. Esto es valido para cualquiera de los

coeficientes βj , j = 1, . . . , K.

Denotamos por c = t(N−K)α/2 la ordenada de la distribucion t de Student con N −K grados

de libertad, tal que deja a la derecha una probabilidad de α/2, esto es P (t > c) = α/2. Esto

implica que:

Pr

(−c ≤ βj − βj

des(βj)≤ c

)= Prob

(βj − c des(βj) ≤ βj ≤ βj + c des(βj)

)= 1 − α (3.6)

Por lo tanto, un intervalo de confianza del (1 − α) por ciento para un coeficiente cualquiera

βj viene dado por

IC(βj)1−α =[βj ± c des(βj)

]

El calculo de los intervalos de confianza para los coeficientes de regresion del modelo se conoce

con el nombre de estimacion por intervalo. Un intervalo de confianza nos dice que, con

Page 13: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

Analisis de regresion con Gretl 63

probabilidad (1−α) se estima que el parametro βj estara dentro de ese rango de valores. Este

intervalo puede ser demasiado amplio, y esto dependera de la precision con la que estimemos

los parametros recogido en des(βj). Es importante tener en cuenta que la validez de estos

intervalos de confianza depende de que se satisfagan las hipotesis basicas.

Siguiendo con el ejemplo del modelo (3.1) para el precio de la vivienda, Gretl nos permite

obtener directamente los intervalos de confianza del 95 por ciento para los coeficientes. El

resultado mostrado en la Tabla 3.3 se obtiene eligiendo en la ventana gretl:modelo1

Analisis → Intervalos de confianza para los coeficientes

Variable Coeficiente Intervalo de confianza 95 %bajo alto

const 129,062 −67,690 325,814F2 0,154800 0,0836321 0,225968

BEDRMS −21,587 −81,812 38,6376BATHS −12,192 −108,56 84,1742

Tabla 3.3: Modelo (3.1): Estimacion por intervalo de los coeficientes.

A su vez, utilizando los resultados mostrados en la ventana gretl:modelo1

Modelo 1: estimaciones MCO utilizando las 14 observaciones 1–14

Variable dependiente: P

Variable Coeficiente Desv. tıpica Estadıstico t valor p

const 129,062 88,3033 1,4616 0,1746F2 0,154800 0,0319404 4,8465 0,0007∗∗∗

BEDRMS −21,587 27,0293 −0,7987 0,4430BATHS −12,192 43,2500 −0,2819 0,7838

podemos obtener intervalos de confianza para cada uno de los coeficientes, dado un nivel de

confianza (1−α), por ejemplo del 95 por ciento5. Los intervalos de confianza obtenidos son:

β1: 129, 0620 ± (2, 228 × 88, 3033)β2: 0, 1548 ± (2, 228 × 0, 0319404)β3: −21, 5875 ± (2, 228 × 27, 0293)β4: −12, 1928 ± (2, 228 × 43, 2500)

El intervalo de confianza ademas se puede utilizar para contrastar la hipotesis de que el

parametro βj tome determinado valor. Si el valor del parametro bajo la hipotesis nula

5Al 95 por ciento de confianza, (α/2 = 0, 025), el valor en las tablas de la distribucion t de Student con 10grados de libertad es c = t(10)0,025 = 2, 228. Recordar que Gretl permite acceder a algunos valores tabuladosde distintas distribuciones, Normal, t-Student, Chi-cuadrado, F de Snedecor. En la ventana principal gretl

en Herramientas → Tablas estadısticas. En el caso de la t de Student hay que introducir los grados de libertad(gl). Los valores mostrados corresponden a los valores de α/2 de 0,10-0,05-0,025-0,01-0,001.

Page 14: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

64 Tema 3. Modelo de Regresion Lineal Multiple

esta dentro del intervalo de confianza, no podemos rechazar esa hipotesis al nivel de sig-

nificacion α. Dada la muestra y nuestra especificacion del modelo, no podemos rechazar con

una confianza del 95 por ciento, excepto para el parametro asociado a F2, que el coeficiente

asociado a cada una de estas variables sea igual a cero ya que este valor esta dentro del

intervalo de confianza. ¿Quiere decir entonces que el valor poblacional de cada uno de esos

parametros es cero? La respuesta es NO, ya que por esa misma regla de tres el parametro βj

deberıa de tomar cada uno de los valores en el intervalo.

3.3.3. Significatividad individual y conjunta

Contrastes de significatividad individual

Uno de los principales objetivos de un primer analisis de regresion es la de contrastar si

son o no estadısticamente relevantes los factores que hemos considerado como explicativos

de la variable dependiente en cuestion, dada la especificacion de nuestro modelo. Podemos

considerar individualmente cada regresor y contrastar:

H0 : βj = 0Ha : βj 6= 0

donde la hipotesis nula implica que, dada la especificacion del modelo una vez se ha controlado

por el resto de factores incluidos como variables explicativas, el efecto marginal de la variable

Xj sobre el valor medio de la variable dependiente es cero.

Dado que en la hipotesis alternativa se contempla la posibilidad de que el coeficiente, de ser

distinto de cero, pueda ser indistintamente negativo o positivo, el contraste es a dos colas.

Normalmente en estos contrastes, conocidos con el nombre de contrastes de significatividad

individual, se considera esta alternativa.

El estadıstico de contraste y su distribucion bajo la hipotesis nula es:

tj =βj

des(βj)

H0∼ t(N − K) (3.7)

Una vez obtenido el valor muestral del estadıstico, tmj , ¿como decidimos si rechazar o no la

hipotesis nula?

• Se elige un nivel de significacion α que indicarıa nuestra eleccion de la probabilidad

de error de tipo I (rechazar la hipotesis nula cuando esta fuera cierta) o tamano del

contraste. Obtenemos el valor crıtico o umbral c = t(N−K)α/2 tal que Pr(tj > c) = α/2.

• Rechazamos la hipotesis nula a un nivel de significacion α, si en valor absoluto la

realizacion muestral del estadıstico es mayor que el valor crıtico |tmj | > c. No rechazamos

la hipotesis nula en caso contrario.

Si no se rechaza la hipotesis nula, en el lenguaje econometrico se dice que la variable que

acompana al coeficiente en cuestion no es significativa o que el coeficiente no es significati-

vamente distinto de cero al α por ciento de significacion. Si por el contrario se rechaza la

hipotesis nula, se dice que la variable es significativa o que el coeficiente es significativamente

distinto de cero.

Page 15: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

Analisis de regresion con Gretl 65

Otra forma de llevar a cabo el contraste es utilizar el valor-p. Este valor es una probabilidad

e indica cual serıa el menor nivel de significacion que se tendrıa que elegir para rechazar la

hipotesis nula, dada la realizacion muestral del estadıstico. Si el contraste es a dos colas, el

valor-p es dos veces el area a la derecha de la realizacion muestral del estadıstico en valor

absoluto, en la distribucion de este bajo la hipotesis nula, esto es

valor-p = 2 Pr(tj > tmj |H0)

Si el contraste es a una cola, el valor-p serıa el area a la derecha de la realizacion muestral

del estadıstico en valor absoluto, en la distribucion de este bajo la hipotesis nula, esto es

Pr(tj > tmj |H0). A mayor valor-p, mayor serıa la probabilidad de error de tipo I si elegimos

rechazar la hipotesis nula. Luego a mayor valor-p menor evidencia contra la hipotesis nula y

por el contrario a menor valor-p mayor evidencia contra la hipotesis nula.

¿Cual sera la regla de decision del contraste mirando al valor-p?

Rechazar la hipotesis nula si el valor-p es menor que el nivel de significacion elegido y no

rechazarla en caso contrario.

Esta es exactamente la misma regla de decision que antes. Elegido un nivel de significacion,

si el valor muestral es mayor en valor absoluto que el valor crıtico c, querra decir que dos

veces la probabilidad que deja a la derecha el valor muestral es mas pequeno que ese nivel de

significacion.

Siguiendo con nuestro ejemplo, vamos a comentar que nos indican la cuarta y quinta colum-

na que aparecıan en la ventana de resultados de la estimacion por MCO del modelo (3.1)

gretl:modelo1.

Modelo 1: estimaciones MCO utilizando las 14 observaciones 1–14

Variable dependiente: P

Variable Coeficiente Desv. tıpica Estadıstico t valor p

const 129,062 88,3033 1,4616 0,1746F2 0,154800 0,0319404 4,8465 0,0007∗∗∗

BEDRMS −21,587 27,0293 −0,7987 0,4430BATHS −12,192 43,2500 −0,2819 0,7838

Los valores obtenidos en la cuarta columna se obtienen de dividir los correspondientes valores

de la segunda y tercera columnas esto es, la estimacion del coeficiente dividida por su des-

viacion tıpica estimada. Esta serıa la realizacion muestral del estadıstico tj bajo la hipotesis

nula de que el valor poblacional del parametro βj asociado a esa variable es igual a cero.

La quinta columna es el valor-p asociado a cada coeficiente, siendo el contraste de significa-

tividad individual a dos colas. Habitualmente se eligen como niveles de significacion el 1 %,

5 % y 10 % siendo el 5 % el mas utilizado. Gretl indica con uno, dos o tres asteriscos cuando

se rechaza la hipotesis nula al 10 %, al 5 %, o al 1 % respectivamente.

En este caso solamente es significativa la variable F2 al 1 % y se indica con tres asteriscos. El

valor-p asociado a esta variable es mas pequeno que 0,01 y por lo tanto que 0,05 y que 0,1.

Para el resto de coeficientes no se rechazarıa la hipotesis nula. Los coeficientes asociados

al termino constante, BEDRMS y BATHS no serıan significativamente distintos de cero ni

Page 16: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

66 Tema 3. Modelo de Regresion Lineal Multiple

siquiera al 10 %. El valor-p asociado es mayor que 0,1. Estos valores oscilan entre 0,175 y

0,784 por lo que, si rechazasemos la hipotesis nula de que cada uno de estos coeficientes es

cero, habrıa desde un 17,5 a un 78,4 por ciento de probabilidad de cometer el error de rechazar

esa hipotesis siendo cierta.

Si miramos a los valores crıticos en cada uno de estos niveles de significacion tenemos que:

α = 0, 01 t(10)0,005 = 3, 169

α = 0, 05 t(10)0,025 = 2, 228

α = 0, 1 t(10)0,05 = 1, 812

Excepto en el caso de la variable F2, el valor muestral de los estadısticos tj en valor absoluto

es mas pequeno que cualquiera de estos valores crıticos. Por lo tanto solamente se rechaza la

hipotesis nula de que el coeficiente asociado a la variable SQFT sea igual a cero. Esto parece

indicar que dado que el numero de habitaciones y de banos esta ya recogido en el tamano

de la vivienda, una vez incluimos esta variable el tener mas o menos habitaciones o banos

no tiene un efecto marginal significativo en el precio medio de esta. Lo normal es tener una

vivienda con un numero de habitaciones y banos proporcional a su tamano.

Esto mismo concluimos mirando a los intervalos de confianza, aunque en ese caso el nivel de

significacion elegido solo fue del 5 por ciento.

Contraste de significacion conjunta

Otro estadıstico que se muestra en la ventana de resultados de la estimacion es el valor del

estadıstico F (3, 10) = 16,9889 con valor-p = 0, 000299. ¿Como se calcula este estadıstico?

¿Que hipotesis nula se esta contrastando?

La hipotesis nula que se esta contrastando es que conjuntamente todos lo coeficientes, excepto

el asociado al termino constante, sean cero. En nuestro ejemplo en concreto

H0 : β2 = β3 = β4 = 0Ha : alguna de las igualdades no se cumple

Este estadıstico se puede considerar como un contraste general de bondad de ajuste del

modelo. Si la hipotesis nula no se rechaza podemos concluir que ninguna de las variables en

conjunto puede explicar la variacion en el precio de la vivienda. Esto significa que es un

modelo muy pobre y que debiera de ser reformulado.

Estamos excluyendo de la hipotesis nula el parametro que acompana al termino constante.

El modelo bajo la hipotesis nula, al que llamaremos Modelo Restringido es:

Modelo Restringido Pi = β1 + ui i = 1, 2, . . . , N (3.8)

Este modelo incluye solamente un termino constante como regresor y le compararemos con el

Modelo No Restringido (3.1). El estimador MCO del parametro β1 en el modelo restringido

es aquel que

minβ1

N∑

i=1

(Yi − β1)2

Page 17: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

Analisis de regresion con Gretl 67

En este caso tenemos solamente un parametro a estimar por lo que solo hay una ecuacion

normal, ∑

i

Yi = Nβ1 (3.9)

cuya solucion es

β1,R =1

N

i

Yi = Y

El coeficiente estimado que acompana al termino constante nos recoge simplemente la media

muestral de la variable dependiente. El residuo correspondiente al modelo restringido es

ui,R = Yi − β1,R = Yi − Y , por lo que la suma de cuadrados residual coincide con la suma

de cuadrados total o variacion total de la variable dependiente. Esto implica que la suma de

cuadrados explicada o variacion explicada con la estimacion de este modelo (3.8) es nula

SCRR =∑

i

u2i,R =

i

(Yi − Y )2 = SCT ⇒ SCER = 0

Por ultimo, y teniendo en cuenta como se define el coeficiente de determinacion R2

R2 = 1 −∑

i u2i∑

i(Yi − Y )2

para este modelo el coeficiente de determinacion es igual a cero6. Dado que en el modelo

solamente incluimos un regresor que no varıa, este no puede explicar variacion o varianza

de la variable dependiente. Si estimamos con Gretl el modelo (3.8) obtenemos los siguientes

resultados:

Modelo 2: estimaciones MCO utilizando las 14 observaciones 1–14

Variable dependiente: P

Variable Coeficiente Desv. tıpica Estadıstico t valor p

const 317,493 23,6521 13,4234 0,0000

Media de la var. dependiente 317,493D.T. de la variable dependiente 88,4982Suma de cuadrados de los residuos 101815,Desviacion tıpica de los residuos (σ) 88,4982R2 0,000000R2 corregido 0,000000Grados de libertad 13Log-verosimilitud −82,108Criterio de informacion de Akaike 166,216Criterio de informacion Bayesiano de Schwarz 166,855Criterio de Hannan–Quinn 166,157

6Esto es ası dado que∑

iu2

i,R =∑

i(Yi − Y )2 ⇒ R2

R = 1 −

∑i u2

i,R∑i(Yi−Y )2

= 1 − 1 = 0.

Page 18: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

68 Tema 3. Modelo de Regresion Lineal Multiple

Podemos comprobar que la estimacion del coeficiente que acompana al termino constante

coincide con la media muestral de la variable dependiente (P = 317, 493). La desviacion

tıpica de los residuos coincide con la desviacion tıpica de la variable dependiente, ya que la

suma de cuadrados residual coincide con la suma de cuadrados total, SCRR =∑

i u2i,R =∑

i(Yi − Y )2 = 101815, y tambien los grados de libertad de ambas, T −K = T − 1 = 13. Por

lo tanto, √∑i u

2i,R

13=

√∑i(Yi − Y )2

13= 88, 4982

Por ultimo, el coeficiente de determinacion R2 es igual a cero.

Un estadıstico general de contraste de restricciones lineales es aquel que compara las sumas

de cuadrados de residuos de la estimacion del modelo restringido y del modelo no restringido,

teniendo en cuenta los grados de libertad en la estimacion de cada modelo,(glR) y (glNR)

respectivamente7

F =(SCRR − SCRNR)/q

SCRNR/(N − K)

H0∼ F(q, N − K) (3.10)

donde q = (glR − glNR) es el numero de restricciones bajo la hipotesis nula y N −K = glNR.

Si dividimos numerador y denominador por la suma de cuadrados total SCT y utilizamos los

siguientes resultados:

a) 1 − R2 = SCRNR / SCT y en este caso 1 − R2R = 1 − 0 = 1.

b) glR − glNR = (N − 1) − (N − K) = K − 1 que es el numero de restricciones bajo la

hipotesis nula.

el estadıstico general (3.10) nos queda para este contraste en concreto igual a

F =R2/(K − 1)

(1 − R2)/(N − K)=

R2

(1 − R2)

(N − K)

(K − 1)

H0∼ F(K − 1, N − K) (3.11)

En nuestro ejemplo sobre el precio de la vivienda, K−1 = 3 que es el numero de restricciones

bajo la hipotesis nula y N −K = 14−4 = 10. Dado el resultado mostrado F (3, 10) = 16, 9889

(valor p = 0, 000299), si consideramos el valor-p se rechazarıa la hipotesis nula a cualquier

nivel de significacion razonable, en particular al α = 0, 05 ya que este valor es mayor que el

valor-p obtenido. Si utilizamos el valor crıtico F(3,10)0,05 = 3, 71 obtenemos el mismo resultado

ya que el valor muestral del estadıstico es mayor que el valor crıtico. Esto indica que al menos

uno de los coeficientes, aparte del asociado al termino constante, es distinto de cero.

Aunque hemos utilizado en esta seccion el coeficiente de determinacion en relacion al es-

tadıstico de significacion conjunta, en la siguiente seccion vamos a hablar de su utilizacion

junto con el coeficiente de determinacion corregido y otros estadısticos para la seleccion entre

distintos modelos.

7En temas posteriores veremos la utilizacion de este estadıstico para contrastar otro tipo de restriccioneslineales.

Page 19: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

Analisis de regresion con Gretl 69

3.4. Bondad de ajuste y seleccion de modelos

En los temas anteriores se ha presentado el coeficiente de determinacion como una medida

de bondad de ajuste que es invariante a unidades de medida8. Este coeficiente se define como

la proporcion de variacion explicada por la regresion del total de variacion a explicar en la

muestra de la variable dependiente. Si hay termino constante en el modelo,

R2 =

∑i(Yi − Y )2∑i(Yi − Y )2

= 1 −∑

i u2i∑

i(Yi − Y )20 ≤ R2 ≤ 1

Este indicador tiene que ser considerado como uno mas a tener en cuenta a la hora de valorar

si un modelo es adecuado, pero no debemos darle mas importancia de la que tiene. Obtener

un valor del R2 cercano a 1 no indica que nuestros resultados puedan ser fiables. Por ejemplo,

podemos tener problemas de no satisfacerse alguna hipotesis basica y nuestra inferencia no

ser valida.

Por otro lado, obtener un valor mas o menos alto del coeficiente de determinacion puede

estar influido por el tipo de datos que estemos analizando. Normalmente con datos de series

temporales, donde las variables pueden presentar tendencias similares en el tiempo, es facil

obtener R2 altos, mientras que con datos de seccion cruzada eso no suele ocurrir ya que

normalmente las variables presentan mayor dispersion.

Por otro lado, si queremos utilizar el R2 para comparar distintos modelos, estos deben de

tener la misma variable dependiente ya que ası tendran igual suma de cuadrados total. Aun

ası, esta medida adolece del problema de aumentar su valor al anadir una nueva variable

explicativa, sea cual sea su aportacion al modelo. Ademas no tiene en cuenta que hay que

estimar un nuevo parametro con el mismo numero de observaciones.

Para tener en cuenta este problema se suele utilizar el R2 corregido por grados de libertad.

Esta medida tiene en cuenta los grados de libertad tanto de la suma de cuadrados residual,

(N − K), como de la suma de cuadrados total, (N − 1). Se define como

R2 = 1 −

∑u2

i /(N − K)∑

(Yi − Y )2/(N − 1)= 1 − N − 1

N − K(1 − R2) −∞ < R2 ≤ R2

El R2 puede disminuir si el incluir una nueva variable no compensa la perdida de grados de

libertad al tener que estimar un nuevo parametro9. El coeficiente de determinacion corregido

R2 no tomara valores mayores que el R2 pero sı puede tomar valores negativos. Esto ultimo

indicarıa que el modelo no describe adecuadamente el proceso que ha generado los datos.

Hasta el momento hemos ido comentado los resultados que normalmente se muestran en la

estimacion de un modelo. Una forma de presentarlos es la siguiente:

P(estad. t)

= 129, 062(1,462)

+ 0, 154800(4,847)

F2 − 21, 5875(−0,799)

BEDRMS − 12, 1928(−0,282)

BATHS

N = 14 R2 = 0, 8359 R2 = 0, 7868 F (3, 10) = 16, 989

8Esto no ocurre con otras medidas como puede ser la desviacion tıpica de los residuos, σ =√

SCR/N − K)ya que la suma de cuadrados de los residuos no es invariante a un cambio de escala en las variables.

9Se puede demostrar que si el valor absoluto del estadıstico t de significatividad individual asociado a unavariable es menor que la unidad, eliminar esta variable del modelo aumentara el R2 mientras que si es mayorque la unidad lo reducira.

Page 20: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

70 Tema 3. Modelo de Regresion Lineal Multiple

Una alternativa a presentar los estadısticos t de significatividad individual, aunque suele ser

lo mas habitual, es mostrar las desviaciones tıpicas estimadas de los coeficientes o los valores

p correspondientes.

Otros criterios de seleccion de modelos que muestra Gretl son los criterios de informacion

de Akaike (AIC), Bayesiano de Schwarz (BIC) y de Hannan-Quinn (HQC). Estos criterios

se calculan en funcion de la suma de cuadrados residual y de algun factor que penalice por

la perdida de grados de libertad. Un modelo mas complejo, con mas variables explicativas,

reducira la suma de cuadrados residual pero aumentara el factor de penalizacion. Utilizando

estos criterios se escogerıa aquel modelo con un menor valor de AIC, BIC o HQC. Normal-

mente no suelen dar la misma eleccion, siendo el criterio AIC el que elige un modelo con

mayor numero de parametros.

Seleccion de un modelo para el precio de la vivienda.

Vamos a continuar con nuestro ejemplo sobre el precio de la vivienda y comparar distintas

especificaciones, para seleccionar una especificacion entre varias propuestas. Para ello, utiliza-

mos distintos indicadores que hemos visto hasta ahora, significatividad individual, conjunta,

coeficientes de determinacion y criterios de informacion. Podemos considerar que estos indi-

cadores nos ayudan a valorar la especificacion en terminos de la contribucion de las variables

explicativas incluidas en el modelo10.

Vamos a estimar las siguientes especificaciones o modelos alternativos para explicar el precio

de la vivienda:

Modelo 1 Pi = β1 + β2 F2i + ui

Modelo 2 Pi = β1 + β2 F2i + β3 BEDRMSi + ui

Modelo 3 Pi = β1 + β2F2i + β3BEDRMSi + β4BATHSi + ui

Modelo 4 Pi = β1 + β3 BEDRMSi + β4 BATHSi + ui

Estos cuatro modelos difieren en las variables explicativas incluidas. El Modelo 3 es el mas

general e incluye al resto de modelos. Esto quiere decir que cada uno de los restantes se

obtiene imponiendo una o mas restricciones sobre los coeficientes de este modelo. En este

caso son restricciones de exclusion, es decir que algun coeficiente o coeficientes son iguales a

cero. A este tipo de modelos se les llama modelos anidados. Los resultados de la estimacion

del Modelo 3 con Gretl son los siguientes:

Modelo 3: estimaciones MCO utilizando las 14 observaciones 1–14

Variable dependiente: P

Variable Coeficiente Desv. tıpica Estadıstico t valor p

const 129,062 88,3033 1,4616 0,1746F2 0,154800 0,0319404 4,8465 0,0007BEDRMS −21,587 27,0293 −0,7987 0,4430BATH −12,192 43,2500 −0,2819 0,7838

10Estos no son los unicos indicadores. Por ejemplo, analizar el grafico de residuos o utilizar diversos con-trastes de algunas de las hipotesis basicas son elementos importantes a la hora de evaluar los resultados de laespecificacion y estimacion de un modelo.

Page 21: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

Analisis de regresion con Gretl 71

Media de la var. dependiente 317,493D.T. de la variable dependiente 88,4982Suma de cuadrados de los residuos 16700,1Desviacion tıpica de los residuos (σ) 40,8657R2 0,835976R2 corregido 0,786769F (3, 10) 16,9889valor p para F () 0,000298587Log-verosimilitud −69,453Criterio de informacion de Akaike 146,908Criterio de informacion Bayesiano de Schwarz 149,464Criterio de Hannan–Quinn 146,671

El Modelo 1 es el mas reducido y tambien esta incluido en los modelos 2 y 3, no ası en el

4. Estos son los resultados de su estimacion:

Modelo 1: estimaciones MCO utilizando las 14 observaciones 1–14

Variable dependiente: P

Variable Coeficiente Desv. tıpica Estadıstico t valor p

const 52,3509 37,2855 1,4041 0,1857F2 0,138750 0,0187329 7,4068 0,0000

Media de la var. dependiente 317,493D.T. de la variable dependiente 88,4982Suma de cuadrados de los residuos 18273,6Desviacion tıpica de los residuos (σ) 39,0230R2 0,820522R2 corregido 0,805565Grados de libertad 12Log-verosimilitud −70,084Criterio de informacion de Akaike 144,168Criterio de informacion Bayesiano de Schwarz 145,447Criterio de Hannan–Quinn 144,050

El Modelo 2 esta anidado en el 3. Los resultados de la estimacion de este modelo se muestran

a continuacion:

Modelo 2: estimaciones MCO utilizando las 14 observaciones 1–14

Variable dependiente: P

Variable Coeficiente Desv. tıpica Estadıstico t valor p

const 121,179 80,1778 1,5114 0,1589F2 0,148314 0,0212080 6,9933 0,0000BEDRMS −23,910 24,6419 −0,9703 0,3527

Page 22: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

72 Tema 3. Modelo de Regresion Lineal Multiple

Media de la var. dependiente 317,493D.T. de la variable dependiente 88,4982Suma de cuadrados de los residuos 16832,8Desviacion tıpica de los residuos (σ) 39,1185R2 0,834673R2 corregido 0,804613F (2, 11) 27,7674valor p para F () 5,02220e-05Log-verosimilitud −69,509Criterio de informacion de Akaike 145,019Criterio de informacion Bayesiano de Schwarz 146,936Criterio de Hannan–Quinn 144,841

Finalmente el Modelo 4 solamente esta anidado en el modelo 3. Los resultados de la esti-

macion por MCO son:

Modelo 4: estimaciones MCO utilizando las 14 observaciones 1–14

Variable dependiente: P

Variable Coeficiente Desv. tıpica Estadıstico t valor p

const 27,2633 149,652 0,1822 0,8588BEDRMS −10,137 46,9811 −0,2158 0,8331BATHS 138,795 52,3450 2,6515 0,0225

Media de la var. dependiente 317,493D.T. de la variable dependiente 88,4982Suma de cuadrados de los residuos 55926,4Desviacion tıpica de los residuos (σ) 71,3037R2 0,450706R2 corregido 0,350834F (2, 11) 4,51285valor p para F () 0,0370619Log-verosimilitud −77,914Criterio de informacion de Akaike 161,829Criterio de informacion Bayesiano de Schwarz 163,746Criterio de Hannan–Quinn 161,651

Comparacion de los resultados para los modelos 1,2 y 3.

• Se observa que a medida que se introducen mas variables explicativas, la suma de

cuadrados residual va disminuyendo y el coeficiente de determinacion R2 aumenta.

• En terminos del coeficiente de determinacion R2, en el Modelo 1 el tamano de la

vivienda (F2) explica el 82, 1 % de la variacion en los precios de la vivienda, pasando a

ser de un 83, 6 % al incluir el numero de habitaciones (BEDRMS) y numero de banos

(BATHS).

Page 23: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

Analisis de regresion con Gretl 73

• A medida que se incluyen mas variables explicativas, primero BEDRMS y luego BATHS,

el coeficiente de determinacion corregido R2 disminuye y la desviacion tıpica de los

residuos aumenta11. Esto indica que la ganancia en un mayor valor del R2 o menor

suma de cuadrados residual no se compensa en ningun caso por la perdida de grados

de libertad.

• En cuanto a la significatividad individual, en los tres modelos la unica variable significa-

tiva a los niveles de significacion habituales es F212. Ası, una vez hemos controlado por el

tamano de la vivienda, las variables BEDRMS y BATHS no afectan significativamente

el precio de la vivienda.

• El estadıstico F de significacion conjunta senala en los tres casos no aceptar la hipotesis

nula de que todos los coeficientes excepto el asociado al termino constante son igual a

cero. Al menos hay un coeficiente que es significativamente distinto de cero. Por lo ob-

tenido en los contrastes de significatividad individual, sabemos que este es el coeficiente

que acompana a F2.

Si nos fijamos, a medida que vamos del Modelo 1 al 3, el valor muestral del estadıstico

F disminuye. Esto es logico, ya que este estadıstico es funcion del R2 pero tambien

de los grados de libertad. Otra vez estarıa recogiendo que, a medida que aumenta el

numero de parametros a estimar K, las diferencias en R2 son demasiado pequenas para

compensar la disminucion en el ratio (N − K)/(K − 1). Ahora bien, en general, las

diferencias en el estadıstico F no son relevantes. Lo que es de interes es el resultado del

contraste.

• Si consideramos los criterios de informacion AIC, BIC y HQC, de los tres modelos el

elegido es el Modelo 1, reafirmando lo que indica el R2. La ganancia en un mejor

ajuste, o una menor suma de cuadrados residual, no es suficiente para compensar el

factor que penaliza en funcion de grados de libertad.

Dado que el tamano de la vivienda depende del numero de habitaciones y de banos, este

resultado parece indicar que una vez se controla por F2 indirectamente esta variable

incluye casi todo lo que pueden aportar BEDRMS y BATHS.

¿Que ocurre con el Modelo 4?

En este modelo no hemos incluido la variable F2, que en el analisis anterior era la variable que

mas explica el precio de la vivienda y hemos dejado las variables que no eran significativas

una vez que incluıamos esta variable. Podrıamos argumentar que de esta forma se podrıa

analizar el efecto de BEDRMS y BATHS, ya que F2 parecıa recoger la informacion relevante

de estas dos variables.

Si lo comparamos con el Modelo 3, que es en el que esta anidado el Modelo 4, se obtiene

menor valor de R2 y R2, mayor valor de AIC, BIC y HQC, mayor suma de cuadrados residual

y mayor desviacion tıpica de los residuos. Todos ellos senalan en la misma direccion siendo,

en terminos de estos criterios, peor modelo el 4. Vemos que el omitir F2 empeora mucho

11Notar que los estadısticos t asociados a cada coeficiente son menores que uno en valor absoluto.12Por ejemplo, con nivel de significacion del 5 por ciento los valores crıticos serıan para el modelo 1 t(12)0,025 =

2, 179, para el Modelo 2 t(11)0,025 = 2, 201 y para el Modelo 3 t(10)0,025 = 2, 228.

Page 24: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

74 Tema 3. Modelo de Regresion Lineal Multiple

el ajuste sin compensar por la ganancia en grados de libertad. Ademas cambia sustancial-

mente la estimacion y la significatividad del coeficiente que acompana a BATHS, pasando

la estimacion de signo positivo a negativo y ser significativamente distinto de cero al 5 % de

significacion. ¿Que puede estar ocurriendo? ¿Seran esta estimacion y este contraste fiables si

hemos omitido una variable que parece ser relevante? ¿Se veran afectadas las propiedades del

estimador MCO por esta omision? Todo esto lo veremos en el tema de error de especificacion.

Page 25: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

Analisis de regresion con Gretl 75

Bibliografıa

Ramanathan, R. (2002), Introductory Econometrics with Applications, 5a edn., South-Western.

Page 26: Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas tendremos si las omitimos. 54 Tema 3. Modelo de Regresio´n Lineal Mu´ltiple ... Elegir

76 Tema 3. Modelo de Regresion Lineal Multiple