Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas...
Transcript of Modelo de Regresio´n Lineal Mu´ltiple · controlar por otras variables y qu´e problemas...
Tema 3
Modelo de Regresion Lineal Multiple
Contenido
3.1. Introduccion. Un ejemplo . . . . . . . . . . . . . . . . . . . . . . 52
3.2. Estimacion de Mınimos Cuadrados Ordinarios utilizando Gretl . 54
3.3. Analisis de los resultados mostrados . . . . . . . . . . . . . . . . 55
3.3.1. Coeficientes estimados . . . . . . . . . . . . . . . . . . . . . . 58
3.3.2. Desviaciones tıpicas e intervalos de confianza . . . . . . . . . . 61
3.3.3. Significatividad individual y conjunta . . . . . . . . . . . . . . . 64
Contrastes de significatividad individual . . . . . . . . . . . . . 64
Contraste de significacion conjunta . . . . . . . . . . . . . . . . 66
3.4. Bondad de ajuste y seleccion de modelos . . . . . . . . . . . . . 69
52 Tema 3. Modelo de Regresion Lineal Multiple
3.1. Introduccion. Un ejemplo
En este tema consideramos introducir en el modelo de regresion, ademas del termino cons-
tante, mas de una variable explicativa por lo que pasamos del llamado modelo de regresion
lineal simple al modelo de regresion lineal multiple.
Comenzamos con el ejemplo que se ha seguido en el tema sobre el Modelo de Regresion
Lineal Simple. El precio de una casa, en miles de dolares, (P) era la variable dependiente
y las variables explicativas eran el termino constante y el tamano de la casa o el numero
de pies cuadrados del area habitable (F2). Ampliaremos el modelo incluyendo dos variables
explicativas mas, el numero de habitaciones (BEDRMS) y el numero de banos (BATHS)
siendo el modelo de regresion lineal multiple1
Pi = β1 + β2 F2i + β3 BEDRMSi + β4 BATHSi + ui i = 1, 2, . . . , N (3.1)
El modelo de regresion lineal general (MRLG), con K variables explicativas
Yi = β1 + β2X2i + . . . + βKXKi + ui i = 1, 2, . . . , N. (3.2)
se puede escribir en notacion matricial:
Y(N×1)
= X(N×K)
β(K×1)
+ u(N×1)
donde cada uno de los elementos se definen:
Y =
Y1
Y2...
YN
X =
1 X11 X21 · · · XK1
1 X12 X22 · · · XK2...
......
. . ....
1 X1N X2N · · · XKN
β =
β1
β2...
βK
u =
u1
u2...
uN
Por el momento, seguimos suponiendo las mismas hipotesis basicas sobre el termino de per-
turbacion y sobre las variables explicativas o regresores, a saber:
i) E(ui) = 0 ∀ i, E(u2i ) = σ2 ∀ i, E(uiuj) = 0 ∀i 6= j.
ii) La perturbacion sigue una distribucion normal.
iii) Las variables X2 a Xk no son estocasticas. Esto quiere decir que en muestras repetidas
de N observaciones de Yi, X2i, . . . , Xki, las variables X2i, . . . , Xki, i = 1, . . . , N tomarıan
siempre los mismos valores. Este supuesto, junto a E(ui) = 0, implica que los regresores
y el termino de perturbacion estan incorrelacionados.
iv) Los regresores son linealmente independientes, esto quiere decir que el rango de la
matriz de datos de los regresores X es K tal que no tiene columnas repetidas ni unas
son combinaciones lineales de otras.
v) Ademas se supone que se dispone de un numero suficiente de observaciones para estimar
los parametros βj , j = 1, . . . , K, esto es K < N .
1Dado que seguimos con los mismos datos de seccion cruzada utilizamos el subındice i = 1, . . . , N . Lanotacion para datos de series temporales suele ser t = 1, . . . , T .
Analisis de regresion con Gretl 53
Interpretacion de cada uno de los coeficientes de regresion:
• Los parametros βj , j = 2, . . . , K:
Manteniendo constante el valor del resto de variables explicativas, si Xji
cambia en una unidad, Yi se espera que cambie en media βj unidades.
• El parametro β1 que acompana al termino constante recoge el valor esperado de la
variable dependiente cuando el resto de variables explicativas o regresores incluidos
toman el valor cero.
Siguiendo con el ejemplo, el modelo (3.1) se puede escribir en notacion matricial:
Y(N×1)
= X(N×4)
β(4×1)
+ u(N×1)
donde cada uno de los elementos se definen:
Y =
P1
P2...
PN
X =
1 F21 BEDRMS1 BATHS1
1 F22 BEDRMS2 BATHS2...
......
...1 F2N BEDRMSN BATHSN
β =
β1
β2
β3
β4
u =
u1
u2...
uN
Interpretacion de los coeficientes:
• El coeficiente β1 es el valor medio esperado de aquellas viviendas que no tienen ningun
pie cuadrado de area habitable, ni habitaciones ni banos.
• El coeficiente β2:
Considerando dos casas con el mismo numero de habitaciones y de banos, para aquella
casa que tenga un pie cuadrado mas de area habitable se espera que cambie en media
su precio de venta en β2 miles de dolares.
• El coeficiente β3:
Considerando dos casas con el mismo numero de pies cuadrados de area habitable y
numero de banos, para aquella casa que tenga una habitacion mas se espera que cambie
en media su precio de venta en β3 miles de dolares.
• El coeficiente β4:
Considerando dos casas con el mismo numero de pies cuadrados de area habitable y
numero de habitaciones, para aquella casa que tenga un bano mas se espera que cambie
en media su precio de venta en β4 miles de dolares.
El analisis de regresion multiple nos permite examinar el efecto marginal de una variable
explicativa en particular, una vez hemos controlado por otras caracterısticas recogidas en
el resto de variables explicativas que mantenemos constantes. Por eso a veces al resto de
regresores se les llama variables de control. Veremos mas adelante cuando es importante
controlar por otras variables y que problemas tendremos si las omitimos.
54 Tema 3. Modelo de Regresion Lineal Multiple
3.2. Estimacion de Mınimos Cuadrados Ordinarios utilizando Gretl
Se dispone de una base de datos sobre el precio de venta de una vivienda y distintas carac-
terısticas de 14 viviendas vendidas en la comunidad universitaria de San Diego en 1990. Son
datos de seccion cruzada y las variables que se consideran son:
P: Precio de venta en miles de dolares (Rango 199.9 - 505)
F2: Pies cuadrados de area habitable (Rango 1065 - 3000)
BEDRMS: Numero de habitaciones (Rango 3 - 4)
BATHS: Numero de banos (Rango 1,75 - 3)
Los datos para P y F2 son los mismos que los utilizados en el ejemplo del Tema 2 sobre el
modelo de regresion lineal simple. Ademas tenemos informacion sobre dos nuevas variables
que vamos a considerar incluir como explicativas en el modelo para el precio de la vivienda.
Comenzamos una sesion en Gretl para estimar este modelo con la muestra de 14 viviendas:
Pi = β1 + β2F2i + β3BEDRMSi + β4BATHSi + ui i = 1, . . . , 14
En la parte de arriba de la ventana principal de Gretl tenemos distintas opciones. Si posicio-
namos el cursor podemos ir eligiendo dentro de ellas.
1. Leemos los datos que estan disponibles en Gretl como archivo de muestra:
Archivo → Abrir datos → Archivo de muestra
Elegir de Ramanathan el fichero data4-1 proporcionados en el cuarto capıtulo del libro
de Ramanathan (2002). Abrir.
2. Podemos ver los datos de todas las variables. Las dos primeras columnas coinciden con
los datos utilizados en el Tema 2.
P F2 BEDRMS BATHS
199.9 1065 3 1.75
228.0 1254 3 2.00
235.0 1300 3 2.00
285.0 1577 4 2.50
239.0 1600 3 2.00
293.0 1750 4 2.00
285.0 1800 4 2.75
365.0 1870 4 2.00
295.0 1935 4 2.50
290.0 1948 4 2.00
385.0 2254 4 3.00
505.0 2600 3 2.50
425.0 2800 4 3.00
415.0 3000 4 3.00
Tabla 3.1: Modelo (3.1). Datos de caracterısticas de viviendas
Analisis de regresion con Gretl 55
3. Estimacion por Mınimos Cuadrados Ordinarios (MCO).
Modelo → Mınimos Cuadrados Ordinarios
Se abre una nueva ventana. Utilizando el cursor, seleccionar de la lista de variables de
la izquierda:
• La variable dependiente (P) y pulsar elegir.
• Las variables independientes o regresores de esta especificacion y pulsar anadir
cada vez. La variable Const es el termino constante o variable que toma siempre
valor uno. Por defecto ya esta incluida pero si no se quisiera poner se podrıa excluir.
Simplemente habrıa que seleccionarla con el cursor y dar a Quitar.
Pinchar en Aceptar.
Aparece una nueva ventana con los resultados de la estimacion2. Iremos comentando los
resultados mostrados. Situando el cursor en la parte de arriba de esta ventana podremos
ver que hay distintos menus cuyas funciones estaran asociadas a esta regresion.
4. Hay varios formatos para guardar los resultados, como por ejemplo un formato compa-
tible con Microsoft Word mediante:
Editar → Copiar → RTF(Ms Word)
Abrir un documento con Microsoft Word. Elegir Edicion → Pegar. Se pegaran todos
los resultados de la ventana anterior. Guardar el documento y minimizar si se quiere
volver a utilizar mas tarde para pegar y guardar otros resultados.
3.3. Analisis de los resultados mostrados
En esta seccion vamos a ir comentando los resultados que nos muestra el programa cuando
utilizamos la opcion de estimacion por Mınimos Cuadrados Ordinarios. Algunos de estos
resultados ya han sido comentados en el Tema 2 sobre el modelo de regresion lineal simple,
pero nos servira tambien de repaso. Una vez especificado el modelo, el programa Gretl muestra
en la ventana gretl:modelo1 la siguiente informacion sobre la estimacion MCO del modelo
con los datos del fichero elegido:
Modelo 1: estimaciones MCO utilizando las 14 observaciones 1–14
Variable dependiente: P
Variable Coeficiente Desv. tıpica Estadıstico t valor p
const 129,062 88,3033 1,4616 0,1746F2 0,154800 0,0319404 4,8465 0,0007BEDRMS −21,587 27,0293 −0,7987 0,4430BATHS −12,192 43,2500 −0,2819 0,7838
2Recordar que esta ventana puede ser minimizada para su posible utilizacion posterior o el modelo puedeguardarse en la sesion como icono. Si la cerramos tendrıamos que volver a hacer lo mismo para obtener denuevo esta ventana y poder elegir dentro de las opciones asociadas a esta regresion.
56 Tema 3. Modelo de Regresion Lineal Multiple
Media de la var. dependiente 317,493D.T. de la variable dependiente 88,4982Suma de cuadrados de los residuos 16700,1Desviacion tıpica de los residuos (σ) 40,8657R2 0,835976R2 corregido 0,786769F (3, 10) 16,9889valor p para F () 0,000298587Log-verosimilitud −69,453Criterio de informacion de Akaike 146,908Criterio de informacion Bayesiano de Schwarz 149,464Criterio de Hannan–Quinn 146,671
Algunos Graficos.
En la ventana de resultados de estimacion, Gretl nos ofrece la posibilidad de analizar el grafico
de residuos ası como el grafico de la variable observada y estimada tanto por observacion como
sobre las distintas variables que hay en la especificacion del modelo. Por ejemplo elegimos
Graficos → Grafico de residuos → Por numero de observacion
y obtenemos el grafico de los residuos del modelo estimado para el precio de la vivienda a lo
largo de las 14 observaciones de la muestra En el grafico 3.1 se observa que los residuos se
−60
−40
−20
0
20
40
60
80
2 4 6 8 10 12 14
resi
duo
Residuos de la regresión (= price observada − estimada)
Grafico 3.1: Grafico de residuos por numero de observacion
disponen alrededor del valor cero ya que esta es su media muestral. La dispersion de estos
residuos es mayor para las ultimas viviendas en la muestra. Si elegimos
Graficos → Grafico de residuos → Contra F2
obtenemos el grafico de los residuos sobre la variable F2. Este grafico muestra que la dispersion
de los residuos alrededor de su media muestral que es cero, aumenta a mayor valor de F2. Esto
sugiere que la hipotesis basica sobre la varianza de la perturbacion pueda no ser adecuada.
Analisis de regresion con Gretl 57
−60
−40
−20
0
20
40
60
80
1500 2000 2500 3000
resi
duo
F2
Residuos de la regresión (= price observada − estimada)
Grafico 3.2: Grafico de residuos contra la variable F2
Otro grafico que ilustra la bondad del ajuste de nuestro modelo relativamente a los datos
observados, es el grafico de la variable estimada y observada por numero de observacion. Para
obtener este grafico elegimos
Graficos → Grafico de variable estimada y observada → por numero de observacion
De esta forma obtenemos el siguiente grafico
300
400
500
600
700
800
900
1000
1100
2 4 6 8 10 12 14
pric
e
observación
price observada y estimada
estimadaobservada
Grafico 3.3: Grafico de la variable estimada y observada por numero de observacion
En este grafico se puede observar el valor estimado del precio de las viviendas en la muestra,
dados los valores observados de las variables explicativas y el modelo estimado, en relacion
al precio observado. El ajuste parece empeorar para las ultimas viviendas en la muestra. Si
hacemos el grafico de la variable estimada y observada contra la variable F2 que recoge el
tamano de las viviendas
Graficos → Grafico de variable estimada y observada → Contra F2
58 Tema 3. Modelo de Regresion Lineal Multiple
150
200
250
300
350
400
450
500
550
1500 2000 2500 3000
pric
e
F2
price con respecto a sqft, observada y estimada
estimadaobservada
Grafico 3.4: Grafico de la variable estimada y observada contra F2
En el grafico 3.4 se observa que el modelo se ajusta mejor a las observaciones asociadas a las
viviendas de menor tamano, ya que los valores estimados estan mas concentrados alrededor
de los observados para esas viviendas. El ajuste es peor para viviendas de mas de 2000 pies
cuadrados.
3.3.1. Coeficientes estimados
Las estimaciones obtenidas de los coeficientes que se muestran en la segunda columna estan
asociados a cada una de las variables explicativas que figuran al lado en la primera columna.
Dadas las realizaciones muestrales de la variable dependiente Yi ≡ Pi, y explicativas, X2i ≡F2i, X3i ≡ BEDRMSi, X4i ≡ BATHSi, las estimaciones se obtienen de minimizar la suma
de cuadrados de los residuos con respecto a los coeficientes desconocidos β1, β2, β3, β4. Estos
coeficientes estimados se han obtenido de utilizar el siguiente criterio de estimacion por el
metodo de Mınimos Cuadrados Ordinarios
mınβ1,β2,β3,β4
N∑
i=1
(Yi − β1 − β2X2i − β3X3i − β4X4i)2
Las condiciones de primer orden de este problema resultan en cuatro ecuaciones con cuatroincognitas.
∑Yi = Nβ1 + β2
∑X2i + β3
∑X3i + β4
∑X4i
∑YiX2i = β1
∑X2i + β2
∑X2
2i+ β3
∑X3iX2i + β4
∑X4iX2i
∑YiX3i = β1
∑X3i + β2
∑X2iX3i + β3
∑X2
3i+ β4
∑X4iX3i
∑YiX4i = β1
∑X4i + β2
∑X2iX4i + β3
∑X3iX4i + β4
∑X2
4i
Estas ecuaciones se conocen con el nombre de Ecuaciones Normales. Al igual que en el
modelo de regresion lineal simple, la primera ecuacion o primera condicion asociada al termi-
no constante implica que la suma de los residuos debe de ser cero. El resto de ecuaciones
Analisis de regresion con Gretl 59
implican que los residuos tienen que ser ortogonales a cada una de las variables explicati-
vas. En conjunto, estas condiciones implican que los residuos de la estimacion MCO estan
incorrelacionados con los regresores. En terminos matriciales se pueden escribir como:
X ′Y = (X ′X)β ⇔ X ′(Y − Xβ) = 0 ⇔ X ′u = 0
Si las cuatro ecuaciones son linealmente independientes, el rango de (X ′X) es igual a K = 4,
y por lo tanto existe una unica solucion a este sistema de ecuaciones. La solucion sera el
estimador MCO del vector de parametros β.
βMCO = (X ′X)−1X ′Y
Sustituyendo los valores muestrales del fichero data4-1 para Y y X darıan lugar a las esti-
maciones obtenidas de los coeficientes.
Para el modelo especificado en la ecuacion (3.1), la relacion estimada es
Pi = 129, 062 + 0, 1548 SQFTi − 21, 588 BEDRMSi − 12, 193 BATHSi (3.3)
Aunque hemos utilizado los mismos datos para P y F2 que en el Tema 2, el incluir las dos
nuevas variables explicativas en el modelo ha hecho que las estimaciones de los coeficientes
asociados al termino constante y a F2 hayan cambiado3.
Esto ocurre porque las nuevas variables BEDRMS y BATHS estan correlacionadas con la ya
incluida F2 y su media es distinta de cero4.
Si esto no ocurriera y∑
X3i =∑
X4i =∑
X2iX3i =∑
X2iX4i = 0, las ecuaciones normalesquedarıan de la siguiente forma
∑Yi = Nβ1 + β2
∑X2i ⇔ ∑
(Yi − β1 − β2X2i) = 0
∑YiX2i = β1
∑X2i + β2
∑X2
2i⇔ ∑
(Yi − β1 − β2X2i)X2i = 0
∑YiX3i = β3
∑X2
3i+ β4
∑X4iX3i
∑YiX4i = β3
∑X3iX4i + β4
∑X2
4i
3En el caso de considerar un MRLS solamente con F2 ademas de la constante se obtenıa
P = 52, 3509(37,285)
+ 0, 138750(0,018733)
F2
T = 14 R2 = 0, 8056 F (1, 12) = 54, 861 σ = 39, 023
(Desviaciones tıpicas entre parentesis)
4Usando las observaciones 1 - 14, la matriz de correlaciones entre BEDRMS, BATHS y F2 es
F2 BEDRMS BATHS1, 0000 0, 4647 0, 7873 F2
1, 0000 0, 5323 BEDRMS1, 0000 BATHS
y las medias muestrales de BEDRMS y BATHS son:
Variable Media
BEDRMS 3, 64286BATHS 2, 35714
60 Tema 3. Modelo de Regresion Lineal Multiple
Dadas esas condiciones, las dos ultimas ecuaciones no dependen de β1 ni de β2 y las dos
primeras ecuaciones normales coinciden con las que se obtenıan en el Tema 2 para el modelo
de regresion lineal simple. Por lo tanto, en ese caso se obtendrıa la misma solucion para β1
y β2 que en el MRLS inlcuyendo solamente el termino constante y F2 ≡ X2 y entonces las
mismas estimaciones de esos coeficientes. Por lo tanto, en general no da lo mismo incluir o no
otras variables en el modelo a la hora de estimar el efecto de una variable sobre la variable
dependiente.
Interpretacion de los coeficientes estimados.
El coeficiente estimado que acompana a la variable F2, variable que recoge el tamano total
de la vivienda, es positivo y parece ser el signo adecuado. Si consideramos dos viviendas con
el mismo numero de banos y habitaciones, parece razonable pensar que aquella con mayor
area habitable tenga un precio mayor. Esto indica que las habitaciones seran mas grandes.
Los signos de los coeficientes asociados a BEDRMS y BATHS son negativos. Podemos pensar
que si aumenta el numero de habitaciones o el numero de banos, esto indicarıa una vivenda
mas lujosa y por lo tanto deberıa de aumentar el valor de la vivienda. Pero hay que tener en
cuenta que a la hora de interpretar un coeficiente de regresion asociado a uno de los regresores
estamos manteniendo constante el resto de variables explicativas.
Si la misma superficie habitable se tiene que dividir para poder incluir una nueva habitacion,
el resultado sera que cada habitacion sera mas pequena. El signo del coeficiente estimado
indica que un comprador medio valora negativamente tener mas habitaciones a costa de un
menor tamano de estas. Lo mismo se puede interpretar en el caso del coeficiente que acompana
a BATHS.
Interpretacion de los coeficientes estimados:
• El coeficiente estimado β1 = 129, 062 indica el precio medio estimado en miles de
euros, de aquellas viviendas que no tienen ningun pie cuadrado de area habitable, ni
habitaciones ni banos.
• El coeficiente estimado β2 = 0, 154800:
Considerando dos casas con el mismo numero de habitaciones y de banos, para aquella
casa que tenga un pie cuadrado mas de area habitable se estima que en media su precio
de venta se incremente en 154.800 dolares.
• El coeficiente estimado β3 = −21, 5875:
Si aumenta el numero de habitaciones, manteniendo constante el tamano de la vivienda
y el numero de banos, el precio medio se estima disminuira en 21.588 dolares.
• El coeficiente β4 = −12, 1928:
Manteniendo el tamano de la vivienda y el numero de habitaciones constante, anadir
un bano completo mas significa tener habitaciones mas pequenas, por lo que el precio
medio se estima disminuira en 12.193 dolares.
Analisis de regresion con Gretl 61
¿Se mantendrıa el signo del coeficiente que acompana a BEDRMS si no incluimos
la variable F2 ni BATHS?
Pues seguramente no, porque en ese caso no estamos controlando por esa variable en la regre-
sion, y como hemos visto F2 y BEDRMS estan correlacionados. Por lo tanto mas habitaciones
implicarıa mayor superficie de piso, y por lo tanto mas precio en media. Lo mismo ocurrirıa si
solamente incluimos BATHS. Ahora bien, ¿que ocurrirıa si excluimos solamente F2 y dejamos
las otras dos variables explicativas? Veremos las implicaciones que tiene omitir o no controlar
por variables relevantes en un tema posterior.
Estimacion del incremento medio en el precio de la vivienda ante cambios en las
variables explicativas.
Utilizando los resultados (3.3) de la estimacion del modelo (3.1), si manteniendo el numero
de banos tenemos dos habitaciones mas y aumenta el area habitable en 500 pies cuadrados,
el cambio en el precio medio estimado de una vivienda sera de 34.224 dolares, esto es
△Pi = 0, 1548△F2i − 21, 588△BEDRMSi = (0, 1548 × 500) − (21, 588 × 2) = 34, 224
3.3.2. Desviaciones tıpicas e intervalos de confianza
Por el momento nos hemos centrado en la interpretacion de las estimaciones puntuales. Pero
tambien tenemos que tener en cuenta que estas estimaciones son realizaciones muestrales de
un estimador, que es una variable aleatoria. Por lo tanto, pueden estar sujetas a variacion
muestral ya que distintas muestras puedan dar lugar a distintas realizaciones muestrales. Estas
estimaciones de un mismo vector de parametros β estaran distribuidas con mayor o menor
variacion alrededor de su valor poblacional siguiendo cierta distribucion de probabilidad.
Bajo las hipotesis basicas que hemos enumerado al principio de este tema, el valor poblacional
del vector de parametros β es la media de la distribucion ya que βMCO es un estimador
insesgado. Su distribucion es una Normal y la matriz de varianzas y covarianzas viene dada
por la expresion V (βMCO) = σ2(X ′X)−1. Esto se suele denotar como
βMCO ∼ N(β, σ2(X ′X)−1) (3.4)
La varianza de las perturbaciones, σ2, es un parametro desconocido. Un estimador insesgado
de la misma bajo las hipotesis basicas es
σ2 =u
′
u
N − K
donde u = Y − XβMCO es el vector de residuos. El programa, en la ventana gretl:modelo1
muestra las realizaciones muestrales de la suma de cuadrados de los residuos (SCR), u′u =
16700, 1 y de la desviacion tıpica de los residuos√
σ2 = 40, 8657.
Un estimador insesgado, bajo las hipotesis basicas, de la matriz de varianzas y covarianzas
de βMCO es
V (βMCO) = σ2(X ′X)−1
En la ventana de resultados de la estimacion del modelo por MCO, gretl:modelo1, podemos
obtener la realizacion muestral de este estimador V (βMCO) = σ2(X ′X)−1 eligiendo:
Analisis → Matriz de covarianzas de los coeficientes
62 Tema 3. Modelo de Regresion Lineal Multiple
Se abre una nueva ventana, gretl:covarianzas de los coeficientes, donde se muestra la
estimacion de las varianzas (elementos de la diagonal principal) y covarianzas (elementos
fuera de la diagonal principal) de los coeficientes de regresion β, como se muestra en la
Tabla 3.2. Dado que es una matriz simetrica, solamente aparecen los valores por encima de la
diagonal principal. La raız cuadrada de los elementos de la diagonal principal son los mismos
Matriz de covarianzas de los coeficientesconst F2 BEDRMS BATHS
7797, 47 0, 670891 −1677, 1 −1209, 3 const0, 00102019 −0, 0754606 −0, 995066 F2
730, 585 −356, 40 BEDRMS1870, 56 BATHS
Tabla 3.2: Modelo (3.1). Estimacion de la matriz de covarianzas de β
valores que los mostrados en la tercera columna de la ventana gretl:modelo1. Por ejemplo,
la varianza estimada del coeficiente β2 asociado a F2 es var(β2) = 0, 00102019 y su raız
cuadrada es su desviacion tıpica estimada des(β2) = 0, 0319404.
Tambien podemos obtener estimaciones de las covarianzas entre los coeficientes estimados.
Por ejemplo, la covarianza estimada entre los coeficientes β2 asociado a F2 y β4 asociado a
BATHS es igual a ˆcov(β2, β4) = −0, 995066.
Intervalos de confianza:
Seguidamente vamos a ver como podemos obtener intervalos de confianza para cada coefi-
ciente individual. ¿Que nos indican estos intervalos? ¿Cual es su utilidad?
Bajo las hipotesis basicas, se puede demostrar que la variable aleatoria
βj − βj
des(βj)∼ t(N − K) (3.5)
donde des(βj) es la desviacion tıpica estimada del estimador βj y t(N − K) denota la dis-
tribucion t de Student de (N − K) grados de libertad. Esto es valido para cualquiera de los
coeficientes βj , j = 1, . . . , K.
Denotamos por c = t(N−K)α/2 la ordenada de la distribucion t de Student con N −K grados
de libertad, tal que deja a la derecha una probabilidad de α/2, esto es P (t > c) = α/2. Esto
implica que:
Pr
(−c ≤ βj − βj
des(βj)≤ c
)= Prob
(βj − c des(βj) ≤ βj ≤ βj + c des(βj)
)= 1 − α (3.6)
Por lo tanto, un intervalo de confianza del (1 − α) por ciento para un coeficiente cualquiera
βj viene dado por
IC(βj)1−α =[βj ± c des(βj)
]
El calculo de los intervalos de confianza para los coeficientes de regresion del modelo se conoce
con el nombre de estimacion por intervalo. Un intervalo de confianza nos dice que, con
Analisis de regresion con Gretl 63
probabilidad (1−α) se estima que el parametro βj estara dentro de ese rango de valores. Este
intervalo puede ser demasiado amplio, y esto dependera de la precision con la que estimemos
los parametros recogido en des(βj). Es importante tener en cuenta que la validez de estos
intervalos de confianza depende de que se satisfagan las hipotesis basicas.
Siguiendo con el ejemplo del modelo (3.1) para el precio de la vivienda, Gretl nos permite
obtener directamente los intervalos de confianza del 95 por ciento para los coeficientes. El
resultado mostrado en la Tabla 3.3 se obtiene eligiendo en la ventana gretl:modelo1
Analisis → Intervalos de confianza para los coeficientes
Variable Coeficiente Intervalo de confianza 95 %bajo alto
const 129,062 −67,690 325,814F2 0,154800 0,0836321 0,225968
BEDRMS −21,587 −81,812 38,6376BATHS −12,192 −108,56 84,1742
Tabla 3.3: Modelo (3.1): Estimacion por intervalo de los coeficientes.
A su vez, utilizando los resultados mostrados en la ventana gretl:modelo1
Modelo 1: estimaciones MCO utilizando las 14 observaciones 1–14
Variable dependiente: P
Variable Coeficiente Desv. tıpica Estadıstico t valor p
const 129,062 88,3033 1,4616 0,1746F2 0,154800 0,0319404 4,8465 0,0007∗∗∗
BEDRMS −21,587 27,0293 −0,7987 0,4430BATHS −12,192 43,2500 −0,2819 0,7838
podemos obtener intervalos de confianza para cada uno de los coeficientes, dado un nivel de
confianza (1−α), por ejemplo del 95 por ciento5. Los intervalos de confianza obtenidos son:
β1: 129, 0620 ± (2, 228 × 88, 3033)β2: 0, 1548 ± (2, 228 × 0, 0319404)β3: −21, 5875 ± (2, 228 × 27, 0293)β4: −12, 1928 ± (2, 228 × 43, 2500)
El intervalo de confianza ademas se puede utilizar para contrastar la hipotesis de que el
parametro βj tome determinado valor. Si el valor del parametro bajo la hipotesis nula
5Al 95 por ciento de confianza, (α/2 = 0, 025), el valor en las tablas de la distribucion t de Student con 10grados de libertad es c = t(10)0,025 = 2, 228. Recordar que Gretl permite acceder a algunos valores tabuladosde distintas distribuciones, Normal, t-Student, Chi-cuadrado, F de Snedecor. En la ventana principal gretl
en Herramientas → Tablas estadısticas. En el caso de la t de Student hay que introducir los grados de libertad(gl). Los valores mostrados corresponden a los valores de α/2 de 0,10-0,05-0,025-0,01-0,001.
64 Tema 3. Modelo de Regresion Lineal Multiple
esta dentro del intervalo de confianza, no podemos rechazar esa hipotesis al nivel de sig-
nificacion α. Dada la muestra y nuestra especificacion del modelo, no podemos rechazar con
una confianza del 95 por ciento, excepto para el parametro asociado a F2, que el coeficiente
asociado a cada una de estas variables sea igual a cero ya que este valor esta dentro del
intervalo de confianza. ¿Quiere decir entonces que el valor poblacional de cada uno de esos
parametros es cero? La respuesta es NO, ya que por esa misma regla de tres el parametro βj
deberıa de tomar cada uno de los valores en el intervalo.
3.3.3. Significatividad individual y conjunta
Contrastes de significatividad individual
Uno de los principales objetivos de un primer analisis de regresion es la de contrastar si
son o no estadısticamente relevantes los factores que hemos considerado como explicativos
de la variable dependiente en cuestion, dada la especificacion de nuestro modelo. Podemos
considerar individualmente cada regresor y contrastar:
H0 : βj = 0Ha : βj 6= 0
donde la hipotesis nula implica que, dada la especificacion del modelo una vez se ha controlado
por el resto de factores incluidos como variables explicativas, el efecto marginal de la variable
Xj sobre el valor medio de la variable dependiente es cero.
Dado que en la hipotesis alternativa se contempla la posibilidad de que el coeficiente, de ser
distinto de cero, pueda ser indistintamente negativo o positivo, el contraste es a dos colas.
Normalmente en estos contrastes, conocidos con el nombre de contrastes de significatividad
individual, se considera esta alternativa.
El estadıstico de contraste y su distribucion bajo la hipotesis nula es:
tj =βj
des(βj)
H0∼ t(N − K) (3.7)
Una vez obtenido el valor muestral del estadıstico, tmj , ¿como decidimos si rechazar o no la
hipotesis nula?
• Se elige un nivel de significacion α que indicarıa nuestra eleccion de la probabilidad
de error de tipo I (rechazar la hipotesis nula cuando esta fuera cierta) o tamano del
contraste. Obtenemos el valor crıtico o umbral c = t(N−K)α/2 tal que Pr(tj > c) = α/2.
• Rechazamos la hipotesis nula a un nivel de significacion α, si en valor absoluto la
realizacion muestral del estadıstico es mayor que el valor crıtico |tmj | > c. No rechazamos
la hipotesis nula en caso contrario.
Si no se rechaza la hipotesis nula, en el lenguaje econometrico se dice que la variable que
acompana al coeficiente en cuestion no es significativa o que el coeficiente no es significati-
vamente distinto de cero al α por ciento de significacion. Si por el contrario se rechaza la
hipotesis nula, se dice que la variable es significativa o que el coeficiente es significativamente
distinto de cero.
Analisis de regresion con Gretl 65
Otra forma de llevar a cabo el contraste es utilizar el valor-p. Este valor es una probabilidad
e indica cual serıa el menor nivel de significacion que se tendrıa que elegir para rechazar la
hipotesis nula, dada la realizacion muestral del estadıstico. Si el contraste es a dos colas, el
valor-p es dos veces el area a la derecha de la realizacion muestral del estadıstico en valor
absoluto, en la distribucion de este bajo la hipotesis nula, esto es
valor-p = 2 Pr(tj > tmj |H0)
Si el contraste es a una cola, el valor-p serıa el area a la derecha de la realizacion muestral
del estadıstico en valor absoluto, en la distribucion de este bajo la hipotesis nula, esto es
Pr(tj > tmj |H0). A mayor valor-p, mayor serıa la probabilidad de error de tipo I si elegimos
rechazar la hipotesis nula. Luego a mayor valor-p menor evidencia contra la hipotesis nula y
por el contrario a menor valor-p mayor evidencia contra la hipotesis nula.
¿Cual sera la regla de decision del contraste mirando al valor-p?
Rechazar la hipotesis nula si el valor-p es menor que el nivel de significacion elegido y no
rechazarla en caso contrario.
Esta es exactamente la misma regla de decision que antes. Elegido un nivel de significacion,
si el valor muestral es mayor en valor absoluto que el valor crıtico c, querra decir que dos
veces la probabilidad que deja a la derecha el valor muestral es mas pequeno que ese nivel de
significacion.
Siguiendo con nuestro ejemplo, vamos a comentar que nos indican la cuarta y quinta colum-
na que aparecıan en la ventana de resultados de la estimacion por MCO del modelo (3.1)
gretl:modelo1.
Modelo 1: estimaciones MCO utilizando las 14 observaciones 1–14
Variable dependiente: P
Variable Coeficiente Desv. tıpica Estadıstico t valor p
const 129,062 88,3033 1,4616 0,1746F2 0,154800 0,0319404 4,8465 0,0007∗∗∗
BEDRMS −21,587 27,0293 −0,7987 0,4430BATHS −12,192 43,2500 −0,2819 0,7838
Los valores obtenidos en la cuarta columna se obtienen de dividir los correspondientes valores
de la segunda y tercera columnas esto es, la estimacion del coeficiente dividida por su des-
viacion tıpica estimada. Esta serıa la realizacion muestral del estadıstico tj bajo la hipotesis
nula de que el valor poblacional del parametro βj asociado a esa variable es igual a cero.
La quinta columna es el valor-p asociado a cada coeficiente, siendo el contraste de significa-
tividad individual a dos colas. Habitualmente se eligen como niveles de significacion el 1 %,
5 % y 10 % siendo el 5 % el mas utilizado. Gretl indica con uno, dos o tres asteriscos cuando
se rechaza la hipotesis nula al 10 %, al 5 %, o al 1 % respectivamente.
En este caso solamente es significativa la variable F2 al 1 % y se indica con tres asteriscos. El
valor-p asociado a esta variable es mas pequeno que 0,01 y por lo tanto que 0,05 y que 0,1.
Para el resto de coeficientes no se rechazarıa la hipotesis nula. Los coeficientes asociados
al termino constante, BEDRMS y BATHS no serıan significativamente distintos de cero ni
66 Tema 3. Modelo de Regresion Lineal Multiple
siquiera al 10 %. El valor-p asociado es mayor que 0,1. Estos valores oscilan entre 0,175 y
0,784 por lo que, si rechazasemos la hipotesis nula de que cada uno de estos coeficientes es
cero, habrıa desde un 17,5 a un 78,4 por ciento de probabilidad de cometer el error de rechazar
esa hipotesis siendo cierta.
Si miramos a los valores crıticos en cada uno de estos niveles de significacion tenemos que:
α = 0, 01 t(10)0,005 = 3, 169
α = 0, 05 t(10)0,025 = 2, 228
α = 0, 1 t(10)0,05 = 1, 812
Excepto en el caso de la variable F2, el valor muestral de los estadısticos tj en valor absoluto
es mas pequeno que cualquiera de estos valores crıticos. Por lo tanto solamente se rechaza la
hipotesis nula de que el coeficiente asociado a la variable SQFT sea igual a cero. Esto parece
indicar que dado que el numero de habitaciones y de banos esta ya recogido en el tamano
de la vivienda, una vez incluimos esta variable el tener mas o menos habitaciones o banos
no tiene un efecto marginal significativo en el precio medio de esta. Lo normal es tener una
vivienda con un numero de habitaciones y banos proporcional a su tamano.
Esto mismo concluimos mirando a los intervalos de confianza, aunque en ese caso el nivel de
significacion elegido solo fue del 5 por ciento.
Contraste de significacion conjunta
Otro estadıstico que se muestra en la ventana de resultados de la estimacion es el valor del
estadıstico F (3, 10) = 16,9889 con valor-p = 0, 000299. ¿Como se calcula este estadıstico?
¿Que hipotesis nula se esta contrastando?
La hipotesis nula que se esta contrastando es que conjuntamente todos lo coeficientes, excepto
el asociado al termino constante, sean cero. En nuestro ejemplo en concreto
H0 : β2 = β3 = β4 = 0Ha : alguna de las igualdades no se cumple
Este estadıstico se puede considerar como un contraste general de bondad de ajuste del
modelo. Si la hipotesis nula no se rechaza podemos concluir que ninguna de las variables en
conjunto puede explicar la variacion en el precio de la vivienda. Esto significa que es un
modelo muy pobre y que debiera de ser reformulado.
Estamos excluyendo de la hipotesis nula el parametro que acompana al termino constante.
El modelo bajo la hipotesis nula, al que llamaremos Modelo Restringido es:
Modelo Restringido Pi = β1 + ui i = 1, 2, . . . , N (3.8)
Este modelo incluye solamente un termino constante como regresor y le compararemos con el
Modelo No Restringido (3.1). El estimador MCO del parametro β1 en el modelo restringido
es aquel que
minβ1
N∑
i=1
(Yi − β1)2
Analisis de regresion con Gretl 67
En este caso tenemos solamente un parametro a estimar por lo que solo hay una ecuacion
normal, ∑
i
Yi = Nβ1 (3.9)
cuya solucion es
β1,R =1
N
∑
i
Yi = Y
El coeficiente estimado que acompana al termino constante nos recoge simplemente la media
muestral de la variable dependiente. El residuo correspondiente al modelo restringido es
ui,R = Yi − β1,R = Yi − Y , por lo que la suma de cuadrados residual coincide con la suma
de cuadrados total o variacion total de la variable dependiente. Esto implica que la suma de
cuadrados explicada o variacion explicada con la estimacion de este modelo (3.8) es nula
SCRR =∑
i
u2i,R =
∑
i
(Yi − Y )2 = SCT ⇒ SCER = 0
Por ultimo, y teniendo en cuenta como se define el coeficiente de determinacion R2
R2 = 1 −∑
i u2i∑
i(Yi − Y )2
para este modelo el coeficiente de determinacion es igual a cero6. Dado que en el modelo
solamente incluimos un regresor que no varıa, este no puede explicar variacion o varianza
de la variable dependiente. Si estimamos con Gretl el modelo (3.8) obtenemos los siguientes
resultados:
Modelo 2: estimaciones MCO utilizando las 14 observaciones 1–14
Variable dependiente: P
Variable Coeficiente Desv. tıpica Estadıstico t valor p
const 317,493 23,6521 13,4234 0,0000
Media de la var. dependiente 317,493D.T. de la variable dependiente 88,4982Suma de cuadrados de los residuos 101815,Desviacion tıpica de los residuos (σ) 88,4982R2 0,000000R2 corregido 0,000000Grados de libertad 13Log-verosimilitud −82,108Criterio de informacion de Akaike 166,216Criterio de informacion Bayesiano de Schwarz 166,855Criterio de Hannan–Quinn 166,157
6Esto es ası dado que∑
iu2
i,R =∑
i(Yi − Y )2 ⇒ R2
R = 1 −
∑i u2
i,R∑i(Yi−Y )2
= 1 − 1 = 0.
68 Tema 3. Modelo de Regresion Lineal Multiple
Podemos comprobar que la estimacion del coeficiente que acompana al termino constante
coincide con la media muestral de la variable dependiente (P = 317, 493). La desviacion
tıpica de los residuos coincide con la desviacion tıpica de la variable dependiente, ya que la
suma de cuadrados residual coincide con la suma de cuadrados total, SCRR =∑
i u2i,R =∑
i(Yi − Y )2 = 101815, y tambien los grados de libertad de ambas, T −K = T − 1 = 13. Por
lo tanto, √∑i u
2i,R
13=
√∑i(Yi − Y )2
13= 88, 4982
Por ultimo, el coeficiente de determinacion R2 es igual a cero.
Un estadıstico general de contraste de restricciones lineales es aquel que compara las sumas
de cuadrados de residuos de la estimacion del modelo restringido y del modelo no restringido,
teniendo en cuenta los grados de libertad en la estimacion de cada modelo,(glR) y (glNR)
respectivamente7
F =(SCRR − SCRNR)/q
SCRNR/(N − K)
H0∼ F(q, N − K) (3.10)
donde q = (glR − glNR) es el numero de restricciones bajo la hipotesis nula y N −K = glNR.
Si dividimos numerador y denominador por la suma de cuadrados total SCT y utilizamos los
siguientes resultados:
a) 1 − R2 = SCRNR / SCT y en este caso 1 − R2R = 1 − 0 = 1.
b) glR − glNR = (N − 1) − (N − K) = K − 1 que es el numero de restricciones bajo la
hipotesis nula.
el estadıstico general (3.10) nos queda para este contraste en concreto igual a
F =R2/(K − 1)
(1 − R2)/(N − K)=
R2
(1 − R2)
(N − K)
(K − 1)
H0∼ F(K − 1, N − K) (3.11)
En nuestro ejemplo sobre el precio de la vivienda, K−1 = 3 que es el numero de restricciones
bajo la hipotesis nula y N −K = 14−4 = 10. Dado el resultado mostrado F (3, 10) = 16, 9889
(valor p = 0, 000299), si consideramos el valor-p se rechazarıa la hipotesis nula a cualquier
nivel de significacion razonable, en particular al α = 0, 05 ya que este valor es mayor que el
valor-p obtenido. Si utilizamos el valor crıtico F(3,10)0,05 = 3, 71 obtenemos el mismo resultado
ya que el valor muestral del estadıstico es mayor que el valor crıtico. Esto indica que al menos
uno de los coeficientes, aparte del asociado al termino constante, es distinto de cero.
Aunque hemos utilizado en esta seccion el coeficiente de determinacion en relacion al es-
tadıstico de significacion conjunta, en la siguiente seccion vamos a hablar de su utilizacion
junto con el coeficiente de determinacion corregido y otros estadısticos para la seleccion entre
distintos modelos.
7En temas posteriores veremos la utilizacion de este estadıstico para contrastar otro tipo de restriccioneslineales.
Analisis de regresion con Gretl 69
3.4. Bondad de ajuste y seleccion de modelos
En los temas anteriores se ha presentado el coeficiente de determinacion como una medida
de bondad de ajuste que es invariante a unidades de medida8. Este coeficiente se define como
la proporcion de variacion explicada por la regresion del total de variacion a explicar en la
muestra de la variable dependiente. Si hay termino constante en el modelo,
R2 =
∑i(Yi − Y )2∑i(Yi − Y )2
= 1 −∑
i u2i∑
i(Yi − Y )20 ≤ R2 ≤ 1
Este indicador tiene que ser considerado como uno mas a tener en cuenta a la hora de valorar
si un modelo es adecuado, pero no debemos darle mas importancia de la que tiene. Obtener
un valor del R2 cercano a 1 no indica que nuestros resultados puedan ser fiables. Por ejemplo,
podemos tener problemas de no satisfacerse alguna hipotesis basica y nuestra inferencia no
ser valida.
Por otro lado, obtener un valor mas o menos alto del coeficiente de determinacion puede
estar influido por el tipo de datos que estemos analizando. Normalmente con datos de series
temporales, donde las variables pueden presentar tendencias similares en el tiempo, es facil
obtener R2 altos, mientras que con datos de seccion cruzada eso no suele ocurrir ya que
normalmente las variables presentan mayor dispersion.
Por otro lado, si queremos utilizar el R2 para comparar distintos modelos, estos deben de
tener la misma variable dependiente ya que ası tendran igual suma de cuadrados total. Aun
ası, esta medida adolece del problema de aumentar su valor al anadir una nueva variable
explicativa, sea cual sea su aportacion al modelo. Ademas no tiene en cuenta que hay que
estimar un nuevo parametro con el mismo numero de observaciones.
Para tener en cuenta este problema se suele utilizar el R2 corregido por grados de libertad.
Esta medida tiene en cuenta los grados de libertad tanto de la suma de cuadrados residual,
(N − K), como de la suma de cuadrados total, (N − 1). Se define como
R2 = 1 −
∑u2
i /(N − K)∑
(Yi − Y )2/(N − 1)= 1 − N − 1
N − K(1 − R2) −∞ < R2 ≤ R2
El R2 puede disminuir si el incluir una nueva variable no compensa la perdida de grados de
libertad al tener que estimar un nuevo parametro9. El coeficiente de determinacion corregido
R2 no tomara valores mayores que el R2 pero sı puede tomar valores negativos. Esto ultimo
indicarıa que el modelo no describe adecuadamente el proceso que ha generado los datos.
Hasta el momento hemos ido comentado los resultados que normalmente se muestran en la
estimacion de un modelo. Una forma de presentarlos es la siguiente:
P(estad. t)
= 129, 062(1,462)
+ 0, 154800(4,847)
F2 − 21, 5875(−0,799)
BEDRMS − 12, 1928(−0,282)
BATHS
N = 14 R2 = 0, 8359 R2 = 0, 7868 F (3, 10) = 16, 989
8Esto no ocurre con otras medidas como puede ser la desviacion tıpica de los residuos, σ =√
SCR/N − K)ya que la suma de cuadrados de los residuos no es invariante a un cambio de escala en las variables.
9Se puede demostrar que si el valor absoluto del estadıstico t de significatividad individual asociado a unavariable es menor que la unidad, eliminar esta variable del modelo aumentara el R2 mientras que si es mayorque la unidad lo reducira.
70 Tema 3. Modelo de Regresion Lineal Multiple
Una alternativa a presentar los estadısticos t de significatividad individual, aunque suele ser
lo mas habitual, es mostrar las desviaciones tıpicas estimadas de los coeficientes o los valores
p correspondientes.
Otros criterios de seleccion de modelos que muestra Gretl son los criterios de informacion
de Akaike (AIC), Bayesiano de Schwarz (BIC) y de Hannan-Quinn (HQC). Estos criterios
se calculan en funcion de la suma de cuadrados residual y de algun factor que penalice por
la perdida de grados de libertad. Un modelo mas complejo, con mas variables explicativas,
reducira la suma de cuadrados residual pero aumentara el factor de penalizacion. Utilizando
estos criterios se escogerıa aquel modelo con un menor valor de AIC, BIC o HQC. Normal-
mente no suelen dar la misma eleccion, siendo el criterio AIC el que elige un modelo con
mayor numero de parametros.
Seleccion de un modelo para el precio de la vivienda.
Vamos a continuar con nuestro ejemplo sobre el precio de la vivienda y comparar distintas
especificaciones, para seleccionar una especificacion entre varias propuestas. Para ello, utiliza-
mos distintos indicadores que hemos visto hasta ahora, significatividad individual, conjunta,
coeficientes de determinacion y criterios de informacion. Podemos considerar que estos indi-
cadores nos ayudan a valorar la especificacion en terminos de la contribucion de las variables
explicativas incluidas en el modelo10.
Vamos a estimar las siguientes especificaciones o modelos alternativos para explicar el precio
de la vivienda:
Modelo 1 Pi = β1 + β2 F2i + ui
Modelo 2 Pi = β1 + β2 F2i + β3 BEDRMSi + ui
Modelo 3 Pi = β1 + β2F2i + β3BEDRMSi + β4BATHSi + ui
Modelo 4 Pi = β1 + β3 BEDRMSi + β4 BATHSi + ui
Estos cuatro modelos difieren en las variables explicativas incluidas. El Modelo 3 es el mas
general e incluye al resto de modelos. Esto quiere decir que cada uno de los restantes se
obtiene imponiendo una o mas restricciones sobre los coeficientes de este modelo. En este
caso son restricciones de exclusion, es decir que algun coeficiente o coeficientes son iguales a
cero. A este tipo de modelos se les llama modelos anidados. Los resultados de la estimacion
del Modelo 3 con Gretl son los siguientes:
Modelo 3: estimaciones MCO utilizando las 14 observaciones 1–14
Variable dependiente: P
Variable Coeficiente Desv. tıpica Estadıstico t valor p
const 129,062 88,3033 1,4616 0,1746F2 0,154800 0,0319404 4,8465 0,0007BEDRMS −21,587 27,0293 −0,7987 0,4430BATH −12,192 43,2500 −0,2819 0,7838
10Estos no son los unicos indicadores. Por ejemplo, analizar el grafico de residuos o utilizar diversos con-trastes de algunas de las hipotesis basicas son elementos importantes a la hora de evaluar los resultados de laespecificacion y estimacion de un modelo.
Analisis de regresion con Gretl 71
Media de la var. dependiente 317,493D.T. de la variable dependiente 88,4982Suma de cuadrados de los residuos 16700,1Desviacion tıpica de los residuos (σ) 40,8657R2 0,835976R2 corregido 0,786769F (3, 10) 16,9889valor p para F () 0,000298587Log-verosimilitud −69,453Criterio de informacion de Akaike 146,908Criterio de informacion Bayesiano de Schwarz 149,464Criterio de Hannan–Quinn 146,671
El Modelo 1 es el mas reducido y tambien esta incluido en los modelos 2 y 3, no ası en el
4. Estos son los resultados de su estimacion:
Modelo 1: estimaciones MCO utilizando las 14 observaciones 1–14
Variable dependiente: P
Variable Coeficiente Desv. tıpica Estadıstico t valor p
const 52,3509 37,2855 1,4041 0,1857F2 0,138750 0,0187329 7,4068 0,0000
Media de la var. dependiente 317,493D.T. de la variable dependiente 88,4982Suma de cuadrados de los residuos 18273,6Desviacion tıpica de los residuos (σ) 39,0230R2 0,820522R2 corregido 0,805565Grados de libertad 12Log-verosimilitud −70,084Criterio de informacion de Akaike 144,168Criterio de informacion Bayesiano de Schwarz 145,447Criterio de Hannan–Quinn 144,050
El Modelo 2 esta anidado en el 3. Los resultados de la estimacion de este modelo se muestran
a continuacion:
Modelo 2: estimaciones MCO utilizando las 14 observaciones 1–14
Variable dependiente: P
Variable Coeficiente Desv. tıpica Estadıstico t valor p
const 121,179 80,1778 1,5114 0,1589F2 0,148314 0,0212080 6,9933 0,0000BEDRMS −23,910 24,6419 −0,9703 0,3527
72 Tema 3. Modelo de Regresion Lineal Multiple
Media de la var. dependiente 317,493D.T. de la variable dependiente 88,4982Suma de cuadrados de los residuos 16832,8Desviacion tıpica de los residuos (σ) 39,1185R2 0,834673R2 corregido 0,804613F (2, 11) 27,7674valor p para F () 5,02220e-05Log-verosimilitud −69,509Criterio de informacion de Akaike 145,019Criterio de informacion Bayesiano de Schwarz 146,936Criterio de Hannan–Quinn 144,841
Finalmente el Modelo 4 solamente esta anidado en el modelo 3. Los resultados de la esti-
macion por MCO son:
Modelo 4: estimaciones MCO utilizando las 14 observaciones 1–14
Variable dependiente: P
Variable Coeficiente Desv. tıpica Estadıstico t valor p
const 27,2633 149,652 0,1822 0,8588BEDRMS −10,137 46,9811 −0,2158 0,8331BATHS 138,795 52,3450 2,6515 0,0225
Media de la var. dependiente 317,493D.T. de la variable dependiente 88,4982Suma de cuadrados de los residuos 55926,4Desviacion tıpica de los residuos (σ) 71,3037R2 0,450706R2 corregido 0,350834F (2, 11) 4,51285valor p para F () 0,0370619Log-verosimilitud −77,914Criterio de informacion de Akaike 161,829Criterio de informacion Bayesiano de Schwarz 163,746Criterio de Hannan–Quinn 161,651
Comparacion de los resultados para los modelos 1,2 y 3.
• Se observa que a medida que se introducen mas variables explicativas, la suma de
cuadrados residual va disminuyendo y el coeficiente de determinacion R2 aumenta.
• En terminos del coeficiente de determinacion R2, en el Modelo 1 el tamano de la
vivienda (F2) explica el 82, 1 % de la variacion en los precios de la vivienda, pasando a
ser de un 83, 6 % al incluir el numero de habitaciones (BEDRMS) y numero de banos
(BATHS).
Analisis de regresion con Gretl 73
• A medida que se incluyen mas variables explicativas, primero BEDRMS y luego BATHS,
el coeficiente de determinacion corregido R2 disminuye y la desviacion tıpica de los
residuos aumenta11. Esto indica que la ganancia en un mayor valor del R2 o menor
suma de cuadrados residual no se compensa en ningun caso por la perdida de grados
de libertad.
• En cuanto a la significatividad individual, en los tres modelos la unica variable significa-
tiva a los niveles de significacion habituales es F212. Ası, una vez hemos controlado por el
tamano de la vivienda, las variables BEDRMS y BATHS no afectan significativamente
el precio de la vivienda.
• El estadıstico F de significacion conjunta senala en los tres casos no aceptar la hipotesis
nula de que todos los coeficientes excepto el asociado al termino constante son igual a
cero. Al menos hay un coeficiente que es significativamente distinto de cero. Por lo ob-
tenido en los contrastes de significatividad individual, sabemos que este es el coeficiente
que acompana a F2.
Si nos fijamos, a medida que vamos del Modelo 1 al 3, el valor muestral del estadıstico
F disminuye. Esto es logico, ya que este estadıstico es funcion del R2 pero tambien
de los grados de libertad. Otra vez estarıa recogiendo que, a medida que aumenta el
numero de parametros a estimar K, las diferencias en R2 son demasiado pequenas para
compensar la disminucion en el ratio (N − K)/(K − 1). Ahora bien, en general, las
diferencias en el estadıstico F no son relevantes. Lo que es de interes es el resultado del
contraste.
• Si consideramos los criterios de informacion AIC, BIC y HQC, de los tres modelos el
elegido es el Modelo 1, reafirmando lo que indica el R2. La ganancia en un mejor
ajuste, o una menor suma de cuadrados residual, no es suficiente para compensar el
factor que penaliza en funcion de grados de libertad.
Dado que el tamano de la vivienda depende del numero de habitaciones y de banos, este
resultado parece indicar que una vez se controla por F2 indirectamente esta variable
incluye casi todo lo que pueden aportar BEDRMS y BATHS.
¿Que ocurre con el Modelo 4?
En este modelo no hemos incluido la variable F2, que en el analisis anterior era la variable que
mas explica el precio de la vivienda y hemos dejado las variables que no eran significativas
una vez que incluıamos esta variable. Podrıamos argumentar que de esta forma se podrıa
analizar el efecto de BEDRMS y BATHS, ya que F2 parecıa recoger la informacion relevante
de estas dos variables.
Si lo comparamos con el Modelo 3, que es en el que esta anidado el Modelo 4, se obtiene
menor valor de R2 y R2, mayor valor de AIC, BIC y HQC, mayor suma de cuadrados residual
y mayor desviacion tıpica de los residuos. Todos ellos senalan en la misma direccion siendo,
en terminos de estos criterios, peor modelo el 4. Vemos que el omitir F2 empeora mucho
11Notar que los estadısticos t asociados a cada coeficiente son menores que uno en valor absoluto.12Por ejemplo, con nivel de significacion del 5 por ciento los valores crıticos serıan para el modelo 1 t(12)0,025 =
2, 179, para el Modelo 2 t(11)0,025 = 2, 201 y para el Modelo 3 t(10)0,025 = 2, 228.
74 Tema 3. Modelo de Regresion Lineal Multiple
el ajuste sin compensar por la ganancia en grados de libertad. Ademas cambia sustancial-
mente la estimacion y la significatividad del coeficiente que acompana a BATHS, pasando
la estimacion de signo positivo a negativo y ser significativamente distinto de cero al 5 % de
significacion. ¿Que puede estar ocurriendo? ¿Seran esta estimacion y este contraste fiables si
hemos omitido una variable que parece ser relevante? ¿Se veran afectadas las propiedades del
estimador MCO por esta omision? Todo esto lo veremos en el tema de error de especificacion.
Analisis de regresion con Gretl 75
Bibliografıa
Ramanathan, R. (2002), Introductory Econometrics with Applications, 5a edn., South-Western.
76 Tema 3. Modelo de Regresion Lineal Multiple