EconometriaGRADO T2 Screen

97
Dpto. de Econom´ ıa Cuantitativa Universidad Complutense de Madrid ECONOMETR ´ IA Regresi´ on lineal Marcos Bujosa Trasparencias de clase para la asignatura econometr´ ıa de los grados en Econom´ ıa y Administraci´on y Direcci´on de Empresas de la Universidad Complutense de Madrid. 2010–2012 Marcos Bujosa [email protected] Actualizado el: 8 de marzo de 2012 Version 0.1.04

description

dgrado

Transcript of EconometriaGRADO T2 Screen

Dpto de Economıa CuantitativaUniversidad Complutense de Madrid

ECONOMETRIARegresion lineal

Marcos Bujosa

Trasparencias de clase para la asignatura econometrıa de los

grados en Economıa y Administracion y Direccion de Empresas

de la Universidad Complutense de Madrid

copy 2010ndash2012 Marcos Bujosa marcosbujosacceeucmes

Actualizado el 8 de marzo de 2012 Version 0104

Copyright copy 2010ndash2012 Marcos Bujosa marcosbujosacceeucmes

Este material docente se distribuye bajo la Creative Commons Attribution-Share Alike 30 Spain Para ver una copia de esta licencia visite httpcreativecommons

orglicensesby-sa30es

Tabla de Contenido

1 Regresion Lineal por Mınimos Cuadrados Ordinarios (MCO) 4

11 Introduccion 4

12 Algunos casos particulares 18

2 Propiedades algebraicas de la estimacion MCO 27

21 Propiedades basicas 27

22 Medidas de ajuste 32

Apendices 42

1 Derivacion tradicional de las Ecuaciones Normales 43

Bibliografıa 45

Transparencias 45

1 Regresion Lineal por Mınimos Cuadrados Ordinarios (MCO)

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

11 Introduccion

uArr Relacionar una variables con otras puede mejorar la comprension 1

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

vector de parametros a

β =

[β1β2

]

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ası

y= β1 middot 1 + β2 middot x

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Copyright copy 2010ndash2012 Marcos Bujosa marcosbujosacceeucmes

Este material docente se distribuye bajo la Creative Commons Attribution-Share Alike 30 Spain Para ver una copia de esta licencia visite httpcreativecommons

orglicensesby-sa30es

Tabla de Contenido

1 Regresion Lineal por Mınimos Cuadrados Ordinarios (MCO) 4

11 Introduccion 4

12 Algunos casos particulares 18

2 Propiedades algebraicas de la estimacion MCO 27

21 Propiedades basicas 27

22 Medidas de ajuste 32

Apendices 42

1 Derivacion tradicional de las Ecuaciones Normales 43

Bibliografıa 45

Transparencias 45

1 Regresion Lineal por Mınimos Cuadrados Ordinarios (MCO)

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

11 Introduccion

uArr Relacionar una variables con otras puede mejorar la comprension 1

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

vector de parametros a

β =

[β1β2

]

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ası

y= β1 middot 1 + β2 middot x

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Tabla de Contenido

1 Regresion Lineal por Mınimos Cuadrados Ordinarios (MCO) 4

11 Introduccion 4

12 Algunos casos particulares 18

2 Propiedades algebraicas de la estimacion MCO 27

21 Propiedades basicas 27

22 Medidas de ajuste 32

Apendices 42

1 Derivacion tradicional de las Ecuaciones Normales 43

Bibliografıa 45

Transparencias 45

1 Regresion Lineal por Mınimos Cuadrados Ordinarios (MCO)

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

11 Introduccion

uArr Relacionar una variables con otras puede mejorar la comprension 1

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

vector de parametros a

β =

[β1β2

]

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ası

y= β1 middot 1 + β2 middot x

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

1 Regresion Lineal por Mınimos Cuadrados Ordinarios (MCO)

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

11 Introduccion

uArr Relacionar una variables con otras puede mejorar la comprension 1

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

vector de parametros a

β =

[β1β2

]

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ası

y= β1 middot 1 + β2 middot x

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Relacionar una variables con otras puede mejorar la comprension 1

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

vector de parametros a

β =

[β1β2

]

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ası

y= β1 middot 1 + β2 middot x

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

vector de parametros a

β =

[β1β2

]

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ası

y= β1 middot 1 + β2 middot x

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

vector de parametros a

β =

[β1β2

]

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ası

y= β1 middot 1 + β2 middot x

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

vector de parametros a

β =

[β1β2

]

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ası

y= β1 middot 1 + β2 middot x

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

vector de parametros a

β =

[β1β2

]

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ası

y= β1 middot 1 + β2 middot x

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Ejemplo 1 [funcion de consumo] Supongamos que el consumo y la renta disponible

de las personas se relaciona del siguiente modo

CONn = β1 + β2RDn + Un

Si dispusieramos de datos sobre renta y consuno podrıamos ajustar el consumo

con como una funcion lineal de la renta disponible rd

con = β1 middot 1 + β2 middot rd =[1 rd

] [β1β2

]Aquı llamamos

regresando (o variable a explicar) al vector de datos de consumo con

regresores (o variables explicativas) al vector de unos (1) junto al vector de

datos de renta disponible (rd) [1 rd

]= X

vector de parametros a

β =

[β1β2

]

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ası

y= β1 middot 1 + β2 middot x

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ası

y= β1 middot 1 + β2 middot x

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ası

y= β1 middot 1 + β2 middot x

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Ejemplo 2 [precio de las viviendas]

EjPviviendainp Gretl

Suponga que dispone de los siguientes datos

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 1 Superficie (en pies al cuadrado) y precio de venta de los pisos (en miles de dolares) (Ramanathan

2002 pp 78)

Podemos suponer que el modelo que describe los precios es Yn = a+ bXn+Un donde Yn es el precio

del piso n-esimo Xn es su superficie y Un son otros factores que influyen en el precio del piso (situacion

estado de mantenimiento servicios etc)

Y podemos tratar de ajustar el precio como una funcion lineal de la superficie del piso

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

leemos el archivo de datos data3-1open data3-1 vamos a pintar el digrama de dispersion con GNUPLOTgnuplot price sqft --suppress-fitted --output=display Vamos a estimar el modelo ols price const sqft Los vamos a copiar en la variable phat1genr phat = $yhat vamos a copiar los residuos en la variable ehatgenr ehat = $uhat Vamos escribir las columnas de precios precios superficies precios estimados y erroresprint -o price sqft phat ehat Otra forma de obtener los valores ajustados es restar los errores de los preciosgenr phat2 = price - ehat Y otra forma mas con mayores errores de redondeogenr phat3 = 52351+(0139sqft) Vamos a ver como coinciden estas formas de calcularprint -o phat phat2 phat3 vamos a pintar la recta de regresion estimadagnuplot price sqft --output=display

Marcos Bujosa

Ası

y= β1 middot 1 + β2 middot x

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Ası

y= β1 middot 1 + β2 middot x

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Ası

y= β1 middot 1 + β2 middot x =

y1y2y3y4y5y6y7y8y9y10y11y12y13y14

= β1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

+ β2

1065

1254

1300

1577

1600

1750

1800

1870

1935

1948

2254

2600

2800

3000

=

1 1065

1 1254

1 1300

1 1577

1 1600

1 1750

1 1800

1 1870

1 1935

1 1948

1 2254

1 2600

1 2800

1 3000

[β1

β2

]= Xβ

de manera que por ejemplo precio ajustado a la superficie del septimo piso de la muestra sera

y7 = β1 + β2 middot x7 = β1 + β2 middot 1800

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Recta de regresion 2

ZCodigo EjPviviendainp Gretl

150

200

250

300

350

400

450

500

550

1500 2000 2500 3000

price versus sqftpric

e

sqft

Recta

deaj

uste

linea

l

y7

y12

e gt 0

y12

iquestComo calcular los parametos β1 y β2 de la recta y = β1 middot 1 + β2 middot x

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Modelos lineales en los parametros 3

El ajuste del regresando y es una combinacion lineal de los regresores por lo tanto y1

yn

= β1

1

1

+ β2

x12

xN2

+ β3

x13

xN3

+ middot middot middot+ βk

x1kxNk

o

y = β1 middot 1H2 + β2 middot xH2 + β3 middot xH3 + middot middot middot+ βk middot xHk

=[1xH2 xHk

= Xβ

donde β =

β1

βk

X =[1 xH2 xHk

] y y

[Ntimes1]

= X[Ntimesk]

β[ktimes1]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Termino de error 4

Los errores cometidos por el ajuste y para un hipotetico valor β y una muestra

concreta y y X son

e = y minus y = y minus Xβ

es decir el error cometido por el ajuste para el individuo n es

en = yn minus xnβ = yn minus yn

donde xn

=[1 xn2 middot middot middot xnk

]

Notese que descomponemos los datos en dos partes y = y + e

Consideremos la Suma de los Residuos al Cuadrado para todo n

SRC(β) equivNsum

n=1

e2n =

Nsumn=1

(yn minus yn

)2= (y minus Xβ)ᵀ(y minus Xβ) = eᵀe

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Ajuste lineal geometrıa 5

Tenemos una muestra de y y X es decir disponemos de

y =

y1y2

yN

X =

1 x11 x2

1 xN

y buscamos β =

(a

b

)tales que

y = Xβ + e

y donde queremos que e sea pequeno

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Ajuste lineal geometrıa 6

1

y

X H2

e

a1

y = Xβ

bX H2

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Ajuste lineal geometrıa MCO 7

a1

1

y

X H2

bX H2

e

y = Xβ

X =[1 xH2

] β =

[a

b

] y = y + e y = Xβ

e = y minus y

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Ajuste mınimo cuadratico Ecuaciones normales 8

La SRC(β) es mınima para valores β tales que los errores son ortogonales a los

regresores de la muestra X

e perp X rArr Xᵀe = 0

Ası

Xᵀe = 0 rArr Xᵀ(y minus Xβ

)= 0 rArr Xᵀy minus XᵀXβ = 0

es decir

XᵀX β=Xᵀy (11)

El calculo MCO de lo parametros es la solucion β a dichas ecuaciones

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Condicion para que las ecuaciones normales tengan solucion unica 9

Las ecuaciones normales

XᵀX β=Xᵀy

tienen solucion unica si y solo si XᵀX es de rango completo

Es decir podemos obtener unos valores para β solo si

rango

(X

[Ntimesk]

)= k

En tal caso

β=(XᵀX)-1Xᵀy (12)

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Ejemplo 3 [ecuacion de salarios] Supongamos el siguiente modelo no-lineal en los parametros

SALARn = eβ1+β2EDUCn+β3ANTIGn+β4EXPERn+Un

donde SALARn es el salario del individuo n-esimo EDUCn son sus anos de educacion ANTIGn sus

anos de antiguedad en la empresa y EXPERn sus anos de experiencia en el sector de la empresa y Unson otros factores distintos de los anteriores (Wooldridge 2006 ejemplo 32)

Al tomar logaritmos tenemos un nuevo modelo para ln(SALARn) que es lineal en los parametros

ln(SALARn) = β1 + β2EDUCn + β3ANTIGn + β4EXPERn + Un

En este ejemplo iquestque pasa si tenemos una muestra en la que ningun trabajador ha cambiado de

empresa pues ocurre que las columnas de la matriz de regresores X correspondientes a anos de experiencia

y anos de antiguedad son iguales y por tanto linealmente dependientes ası que XᵀX no es invertible

Como en ese caso anos de experiencia y anos de antiguedad coinciden no es posible discriminar el

efecto por separado de ambas variables solo podemos calcular su efecto conjunto

ln(SALARn) = β1 + β2EDUCn + (β3 + β4)EXPERn + Un

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

12 Algunos casos particulares

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Modelo 1 una constante como unico regresor 10

Veamos en que consiste el ajuste MCO cuando X = 1

β = (XᵀX)-1Xᵀy

se reduce a

β1 = (1ᵀ1)-11ᵀy

y calculando los productos escalares

1ᵀ1 = N 1ᵀy =sum

yn

tenemos que

β1 =

sumyn

N= y y = Xβ = y middot 1 equiv y (13)

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Modelo 2 Modelo Lineal Simple 11

Un regresor adicional a la constante

y =

y1y2

yN

X =

1 x11 x2

1 xN

β =

(a

b

)

Las ecuaciones normales son

XᵀXβ = Xᵀy

es decir

(1 1 1

x1 x2 xN

)1 x11 x2

1 xN

(a

b

)=

(1 1 1

x1 x2 xN

)y1y2

yN

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Modelo 2 Modelo Lineal Simple 12

a N + bsumxn =

sumyn

asumxn + b

sumx2n =

sumxnyn

(14)

dividiendo por N la primera igualdad despejando a y sustituyendo en la segunda y

operando

a + b x = y

b s2x = sxy(15)

es decir

b=sxy

s2x(16)

y

a =y- b x (17)

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal 13

Ası pues el modelo lineal simple

b =sxy

s2x=

sxy

s2xmiddotsy

sy=

sxy

sxsymiddotsy

sx= rxy middot

sy

sx

es decir

b = rxy middotsy

sx

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Ejemplo 4 [precio de las viviendas]

ZCodigo EjPviviendainp Gretl

n Precio Superficie

1 1999 1065

2 2280 1254

3 2350 1300

4 2850 1577

5 2390 1600

6 2930 1750

7 2850 1800

8 3650 1870

9 2950 1935

10 2900 1948

11 3850 2254

12 5050 2600

13 4250 2800

14 4150 3000

Cuadro 2 Superficie (pies al cuadrado) y precio de venta de los pisos (miles de dolares)

Tratemos de ajustar por MCO un modelo lineal simple a los precios

y = β1 middot 1 + β2 middot x =[1 x

] [β1β2

]= Xβ

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

a partir de (16) y (17) en la pagina˜21 tenemos

b =sxy

s2x= 013875 a = y minus xb = 523509

Es decir

price = 5235 + 0139 sqft

Por ejemplo con esta muestra de datos el precio de venta ajustado de un piso con una superficie de

1800 pies cuadrados sera de

y7 = 5235 + 0139 middot 1800 = 3021 miles de dolares

sin embargo y7 = 285 Esta discrepancia (el error e7 puede deberse a que dicho piso esta en una mala

situacion dispone de pocos servicios etc)

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

n Precio Superficie Precio ajustado Error

por el modelo lineal e

1 1999 1065 2001200 -022000

2 2280 1254 2263438 165619

3 2350 1300 2327263 227368

4 2850 1577 2711602 1383984

5 2390 1600 2743514 -3535142

6 2930 1750 2951640 -216397

7 2850 1800 3021015 -1710148

8 3650 1870 3118140 5318600

9 2950 1935 3208328 -2583278

10 2900 1948 3226365 -3263653

11 3850 2254 3650941 1990587

12 5050 2600 4131017 9189826

13 4250 2800 4408518 -1585180

14 4150 3000 4686019 -5360187

Cuadro 3 Superficie (en pies al cuadrado) precio de venta (en miles de dolares) precio estimado y errores

estimados

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Modelo simulado Pn = 100 + 3Sn minus 130Dn + Un

EjPviviendaSimuladoinp Gretl

ZCodigo EjPviviendaSimuladoinp Gretl

open datosEjPviviendaSimuladogdtsummary P S Dgnuplot D S --suppress-fitted --output=displaygnuplot P S --suppress-fitted --output=displaygnuplot P D --suppress-fitted --output=displayModelo1 lt- ols S 0 D regresion de la superficie sobre la distanciaModelo2 lt- ols P 0 S modelo incompleto (sin distancia)Modelo3 lt- ols P 0 D modelo incompleto (sin superficie)ModeloCompleto lt- ols P 0 S D estimamos los paramentros del modelo correctorho=corr(SD)

Marcos Bujosa

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

2 Propiedades algebraicas de la estimacion MCO

21 Propiedades basicas

Capıtulos 2 y 3 de Wooldridge (2006)

Apendice E1 de Wooldridge (2006)

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Mınimos cuadrados ordinarios Vectores ortogonales 14

La estimacion MCO de β T7 implica que

e perp X rArr Xᵀe =0

Y como y = Xβ

yᵀe = βᵀXᵀe = β

ᵀ0 = 0

Por tanto

Xᵀe =0 rArr yᵀe =0 (21)

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Mınimos cuadrados ordinarios Tordf de Pitagoras 15

yᵀy = yᵀy + eᵀe (Tordf Pitagoras T7 ) (22)

Ya que

yᵀy =(y + e)ᵀ(y + e) puesto que e = y minus y

=yᵀy + 2yᵀe + eᵀe desarrollando el producto

=yᵀy + eᵀe ya que de (21) yᵀe = 0

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Sumas de cuadrados 16

SRC equivNsum

n=1

en2 = eᵀe 6= Ns2e (por regla general)

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y

SEC equivNsum

n=1

(yn minus y)2 = yᵀy +Ny2 minus 2Nyy 6= Ns2y (por regla general)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Sumas de cuadrados Caso de modelos con cte 17

y =y + e (siempre)

se y =0 (siempre)

s2y =s2y + s2e minus 2 middot se y = s2y + s2e (siempre)

Si ademas el modelo incluye un vector de constantes entonces

eᵀ1 = 0 rArr e = 0 y

SRC equivNsum

n=1

en2 = eᵀe minusNe

2= Ns2e

STC equivNsum

n=1

(yn minus y)2 = yᵀy minusNy2 = Ns2y (siempre)

Entonces SEC = Ns2y

y STC = SEC + SRC

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

22 Medidas de ajuste

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Medidas de ajuste Coeficiente de determinacion R2 18

R2 equiv 1minusSRC

STC R2 le 1 (no acotado inferiormente)

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

R2ModeloConySinConstanteinp Gretl

simulacion nulldata 1000 genr u=normal() genr x=5+2normal() genr y=120-x+u Estimacion sin cte ModeloSin lt- ols y x genr yhatSin = $yhat figuraSin lt- gnuplot yhatSin y x --output=display genr Coef_DetSin = 1 - $essvar(y)($T-1) Estimacion con cte ModeloCon lt- ols y const x genr yhatcon = $yhat figuraCon lt- gnuplot yhatcon y x --output=display genr Coef_DetCon = 1 - $essvar(y)($T-1)

Marcos Bujosa

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Coeficiente de determinacion cuando hay termino constante 19

R2 =SEC

STC 0 le R2 le 1 (acotado)

Como SEC = Nsyy y entonces

R2 =SEC

STC=

SEC2

STC times SEC=

(Nsyy

)2

Ns2y timesNs2y=N2

N2

syyradics2y times s2y

2

=(ryy

)2

donde ryy es la correlacion lineal simple entre y e y

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Otras medidas de ajuste 20

R2 corregido (mejor cuanto mas elevado)

R2 equiv 1minusSRCNminuskSTCNminus1

= 1minusN minus 1

N minus k(1minusR2) le 1

Criterios de informacion de Akaike y de Schwartz (mejor cuanto mas bajos)

AIC =N ln(2π) +N ln

(eᵀe

N

)+N + 2(k + 1)

SBC =N ln(2π) +N ln

(eᵀe

N

)+N + (k + 1) ln(N)

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Estimaciones MCO utilizando las 14 observaciones 1ndash14

Variable dependiente price

Variable Coeficiente Desv tıpica Estadıstico t valor p

const 523509 372855 14041 01857

sqft 0138750 00187329 74068 00000

Media de la var dependiente 317493

DT de la variable dependiente 884982

Suma de cuadrados de los residuos 182736

Desviacion tıpica de los residuos (σ) 390230

R2 0820522

R2 corregido 0805565

Grados de libertad 12

Criterio de informacion de Akaike 144168

Criterio de informacion Bayesiano de Schwarz 145447

Salida del programa ldquolibrerdquo Gretl (Gnu Regression Econometrics and Time-series Library) httpgretlsourceforgenetgretl_espanolhtml

ZCodigo EjPviviendainp Gretl

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Los coeficientes de determinacion nos dan informacion sobre el grado de ajuste del modelo pero iexclojo nos

pueden conducir a enganos No es recomendable darles demasiada importancia hay otras cuestiones sobre

el modelo de mayor relevancia a la hora de valorarlo

Ejemplo 5 [peso de ninos segun su edad]

PesoEdadinp Gretl

n Peso Kg Edad

1 39 7

2 40 7

3 42 8

4 49 10

5 51 10

6 54 11

7 56 12

8 58 14

Cuadro 4 Peso (en kilogramos) y edad (en anos)

open datosPesoEdadgdtgenr Edad2=Edad^2genr Edad3=Edad^3Modelo1 lt- ols Peso_Kg const EdadModelo2 lt- ols Peso_Kg const Edad Edad2Modelo3 lt- ols Peso_Kg const Edad Edad2 Edad3

Marcos Bujosa

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

(Modelo 1 Pn = β1 + β2EDADn + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 19 6910(6999)

+ 2 93003(10564)

Edad

T = 8 R2 = 0 9405 F (1 6) = 111 6 σ = 1 8161

(entre parentesis los estadısticos t)

grafico

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

(Modelo 2 Pn = β1 + β2EDADn + β3EDAD2n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = minus5 11497(minus0664)

+ 8 06835(5159)

Edadminus 0 252102(minus3305)

Edad2

T = 8 R2 = 0 9776 F (2 5) = 153 57 σ = 1 1148

(entre parentesis los estadısticos t)

grafico

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

(Modelo 3 Pn = β1 + β2EDADn + β3EDAD2n + β4EDAD3

n + Un)

E(P | e) = a + b middot e + c middot e2 + d middot e3estimada

observada35

40

45

50

55

60

65

6 7 8 9 10 11 12 13 14 15

Pes

oK

g

Edad

Peso con respecto a Edad (observado y estimado)

Peso Kg = 81 7714(1904)

minus 18 5964(minus1419)

Edad + 2 37778(1845)

Edad2minus 0 0836541(minus2043)

Edad3

T = 8 R2 = 0 9863 F (3 4) = 168 75 σ = 0 87188

(entre parentesis los estadısticos t)

grafico

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Regresograma y recta de regression 21

EstCondVentasinp Gretl

La media es un estimador insesgado de la esperanza

en el regresograma E(Yn | intervalo)

En el tema siguiente veremos bajo que condiciones la regresion es un estimador

insesgado de la esperanza condicional E(Yn | xn

)

include EstadCondinp cargamos la funcion EstadCondopen datosventastxt cargamos los datos de ventas calculamos los estadisticos de Ventas en intervalos de la variable Antig (intervalos de antiguedad de 10 meses)list EstCond = EstadCond(VentasAntig10)

Marcos Bujosa

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Apendices

1 Derivacion tradicional de las Ecuaciones Normales

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

uArr Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional) 22

SRC(β) = yᵀy minus 2βᵀXᵀy + β

ᵀXᵀXβ

Buscamos un vector βque minimice SRC

mınβ SRC(β)

partSRC(β)

partβ= 0 minus2Xᵀy + 2XᵀXβ = 0

con lo que obtenemos las ecuaciones normales

XᵀXβ = Xᵀy (11)

Estimacion MCO es la solucion a dichas ecuaciones

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

Bibliografıa

Ramanathan R (2002) Introductory Econometrics with applications

South-Western Mason Ohio quinta ed ISBN 0-03-034186-8 7

Wooldridge J M (2006) Introduccion a la econometrıa Un enfoque moderno

Thomson Learning Inc segunda ed 4 17 27

Transparencias

1 [T-1] Relacionar una variables con otras puede mejorar la comprension

2 [T-2] Recta de regresion

3 [T-3] Modelos lineales en los parametros

4 [T-4] Termino de error

5 [T-5] Ajuste lineal geometrıa

6 [T-6] Ajuste lineal geometrıa

7 [T-7] Ajuste lineal geometrıa MCO

8 [T-8] Ajuste mınimo cuadratico Ecuaciones normales

9 [T-9] Condicion para que las ecuaciones normales tengan solucion unica

10 [T-10] Modelo 1 una constante como unico regresor

11 [T-11] Modelo 2 Modelo Lineal Simple

12 [T-12] Modelo 2 Modelo Lineal Simple

13 [T-13] Relacion entre el estimador de la pendiente y el coeficiente de correlacion lineal

14 [T-14] Mınimos cuadrados ordinarios Vectores ortogonales

15 [T-15] Mınimos cuadrados ordinarios Tordf de Pitagoras

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

16 [T-16] Sumas de cuadrados

17 [T-17] Sumas de cuadrados Caso de modelos con cte

18 [T-18] Medidas de ajuste Coeficiente de determinacion R2

19 [T-19] Coeficiente de determinacion cuando hay termino constante

20 [T-20] Otras medidas de ajuste

21 [T-21] Regresograma y recta de regression

22 [T-22] Mınimos cuadrados ordinarios Ecuaciones normales (Tradicional)

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias

e=

My

=yperp X

y

y = Py = ysubX

C (X)

Figura 1 La regresion MCO es la proyeccion ortogonal del regresando y sobre el espacio vectorial C (X)

generado por los regresores (las columnas de X)

  • Tabla de Contenido
  • 1 Regresioacuten Lineal por Miacutenimos Cuadrados Ordinarios (MCO)
    • 11 Introduccioacuten
      • 1 [T-1] Relacionar una variables con otras puede mejorar la comprensioacuten
      • 2 [T-2] Recta de regresioacuten
      • 3 [T-3] Modelos lineales en los paraacutemetros
      • 4 [T-4] Teacutermino de error
      • 5 [T-5] Ajuste lineal geometriacutea
      • 6 [T-6] Ajuste lineal geometriacutea
      • 7 [T-7] Ajuste lineal geometriacutea MCO
      • 8 [T-8] Ajuste miacutenimo cuadraacutetico Ecuaciones normales
      • 9 [T-9] Condicioacuten para que las ecuaciones normales tengan solucioacuten uacutenica
        • 12 Algunos casos particulares
          • 10 [T-10] Modelo 1 una constante como uacutenico regresor
          • 11 [T-11] Modelo 2 Modelo Lineal Simple
          • 12 [T-12] Modelo 2 Modelo Lineal Simple
          • 13 [T-13] Relacioacuten entre el estimador de la pendiente y el coeficiente de correlacioacuten lineal
          • 2 Propiedades algebraicas de la estimacioacuten MCO
            • 21 Propiedades baacutesicas
              • 14 [T-14] Miacutenimos cuadrados ordinarios Vectores ortogonales
              • 15 [T-15] Miacutenimos cuadrados ordinarios Tordf de Pitaacutegoras
              • 16 [T-16] Sumas de cuadrados
              • 17 [T-17] Sumas de cuadrados Caso de modelos con cte
                • 22 Medidas de ajuste
                  • 18 [T-18] Medidas de ajuste Coeficiente de determinacioacuten R cuadrado
                  • 19 [T-19] Coeficiente de determinacioacuten cuando hay teacutermino constante
                  • 20 [T-20] Otras medidas de ajuste
                  • 21 [T-21] Regresograma y recta de regressioacuten
                  • Apeacutendices
                    • 1 Derivacioacuten tradicional de las Ecuaciones Normales
                    • 22 [T-22] Miacutenimos cuadrados ordinarios Ecuaciones normales (Tradicional)
                    • Bibliografiacutea
                    • Transparencias