Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.
-
Upload
miguel-angel-nunez-velazquez -
Category
Documents
-
view
224 -
download
0
Transcript of Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.
![Page 1: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/1.jpg)
Maestría en TransporteRegresamos...
(el problema de la regresión lineal)
Clase 5
![Page 2: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/2.jpg)
Históricos
• Aspectos Históricos– Galton 1822 - 1911: estudios de herencia, los hijos heredan la altura de sus padres pero “regresan” a una media poblacional.
– Gauss y los mínimos cuadrados• ¿por qué Gauss hizo tantos desarrollos, tantas cosas?
![Page 3: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/3.jpg)
Concepto
• Concepto– Relación entre una variable “Y” y una variable “X” (llegado el caso, varias variables Xi)
– Relación lineal
0 1 1, 2 2, ,...i i i p p i iY X X X
![Page 4: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/4.jpg)
Correlación
• Concepto de Correlación de Pearson
![Page 5: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/5.jpg)
Concepto II
1 1i o iY X
i
![Page 6: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/6.jpg)
Concepto III
• Se busca establecer una relación que indique que la media de una población dada depende de una variable X (o varias...), y que la relación es lineal...
0 1 1, , ,[ | ] ...i i i p i p iE Y X X X
![Page 7: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/7.jpg)
Suposiciones
• Variable Y (dependiente) continua.• Relación lineal en los parámetros.• Observaciones independientes y muestreadas aleatoriamente.
• Existencia de incertidumbre en la relación Y -> X.
• Errores de valor esperado nulo y varianza constante.
• Errores no correlacionados.• Errores no correlacionados con X.• Errores aproximadamente normales.
![Page 8: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/8.jpg)
Suposiciones II
0 ,1
2
, ,
2
1.
2. 0
3.
4. , 0
5. , 0;
6. ~ (0, )
p
i j j i ij
i
i
i j
i j i
i
Y X
E
V
Cov
Cov X j
N
![Page 9: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/9.jpg)
Estimación
• Método de Mínimos Cuadrados– Encontrar parámetros tales que minimicen las diferencias entre Y (observación) e E(Y|X) elevadas al cuadrado...
• Método de Máxima Verosimilitud– Encontrar parámetros tal que la probabilidad de haber encontrado una muestra Y1...Yn sea máxima...
![Page 10: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/10.jpg)
Estimación (OLS o MCO)
2 2min 0 1
1 1
0 110
0 111
ˆ
2 0
2 0
n n
i i i ii i
n
i ii
n
i i ii
Q Y Y Y X
QY X
QX Y X
![Page 11: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/11.jpg)
Estimación (OLS o MCO)
0 11 1
20 1
1 1 1
n n
i ii i
n n n
i i i ii i i
Y nB B X
X Y B X B X
![Page 12: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/12.jpg)
Estimación (OLS o MCO)
• Ecuaciones normales
• Igual resultado se puede lograr con expresiones matriciales (preferibles!)
0 11 1
20 1
1 1 1
n n
i ii i
n n n
i i i ii i i
Y nB B X
X Y B X B X
![Page 13: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/13.jpg)
Estimación (OLS o MCO)
• Solución a las ecuaciones normales
11
2
1
0 1
220 1
1
1; 2
n
i ii
n
ii
n
i ii
X X Y YB
X X
B Y B X
s Y X pn p
![Page 14: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/14.jpg)
Estimación (ML o MV)
22 1
1 11
1'
22
22 2 2
22
0 1
,..., , , | ,...,
2
12 ( ) ( ) '( )
2
0
, , ,...,0
n
n
i
n
n i pi
n n
p
f x x f x x x
e
Ln L L Ln Ln
L
s B B BL
Y-X'β Y-X'β
Y Xβ Y Xβ
β
![Page 15: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/15.jpg)
Propiedades de Estimadores
• Insesgados
1 1
1
E E
X'X X'Y X'X X' Y
X'X X'Xβ
β
![Page 16: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/16.jpg)
Propiedades de Estimadores
• De varianza mínima (Teorema de Gauss-Markov)
1 1
12
'V E
B X'X X'Y β X'X X'ε
B B -β B -β
X'X
![Page 17: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/17.jpg)
Inferencia
• Se puede mostrar que (dado que Xi son fijos) los estimadores pueden expresarse como funciones lineales de Yi.
• Si los Yi son normales... (porque lo son los errores...)
• Los estimadores son normales...• Además...
12
E
V
B β
B X'X
![Page 18: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/18.jpg)
Inferencia II
2
2
1 1 2
22
0 0 2
~ ,
En caso de una sola regresora
~ ,( )
~ ,( )
p
i
i
i
N
B NX X
XB N
n X X
B β I
![Page 19: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/19.jpg)
Inferencia III
• En la práctica no se comoce la varianza de los errores y se estima por s2, con lo que la distribución utilizada es la “t”
2
*
1 ,
0 1
,
Estimación por intervalo
Pruebas de Hipótesis
: ; :
k k
k
k kn p
k k
Bt t n p
s B
B t s B
H c H c
![Page 20: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/20.jpg)
Verificación de Suposiciones
• Linealidad• Homocedasticidad (constancia de varianzas) de los errores
• Falta de correlación de los errores• Variables exógenas (regresoras) independientes
• Distribución normal de los errores
![Page 21: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/21.jpg)
Bondad de Ajuste
• Verificación por R2
• interpretación del R2 ajustado
2
1
2
1
2
1
2
ˆ
ˆ
1
n
i ii
n
ii
n
ii
SSE Y Y
SSR Y Y
SST Y Y
SST SSE SSR SSER
SST SST SST
![Page 22: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/22.jpg)
Outliers
• Tratamiento de Outliers• Identificación de Outliers
![Page 23: Maestría en Transporte Regresamos... (el problema de la regresión lineal) Clase 5.](https://reader035.fdocuments.es/reader035/viewer/2022062323/5665b4d31a28abb57c940132/html5/thumbnails/23.jpg)
Violaciones a los supuestos
• Fallas a la Normalidad• Existencia de correlación en las regresoras
• Heterocedasticidad• Existencia de correlación• Errores en la especificación de modelos.