Multicolinealidad

Regresión Lineal Múltiple

Ms Carlos López de Castilla Vásquez

Universidad Nacional Agraria La Molina

2011-2

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Dos predictores X1 y X2 son exactamente colineales si existeuna relación lineal tal que C1X1 + C2X2 = C0 para algunasconstantes C1, C2 y C0.

Una medida comúnmente usada para detectar colinealidad esel coe�ciente de determinación.

Se dice que X1 y X2 son colineales si R212 es bastante cercano

a 1 ( ó 100%).

Cuando existen �outliers� esta medida no es completamenteadecuada.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Multicolinealidad

La de�nición se extiende al caso cuando hay más de dosvariables predictoras.

Un conjunto de predictoras X1,X2, . . . .Xp son colineales sipara constantes c0, c1, . . . ..cp, la ecuación:

c1X1 + c2X2 + ...+ cpXp = c0

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Multicolinealidad

De la ecuación anterior se desprende que cuando haymulticolinealidad una de las predictoras puede ser determinadade las otras, es decir:

Xk = (c0 −∑

j 6=kcjXj)/ck

Si el coe�ciente de determinación R2k de la regresión de Xk con

las otras es cercano a 1 se puede concluir tentativamente quehay multicolinealidad.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Efectos de Multicolinealidad

Si consideramos el modelo de regresión lineal múltiple:

Y = β0 + β1X1 + β2X2 + · · ·+ βpXp + e

Se puede mostrar que la varianza del j − esimo coe�ciente deregresión estimado es:

var(βj) = σ2(

11−R2

j

)(1

SXjSXj

)

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Efectos de Multicolinealidad

Donde R2j es el coe�ciente de determinación de la regresión

lineal de Xj contra todas las demás variables predictoras.

La cantidad 11−R2

j

es llamado el j − esimo Factor de in�ación

de la varianza o VIFj .

Si R2j es cercano a 1 entonces la varianza de βj aumentará

grandemente.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Efectos de Multicolinealidad

El VIF representa el incremento en la varianza debido a lapresencia de multicolinealidad.

Una variable predictora con un VIF mayor de 10 puede causarmulticolinealidad.

Los VIF son los elementos que están en la diagonal de lamatriz C−1, que es la inversa de la matriz de correlaciones C .

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Pasos para detectar multicolinealidad

Se pueden seguir los siguientes pasos para detectarmulticolinealidad

Cotejar si hay coe�cientes de regresión con valores biengrandes o de signo opuesto a lo que se esperaba que ocurriera.

Cotejar si la eliminación de una �la o columna de la matriz Xproduce grandes cambios en el modelo ajustado.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Pasos para detectar multicolinealidad

Cotejar las correlaciones entre todas las parejas de variablespredictoras para detectar las que son bastante altas.

Si el VIF es grande, mayor que 10, entonces puede habermulticolinealidad.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Pasos para detectar multicolinealidad

Usar el número condición de la matriz correlación X ∗′X ∗, la

cual es de la forma1 r12 · · · r1pr21 1 · · · r2p...

......

...rp1 rp2 · · · 1

Donde rij representa la correlación entre las variables Xi y Xj .

La matriz X ∗ es obtenida restando a cada columna de X lamedia correspondiente y dividiendo luego entre la raíz de lasuma de cuadrados corregida por la media de la mismacolumna.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Medidas remediales al problema de multicolinealidad

Básicamente hay dos propuestas:

a) Regresión Ridge (Hoerl and Kennard, 1970)

b) Componentes principales (Hotelling, 1965)

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Regresión Ridge

Consideremos la suma de las varianzas de los coe�cientesestimados β, dada por E (β − β)′(β − β).

E (β − β)′(β − β) = σ2∑p

i=11λi

Notar que si un valor propio es cercano a cero la suma de lasvarianzas se hace muy grande.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Regresión Ridge

La idea en regresión Ridge es encontrar un estimador β queaunque sea sesgado sea más corto que β, es decir β′β < β′β.

Hoerl y Kennard, en 1970, propusieron el siguiente estimador:

β = (X ′X + kI )−1X ′Y

Donde el parámetro de encogimiento k (por lo general,0 < k < 1) debe ser estimado de los datos tomados.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Regresión Ridge

Se puede mostrar que el estimador ridge se obtiene al resolver

MinB(y − XB)′(y − XB)

Sujeto a que ‖ B ‖2< k2...(*)

Cuando (*) se sustituye por | B |< k se obtiene el estimadorLasso.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Regresión Ridge

La fórmula anterior se puede usar con las variables predictorasy/o de respuesta en su forma original o en su formaestandarizadas.

Tambien existen variantes de la formulación original de laregresión ridge, uno de ellos es considerar K como un vector ouna matriz, a estos métodos se le llama regresión ridgegeneralizada.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Regresión Ridge

Hay varias propuestas acerca de la elección de k, pero lo quemás se recomienda consiste en hacer un plot de loscoe�cientes del modelo para varios valores de k (generalmenteentre 0 y 1) este plot es llamado la Traza Ridge.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Regresión Ridge

Para elegir k hay que considerar los siguientes aspectos:

1 Que los valores de los coe�cientes de regresión se estabilizen.

2 Que los coefcientes de regresión que tenían un valordemasiado grande comienzen a tener valores razonables.

3 Que los coe�cientes de regresión que inicialmente tenían elsigno equivocado cambien de signo.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Componentes Principales para Regresión

El objetivo del análisis por componentes principales es haceruna reducción de la información disponible.

Es decir, la información contenida en p variables predictorasX = (X1, ...,X2) puede ser reducida a Z = (Z1, ...,Z2) conp′ < p.

Las nuevas variables Z ′i s llamadas componentes principales noestan correlacionadas.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Componentes Principales para Regresión

Los componentes principales de un vector aleatorio X son loselementos de una transformación lineal ortogonal de X.

Consideremos el modelo de regresión lineal múltiple:

Y = β0 + β1X1 + β2X2 + · · ·+ βkXk + ε

Estandarizemos todas las variables predictoras Xj usando

X ∗j =xj−xj√SXXj

.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Componentes Principales para Regresión

Sea X* la matriz obtenido usando las X ∗j como columnas.

Luego, X*'X* viene a ser la matriz de correlacion de lasvariables predictorias Xj .

Para determinar los componentes principales hay que hallaruna matriz ortogonal V tal que Z=X*V.

Para la cual Z'Z=(X*V)'(X*V)=V'X*'X*V=diag(λ1, ..., λp) yVV'=V�V=I

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Componentes Principales para Regresión

Los λj son los valores propios de la matriz de correlaciónX ∗ 'X∗.Luego, la j-ésima componente principal Zj tiene desviaciónestándar igual a

√λj y puede ser escrita como:

Zj = νj1X∗1 + νj2X

∗2 + ...+ νjpX

∗p

Donde νj1, νj2, ..., νjpson los elementos de la j-ésima �la de V.

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Componentes Principales para Regresión

Elección del número de componentes principales:

1 Elegir el número de compnentes hasta donde se ha acumuladopor lo menos 75% de la proporción de los valores propios.

2 Elegir hasta la componente cuyo valor propio sea mayor que 1.Para esto se puede ayudar del �Scree Plot�. (Ver �gura)

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple

Multicolinealidad

MulticolinealidadEfectos de MulticolinealidadDiagnósticos de MulticolinealidadMedidas remediales al problema de multicolinealidada) Regresión Ridgeb) Componentes Principales para Regresión

Componentes Principales para Regresión

Ms Carlos López de Castilla Vásquez Regresión Lineal Múltiple