Tema 6: Regresión lineal. 1. Introducción. 2. La ecuación de la recta.

Tema 6: Regresión lineal.1. Introducción.2. La ecuación de la recta.3. El criterio de mínimos cuadrados.4. Representación gráfica.5. Coeficientes de regresión estandarizados.6. El coeficiente de determinación.7. Introducción a la regresión múltiple.

Concepto

El establecimiento de una correlación entre dos variables es importante, pero esto se considera un primer paso para predecir una variable a partir de la otra. (U otras, en el caso de la regresión múltiple.)

Claro está, si sabemos que la variable X está muy relacionada con Y, ello quiere decir que podemos predecir Y a partir de X. Estamos ya en el terreno de la predicción. (Evidentemente si, X no está relacionada con Y, X no sirve como predictor de Y.)

Nota: Emplearemos los términos “regresión” y “predicción” como casi sinónimos. (La razón del uso del término “regresión” es antigua, y se ha mantenido como tal.)

Concepto (2)re

ndim

ient

o

inteligencia

El tema básico en regresión (con 2 variables) es ajustar los puntos del diagrama de dispersión de las variables X e Y. Para simplificar, nos centraremos especialmente (por simplicidad) en el caso de que la relación entre X e Y sea lineal.

Claro está, el tema ahora es cómo conseguir cuál es la “mejor” línea que parece unir los puntos. Necesitamos para ello un criterio. Si bien hay otros criterios, el más empleado comúnmente, y el que veremos aquí, es el criterio de mínimos cuadrados.

Criterio de mínimos cuadrados: Es aquel que minimiza las distancias cuadráticas de los puntos con la línea.

Repaso de la ecuación de una rectare

ndim

ient

o

inteligencia

Y=A+BX

A es la ordenada en el origen (es donde la recta corta el eje Y)

B es la pendiente (observad que en el caso de las relaciones positivas, B será positivo; en el caso de las relación negativas, B será negativo; si no hay relación, B será aproximadamente 0)

Si queremos predecir Y a partir de X, necesitamos calcular (en el caso de relación lineal) la recta de regresión de Y sobre (a partir de) X.

Cálculo de la ecuación de regresión lineal (de Y sobre X)Re

ndim

ient

o (Y

)

Inteligencia (X)

El criterio de mínimos cuadrados nos proporciona un valor de A y uno de B, tal queY’

2

'

1

n

i ii

Y Y

sea mínimo

Cálculo de la ecuación de regresión lineal (de Y sobre X)

CI (X) Rendim (Y)120 10100 990 4110 6

INTELIG

1301201101009080

RE

ND

IM

11

10

9

8

7

6

5

4

3


La recta por mínimos cuadrados es:

Y’=-8’5+0’15X

Observa....

-Cada unidad de CI hace aumentar 0’15 la nota.

-Aunque en este caso, lo siguiente no tiene sentido, una persona con CI de 0, sacaría un -8.5

2

'

1

n

i ii

Y Y

es mínimo

Esa expresión vale 11.5 en nuestro caso


Las fórmulas.... En puntuaciones directas

Nota: Tanto A como B se pueden obtener fácilmente en cualquier calculadora con opción “LR” (Linear Regression)

2 2

XY nXYB

X nX

Pendiente

Ordenada origen A Y BX


X Y XY X2suj1 120 10 1200 14400suj2 100 9 900 10000suj3 90 4 360 8100suj4 110 6 660 12100

4 SUMA SUMA3120 44600

PROMEDIO PROMEDIO105 7.25

N4

2

3120 4 105 7 '250 '15

44600 4 105B

7 '25 0 '15 105 8'5A Y’=-8’5+0’15X

Luego


Las fórmulas en puntuaciones diferenciales

Pendiente

Ordenada origen 0a Fijaros que la media de X y la media de Y serán 0 en puntuación típicas

2

xyb

x

IMPORTANTE: B=b

Es decir, la pendiente en puntuaciones diferenciales es la MISMA que en puntuaciones directas

Por tanto, la recta de regresión en puntuaciones diferenciales es en nuestro caso: y’=0’15x


Las fórmulas en puntuaciones típicas

Pendiente

Ordenada origenAl igual que en las puntuaciones diferenciales

Por tanto, la recta de regresión en puntuaciones típicas es en nuestro caso: zy’ =0’703zx

0a

2

x y x y

x

z z z zb

z n

IMPORTANTE: Como veremos, la pendiente en puntuaciones típicas COINCIDE con el índice de correlación de Pearson


OUTPUT DEL ORDENADOR

Resumen del modelob

.703a .495 .242 2.398Modelo1

R R cuadradoR cuadradocorregida

Error típ. de laestimación

Variables predictoras: (Constante), INTELIGa.

Variable dependiente: RENDIMb.

Coeficientesa

-8.500 11.324 -.751 .531

.150 .107 .703 1.399 .297

(Constante)

INTELIG

Modelo1

B Error típ.

Coeficientes noestandarizados

Beta

Coeficientesestandarizad

os

t Sig.

Variable dependiente: RENDIMa.

Ord. y pendiente (punt.directas)

Ord. y pendiente

(punt.típicas)

Observad que el índice de corr.Pearson coincide con la pendiente expresada en puntuaciones típicas.


2

xyB b

x

Sabemos que

Y por el tema anterior

22x

xs

nY por el tema de

variabilidad

xy

xys

n xy

xyx y

sr

s s

y

22 2 2

xy xy x y yxy

x x x

xys r s s sxy nB b r

xx s s sn

Se deduce que


En definitiva,y

xyx

sB b r

s

1

1y

xy xy xyx

sb r r r

s

y

yxy

x

sA Y r X

s

Evidentemente, la ordenada en el origen de la recta de regresión de Y sobre X será 0 para puntuaciones diferenciales y típicas (dado que las medias para las respectivas puntuaciones tanto en X como en Y serán 0 en tales casos).

Los errores de predicción en la recta de regresión de Y sobre X

iYPuntuaciones observadas

Puntuaciones predichas iY

Error de predicción

con la recta de

regresión de Y sobre X

22 ( )y

Y Ys

n

La cuestión ahora en cuánto se reduce la varianza al emplear la recta de regresión de Y sobre X (es decir, teniendo X como predictor) en comparación con el caso en que no tuviéramos la recta de regresión

i iY Y


22 ( )y

Y Ys

n

Si no tuviéramos el predictor X, ¿qué puntuación prediríamos para las puntuaciones de Y?

En tal caso, dado el criterio de mínimos cuadrados, si tenemos datos en Y y

carecemos de datos en X, nuestra mejor estimación de Y será su media

Recordemos que la media minimiza el sumatorio de las diferencias

Cuadráticas

Y

2( )Y Y es mínimo

Si empleamos la media como predictor, la varianza de las predicciones será


Pero si tenemos un predictor X, la varianza será

22.

( )i iy x

Y Ys

n

Esta es la varianza de Y no explicada por X

Se puede demostrar que2 2 2. (1 )y x y xys s r

Que despejando sale

2.22

1 y xxy

y

sr

s

¿Cuán buena es la predicción de la recta de regresión? El coeficiente de determinación como índice de la bondad de ajuste de nuestro modelo (la recta de regresión)

2.22

1 y xxy

y

sr

s Acabamos de mostrar que

2xyr Es el llamado coeficiente de determinación y permite conocer cuán

bueno es el ajuste de la recta de regresión (o en general del modelo lineal). Está acotado entre 0 y 1.

Si todos los puntos del diagrama de dispersión están sobre la recta (con pendiente diferente de 0), entonces será 0, y el coeficiente de determinación será 1

2.y xs

Cuanto más se alejen los puntos de la recta de regresión, mayor será el valor de el valor del coeficiente de determinación será menor y menor.

2.y xs

El coeficiente de determinación y la proporción de varianza asociada/explicada/común (1)

( )i i i iY Y Y Y Empecemos con una tautología

Esta expresión indica que la puntuación observada por el sujeto i-ésimo es igual a la puntuación predicha para dicho sujeto más un error de predicción.

Se puede demostrar que las puntuaciones predichas y los errores de predicción son independientes, con lo que podemos señalar

2 2 2' .y y y xs s s

2ys2'ys

2.y xs

Varianza total de Y

Varianza de las puntuaciones de Y predichas por el predictor X

Varianza de los errores de predicción (varianza no explicada por X)

El coeficiente de determinación y la proporción de varianza asociada/explicada/común (2)

2 2 2' .y y y xs s s De la transparencia anterior, tenemos

Y sabíamos que2.22

1 y xxy

y

sr

s

2 2 2. ´2

2 2

y y x yxy

y y

s s sr

s s

luego

En definitiva, el coeficiente de determinación mide la proporción de la varianza de Y que está asociada/explicada por el predictor X

Introducción a la regresión lineal múltiple (1)

Hemos visto el caso de un predictor (X) y una variable predicha (Y), y obtenido la recta de regresión de Y sobre X por el procedimiento de mínimos cuadrados.

Dada la naturaleza del comportamiento humano, en el que cada conducta observada puede ser influida por diferentes variables, resulta más “ecológico” examinar no ya cuán bueno es un predictor X para predecir Y, sino más bien tendremos varios predictores X1, X2, ...., para predecir Y (o si se quiere, varios predictores, X2, X3,...., para predecir X1). Es el caso de la regresión múltiple.

'Y A BX Hasta ahora teníamos

Ahora tendremos k predictores:

1 2 2 3 3' ... k kX A B X B X B X

1X“criterio”, variable a predecir, variable “dependiente”

2 3, ,...X XVariables predictoras


1 2 2 3 3' ... k kX A B X B X B X

Es importante que os deis cuenta que las ponderaciones B2, B3, ..., son análogas a las que vimos en el caso de la recta de regresión.

Tales coeficientes representan cuán importante es la respectiva variable predictora en la ecuación de regresión.

Al igual que ocurría en la recta de regresión (fijaros que el caso de 1 predictor es un caso particular de la regresión múltiple), A representa el lugar donde el hiperplano de regresión múltiple corta el eje de la variable predicha.

Por simplicidad, y dado que normalmente todo el proceso se hace mediante ordenador, no veremos las fórmulas (ver el texto de Botella y otros, en el que está todo bien explicado)...pero ahora veremos unas puntualizaciones.

1.32 12.3

2.3

sB r

sPor ejemplo

yxy

x

sB r

s Recta

regresión


1 2 2 3 3' ... k kX A B X B X B X

En puntuaciones directas, la ecuación de regresión es la que sabemos

En puntuaciones diferenciales, recordad que A valía 0 en la recta de regresión; lo mismo se aplica en la ecuación de regresión.

1 2 2 3 3' ... k kx b x b x b x

Y aplicando la misma lógica, el valor de los pesos es el mismo que el que teníamos en puntuaciones directas

2 2b B 3 3b B etcétera


Datos (N=5)

Rendim Ansied Neurot 9 3 5 3 12 15 6 8 8 2 9 7 7 7 6

Resumen del modelo

.904a .817 .634 1.744Modelo1

R R cuadradoR cuadradocorregida

Error típ. de laestimación

Variables predictoras: (Constante), NEURO, ANSIEa.

1.23 0 '904R

'1

1.23

1

2

22

x

x

sR

s

Como en el caso de 1 predictor:

Coeficientesa

11.288 2.221 5.082 .037

-1.139 .510 -1.293 -2.233 .155

.365 .421 .502 .868 .477

(Constante)

ANSIED

NEUROT

Modelo1

B Error típ.

Coeficientes noestandarizados

Beta

Coeficientesestandarizad

os

t Sig.

Variable dependiente: RENDIMa.

El modelo lineal general

El modelo lineal general subyace a buena parte de las pruebas estadísticas que se efectúan en psicología y en otras ciencias sociales.

Por decir unas pocas-Análisis de regresión (ya vistos)-Análisis de Varianza (se verán 2º cuatrimestre)-Pruebas t (se verán 2º cuatrimestre)

-Análisis de covarianza-Análisis de conglomerados (cluster analysis)-Análisis factorial-Escalamiento multidimensional-Correlación canónica-Análisis discriminantey más....

El modelo lineal general (2)

Claramente, los análisis de regresión que hemos visto son un caso particular del modelo lineal general, en el caso de 2 variables: una actúa como predictor y una variable predicha.

0 1 1Y B B X e

Observado = Predicho + Error estimación

'Y A BX

( ')Y A BX Y Y O si se quiere expresar así

Y A BX e

en términos generales

El modelo lineal general (3)

La expresión general es

0 1 1 ... k kY B B X B X e

Y: Variable dependiente

X1, X2, ..., variables independientes (predictoras de Y)

e: error aleatorio

B1, B2, ..., son los pesos que determinan la contribución de cada variable independiente.

El caso en el modelo lineal general es que en la parte izquierda de la ecuación podemos tener no sólo una variable dependiente, sino varias.

Tema 6: Regresión lineal. 1. Introducción. 2. La ecuación de la recta.

Documents

Transcript of Tema 6: Regresión lineal. 1. Introducción. 2. La ecuación de la recta.