1. Cul es el propsito general del anlisis de regresin?

En trminos generales, el anlisis de Regresin trata sobre el estudio de la dependencia de un fenmeno econmico respecto de una o varias variables explicativas, con el objetivo de explorar o cuantificar la media o valor promedio poblacional de la primera a partir de un conjunto de valores conocidos o fijos de la/s segunda/s.

Utiliza el mtodo de los "mnimos cuadrados" para ajustar una lnea a una serie de observaciones. Puede utilizar esta herramienta para analizar la forma en que los valores de una o ms variables independientes afectan a una variable dependiente; por ejemplo, en el rendimiento de un atleta inciden varios factores: la edad, la estatura y el peso entre otros. Basndose en un conjunto de datos de rendimiento, la regresin determinar la incidencia de cada uno de los factores en la medicin del rendimiento y podrn utilizarse estos resultados para predecir el rendimiento de un atleta nuevo no sometido a ninguna prueba.

2. En el anlisis de regresin intervienen dos tipos de variables: las independientes y las dependientes. Explique con sus palabras y a travs de ejemplos, las caractersticas de estos dos tipos de variables.

En un Anlisis de Regresin simple existe una variable respuesta o dependiente (y) que puede ser el nmero de especies, la abundancia o la presencia-ausencia de una sola especie y una variable explicativa o independiente (x). La variable independiente aquella que produce modificaciones en otra variable con la cual est relacionada. Suele designrsele, por ello, como variable causal. La variable dependiente, por su lado, experimenta modificaciones siempre que la variable independiente cambia de valor o modalidad de darse. Por ello, tambin recibe el nombre de variable efecto. Es importante sealar que una variable independiente en una cierta relacin puede ser dependiente en otra, o viceversa. De manera general, pero simplificada, podemos decir que entre una variable independiente y su correspondiente variable dependiente se puede dar una variable interviniente, que acta como puente entre las dos primeras. 4.- Considere el modelo de regresin lineal simple yi=0 + 1xi + i, conteste:

a) Formule las hiptesis que se hacen sobre los parmetros del modelo y explique la consecuencia de aceptar o rechazar cada una de stas.

Prueba de hiptesis para el parmetro 0 (que indica la interseccin con el eje y). H0: 0 = 0

HA: 0 0

Al aceptar la H0: 0 = 0, nos indica que nuestra ecuacin nos quedara de la siguiente

manera:

yi= 1xi y por lo tanto, al graficar nuestra recta de regresin sta pasa por el origen

formando respecto al eje de las abscisas, un ngulo de 45.

Con este resultado, no podemos considerar que nuestro modelo de regresin sea confiable

para predecir resultados debido a que no nos esta mostrando una relacin de significancia

entre nuestros parmetros.

Prueba de hiptesis para el parmetro 1 (que indica la pendiente de la recta, es decir, el incremento o decremento de la variable y por cada incremento de x).

H0: 1 = 0

HA: 1 0

Al aceptar nuestra H0: 1 = 0, estamos considerando un valor nulo para nuestra pendiente, y

la ecuacin de regresin toma la siguiente forma: yi= 0 + (0) xi es decir, el ltimo trmino

queda eliminado y por lo tanto, a la hora de graficarlo nos queda de la siguiente manera:

El resultado de la variable dependiente toma el valor constante de nuestro parmetro 0 y lo

que nos queda no es una recta de regresin lineal, ya que como en el caso anterior, no nos

plantea una relacin para podre predecir con cierta confianza valores para nuestra variable

dependiente y.

b) Anote en forma detallada el estadstico de prueba, t0, para cada una de las hiptesis y d una explicacin de por qu sirven para probar las hiptesis. Es decir, determine cundo estos estadsticos tienen valores pequeos o grandes, y la decisin que se tomara con respecto a su hiptesis correspondiente.

Un estadstico de prueba es aquel calculado de una sola muestra aleatoria simple tomada de

la poblacin de inters, en una prueba de hiptesis para establecer la verdad o falsedad de

la hiptesis nula.

Para el parmetro 1 tenemos que:

Para obtener la frmula de ste estadstico, se hace un anlisis respecto a la media y

varianza del parmetro 1 y se considera que tienen una distribucin normal. Para calcular la

desviacin estndar del estimador se hace una estimacin dada por:

Y recibe el nombre de error estndar de 1. Ntese que esta igualdad se toma en cuenta

para el clculo del estadstico.

La distribucin t-student se utiliza para muestras de n30. Tambin es importante

mencionar que como nuestra HA contiene desviaciones desde la hiptesis nula en cualquier

direccin (por lo de 10) se denomina hiptesis de dos colas, y he aqu donde se aplica la

distribucin t-student.

Para el parmetro 0 tenemos que:

[

]

Como en el caso anterior, para formular el estadstico de prueba se tomo en cuenta que el

parmetro de 0 sigue una distribucin normal considerando su media y varianza. Entonces

una estimacin de esta ltima es:

( ) [

] [

]

De igual manera notamos que esto se toma en cuenta en la estructura del estadstico de

prueba.

En ambos casos para saber si aceptamos o rechazamos nuestra H0, representamos nuestro

criterio de rechazo de la siguiente manera:

| |

Si el valor de nuestro estadstico de prueba es grande o pequeo, podemos decir que es

respecto a los datos que se estn manejando para el anlisis del problema, obviamente para

saber si se rechaza nuestra H0, el valor del estadstico debe satisfacer la expresin anterior,

por lo tanto estaremos aceptando la HA, esto quiere decir que el valor del estadstico si es

mayor que el rea de rechazo (expresada con el valor que se obtiene de las tabla de

distribucin t-student, con cierto nivel de significancia), entonces se encuentra en el rea de

aceptacin y como todo esto esta en funcin de la H0 podemos sacar conclusiones respecto

de lo que estamos afirmando.

c) Con respecto al anlisis de varianza para el modelo, escriba y explique la hiptesis correspondiente. Adems, anote con detalle el estadstico de prueba, F0, y d una justificacin de por qu tal estadstico sirve para probar tal hiptesis.

En este caso, se plantea un anlisis enfocado hacia la variabilidad total observada en la

variable de respuesta (Syy), la variabilidad explicada por la recta de regresin (SCR)y la

variabilidad no explicada por la recta de regresin (SCE), obteniendo consecuentemente el

Cuadrado Medio del Error, considerando los grados de libertad. Todo esto se utiliza para

generar otra forma de probar la hiptesis sobre la significancia de la regresin.

Para el anlisis de varianza, slo utilizamos la prueba de hiptesis para el estimador 1,

como ya sabemos, la pendiente.

H0: 1 = 0

HA: 1 0

El estadstico de prueba respecto la hiptesis nula es:

F0 =

=

En realidad, esta forma de probar la significancia de la regresin, es equivalente a la que se

estableci a travs del estadstico t0, ya que al elevar ste al cuadrado obtenemos:

t02 =

=

=

= F0

La distribucin Fisher, se utiliza para probar si dos muestras provienen de poblaciones que

poseen varianzas iguales. Esta prueba es til para determinar si una poblacin normal tiene

una mayor variacin que la otra. Y como al principio se menciona que los datos del

problema estn sometidos a un anlisis de varianza, es por eso que debemos utilizar este

estadstico de prueba.

5.-Con respecto a los intervalos de confianza para la recta y los intervalos de prediccin,

seale Cmo se obtienen y para que se aplica cada uno de ellos?

Intervalo de confianza de la recta

-

| -

Un intervalo de confianza est definido por dos valores entre los cuales se encuentra el valor del parmetro con un determinado nivel de confianza que se denota (1 ) y que se aplica para mostrar los valores entre los cuales se puede encontrar nuestro estimador puntual, para dar una idea de la confiabilidad de nuestro estimador. Los intervalos de prediccin

-

| -

Se utilizan para predecir o pronosticar nuevas o futuras observaciones de Y. Para predecir

por intervalos la nueva observacin es independiente de las observaciones utilizadas para

ajustar el modelo de regresin lineal por tal motivo el intervalo anterior no es adecuado.

Este intervalo depende tanto del error del modelo como del error asociada las predicciones

futuras.

Entre ms alejado del valor medio es xi, mayores son los intervalos de confianza y de

prediccin.

Los intervalos tienen la propiedad de ser de diferente ancho, segn el valor de X, siendo ms

angostos cuando X es igual al promedio, ensanchndose a medida que nos alejamos del

promedio. Cuando se sale del rango de los datos, se ensanchan ms fuertemente. Esto

significa que mientras ms nos alejamos del centro de los valores de la variable X, ms

imprecisas sern nuestras estimaciones del valor de la variable Y, lo que parece razonable.

15. por qu se requiere la regresin lineal mltiple?

Porque en muchas situaciones practicas existen varias variables independientes que se

cree que influyen o estn relacionadas con una variable de respuesta Y, y por lo tanto ser

necesario tomar en cuenta si se quiere predecir o entender mejor el comportamiento de Y.

17. Considere un modelo de regresin lineal mltiple con cuatro variables: yi = 0 + 1 x1i + 2 x2i + ..+ 4 x4 + i ; i = 1,2,,n, y suponga que para estimar los parmetros se utilizaron un total de 12 observaciones, es decir, n = 12. Conteste las siguientes preguntas:

a) Explique en forma esquemtica el procedimiento matemtico para estimar los parmetros que minimizan los errores por mnimos cuadrados.

Generalmente, para el caso de k variables independientes X1, X2,....,Xk, la media de Y| X1, X2,....,XK est dada por el modelo de regresin lineal mltiple

Y|x1, x2 ,, xk = 0 + 1 x1 +..+ k xk

y la respuesta estimada se obtiene de la ecuacin de regresin de la muestra

Donde cada coeficiente de regresin i se estima por bi de los datos de la muestra con el uso del mtodo de mnimos cuadrados.

Con 4 variables (x1, x2, x3, x4) y 12 observaciones (n=12) El procedimiento matemtico es mediante el ajuste del modelo de regresin lineal mltiple:

Y|x1 , x2, x3 , x4 = 0 + 1x1+ 2x2+ 3x3 + 4x4

A los puntos de datos

i= 1,2,....,12 y 12 >4 },

Al utilizar el concepto de mnimos cuadrados para llegar a las estimaciones 0, 1, 2, 3, 4, minimizamos la expresin:

Al diferenciar SSE a su vez con respecto a 0, 1, 2, 3, 4, e igualar a cero:

Sustituyendo n con 12 y k con 4, estas ecuaciones se pueden resolver para a 0, 1, 2, 3, 4 mediante cualquier mtodo apropiado para resolver sistemas de ecuaciones lineales.

b) Denote el modelo en forma matricial: y=X + exprese con precisin todas las matrices involucradas en el modelo.

De manera resumida:

Y =

[

]

X =

[ ]

=

[ ]

[

]

La matriz de datos Y es el conjunto de todas las observaciones en cuanto a la variable dependiente se observaron en el experimento, de aqu que va de y1 hasta y12 con respecto a la totalidad de observaciones n = 12.

La matriz de datos X representa en realidad los valores de las variables independientes ya sean en cuadrados, cubos, productos cruzados u otras funciones de las variables de prediccin. Se observa que la primera columna de la matriz X es una columna de unos, por tanto, estamos insertando un valor de x, especficamente x0, como coeficiente de b0. Donde x0 siempre es igual a 1.

La siguiente matriz representa los estimadores del modelo, para cada parmetro de

la matriz hay una columna en la matriz X.

La ultima matriz representa el error aleatorio inherente a todo modelo de regresin.

c) Proporcione la expresin matricial para los estimadores de mnimos cuadrados.

Entonces la solucin de mnimos cuadrados para la estimacin de 0, 1, 2, 3, 4 , implica encontrar b para la que

SSE = (y - Xb)'(y - Xb)

se minimiza. Este proceso de minimizacin implica resolver para b en la ecuacin

El resultado se reduce a la solucin de b en(X'X) = X'Y

Podemos escribir la solucin para el coeficiente de regresin como

=(XX)-1 XY

De esta forma se puede obtener la ecuacin de prediccin o la ecuacin de regresin al resolver un conjunto de k + 1 ecuaciones con un nmero igual de incgnitas. Esto implica la inversin de la matriz X'X de k + 1 por k + 1.

d) Especifique la hiptesis de significancia del modelo y lo que significa aceptar o rechazar esta hiptesis.

La hiptesis ms importante sobre un modelo de regresin mltiple consiste en ver si la

regresin es significativa:

H0 : 1 2 3 4 = 0

HA : j 0 Para al menos un j = 1, 2, 3, 4

Aceptar H0 indica que ningn trmino en el modelo tiene una contribucin significativa al explicar la variable de respuesta, Y.

Rechazar H0 implica que por lo menos un trmino en el modelo contribuye de manera significativa a explicar Y.

e) De la expresin del estadstico de prueba, F0, para la hiptesis anterior, as como una explicacin racional de por qu funciona como estadstico de prueba, es decir, vea cuando este estadstico tiene valores grandes o pequeos, y lo que eso significa en trminos de calidad de ajuste.

F0 = CMR/CME

La hiptesis nula anterior se rechaza si: F0 > F (, 4, 7)

Dado que un estadstico es una medida cuantitativa, derivada de un conjunto de datos de una muestra, con el objetivo de estimar o contrastar caractersticas de una poblacin o modelo estadstico, en este caso nos permite aceptar o rechazar la hiptesis, cuando el valor de F0 es mayor que el valor F(, 4, 7) implica que debemos descartar la hiptesis nula y aceptar la alternativa que nos habla de una significacin del modelo, adems si F0 es notablemente grande refiere a una mayor significancia dado que se aleja del criterio de rechazo establecido.

f) Formule las hiptesis sobre los parmetros individuales del modelo y comente que significa aceptar o rechazar cada una de estas.

H0 : j = 0

HA : j 0 j = 1, 2, 3, 4

Aceptar la hiptesis nula, para cualquier estimador, indica que el mismo no contribuye esencialmente a predecir Y en general, en caso contrario, rechazar hiptesis nula y por consiguiente aceptar la hiptesis alternativa, indica que el parmetro Bj es significativo.

g) Proporcione la expresin para el estadstico de prueba para el caso anterior y comente por que estos estadsticos funcionan como criterio de aceptacin o rechazo.

t0 =

La hiptesis nula anterior se rechaza si: t0 > t (/2, 7 ) La prueba t de Student como todos los estadsticos de contraste se basa en el clculo de estadsticos descriptivos previos: el nmero de observaciones, la media y la desviacin tpica en cada grupo. A travs de estos estadsticos previos se calcula el estadstico de contraste experimental. Por lo tanto el criterio de rechazo anterior

funciona perfectamente con cada estimador j

h) Cules son los riesgos de hacer predicciones fuera de la regin de los datos originales?

Fuera de la regin, los aspectos fsicos o sociales que estn atrs de todo modelo de regresin pueden empezar a actuar de otra forma, muy fuera de la regin de regin de los datos originales empiecen a actuar otros fenmenos no considerados en el modelo original. Este riesgo es ms grande en el anlisis de regresin mltiple, ya que se trabaja con regiones multidimensionales.

Problema 7

En un proceso de extraccin se estudia la relacin entre tiempo de extraccin y

rendimiento. Los datos obtenidos se encuentran en la siguiente tabla.

Tiempo (min)

Rendimiento (%)

10 64

15 81.7 20 76.2

8 68.5 12 66.6

13 77.9 15 82.2

12 74.2 14 70

20 76 19 83.2

18 85.3

a) En este problema cual variable se considera independiente y cual independiente?

- Se debe considerar el tiempo de extraccin como variable independiente (x) y al

rendimiento como la variable dependiente (y), dado que el rendimiento siempre

va a variar conforme el tiempo y no viceversa.

b) Mediante un diagrama de dispersin analice la relacin entre estas dos variables.

Qu tipo de relacin observa y cuales son algunos hechos especiales?

Existe correlacin lineal positiva ya que conforme aumenta el tiempo de extraccin tambin

aumenta el rendimiento, es razonable suponer que la relacin entre estas variables la

explique un modelo de regresin lineal simple.

c) Haga un anlisis de regresin (ajuste una lnea recta a estos datos, aplique pruebas

de hiptesis y verifique residuos)

Para ajustar la mejor recta que pasa ms cerca de todos los puntos y para calcular

estimadores, se usa mtodo de mnimos cuadrados, se resumen los clculos en la hoja de

Excel:

X y X2 Y2 Xy Y estimado

e E2

Tiempo (min)

Rendimiento (%)

10 64 100 4096 640 69.93 -5.93 35.1649

15 81.7 225 6674.89 1225.5 75.88 5.82 33.8724

20 76.2 400 5806.44 1524 81.83 -5.63 31.6969

8 68.5 64 4692.25 548 67.55 0.95 0.9025

12 66.6 144 4435.56 799.2 72.31 -5.71 32.6041

13 77.9 169 6068.41 1012.7 73.5 4.4 19.36

15 82.2 225 6756.84 1233 75.88 6.32 39.9424

12 74.2 144 5505.64 890.4 72.31 1.89 3.5721

14 70 196 4900 980 74.69 -4.69 21.9961

20 76 400 5776 1520 81.83 -5.83 33.9889

19 83.2 361 6922.24 1580.8 80.64 2.56 6.5536

18 85.3 324 7276.09 1535.4 79.45 5.85 34.2225

Suma 176 905.8 2752 68910.36 13489 293.8764

Para ajustar la recta, se calcula:

)

[

( )(

)

] = 13489 [(176) (905.8) /12] = 203.93

[(

)

] = 2752 [(176)2/12] = 170.66

[(

)

] = 68910.36 [(905.8)2/12] = 537.55

Para encontrar los estimadores:

= 203.93 / 170.66 = 1.19492187

= 75.48333333 - 1.19492187 (14.66666667) = 57.9578125

Por lo tanto, la lnea recta ajustada est dada por:

Con esta ecuacin podemos graficar la recta de regresin lineal:

Por lo que se observa, se concluye que los errores estn distribuidos aleatoriamente, la prueba de hiptesis de inters plantea que la pendiente es significativamente diferente de 0.

Hiptesis a Establecer Anlisis de Regresin

Para 1

H0 1 = 0 HA 1 0

t0 1 /

Para 0

H0 0= 0 HA 0 0

t0 0 CME [

]

En ambos casos H0 se rechaza si | |> t ( / 2 , n -2 )

Hiptesis a Establecer Anlisis de Varianza

H0 1 = 0 HA 1 0

F0= CMR / CME

H0 se rechaza si | |> F( , n -2 )

Estadsticos obtenidos, Minitab:

Con 5% de significancia para el

anlisis de regresin, es obvio que

para los dos estimadores el

estadsticos son mayores (9.22;

2.88) que el del criterio de rechazo

(2.2281)

Para el anlisis de Varianza es lo

mismo 8.29 > 4.965

Por lo tanto se rechazan las

hiptesis nulas establecidas y se

aceptan las alternativas, las cuales indican que el modelo es significativo

d) La calidad del ajuste es satisfactoria? Argumente

Determinemos si el modelo permite hacer estimaciones con una precisin aceptable:

Coeficiente de determinacin

R2 = SCR / Syy = 243.68 / 537.55 = 0.4533

El 45 % de la variacin observada en el rendimiento es explicada por el modelo, la calidad

de ajuste no es satisfactorio, veamos su ajuste

Coeficiente de determinacin ajustado

R2 aj = CMtotal - CME / CMtotal =48.8681 29.38 / 48.8681 = 0.3987

Para fines de prediccin se recomienda un coeficiente de determinacin ajustado de 0.7

este es otro indicador de que nuestro modelo no hace estimaciones con precisin.

Coeficiente de Correlacin

r = Sxy / SxxSyy = 203.93 / (170.66) (537.55) = 0.6732

Observemos las grficas 4 en uno del modelo de regresin:

Se observa que en la grfica de probabilidad normal la mayor parte de los puntos tienden

a ajustarse a la lnea recta pero en la de residuo contra valor ajustado hay cierto patrn, el

modelo registra falla.

Se concluye que aunque el modelo es significativo, la intensidad de la relacin lineal

entre las variables no es muy fuerte

e) Destaque el valor de la pendiente de la recta e interprtelo en trminos prcticos

El valor de la pendiente de la recta es: 1.1949, en trminos prcticos, tan solo es la

cantidad que se incrementa o disminuye la variable Y para cada unidad que se incrementa

X.

f) Estime el rendimiento promedio que se espera a un tiempo de extraccin de 25

minutos y obtenga un intervalo de confianza para esta estimacin.

El intervalo de confianza est dado por:

Y0 - t( / 2 , n -2 ) [

]

87.83 2.2281 0

87.83 10.174

Por lo tanto el intervalo de confianza es:

77.65

En el caso de nuestra grafica se observa que los puntos estn distribuidos a lo largo del eje de las X de forma constante. Y por ltimo en la grfica de residuos vs observamos que el comportamiento de los residuos maneja un patrn, lo cual quiere decir que nuestro modelo no es adecuado.

c) Ajuste un modelo que incluya trminos cuadrticos y analice con detalle la calidad del ajuste.

Y = 5.4 + 4.77 x1 - 70.4 x2 + 0.00 x1x2 - 0.495 x12 + 119 x2

2 Podemos prescindir del cuarto trmino de la ecuacin, ya que su coeficiente es cero, quedando la ecuacin de la siguiente manera: Y = 5.4 + 4.77 x1 - 70.4 x2 - 0.495 x1

2 + 119 x22

d) Compare el error estndar de estimacin ( ) y los coeficientes de

determinacin para ambos modelos

En nuestro primer modelo al calcular los coeficientes de determinacin y el ajustado del mismo, nos pudimos dar cuenta de que el modelo no era adecuado para explicar la relacin de variables debido a que el valor era demasiado bajo y por lo tanto no era un modelo confiable. Al obtener nuestra ecuacin con trminos cuadrticos, nos dimos cuenta que este modelo si es significativo debido a los valores que nos arroj el coeficiente de determinacin y su ajustado, al ver una amplia mejora en los resultados.

Error estndar de estimacin

Es claro que la diferencia entre un modelo y otro es evidente. e) Cul modelo prefiere para explicar el sabor?

El segundo modelo con trminos cuadrticos.

Primer modelo Segundo modelo

R2=0.054 = 5% R2aj= -0.32 = 0%

R2=0.923 = 93.2% R2aj= 0.761 = 76.1%

Primer modelo Segundo modelo

= 0.7127 = 0.3029