Construcción de un modelo AR-ARCH vía variables latentes

Transcript of Construcción de un modelo AR-ARCH vía variables latentes

Fundamentos y motivacion del uso de variables latentesSeries de tiempo va variables latentes

Construccion del modelo AR-ARCHAplicaciones del modelo

Conclusiones

Construccion de un modelo AR-ARCH vavariables latentes

Miguel Angel Contreras Ortiz

Facultad de Ciencias, UNAM

Abril 2011

Miguel Angel Contreras Ortiz Construccion de un modelo AR-ARCH va variables latentes


Conclusiones

1 Fundamentos y motivacion del uso de variables latentes

2 Series de tiempo va variables latentes

3 Construccion del modelo AR-ARCH

4 Aplicaciones del modelo

5 Conclusiones



Conclusiones

Introduccion

Pitt, Chatfield, Walker (2002) y Pitt, Walker(2005)desarrollaron artculos en los cuales exponen una metodologapara construir series de tiempo estacionarias incorporandovariables auxiliares; lo anterior con el fin de poder fijar unadistribucion marginal especfica para las observaciones delproceso en estudio.

Esta metodologa de incorporar variables auxiliares(o latentes) en un modelo probabilstico tiene su motivacionen tecnicas de simulacion estocastica usadas en la estadsticaBayesiana como es el algoritmo Gibbs sampler.



Conclusiones

Introduccion

Pitt, Chatfield, Walker (2002) y Pitt, Walker(2005)desarrollaron artculos en los cuales exponen una metodologapara construir series de tiempo estacionarias incorporandovariables auxiliares; lo anterior con el fin de poder fijar unadistribucion marginal especfica para las observaciones delproceso en estudio.

Esta metodologa de incorporar variables auxiliares(o latentes) en un modelo probabilstico tiene su motivacionen tecnicas de simulacion estocastica usadas en la estadsticaBayesiana como es el algoritmo Gibbs sampler.



Conclusiones

Algoritmo Gibbs Sampler

Para el caso de una distribucion f (x) definida en Rn, elalgoritmo Gibbs sampler permite simular muestras de unacadena de Makov x (1), x (2), . . . con distribucion estacionariaf (x).

Una aplicacion de este algoritmo se da cuando tenemos unadensidad conjunta dada por f (x , y1, . . . , yn) y nos interesancaractersticas de la densidad marginal f (x).

En este caso podemos usar el algoritmo Gibbs sampler para

simular muestras (x (i), y(i)1 , . . . , y

(i)k ), i = 1, 2, . . . , n de

f (x , y1, . . . , yk); entonces la muestra {x (i)}ni=1correspondera a la densidad marginal f (x).

Consideremos un caso donde la distribucion conjunta esf (X1,X2).



Conclusiones






(i)k ), i = 1, 2, . . . , n de

f (x , y1, . . . , yk); entonces la muestra {x (i)}ni=1correspondera a la densidad marginal f (x).




Conclusiones






(i)k ), i = 1, 2, . . . , n de

f (x , y1, . . . , yk ); entonces la muestra {x (i)}ni=1correspondera a la densidad marginal f (x).




Conclusiones






(i)k ), i = 1, 2, . . . , n de

f (x , y1, . . . , yk ); entonces la muestra {x (i)}ni=1correspondera a la densidad marginal f (x).




Conclusiones


Dado el vector inicial X0 = (x0,1, x0,2), generamos muestrasde f (X1,X2) al muestrear x1,1 de f (X1|X2 = x0,2) y x1,2 def (X2|X1 = x1,1).

Las entradad del vector Xt son obtenidas alternadamentegenerando valores de ambas distribuciones condicionales. Parala t-esima iteracion, dada la muestra Xt = (xt,1, xt,2) hacemoslos siguiente:

1. Generamos un valor xt+1,1 de f (X1|X2 = xt,2).2. Generamos un valor xt+1,2 de f (X2|X1 = xt+1,1).3. La t-esima muestra de la cadena es Xt+1 = (xt+1,1, xt+1,2).

Al repetir los pasos 1, 2 y 3 un numero n de veces grande, losvalores (xm+t,1, xm+t,2) seran una muestra de f (x1, x2) parat = 1, 2, . . . y m Z, 0 m n.



Conclusiones


Dado el vector inicial X0 = (x0,1, x0,2), generamos muestrasde f (X1,X2) al muestrear x1,1 de f (X1|X2 = x0,2) y x1,2 def (X2|X1 = x1,1).Las entradad del vector Xt son obtenidas alternadamentegenerando valores de ambas distribuciones condicionales. Parala t-esima iteracion, dada la muestra Xt = (xt,1, xt,2) hacemoslos siguiente:





Conclusiones



1. Generamos un valor xt+1,1 de f (X1|X2 = xt,2).

2. Generamos un valor xt+1,2 de f (X2|X1 = xt+1,1).3. La t-esima muestra de la cadena es Xt+1 = (xt+1,1, xt+1,2).




Conclusiones



1. Generamos un valor xt+1,1 de f (X1|X2 = xt,2).2. Generamos un valor xt+1,2 de f (X2|X1 = xt+1,1).

3. La t-esima muestra de la cadena es Xt+1 = (xt+1,1, xt+1,2).




Conclusiones







Conclusiones







Conclusiones

Variables Latentes

El metodo de variables latentes consiste en notar que enocasiones es posible simular mas facilmente y eficientementede una distribucion f (x, |) que de la distribucion f (x|),donde el nuevo parametro puede ser escencialmentecualquier variable aleatoria; a esta variable se le llama variableauxiliar o variable latente.

Es evidente que al generar una muestra de la distribucionconjunta f (x, |), automaticamente obtenemos una muestrade la distribucion marginal f (x|) que nos interesabaoriginalmente.



Conclusiones

Variables Latentes

El metodo de variables latentes consiste en notar que enocasiones es posible simular mas facilmente y eficientementede una distribucion f (x, |) que de la distribucion f (x|),donde el nuevo parametro puede ser escencialmentecualquier variable aleatoria; a esta variable se le llama variableauxiliar o variable latente.

Es evidente que al generar una muestra de la distribucionconjunta f (x, |), automaticamente obtenemos una muestrade la distribucion marginal f (x|) que nos interesabaoriginalmente.



Conclusiones

Variables Latentes

Ejemplo: Supongamos que deseamos simular un vectoraleatorio x Nb(, p). Esta simulacion puede realizarseusando el hecho de que si Ga(, p/(1 p)) yx| Po(), entonces x Nb(, p).

En este ejemplo estamos considerando a como variablelatente, ya que

f (x|) f ()d =

f (x, ) = f (x)d.

Mas aun, si se conocieran las distribuciones condicionalescompletas, es decir f (x|) y f (|x), se puede realizar lasimulacion usando el algoritmo Gibbs Sampler.



Conclusiones

Variables Latentes

Ejemplo: Supongamos que deseamos simular un vectoraleatorio x Nb(, p). Esta simulacion puede realizarseusando el hecho de que si Ga(, p/(1 p)) yx| Po(), entonces x Nb(, p).En este ejemplo estamos considerando a como variablelatente, ya que

f (x|) f ()d =

f (x, ) = f (x)d.




Conclusiones

Variables Latentes

Ejemplo: Supongamos que deseamos simular un vectoraleatorio x Nb(, p). Esta simulacion puede realizarseusando el hecho de que si Ga(, p/(1 p)) yx| Po(), entonces x Nb(, p).En este ejemplo estamos considerando a como variablelatente, ya que

f (x|) f ()d =

f (x, ) = f (x)d.




Conclusiones

Inferencia Bayesiana

En el enfoque Bayesiano de la Estadstica, la incertidumbrepresente en un modelo dado, p(x|), es representado a travesde una distribucion inicial o a priori p() sobre los posiblesvalores del parametro desconocido que define al modelo.

El Teorema de Bayes,

p(|x) = p(x|)p()p(x)

permite entonces incorporar la informacion contenida en unconjunto de datos x = (x1, . . . , xn), produciendo unadescripcion conjunta de la incertidumbre sobre los valores delos parametros del modelo a traves de la distribucion final oposterior p(|x).



Conclusiones


En el enfoque Bayesiano de la Estadstica, la incertidumbrepresente en un modelo dado, p(x|), es representado a travesde una distribucion inicial o a priori p() sobre los posiblesvalores del parametro desconocido que define al modelo.

El Teorema de Bayes,

p(|x) = p(x|)p()p(x)

permite entonces incorporar la informacion contenida en unconjunto de datos x = (x1, . . . , xn), produciendo unadescripcion conjunta de la incertidumbre sobre los valores delos parametros del modelo a traves de la distribucion final oposterior p(|x).



Conclusiones


Sin perdida de generalidad, podemos escribir que

p(|x) p(x|)p() = L(x|)p()donde significa proporcional a o bien igual salvo porun factor que no depende de .

Si p() es una constante entonces

p(|x) L(x|)y como consecuencia al encontrar el estimador maximoverosmil, estaramos encontrando la moda de la distribucionfinal.



Conclusiones


Sin perdida de generalidad, podemos escribir que

p(|x) p(x|)p() = L(x|)p()donde significa proporcional a o bien igual salvo porun factor que no depende de .

Si p() es una constante entonces

p(|x) L(x|)y como consecuencia al encontrar el estimador maximoverosmil, estaramos encontrando la moda de la distribucionfinal.



Conclusiones

Algoritmo E-M

El algoritmo EM (Expectation-Maximization) es unprocedimiento iterativo para calcular la moda de ladistribucion final o los estimadores maximo verosimiles cuandose tienen datos incompletos.

En la formulacion usual del algoritmo EM, el vectorcompleto de datos x es conformado tanto por datosobservados y como por datos faltantes w, es decir que loselementos de w se pueden considerar como variables latentes.

El algoritmo EM provee un procedimiento iterativo paracalcular los estimadores de maxima verosimilitud basado soloen los datos observados.



Conclusiones

Algoritmo E-M






Conclusiones

Algoritmo E-M






Conclusiones

Algoritmo E-M

Cada iteracion del algoritmo EM consiste de dos pasos: elpaso E (paso de la esperanza) y el paso M (paso de lamaximizacion).

Supongase que (k) denota el valor estimado despues de kiteraciones del algoritmo para la moda de la distribucion finalde nuestro interes p(|y) y sea p(|y,w) la distribucion finalaumentada.

Por ultimo definamos a p(w|y, (k)) como la distribucioncondicional de los datos latentes w dado el valor k-esimo de lamoda de la distribucion final y dados los datos observados;entonces los pasos E y M en la (k + 1)-esima iteracion son:



Conclusiones

Algoritmo E-M






Conclusiones

Algoritmo E-M






Conclusiones

Algoritmo E-M

paso E. Calcular Q(, (k)) = E[log p(|y,w)] con respectoa p(w|y, (k)), es decir,

Q(, (k)) =

W log p(|y,w)p(w|y, (k))dwy

pasoM. Maximizar Q(, (k)) con respecto a . Se toma

(k+1) = arg max

Q(, (k)).

Despues de esto regresamos al paso-E. El algoritmo se iterahasta que

|Q((k+1), (k)) Q((k), (k))| o bien ||(k+1) (k)|| seasuficientemente pequeno.



Conclusiones

Algoritmo E-M


Q(, (k)) =



(k+1) = arg max

Q(, (k)).





Conclusiones

Algoritmo E-M


Q(, (k)) =



(k+1) = arg max

Q(, (k)).





Conclusiones

Series de tiempo

Los modelos de series de tiempo proporcionan un metodosofisticado para describir y predecir series historicas ya que sebasan en la idea de que el conjunto de datos en estudio hasido generado por un proceso estocastico, con una estructuraque puede caracterizarse y describirse.

Hablando en terminos matematicos, una serie de tiempopuede entenderse como una realizacion del procesoestocastico {Xt : t T}, es decir, para w

xt1 = xt1(w) , xt2 = xt2(w) , . . .

y las observaciones {xt : t T} son la serie de tiempo.



Conclusiones

Series de tiempo

Los modelos de series de tiempo proporcionan un metodosofisticado para describir y predecir series historicas ya que sebasan en la idea de que el conjunto de datos en estudio hasido generado por un proceso estocastico, con una estructuraque puede caracterizarse y describirse.

Hablando en terminos matematicos, una serie de tiempopuede entenderse como una realizacion del procesoestocastico {Xt : t T}, es decir, para w

xt1 = xt1(w) , xt2 = xt2(w) , . . .

y las observaciones {xt : t T} son la serie de tiempo.



Conclusiones

Series de tiempo estacionarias

Un proceso {Xt}tT se llama completamente estacionario sipara todo n 1, para cualesquiera t1, t2, . . . , tn elementos deT y para todo tal que t1 + , t2 + , . . . , tn + T , lafuncion de distribucion conjunta del vector (Xt1 , . . . ,Xtn ) esigual a la distribucion conjunta del vector(Xt1+ ,Xt2+ , . . . ,Xtn+ )

Ft1,...,tn (a1, . . . , an) = P(Xt1 a1; . . . ; Xtn an)= P(Xt1+ a1; . . . ; Xtn+ an)= Ft1+,...,tn+ (a1, . . . , an).

En otras palabras, toda la estructura probabilstica de unproceso completamente estacionario no cambia al correr en eltiempo



Conclusiones


Un proceso {Xt}tT se llama completamente estacionario sipara todo n 1, para cualesquiera t1, t2, . . . , tn elementos deT y para todo tal que t1 + , t2 + , . . . , tn + T , lafuncion de distribucion conjunta del vector (Xt1 , . . . ,Xtn ) esigual a la distribucion conjunta del vector(Xt1+ ,Xt2+ , . . . ,Xtn+ )

Ft1,...,tn (a1, . . . , an) = P(Xt1 a1; . . . ; Xtn an)= P(Xt1+ a1; . . . ; Xtn+ an)= Ft1+,...,tn+ (a1, . . . , an).

En otras palabras, toda la estructura probabilstica de unproceso completamente estacionario no cambia al correr en eltiempo



Conclusiones


Un proceso de 2o orden {Xt}tT se llama debilmenteestacionario o estacionario de 2o orden si para cadan {1, 2, . . .}, para cualesquiera t1, t2, . . . , tn T y paratodo tal que t1 + , . . . , tn + T , todos los momentos deorden 1 y 2 del vector (Xt1 , . . . ,Xtn ) son iguales a loscorrespondientes momentos de orden 1 y 2 del vector(Xt1+ , Xt2+ , . . ., Xtn+ ).

Algunas implicaciones de esta definicion son

E(Xt) = , t

Cov(Xt ,Xt+ ) = , t.



Conclusiones


Un proceso de 2o orden {Xt}tT se llama debilmenteestacionario o estacionario de 2o orden si para cadan {1, 2, . . .}, para cualesquiera t1, t2, . . . , tn T y paratodo tal que t1 + , . . . , tn + T , todos los momentos deorden 1 y 2 del vector (Xt1 , . . . ,Xtn ) son iguales a loscorrespondientes momentos de orden 1 y 2 del vector(Xt1+ , Xt2+ , . . ., Xtn+ ).

Algunas implicaciones de esta definicion son

E(Xt) = , t

Cov(Xt ,Xt+ ) = , t.



Conclusiones


0 50 100 150 200

4

2

02

46

Index

x

0 50 100 150

05

1015

2025

30time

x

Figura: (a) Proceso estacionario (b) Proceso no-estacionario



Conclusiones

Modelos ARMA(p,q)

Diremos que el proceso a tiempo discreto Xt es tipoautorregresivo y promedios moviles de orden p y q,ARMA(p, q), si es un proceso estacionario y para cadat {0,1,2, . . .} se tiene

Xt 1Xt1 pXtp = t + 1t1 + + qt , (1)

donde {t} es una sucesion de v.as no-correlacionadas, talque t, t N(0, ).



Conclusiones

Modelos ARMA(p,q)

La ecuacion (1) se puede escribir usando la notacion deoperadores de retraso BXt = Xt1 como

p(B)Xt = q(B)t ; t {0,1,2, . . .},con

p(z) = 1 1z pzp , z C,

q(z) = 1 + 1z + + qzq , z C.

(a) Si p(z) 1 entonces Xt = (B)t se reduce a unmodelo MA(q).

(b) Si q(z) 1 entonces (B)Xt = t se reduce un modeloAR(p).



Conclusiones

Modelos ARMA(p,q)


p(B)Xt = q(B)t ; t {0,1,2, . . .},con

p(z) = 1 1z pzp , z C,

q(z) = 1 + 1z + + qzq , z C.(a) Si p(z) 1 entonces Xt = (B)t se reduce a unmodelo MA(q).




Conclusiones

Modelos ARMA(p,q)


p(B)Xt = q(B)t ; t {0,1,2, . . .},con

p(z) = 1 1z pzp , z C,

q(z) = 1 + 1z + + qzq , z C.(a) Si p(z) 1 entonces Xt = (B)t se reduce a unmodelo MA(q).




Conclusiones

Modelos ARMA(p,q)

0 50 100 150 2004

3

2

1

0

1

2

3

Figura: Ejemplo de un proceso ARMA(1,1).



Conclusiones

Modelos ARCH(q)

Un modelo autorregresivo condicionalmente heterocedastico(ARCH) con orden q( 1) es definido como

Yt = tt , donde 2t = 0 + 1Y

2t1 + . . .+ qY

2tq,

para constantes 0 0, j 0 y {t}t v.a.s i.i.d. con algunadistribucion parametrica D, con media 0 y varianza es 1(comunmente se usa Normal o t-Student).

El modelo ARCH fue introducido por Engle (1982) paramodelar y predecir la varianza para las tasas de inflacion deReino Unido. Desde entonces, ha sido ampliamente usadopara modelar la volatilidad de series de tiempo economicas yfinancieras.



Conclusiones

Modelos ARCH(q)

Un modelo autorregresivo condicionalmente heterocedastico(ARCH) con orden q( 1) es definido como

Yt = tt , donde 2t = 0 + 1Y

2t1 + . . .+ qY

2tq,

para constantes 0 0, j 0 y {t}t v.a.s i.i.d. con algunadistribucion parametrica D, con media 0 y varianza es 1(comunmente se usa Normal o t-Student).

El modelo ARCH fue introducido por Engle (1982) paramodelar y predecir la varianza para las tasas de inflacion deReino Unido. Desde entonces, ha sido ampliamente usadopara modelar la volatilidad de series de tiempo economicas yfinancieras.



Conclusiones

Modelos ARCH(q)

0 200 400 600 800 1000 1200 1400 1600 180010

8

6

4

2

0

2

4

6

8

Figura: Ejemplo de un proceso ARCH(1).



Conclusiones

Modelo ARCH(1)

Dentro de este tipo de modelos el ARCH(1) es el masutilizado para modelar la voatilidad de series financieras

2t (Yt |Yt1) = 0 + 1Y 2t1,donde para una serie de precios S1,S2, . . . se tomaYt = log(St/St1) (conocidos en el ambito financiero comolog-retornos o simplemente retornos).



Conclusiones

Modelo GARCH(q, p)

El modelo ARCH ha sido extendido en varias direcciones. Lamas importante de esas es la extension para incluir uncomponente autorregresivo en la varianza condicional; estaextension se conoce como modelo ARCH generalizado(GARCH) debido a Bollerslev (1986) y Taylor (1986).

El proceso {Yt}t sigue un proceso GARCH(p, q) si

Yt = tt , 2t = 0 +

qi=1

i Y2ti +

pj=1

j2tj , (2)

donde nuevamente {t} es una sucesion de v.a.s i.i.d. conmedia 0 y varianza unitaria, 0 > 0, i 0, j 0, ymax(p,q)

i=1 (i + i ) < 1.



Conclusiones

Modelo GARCH(q, p)

El modelo ARCH ha sido extendido en varias direcciones. Lamas importante de esas es la extension para incluir uncomponente autorregresivo en la varianza condicional; estaextension se conoce como modelo ARCH generalizado(GARCH) debido a Bollerslev (1986) y Taylor (1986).

El proceso {Yt}t sigue un proceso GARCH(p, q) si

Yt = tt , 2t = 0 +

qi=1

i Y2ti +

pj=1

j2tj , (2)

donde nuevamente {t} es una sucesion de v.a.s i.i.d. conmedia 0 y varianza unitaria, 0 > 0, i 0, j 0, ymax(p,q)

i=1 (i + i ) < 1.



Conclusiones

Modelo GARCH(q, p)

0 200 400 600 800 1000 1200 1400 1600 180030

20

10

0

10

20

30

Figura: Realizacion de un proceso GARCH(1,1).



Conclusiones

Modelo ARMA(m, n)-GARCH(q, p)

Una extension reciente a los modelos ARCH y GARCH ha sidoel modelo ARMA-GARCH, el cual contempla un proceso deseries de tiempo tanto para la media como para el error, esdecir

Xt =m

k=1

k Xtk + Yt +n

j=1

j Ytj ,

Yt = tt , 2t = 0 +

qi=1

i Y2ti +

pj=1

j2tj ,

donde t es i.i.d. de acuerdo a una cierta distribucion conmedia cero y varianza unitaria.



Conclusiones



Xt =m

k=1

k Xtk + Yt +n

j=1

j Ytj ,

Yt = tt , 2t = 0 +

qi=1

i Y2ti +

pj=1

j2tj ,




Conclusiones



Xt =m

k=1

k Xtk + Yt +n

j=1

j Ytj ,

Yt = tt , 2t = 0 +

qi=1

i Y2ti +

pj=1

j2tj ,




Conclusiones

Los modelos de Pitt y Walker

Consideremos una sucesion de variables aleatorias

Y1 W1 Y2 W2 Wn1 Yn. (3)

El proceso (3) evoluciona como sigue: Comenzamos con unavariable aleatoria Y1 con densidad fYt (y). Condicionalmente aYt = y1 la variable W1 tiene densidad fWt |Yt (w |y1),condicional a W1 = w1 la variable aleatoria Y2 tiene densidadfYt+1|Wt (y |w1)(= fYt |Wt (y |w1)) y proseguimos en la mismaforma para t = 3, 4, 5, . . .

De acuerdo a la estructura en que evoluciona el proceso hayuna clara conexion con el Gibbs sampler.



Conclusiones



Y1 W1 Y2 W2 Wn1 Yn. (3)El proceso (3) evoluciona como sigue: Comenzamos con unavariable aleatoria Y1 con densidad fYt (y). Condicionalmente aYt = y1 la variable W1 tiene densidad fWt |Yt (w |y1),condicional a W1 = w1 la variable aleatoria Y2 tiene densidadfYt+1|Wt (y |w1)(= fYt |Wt (y |w1)) y proseguimos en la mismaforma para t = 3, 4, 5, . . .




Conclusiones



Y1 W1 Y2 W2 Wn1 Yn. (3)El proceso (3) evoluciona como sigue: Comenzamos con unavariable aleatoria Y1 con densidad fYt (y). Condicionalmente aYt = y1 la variable W1 tiene densidad fWt |Yt (w |y1),condicional a W1 = w1 la variable aleatoria Y2 tiene densidadfYt+1|Wt (y |w1)(= fYt |Wt (y |w1)) y proseguimos en la mismaforma para t = 3, 4, 5, . . .




Conclusiones


La densidad fYt |Wt (y |w) es conocida y no cambia con t. Paraque esto suceda especificamos las densidades fYt (y)(= fY (y))y fWt |Yt (w |y)(= fW |Y (w |y)).

Pitt, Chatfield, Walker (2002) y Pitt, Walker (2005) proponenmodelos de series de tiempo usando el esquema (3) donde elproceso {Y1,Y2, . . .} corresponde a las observaciones de algunfenomeno en la naturaleza y el proceso {W1,W2, . . .}corresponde a variables latentes que se introducen con el finde especificar la dependencia estocastica entre Yt+1 y Yt .



Conclusiones


La densidad fYt |Wt (y |w) es conocida y no cambia con t. Paraque esto suceda especificamos las densidades fYt (y)(= fY (y))y fWt |Yt (w |y)(= fW |Y (w |y)).Pitt, Chatfield, Walker (2002) y Pitt, Walker (2005) proponenmodelos de series de tiempo usando el esquema (3) donde elproceso {Y1,Y2, . . .} corresponde a las observaciones de algunfenomeno en la naturaleza y el proceso {W1,W2, . . .}corresponde a variables latentes que se introducen con el finde especificar la dependencia estocastica entre Yt+1 y Yt .



Conclusiones


Dadas las densidades fWt |Yt y fYt+1|Wt tenemos que

fYt+1|Yt (y |yt) =

fYt+1|Wt (y |w)fWt |Yt (w |yt)dw . (4)

Por construccion, el proceso {Y1,W1, Y2,W2, . . .} tiene lapropiedad de Markov, ya que la densidad de Wt condicional alpasado del proceso solo depende de Yt (la observacioninmediata anterior), asimismo la densidad de Yt+1 condicionalal pasado solo depende de Wt .



Conclusiones


Dadas las densidades fWt |Yt y fYt+1|Wt tenemos que

fYt+1|Yt (y |yt) =

fYt+1|Wt (y |w)fWt |Yt (w |yt)dw . (4)

Por construccion, el proceso {Y1,W1, Y2,W2, . . .} tiene lapropiedad de Markov, ya que la densidad de Wt condicional alpasado del proceso solo depende de Yt (la observacioninmediata anterior), asimismo la densidad de Yt+1 condicionalal pasado solo depende de Wt .



Conclusiones

Modelo ARCH va variables latentes

Para construir un modelo tipo ARCH estrictamenteestacionario, Pitt y Walker (2005) proponen un esquema

como en (3) donde fWt |Yt (w |yt) = Ig(w |+12 , 2+y2t2 )y

fYt (y) = St(y |0, 12 , ).

Dadas las distribuciones que se tienen para Yt y Wt |Yt ,Wt Ig(2 ,

2

2 ) y Yt |Wt N(0,w). Luego la transicionpara el proceso seraYt+1|Yt St(yt+1|0, = +12+(yt )2 , = + 1).La varianza condicional tiene la siguiente forma

2(yt |yt1) =2 + y 2t1 1 = 0 + 1y

2t1.



Conclusiones




fYt (y) = St(y |0, 12 , ).Dadas las distribuciones que se tienen para Yt y Wt |Yt ,Wt Ig(2 ,

2

2 ) y Yt |Wt N(0,w). Luego la transicionpara el proceso seraYt+1|Yt St(yt+1|0, = +12+(yt )2 , = + 1).

La varianza condicional tiene la siguiente forma

2(yt |yt1) =2 + y 2t1 1 = 0 + 1y

2t1.



Conclusiones




fYt (y) = St(y |0, 12 , ).Dadas las distribuciones que se tienen para Yt y Wt |Yt ,Wt Ig(2 ,

2

2 ) y Yt |Wt N(0,w). Luego la transicionpara el proceso seraYt+1|Yt St(yt+1|0, = +12+(yt )2 , = + 1).La varianza condicional tiene la siguiente forma

2(yt |yt1) =2 + y 2t1 1 = 0 + 1y

2t1.



Conclusiones

Modelo AR-ARCH

El proceso {Yt}t jugara el papel de las innovaciones o ruidoen un modelo AR(1) para las observaciones {Xt}t .

Consideremos la ecuacion que define a un proceso AR(1)

Xt = Xt1 + Yt , (5)

donde || < 1 para garantizar que el proceso sea estacionario.



Conclusiones

Modelo AR-ARCH

El proceso {Yt}t jugara el papel de las innovaciones o ruidoen un modelo AR(1) para las observaciones {Xt}t .Consideremos la ecuacion que define a un proceso AR(1)

Xt = Xt1 + Yt , (5)

donde || < 1 para garantizar que el proceso sea estacionario.



Conclusiones

Modelo AR-ARCH

Podemos pensar en (5) como una transformacion entre dosvectores aleatorios

T (Y1, . . . ,Yn) = (X1, . . . ,Xn),

donde dado un valor inicial constante X0 = x0 para {Xt}t ,cada entrada de (X1, . . . ,Xn) esta definida por (5).

La transformacion inversa

T1(X1, . . . ,Xn) = (Y1, . . . ,Yn)

queda definida por

Yt = Xt Xt1.



Conclusiones

Modelo AR-ARCH

Podemos pensar en (5) como una transformacion entre dosvectores aleatorios

T (Y1, . . . ,Yn) = (X1, . . . ,Xn),

donde dado un valor inicial constante X0 = x0 para {Xt}t ,cada entrada de (X1, . . . ,Xn) esta definida por (5).

La transformacion inversa

T1(X1, . . . ,Xn) = (Y1, . . . ,Yn)

queda definida por

Yt = Xt Xt1.Miguel Angel Contreras Ortiz Construccion de un modelo AR-ARCH va variables latentes


Conclusiones

Modelo AR-ARCH

As entonces la funcion de verosimilitud para las observacionesx1, . . . , xn del proceso {Xn}n esta dada por

fX1,...,Xn (x1, . . . , xn) = fY1,...,Yn (x1x0, . . . , xnxn1)|JT1 |

= fY1(x1 x0)n1t=1

fYt+1|Yt (xt+1 xt |xt xt1),

donde fY1(x1 x0) = (+1

2)

( 2

)

(1

2pi

) 12

1

[1+(x1x0)2

2]+1

2

la cual es una distribucion St(x1|x0, , ) con = 12 .



Conclusiones

Modelo AR-ARCH

As entonces la funcion de verosimilitud para las observacionesx1, . . . , xn del proceso {Xn}n esta dada por

fX1,...,Xn (x1, . . . , xn) = fY1,...,Yn (x1x0, . . . , xnxn1)|JT1 |

= fY1(x1 x0)n1t=1

fYt+1|Yt (xt+1 xt |xt xt1),

donde fY1(x1 x0) = (+1

2)

( 2

)

(1

2pi

) 12

1

[1+(x1x0)2

2]+1

2

la cual es una distribucion St(x1|x0, , ) con = 12 .



Conclusiones

Modelo AR-ARCH

Por otra parte, fYt+1|Yt (xt+1 xt |xt xt1)

=(+22 )

(+12 )

(1

(2 + (xt xt1)2)pi) 1

2 1

[1 + (xt+1xt )2

2+(xtxt1)2 ]+2

2

,

es decir que la densidad de transicion para Y es unaSt(xt+1|xt , , + 1) con = +12+(xtxt1)2 .

Usando los supuestos del artculo de Pitt y Walker (2005),partimos del hecho de que

fWt |Yt (w |xt xt1) = Ig(+12 , 2+(xtxt1)2

2 ) y

fYt (xt xt1) = St( = xt1, = 12 , ).



Conclusiones

Modelo AR-ARCH

Por otra parte, fYt+1|Yt (xt+1 xt |xt xt1)

=(+22 )

(+12 )

(1

(2 + (xt xt1)2)pi) 1

2 1

[1 + (xt+1xt )2

2+(xtxt1)2 ]+2

2

,

es decir que la densidad de transicion para Y es unaSt(xt+1|xt , , + 1) con = +12+(xtxt1)2 .Usando los supuestos del artculo de Pitt y Walker (2005),partimos del hecho de que

fWt |Yt (w |xt xt1) = Ig(+12 , 2+(xtxt1)2

2 ) y

fYt (xt xt1) = St( = xt1, = 12 , ).



Conclusiones

Estimacion de parametros va el algoritmo EM

Como se dijo anteriormente, el objetivo del algoritmo EM esencontrar la moda de la distribucion final y, recordando que sila distribucion final es proporcional a la verosimilitud, alencontrar su moda estaramos encontrando el estimador o losestimadores maximo verosmiles.

La expresion de la verosimilitud aumentada considerando elconjunto de datos completos sera la siguiente

fX1,...,Xn,W1,...,Wn1 |, , (x1, . . . , xn,w1 . . . ,wn1)

=n1t=1

{fYt+1|Wt (xt+1xt |wt)fWt |Yt (wt |xtxt1)fY1(x1x0)

}.



Conclusiones


Como se dijo anteriormente, el objetivo del algoritmo EM esencontrar la moda de la distribucion final y, recordando que sila distribucion final es proporcional a la verosimilitud, alencontrar su moda estaramos encontrando el estimador o losestimadores maximo verosmiles.

La expresion de la verosimilitud aumentada considerando elconjunto de datos completos sera la siguiente

fX1,...,Xn,W1,...,Wn1 |, , (x1, . . . , xn,w1 . . . ,wn1)

=n1t=1

{fYt+1|Wt (xt+1xt |wt)fWt |Yt (wt |xtxt1)fY1(x1x0)

}.



Conclusiones

Estimacion de parmetros va el algoritmo EM

Consideremos pi(, , ) 1, as

pi(, , |x1, . . . , xn,w1, . . . ,wn1) fX1,...,Xn,W1,...,Wn1 |, , pi(, , )= fX1,...,Xn,W1,...,Wn1 |, , .

Se pretende usar el algoritmo EM para encontrar a , y .

La distribucion condicional de las variables latentes dados losdatos observados y los parametros sera obtener:



Conclusiones








Conclusiones








Conclusiones


fX1,...,Xn,W1,...,Wn1|,,fX1,...,Xn|,,

=

n1t=1

{fYt+1|Wt (xt+1xt |wt )fWt |Yt (wt |xtxt1)

}n1

t=1 fYt+1|Yt (xt+1xt |xtxt1)

fW1,...,Wn1|X1,...,Xn,,, =n1t=1


fYt+1|Yt (xt+1xt |xtxt1)

}.

Posteriormente se toma el logaritmo de la distribucion finalresultante y se procede a implementar los pasos E y M.



Conclusiones


fX1,...,Xn,W1,...,Wn1|,,fX1,...,Xn|,,

=

n1t=1


}n1

t=1 fYt+1|Yt (xt+1xt |xtxt1)fW1,...,Wn1|X1,...,Xn,,, =n1

t=1



}.




Conclusiones


fX1,...,Xn,W1,...,Wn1|,,fX1,...,Xn|,,

=

n1t=1


}n1

t=1 fYt+1|Yt (xt+1xt |xtxt1)fW1,...,Wn1|X1,...,Xn,,, =n1

t=1



}.




Conclusiones

Ajuste de datos simulados

A manera de resumen, lo que se hizo fue simular 2500observaciones que siguen el proceso que estamos planteando,es decir, un modelo AR(1) para las observaciones {Xt}t conerrores que siguen un proceso ARCH(1) como plantea elartculo de Pitt y Walker (2005).

Se ajusto el modelo estimando los parametros va el algoritmoEM. Para verificar la efectividad de prediccion en el modelo,se realizaron 5 predicciones de la volatilidad de los datos y secompararon con las observaciones reales.



Conclusiones


A manera de resumen, lo que se hizo fue simular 2500observaciones que siguen el proceso que estamos planteando,es decir, un modelo AR(1) para las observaciones {Xt}t conerrores que siguen un proceso ARCH(1) como plantea elartculo de Pitt y Walker (2005).

Se ajusto el modelo estimando los parametros va el algoritmoEM. Para verificar la efectividad de prediccion en el modelo,se realizaron 5 predicciones de la volatilidad de los datos y secompararon con las observaciones reales.



Conclusiones


Los verdaderos valores de los parametros para los datossimulados fueron:

(, , ) = (2.5,4.5,0.95).

Las estimaciones finales de los parametros despues deimplementar el algoritmo EM fueron las siguientes:

(, , ) = (2.5036478, 4.4077945, 0.9485942).



Conclusiones


Los verdaderos valores de los parametros para los datossimulados fueron:

(, , ) = (2.5,4.5,0.95).

Las estimaciones finales de los parametros despues deimplementar el algoritmo EM fueron las siguientes:

(, , ) = (2.5036478, 4.4077945, 0.9485942).



Conclusiones


Figura: Datos estimados y originales.



Conclusiones


Figura: Volatilidad estimada y real.



Conclusiones

Ajuste de datos reales

50 100 150 200 25022

24

26

28

30

32

34

0 50 100 150 200 2504

3

2

1

0

1

2

3

4

5

Figura: Precios y retornos de la accion de AT&T.



Conclusiones


Se modelaron los retornos historicos de la accion de AT&TInc. Los datos son los precios diarios desde el 3 de octubre de2005 hasta el 29 de septiembre de 2006 (251 datos).

Se ajusto la serie con el modelo propuesto y secomparo contra 3 modelos alternativos:

Un AR(1) con errores distribuidos N(0, 2).

Un MA(1)-ARCH(1) con errores distribuidos St(0, 1, ).AR(1)-ARCH(1) con errores distribuidos St(0, 1, ).Se realizaron 20 predicciones junto con sus intervaloscalculados al 95 % de confianza y se compararon con lasobservaciones verdaderas.



Conclusiones








Conclusiones








Conclusiones





Un MA(1)-ARCH(1) con errores distribuidos St(0, 1, ).

AR(1)-ARCH(1) con errores distribuidos St(0, 1, ).Se realizaron 20 predicciones junto con sus intervaloscalculados al 95 % de confianza y se compararon con lasobservaciones verdaderas.



Conclusiones





Un MA(1)-ARCH(1) con errores distribuidos St(0, 1, ).AR(1)-ARCH(1) con errores distribuidos St(0, 1, ).

Se realizaron 20 predicciones junto con sus intervaloscalculados al 95 % de confianza y se compararon con lasobservaciones verdaderas.



Conclusiones








Conclusiones

Residuales del modelo AR(1) ordinario.

50 100 150 200 2504

3

2

1

0

1

2

3

4Residuales

4 3 2 1 0 1 2 3 40

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

Data

Dens

ity

ResidualesDensidad Normal

0 5 10 15 200.2

0

0.2

0.4

0.6

0.8

Sample Autocorrelation Function (ACF)

3 2 1 0 1 2 34

3

2

1

0

1

2

3

4QQ Plot



Conclusiones

Residuales del modelo MA(1) - ARCH(1).

50 100 150 200 2504

3

2

1

0

1

2

3

4Residuales

4 3 2 1 0 1 2 3 40

0.1

0.2

0.3

0.4

0.5

0.6

0.7

Data

Dens

ity

ResidualesDensidad tstudent

0 5 10 15 200.2

0

0.2

0.4

0.6

0.8


4 2 0 2 4

20

24

Students t QQ Plot

Theoretical Quantiles

Samp

le Qu

antile

s



Conclusiones

Residuales del modelo AR(1) - ARCH(1).

50 100 150 200 2504

3

2

1

0

1

2

3

4Residuales

4 3 2 1 0 1 2 3 40

0.1

0.2

0.3

0.4

0.5

0.6

0.7

Data

Dens

ity


0 5 10 15 200.2

0

0.2

0.4

0.6

0.8


4 2 0 2 4

20

24

Students t QQ Plot


Samp

le Qu

antile

s



Conclusiones

Residuales del modelo propuesto.

50 100 150 2004

3

2

1

0

1

2

3

4Residuales

4 3 2 1 0 1 2 3 40

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

Data

Dens

ity


0 5 10 15 20 25 30 35 400.2

0

0.2

0.4

0.6

0.8

Lag

Samp

le Au

tocorr

elatio

n


4 2 0 2 4

20

24

Students t QQ Plot


Samp

le Qu

antile

s



Conclusiones

Resultados comparativos.

Los modelos MA(1)-ARCH(1), AR(1)-ARCH(1) yAR(1)-ARCH(1) (usando variables latentes) pasaron laspruebas de bondad de ajuste y de no-correlacion, sin embargoen el modelo AR(1) se rechazo la prueba de Jarque-Bera paraprobar Normalidad con lo cual queda descartado.

Los otros MA(1)-ARCH(1), AR(1)-ARCH(1) que noconsideran variables latentes en su construccion, presentarondeficiencias como exceso de curtosis respecto a la distribuciont-Student, en sus histogramas vemos que los residuales no seasemejan mucho a una distribucion t-Student, etc.



Conclusiones


Los modelos MA(1)-ARCH(1), AR(1)-ARCH(1) yAR(1)-ARCH(1) (usando variables latentes) pasaron laspruebas de bondad de ajuste y de no-correlacion, sin embargoen el modelo AR(1) se rechazo la prueba de Jarque-Bera paraprobar Normalidad con lo cual queda descartado.

Los otros MA(1)-ARCH(1), AR(1)-ARCH(1) que noconsideran variables latentes en su construccion, presentarondeficiencias como exceso de curtosis respecto a la distribuciont-Student, en sus histogramas vemos que los residuales no seasemejan mucho a una distribucion t-Student, etc.



Conclusiones


Nuestro modelo tiene errores con distribucion marginalSt(0, 2, ) mientras que los modelos del tipo MA-ARCH yAR-ARCH contra los que se comparo, consideran unadistribucion St(0, 1, )

Debemos notar que nuestro modelo posee un parametro extra,, el cual es precisamente el resultado de incorporar unproceso latente en el modelo y nos da una distribucion masgeneral para el error, una t-Student reescalada.



Conclusiones


Nuestro modelo tiene errores con distribucion marginalSt(0, 2, ) mientras que los modelos del tipo MA-ARCH yAR-ARCH contra los que se comparo, consideran unadistribucion St(0, 1, )Debemos notar que nuestro modelo posee un parametro extra,, el cual es precisamente el resultado de incorporar unproceso latente en el modelo y nos da una distribucion masgeneral para el error, una t-Student reescalada.



Conclusiones

Prediccion para observaciones futuras.

Para las predicciones se ajustaron 20 modelos sustrayendo laultima observacion en cada modelo por separado, es decir,para el primero se consideraron n 1 observaciones y sepronostico la observacion numero n, para el segundo modelose tomaron n 2 datos y se pronostico la observacion n 1 yas sucesivamente.

Se utilizo la ventaja de que los retornos {Xt}t sigue unproceso AR(1) para el cual la prediccion para una observacionfutura xn+1 puede obtenerse mediante la ecuacion

xn+1 = xn. (6)



Conclusiones


Para las predicciones se ajustaron 20 modelos sustrayendo laultima observacion en cada modelo por separado, es decir,para el primero se consideraron n 1 observaciones y sepronostico la observacion numero n, para el segundo modelose tomaron n 2 datos y se pronostico la observacion n 1 yas sucesivamente.

Se utilizo la ventaja de que los retornos {Xt}t sigue unproceso AR(1) para el cual la prediccion para una observacionfutura xn+1 puede obtenerse mediante la ecuacion

xn+1 = xn. (6)



Conclusiones


El intervalo de confianza es analogo al intervalo de confianzapara una prediccion hecha mediante un modelo AR(1)

xinf = xpred 1/2t , xsup = xpred + 1/2t , (7)

De los 20 intervalos de confianza para las predicciones, 19contuvieron al verdadero valor, es decir el 95 % como sedeseaba.



Conclusiones


El intervalo de confianza es analogo al intervalo de confianzapara una prediccion hecha mediante un modelo AR(1)

xinf = xpred 1/2t , xsup = xpred + 1/2t , (7)

De los 20 intervalos de confianza para las predicciones, 19contuvieron al verdadero valor, es decir el 95 % como sedeseaba.



Conclusiones


Notemos nuevamente que el parametro fue el resultado deusar variables latentes en el modelo y como vimos, juega unpapel importante en la construccion del intervalo de confianzapara las predicciones ya que, en otro caso, al usar un modelotradicional este parametro es considerado como 1 y estoposiblemente hubiera ocasionado que los intervalos calculadosno contuvieran a los verdaderos valores en mas casos de losesperados.



Conclusiones

Valuacion de opciones con volatilidad estocastica

40 50 60 70 80 90 100

5

0

5

10

15

20

25

30

35

Precios para S(T)

Prd

ida/G

anan

cia

40 50 60 70 80 90 100

5

0

5

10

15

20

25

30

35

Prd

ida/G

anan

cia

Precios para S(T)

Figura: Diagramas de perdidas y ganancias para una opcion call(izquierda) y put (derecha).



Conclusiones


Sean yt y St la volatilidad y el precio de la accion al tiempo trespectivamente. Entonces dados los retornos xn, xn1 y elprecio Sn se tiene que

yn = xn xn1.

Luego para t = n + 1, . . . ,

yt |wt1 N(0,wt1)

xt = xt1 + yt



Conclusiones


Sean yt y St la volatilidad y el precio de la accion al tiempo trespectivamente. Entonces dados los retornos xn, xn1 y elprecio Sn se tiene que

yn = xn xn1.Luego para t = n + 1, . . . ,

yt |wt1 N(0,wt1)

xt = xt1 + yt



Conclusiones


wt |yt Ig(( + 1)/2, (xt xt1)2/2 + (2/2))

St = St1ext .

El valor de la prima c para una opcion call puede obtenersemediante la expresion

c =1

n

ni=1

max (St,i K , 0),

y cada muestra St,i es obtenida a traves de simulacion delproceso anterior.



Conclusiones


wt |yt Ig(( + 1)/2, (xt xt1)2/2 + (2/2))

St = St1ext .

El valor de la prima c para una opcion call puede obtenersemediante la expresion

c =1

n

ni=1

max (St,i K , 0),

y cada muestra St,i es obtenida a traves de simulacion delproceso anterior.



Conclusiones


0 500 1000 1500 2000 25000

200

400

600

800

1000

1200

1400

1600

Figura: Simulacion de 10 trayectorias de precios con retornos AR-ARCH.



Conclusiones

Resultados comparativos

Comparando el precio de una opcion tipo call para la accionAT&T con respecto a otros modelos como son Black-Scholesy Arboles Binomiales se obtuvo lo siguiente:

PrecioCallBS = 2.9615

PrecioCallAB = 2.9798

PrecioCallPropuesto = 2.9771

Como vemos los 3 precios son consistentes.



Conclusiones

Resultados comparativos

Comparando el precio de una opcion tipo call para la accionAT&T con respecto a otros modelos como son Black-Scholesy Arboles Binomiales se obtuvo lo siguiente:

PrecioCallBS = 2.9615

PrecioCallAB = 2.9798

PrecioCallPropuesto = 2.9771

Como vemos los 3 precios son consistentes.



Conclusiones

Conclusiones

A lo largo de este trabajo hemos aprendido un ejemplo endonde se ilustra como la introduccion de variables latentespermite definir la relacion de dependencia estocastica en unmodelo estadstico, en este caso una serie de tiempo del tipoAR(1)-ARCH(1), siendo esta una de muchas aplicaciones quepuede haber en la utilizacion de estas tecnicas.

Ademas se ilustro el uso de una distribucion marginalespecfica para un conjunto de observaciones en estudio,rompiendo con el esquema tradicional del uso excesivo de ladistribucion Normal para gobernar la estructura probabilsticade los datos de interes.



Conclusiones

Conclusiones

A lo largo de este trabajo hemos aprendido un ejemplo endonde se ilustra como la introduccion de variables latentespermite definir la relacion de dependencia estocastica en unmodelo estadstico, en este caso una serie de tiempo del tipoAR(1)-ARCH(1), siendo esta una de muchas aplicaciones quepuede haber en la utilizacion de estas tecnicas.

Ademas se ilustro el uso de una distribucion marginalespecfica para un conjunto de observaciones en estudio,rompiendo con el esquema tradicional del uso excesivo de ladistribucion Normal para gobernar la estructura probabilsticade los datos de interes.



Conclusiones

Conclusiones

Como consecuencia de usar variables latentes para creardependencia, nuestro modelo tiene errores con distribucionmarginal St(0, 2, ). Los modelos ARMA-GARCHtradicionales consideran una distribucion St(0, 1, ), la cualresulta menos flexible y no alcanza a capturar caractersticasimportantes presentes en los datos como son la asimetra, quees una caracterstica representativa de los modelos ARCH yGARCH. Consideremos que esta es una ventaja de usarnuestro esquema.



Conclusiones

Conclusiones

Ahora bien, pensemos que definiendo las distribuciones detransicion apropiadas entre las observaciones y las variableslatentes podemos especificar cualquier distribucion deprobabilidad, continua o discreta, como distribucion marginalde nuestras observaciones.

A su vez, es factible introducir 2 o mas variables latentes en elmodelo segun convenga y permita definir completamente larelacion de dependencia estocastica de las observacionesfijando una distribucion marginal apropiada, ademas depreservar la estacionaridad de las observaciones. De estamanera, se podran construir modelos de series de tiempocada vez mas complejos.

Fundamentos y motivacion del uso de variables latentesSeries de tiemp

Construcción de un modelo AR-ARCH vía variables latentes

Documents

Transcript of Construcción de un modelo AR-ARCH vía variables latentes