Introducciónal tratamiento de series...
Transcript of Introducciónal tratamiento de series...
Introducción al tratamiento
de series temporales
1-Procesos estocásticos.
Procesos estacionarios
• Serie temporal:
• Ejemplos:
Hora a la que se pone el Sol cada día
Presión arterial
Distancia entre sucesivos postes de una línea eléctrica
Sucesivas tiradas de un dado
• Notación Frecuente:
1. Procesos estocásticos. Procesos estacionarios
• Proceso estocástico:
Serie temporal en la que cada valor es
la realización de una variable aleatoria
Mejor: cada valor es una realización de una variable aleatoria
Hora a la que se pone el Sol cada díaPresión arterialDistancia entre sucesivos postes de una línea eléctricaSucesivas tiradas de un dado
Hora a la que se pone el Sol cada díaPresión arterialDistancia entre sucesivos postes de una línea eléctricaSucesivas tiradas de un dado
1. Procesos estocásticos. Procesos estacionarios
• El caso más sencillo:
Nuestro proceso está formado por una serie de variablesaleatorias independientes e idénticamente distribuidas (i.i.d.)también llamado proceso homogéneo
Variables independientes
Idénticamente distribuidas Todas ellas siguen la mismadistribución de probabilidad
Ejemplos:
Sucesivas tiradas de un dadoLanzamos n monedas una detrás de otra
1. Procesos estocásticos. Procesos estacionarios
• Procesos no homogéneos:
Variables no independientes
Ej. Consideremos la tirada de un dado + el valor de la tirada anterior
Este ya no es tan sencillo pero:
• Las variables siguen la misma distribución de probabilidad
• Es más, se cumple que:
Proceso Estacionario
1. Procesos estocásticos. Procesos estacionarios
• En la práctica es difícil comprobar si un proceso es estacionario
• Proceso estacionario en sentido amplio
A la hora de la verdad el sentido es “mucho más amplio”: se
habla de procesos estacionarios simplemente cuando la media
se mantiene constante a lo largo del proceso.
Cuando el proceso es estacionario podemos estudiar cualquier parte del proceso ya que vamos a obtener los mismos resultados.
1. Procesos estocásticos. Procesos estacionarios
0 50 100 150 200 250
-35
-30
-25
-20
-15
-10
-5
0
5
� � � � ��
White noise
Random walk
Estacionaria
No estacionaria
Ruido blanco (White noise)
Paseo aleatorio (Random walk)
1. Procesos estocásticos. Procesos estacionarios
Ejemplo: Series de intervalos entre sucesivos latidos del corazón
0 100 200 300 400 500 600
-4
-2
0
2
4
Inte
rvalo
entr
e latido
s
número de latido
-4
-2
0
2
4
1. Procesos estocásticos. Procesos estacionarios
0 100 200 300 400 500 6000.0
0.2
0.4
0.6
0.8
R
ad
iació
n s
ola
r n
orm
aliz
ad
a
t (horas)
Ejemplo: Series de radiación solar en Málaga
0 100 200 300 400 5000.2
0.3
0.4
0.5
0.6
0.7
0.8
Pro
me
dio
se
ma
na
l
de
ra
dia
ció
n s
ola
r n
orm
aliz
ad
a
t (semanas)
Estacionalidad
2. Función de
autocorrelación
Es una herramienta muy útil para detectar patrones yperiodicidades en series temporales
Definición: dada una serie temporal
con varianza:
La función de autocorrelación se define como:
2. Función de autocorrelación.
Es una forma de medir la dependencia del valor enla posición con el valor en la posición
Sólo mide la dependencia lineal
• Si las variables son independientes• Pero no implica que lo sean
¡Ojo! No distingue entre dependencia (en sentido causal) y simple persistencia.
Inconveniente: Si queremos medir a una distanciagrande necesitamos tener muchos datos.Error debido al tamaño finito:
2. Función de autocorrelación.
Ejemplos: ruido blanco (en general serie de variables i.i.d.)
0 5 10 15 20-0.2
0.0
0.2
0.4
0.6
0.8
1.0
0 1000 2000 3000 4000
-40
-20
0
20
40
60
0 200 400 600 800 1000
0.2
0.4
0.6
0.8
1.0
2. Función de autocorrelación.
Ejemplos: Random walk (en general serie con tendencias)
0 20 40 60 80 100
0.2
0.4
0.6
0.8
1.0
2. Función de autocorrelación.
0 10 20 30 40 50 60
0.0
0.2
0.4
0.6
0.8
1.0
0 10 20 30 40 50 60
-1.0
-0.5
0.0
0.5
1.0
Ejemplos: Serie alternada
1 10
1E-3
0.01
0.1
1
Valores negativos: ANTICORRELACIONES
3. Transformada de Fourier
0 100 200 300 400 500 6000.0
0.2
0.4
0.6
0.8
Ra
dia
ció
n s
ola
r n
orm
aliz
ad
a
t (horas)
Esta serie tiene periodicidades• ¿podemos explicarlas?• ¿nos interesa la variación periódica o cómo fluctúa alrededor de la tendencia periódica?
En cualquier caso es interesante ser capaces de extraerlas
3. Transformada de Fourier
Dada una funcion definida en toda la recta real, se define su transformada de Fourier como:
donde es la frecuencia en hercios.
La transformada inversa nos da la propia función a partir de la transformada de Fourier:
• Representa a la función en el dominio temporal
• Representa a la función en el dominio de frecuencias
3. Transformada de Fourier
Además, está relacionada con la función de correlación
Se demuestra que la transformada de Fourier de la función de correlación es el producto de las transformadas de Fourier de las funciones:
En particular la transformada de Fourier de la función de autocorrelación(correlación de una función consigo misma)
es el módulo al cuadrado de la transformada de Fourier de la función:
Teorema de Wiener-Khinchin
3. Transformada de Fourier
ESPECTRO DE POTENCIA
TRANSFORMADA DISCRETA DE FOURIER
En realidad, uno (casi) nunca se encuentra con funciones del tiempo continuas, sino que en realidad se tiene una serie discreta de datos, es decir, muestreados para ciertos valores de tiempo.
El caso más frecuente es tener una serie muestreada a intervalos uniformesde tiempo: (cada segundo, cada minuto, cada hora, etc)
3. Transformada de Fourier
¡Ojo! Teorema de Nyquist (o de muestreo):
Dado un intervalo de muestreo ∆, existe una frecuencia crítica
tal que la transformada de Fourier (discreta) sólo contiene frecuencias hasta fc . Esto es bueno si la señal está limitada en frecuencias, y el límite es menor que fc . PERO es malo si no lo es, porque entonces las frecuencias se mezclan (aliasing). Ejemplo: señales de audio y su versión digital en CD.
TRANSFORMADA DISCRETASupongamos N valores de una serie temporal:
Puesto que tenemos N datos de entrada, no podemos producir más deN datos independientes de salida, así que en lugar de obtener laTransformada de Fourier en todo el intervalo –fc ,fc, la obtenemos sóloen ciertos valores discretos:
Finalmente, se trata de sustituir la integral por un sumatorio
Estrictamente hablando, la DFT es sólo el último sumando:
Que es independiente de ∆. (equivale a considerar ∆=1)
3. Transformada de Fourier
¿Cómo se implementa la DFT?
El algoritmo de cálculo más extendido es la FFT, algoritmo revolucionarioque permite pasar de tiempo de calculo de orden N2 a orden N log N.
El software comercial (ya sea de tratamiento de datos o de análisis de señales) suele llevar implementada la FFT.
¡Ojo! La FFT funciona bien si N es potencia de 2
Si no lo es, o bien se trunca la serie, o bien se autocopia
hasta alcanzar el tamaño adecuado
PROBLEMA: ¿y si los datos no están equiespaciados temporalmente?
Existen variantes de la FFT para resolver este problema:Transformada LOMB (véase Numerical Recipes)
3. Transformada de Fourier
4. Modelos de
series temporales
Vamos a considerar algunos modelos usuales que se usan para describir o generar series temporales:
• Modelos (cadenas) de Markov• Modelos AR, MA, ARMA, ARIMA, etc
Los modelos de Markov se usan fundamentalmente para estudiar series temporales DISCRETAS, es decir, cuando la variable aleatoria sólo toma valores dentro de un conjunto finito de estados posibles.
Los modelos AR, MA, etc, se usan fundamentalmente para modelar series temporales CONTINUAS, especialmente con el objetivo de predecir valores futuros de la serie temporal.
4. Modelos de series temporales
MODELOS O CADENAS DE MARKOV
Consideremos un conjunto finito de estados que pueden ser adoptados por una variable estocástica:
Asignemos a cada par de estados (i , j) un número real pij que cumpla:
4. Modelos de series temporales
Con estos números, podemos definir la matriz de transición:
¡Ojo! Recordemos que la matriz está normalizada por filas
Es decir, la probabilidad de aparición de un estado en el tiempo t+1 SÓLO depende del estado en el tiempo t (memoria de orden 1)
4. Modelos de series temporales
Además, se tiene que:
EJEMPLO: Serie temporal estocástica con dos estados posibles, A y B
4. Modelos de series temporales
Las cadenas de Markov presentan correlaciones, PERO DE CORTO ALCANCE, que caen usualmente de forma exponencial.
EJEMPLO: Supongamos un sistema binario, con estados 1 y -1
0 20 40 60 80 100
-1.0
-0.5
0.0
0.5
1.0
X(t
)
t0 5 10 15 20
0.0
0.2
0.4
0.6
0.8
1.0
0 5 10 15
10-4
10-3
10-2
10-1
100
C(l
)
l
4. Modelos de series temporales
OTRO EJEMPLO:
0 20 40 60 80 100
-1.0
-0.5
0.0
0.5
1.0
X(t
)
t0 5 10 15 20
0.0
0.2
0.4
0.6
0.8
1.0
C(l
)
l
Este ejemplo corresponde a una señal aleatoria pura.
PREGUNTA: ¿Cómo se generarían ANTICORRELACIONES?
4. Modelos de series temporales
MODELOS AUTORREGRESIVOS (AR)
Supongamos ahora una serie temporal X(t) que describe un proceso estocástico, en el que la serie toma valores continuos (reales).
Cuando la serie tiene ‘persistencias’ es razonable suponer que el valor de la serie en un tiempo t está influido por los valores anteriores de la serie. Esta influencia no puede ser estricta, porque la serie no es determinista, sino que tiene que tener una componente aleatoria.
Los modelos autorregresivos consideran que:
Esta ecuación describe un modelo autoregresivo de orden p, AR(p)La componente aleatoria va incluida en ε(t), que normalmente es un ruido blanco gaussiano. Al término ε(t) se le llama ‘INNOVACIÓN’
4. Modelos de series temporales
El caso más sencillo posible sería AR(1):
Ejemplo:
0 50 100 150 200 250 300-6
-4
-2
0
2
4
6
X(t
)
t
4. Modelos de series temporales
Sin embargo, estos modelos producen también correlaciones de CORTO ALCANCE, que caen de forma exponencial
0 5 10 15 20
0.0
0.5
1.0
0 5 10 15 20
10-2
10-1
100
C(l
)
l
4. Modelos de series temporales
Los modelos MA tienen una filosofía parecida, pero en lugar de depender de los valores anteriores de la serie, dependen de las INNOVACIONES anteriores.
Ejemplo: Modelo MA de orden q
Finalmente, los modelos ARMA unen los modelos AR y MA, es decir, el valor de la serie depende de los p valores anteriores de la serie y de los qvalores anteriores de las innovaciones
Ejemplo: Modelo ARMA(p,q)
4. Modelos de series temporales
Todos estos modelos se usan generalmente para PREDECIR valores futuros de una serie temporal, y por eso se suelen usar en economía, además de en diversas disciplinas científicas.
Sin embargo, sean del tipo que sean, su característica común es que aunque sirven para generar series con correlaciones, éstas caen siempre de forma exponencial, con lo que tenemos siempre CORRELACIONES DE CORTO ALCANCE.
En la Naturaleza, aparecen muchos sistemas en los que las correlaciones NO son de corto alcance, sino que decaen mucho más lentamente que de forma exponencial: ADN, dinámica del corazón, propiedades físicas en las transiciones de fase, etc.
4. Modelos de series temporales
Por qué nos interesan los modelos lineales AR y MA?.
No solo porque pueden ser intercambiables sino porque puede
aplicarse el siguiente resultado:
Teorema de descomposición de Wold
Toda serie temporal estacionaria puede ser descompuesta en la
suma de un proceso determinista (no estocástico) y de un MA.
La clave del éxito es conseguir estacionarizar la serie temporal
dada mediante adecuadas transformaciones de los datos, usual-
mente diferenciando reiteradamente la serie para estabilizar la
media y/o aplicando transformaciones estabilizadoras de la
varianza (tomar logaritmos, Box-Cox, etc).
5. Correlaciones de largo
alcance y ruidos 1/f
100
101
102
103
104
105
106
107
10-5
10-4
10-3
10-2
10-1
Mapping rule SW
Fit to a power law
Slope = 0.259
C(l
)
l
Empecemos con un ejemplo: la función de autocorrelación correspondiente al cromosoma 20 del genoma humano.
Como vemos, la función de autocorrelación decae en forma deLEY DE POTENCIAS
5. Correlaciones de largo alcance
Cuando la función de autocorrelación es de la forma:
Se dice que la señal presenta correlaciones de largo alcance. El nombre viene dado porque una ley de potencias decae mucho más lentamente que una exponencial, y por lo tanto las correlaciones llegan ‘más lejos’.
La señales que poseen esta propiedad están asociadas con la geometría fractal. El motivo es que si la autocorrelación es de esa forma, la señal no posee ninguna escala (espacial o temporal) característica, o, dicho de otra forma, es INVARIANTE frente al cambio de escalas, concepto análogo a la propiedad principal de los fractales.
Ejemplo: con una correlación que decaiga exponencialmente
Existe una escala característica (a). En una ley de potencias no la hay.
5. Correlaciones de largo alcance
6000 8000 10000
-60
0
X(t
)t
0 2000 4000 6000 8000 10000 12000 14000 16000
-90
-60
-30
0
30
60
X(t
)
t
La señal es fractal porque estadísticamente hablando una porción de la misma es indistinguible de la señal entera
Ejemplo: Random Walk
¡Ojo! El cambio de escala NO es igual en los dos ejes: la señal puede ser autoafín, y no autosimilar.
5. Correlaciones de largo alcance
La ‘fortaleza’ de las correlaciones se caracteriza a través del exponente de la función de autocorrelación, γ.
Series de este tipo aparecen por doquier: señales biofísicas, ruidos en circuitos, series económicas, geofísicas, etc.
Sin embargo, estadísticamente hablando, la función de autocorrelación no es un buen estimador de la correlaciones presentes en una serie, por lo que se usan herramientas alternativas.
Una de las más destacadas es el uso de la Transformada de Fourier. Puede demostrarse que una señal con correlaciones de largo alcance posee un espectro de potencia de la forma:
Es decir, el espectro de potencia es OTRA LEY DE POTENCIAS.
5. Correlaciones de largo alcance
Por eso a estas señales se les llama también RUIDOS 1/f
Ejemplo: Random Walk
0 3000 6000 9000 12000 15000 18000
-90
-60
-30
0
30
60
X(t
)
t
10-3 10-2 10-110-14
10-11
1x10-8
1x10-5
1x10-2
f (Hz)S( f
)
Para este caso concreto, se tiene que
0 100 200 300 400 500
-4
-2
0
2
4
X(t
)
t0 100 200 300 400 500
-6
-4
-2
0
2
4
6
X(t
)
t
0 100 200 300 400 500
-8
-6
-4
-2
0
2
4
6
8
10
12
X(t
)
t0 100 200 300 400 500
-15
-10
-5
0
5
10
15
20
25
X(t
)
t
5. Correlaciones de largo alcance
Ejemplos de ruidos 1/f
6. Análisis de la fluctuación
Las correlaciones parecen estar
relacionadas con las fluctuaciones alrededor
del valor medio que presentan las series 0 100 200 300 400 500
-4
-2
0
2
4
X(t
)
t0 100 200 300 400 500
-6
-4
-2
0
2
4
6
X(t
)
t
0 100 200 300 400 500
-8
-6
-4
-2
0
2
4
6
8
10
12
X
(t)
t0 100 200 300 400 500
-15
-10
-5
0
5
10
15
20
25
X(t
)
t
Se pueden medir las
correlaciones midiendo la
fluctuación
6. Análisis de la fluctuación
6. Análisis de la fluctuación
6. Análisis de la fluctuación
0 500 1000 1500 2000 2500 3000
-4
-2
0
2
4
x(t
)
t
100
101
102
103
104
105
106
1E-4
1E-3
0.01
0.1
100
101
102
103
104
1
10
100
10-5
10-4
10-3
10-2
10-1
100
1E-13
1E-12
1E-11
1E-10
1E-9
1E-8
1E-7
1E-6
S(f
)
f (Hz)
6. Análisis de la fluctuación
¿Qué pasa si la serie no es
estacionaria?
6. Análisis de series
no estacionarias
10-5
10-4
10-3
10-2
10-1
100
1E-14
1E-13
1E-12
1E-11
1E-10
1E-9
1E-8
1E-7
1E-6
1E-5
1E-4
S(f
)
f (Hz)
Este sigue
funcionando
pero …
¡Es por definición!
0 5000 10000 15000 20000 25000 30000
-4
-2
0
2
x(t
)
t
6. Análisis de series no estacionarias
100
101
102
103
104
105
0.1
1
100
101
102
103
104
1
10
100
1000
10000
6. Análisis de series no estacionarias
Nos quedamos con el espectro de potencia
por cuestión de interpretación
Métodos de análisis:
• Análisis de la fluctuación sin tendencia (DFA)Modificación del análisis de la fluctuación
• WaveletsModificación de la transformada de Fourier
Análisis de la fluctuación sin tendencia (DFA)
6. Análisis de series no estacionarias
0 5000 10000 15000 20000 25000 30000
-4
-2
0
2
x(t
)
t
0 5000 10000 15000 20000 25000 30000
-8000
-6000
-4000
-2000
0
2000
4000
w(t
)
t
0 5000 10000 15000 20000 25000 30000
-8000
-6000
-4000
-2000
0
2000
4000
w(t
)
t
6. Análisis de series no estacionarias
1235 1240 1245 1250 1255 1260 1265
-4
-2
0
2
4
wa
lk
posición en la serie
6. Análisis de series no estacionarias
100
101
102
103
104
1E-3
0.01
0.1
1
10
100
1000
10000
¡¡FUNCIONA !!
WAVELETS Algo parecido a la Transformada de Fourier para series no estacionarias
6. Análisis de series no estacionarias
Transformada de Fourier:
Información sobre la frecuencia
Se pierde por completo la
información espacial
(Si la serie es estacionaria esto no es un problema)
6. Análisis de series no estacionarias
0 100 200 300 400
-2
0
2
f(t)
t
Ejemplo:
0.00 0.02 0.04 0.06 0.08 0.10
-0.1
0.0
0.1
0.2
0.3
0.4
0.5
T[f
(t)]
t
Hace falta un método que analice la serie LOCALMENTE
6. Análisis de series no estacionarias
-5 0 5 10 15 200.0
0.2
0.4
0.6
0.8
1.0
x
6. Análisis de series no estacionarias
-1.0 -0.5 0.0 0.5 1.0
0.0
0.5
1.0
-20 -10 0 10 20 30 40 50
2
3
4
5
6
7
tf(t)
W [ f ]
-20 -10 0 10 20 30 40 50
2
3
4
5
6
7
t
6. Análisis de series no estacionarias
6. Análisis de series no estacionarias
6. Análisis de series no estacionarias
-1.0 -0.5 0.0 0.5 1.0
-1.0
-0.5
0.0
0.5
1.0
-2 0 2-1.0
-0.5
0.0
0.5
1.0
-20 -10 0 10 20 30 40 50
0
1
2
3
4
t
6. Análisis de series no estacionarias
-20 -10 0 10 20 30 40 50
0
1
2
3
4
t
f(t)
W [ f ]
6. Análisis de series no estacionarias
6. Análisis de series no estacionarias
-10 0 10 20 30 40
0
50
100
t
f(t)
W [ f ]