12-05-2015

1

Cadenas de Markov en TiempoDiscretoMacarena Donoso P.

Carrera de Ingeniera IndustrialUniversidad del Desarrollo

Estructura del Captulo Concepto de cadena de Markov Ecuaciones de Chapman-Kolmogorov Clasificacin de estados Comportamiento a corto plazo de cadenas de Markov.Tiempos y probabilidades del primer paso

Comportamiento en el Largo Plazo (distribucinestacionaria)

Conceptos Preliminares

Las cadenas de markov son modelosprobabilsticos que se usan para predecir laevolucin y el comportamiento a corto y a largoplazo de determinados sistemas. Ejemplos: Porcentaje de mercado entre marcas; Cantidad de equipos con fallas ; Evolucin de una enfermedad,

12-05-2015

2

Una Cadena de Markov (CM) es: Un proceso estocstico Con un nmero finito de estados (M) Con probabilidades de transicin estacionarias Que tiene la propiedad markoviana

Definicin

Un conjunto finito de M estados, exhaustivos ymutuamente excluyentes (ejemplo: estados de laenfermedad)

Transicin de markov (paso) : periodo de tiempoque sirve de base para examinar las transicionesentre estados (ejemplo, un mes)

Probabilidades de transicin entre estados, en unciclo (matriz P)

Distribucin inicial del sistema entre los M estadosposibles

Elementos de una CM

Propiedades de las Cadenas de Markov Una cadena de Markov (CM) es una sucesin de variablesaleatorias Xi, iN, que cumplen las siguientes propiedades:

Propiedad Markoviana: Conocido el estado del proceso enun momento dado, su comportamiento futuro no depende delpasado. Dicho de otro modo, dado el presente, el futuro esindependiente del pasado.

Es decir:

t

t

t

tX

jXPXXXjXP 1

10

1,...,,

12-05-2015

3

Propiedades de las Cadenas de Markov Propiedad Estacionariedad: La probabilidad de pasardel estado i al estado j permanece constante en eltiempo, nodepende de la transicin.

Es decir:

Probabilidades de transicin Las CM estn completamente caracterizadas porlas probabilidades de transicin en una etapa,

pij P Xn1 j Xn i

, i, j S, nN

i, j S nN, P Xn1 j Xn i

pij

Slo trabajaremos con CM homogneas en eltiempo, que son aquellas en las que

Donde pij se llama probabilidad de transicin enuna etapa desde el estado i hasta el estado j

Matriz de transicin Los pij se agrupan en la denominada matriz detransicin de la CM:

P p00 p01 p02 ...p10 p11 p12 ...p20 p21 p22 ...... ... ... ...

pij i, jS

12-05-2015

4

Propiedades de la matriz de transicin

Por ser los pij probabilidades,

i, j S, pij 0,1

i S, pijjS 1

Por ser 1 la probabilidad del suceso seguro,cada fila ha de sumar 1, es decir,

Una matriz que cumpla estas dos propiedadesse llama matriz estocstica

Ejemplos

Diagrama de transicin de estados

El diagrama de transicin de estados (DTE) de una CM esun grafo dirigido cuyos nodos son los estados de la CM ycuyos arcos se etiquetan con la probabilidad de transicinentre los estados que unen. Si dicha probabilidad es nula,no se pone arco.

i jpij

12-05-2015

5

Ejemplo: lnea telefnica Sea una lnea telefnica de estados ocupado=1 ydesocupado=0. Si en el instante t est ocupada, en el instantet+1 estar ocupada con probabilidad 0,7 y desocupada conprobabilidad 0,3. Si en el instante t est desocupada, en el t+1estar ocupada con probabilidad 0,1 y desocupada conprobabilidad 0,9.

Ejemplo: lnea telefnica

P 0,9 0,10,3 0,7

0 10,9

0,1

0,3

0,7

Ejemplo: buffer de E/S Supongamos que un buffer de E/S tiene espacio para Mpaquetes. En cualquier instante de tiempo podemos insertarun paquete en el buffer con probabilidad o bien el bufferpuede vaciarse con probabilidad . Si ambos casos se dan en elmismo instante, primero se inserta y luego se vaca.

Sea Xt=n de paquetes en el buffer en el instante t. Suponiendoque las inserciones y vaciados son independientes entre s eindependientes de la historia pasada, { Xt } es una CM, dondeS={0, 1, 2, , M}

12-05-2015

6

Ejemplo: buffer de E/S

0 1 2 3(1) (1) (1)

1+ 1+ 1+

1(1)

M

1(1)

Ejemplo: organismos unicelulares Se tiene una poblacin de organismos unicelulares queevoluciona as: cada organismo se duplica conprobabilidad 1p o muere con probabilidad p. Sea Xn el nde organismos en el instante n. La CM { Xn } tendr S = {0, 1, 2, 3, } = N

Si hay i organismos en el instante n, en el instante n+1tendremos k organismos que se dupliquen e ik quemueran, con lo que habr 2k organismos.

Ejemplo: organismos unicelulares

Mediante la distribucin binomial podemos hallar lasprobabilidades de transicin pi,2k (el resto deprobabilidades son nulas):

k 0,1,2,...,i , pi,2k ik1 p

k pik

12-05-2015

7

Ecuaciones de Chapman-Kolmogorov

Ecuaciones de Chapman-Kolmogorov Teorema: Las probabilidades de transicin en netapas vienen dadas por la matriz Pn:

i, j S, P X tn j X t i

pij(n )

Demostracin: Por induccin sobre n

Caso base (n=1). Se sigue de la definicin de pij

Ecuaciones de Chapman-Kolmogorov Hiptesis de induccin. Para cierto n, suponemos cierta la

conclusin del teorema. Paso inductivo (n+1). Para cualesquiera i,jS,

Sk tntnttnt iXjXkXPiXjXP 11 ..* 1 IHkXjXPiXkXPSk ntnttnt

pikn P X tn1 j X tn k

kS pikn pkjkS pijn1

12-05-2015

8

Matriz de Transicin en n etapasLa matriz de probabilidades de transicin de n pasos se puedenobtener a partir de la matriz de probabilidades de transicin de unpaso de la siguiente manera:

2 P *P3 P *2 P *P *P..n P *(n1) P *P *(n2) ..... P n

Ecuaciones de Chapman-Kolmogorov Por este teorema sabemos que la probabilidad de que elsistema pase del estado i al estado j en n pasos es el elemento(i,j) de la matriz Pn.

Distribucin del Proceso:En el estudio de la distribucin de las CMTD, existen dosmodelos: El modelo en el estado transiente y el modelo en ellargo plazo.

Para evitar computaciones de potencias elevadas de matrices, seintenta averiguar el comportamiento del sistema en el lmitecuando n, llamado tambin comportamiento a largo plazo

Modelo en el estado TransienteSea:

TnfPf Tnn 0*][

f 0 P(X0 0)P(X0 1)

P(X0 K)

Distribucin inicial delproceso

Utilizando notacin matricial:

Ejemplo:

Sii

n

n

Sin

fP

iXPiXjXPjXP

ij0

00

*

}{*}/{}{

12-05-2015

9

Modelo para el Largo Plazo Del modelo en el estado transiente, se sabe que:

En el largo plazo interesa averiguar el comportamiento delsistema en el lmite, cuando n, llamado tambincomportamiento a largo plazo. Es decir:

f n [P n ]T * f 0

limn fn limn([P

n ]T * f 0) limn([P

n ]T ) * f 0

Clasificacinde estados

Conceptos preliminares Visitas a un determinado estado Probabilidad de ir de i a j por primera vez en k etapas Probabilidad de ir de i a j alguna vez

Tiempos de primer pasoSeaTij el nmero de transiciones (etapas) que hace el procesopara ir de un estado i a un estado j por primera vez.Tij seconoce como el tiempo de primer paso

vez primeraj poraideir paraTiempo),( jiT

12-05-2015

10

Probabilidad de ir del estado i al j en k etapaspor primera vez

,,

...),(0

1)2()1( SjiiXjXjXjXjXPjiF kkkk

Es posible demostrar que:SjijlFpjiF

jlkilk

,),(*),( )1(

kTPjiF ijk ),(Notar que:?),( kijk PjiF

Ahora:

,,

....),(0

)1(21 SjiiXjXjXjXlXPjiF

jl

kkk

Probabilidad de ir de i a j alguna vez

Es posible demostrar que :

SjiiXnjXPjiF n

,0),(0

algnpara

SjijlFppjiFjl

ilij

,),(*),(

SjijiFjiFk

k ,),(),(

Tiempos medio para ir de i a j:

1

),(*)},({k

k jiFkjiTE Cuando j = i, se habla de tiempo derecurrencia para el estado i o tiempo deretorno

Clasificacin de Estados:

Probabilidad de Retorno:),( jjF

recurrenteesj1),(e transientesj1),(

jjFjjF

12-05-2015

11

Conceptos preliminares Accesibilidad de estados:Diremos que un estado j S esalcanzable desde el estado i S sii Fij0. Esto significa queexiste una sucesin de arcos (camino) en el DTE que vandesde i hasta j.

Comunicacin de estados: Dos estados se comunican si uno esaccesible desde el otro y viceversa.

Clase de equivalencia: los estados que se comunican entre siforman una clase de equivalencia.

De otro modo

Comunicacin de Estados Diremos que un estado j S es alcanzable desde

el estado i S sii Fij0. Esto significa que existe unasucesin de arcos (camino) en el DTE que vandesde i hasta j.

Un estado j S es absorbente sii pjj=1. En el DTE,

j1

Clase de Equivalencia Sea CS, con C. Diremos que C es cerrado sii iCjC, j no es alcanzable desde i, o lo que es lo mismo, Fij=0. Enparticular, si C={i}, entonces i es absorbente. S siempre escerrado.

Un subconjunto cerrado CS se dice que es irreducible sii nocontiene ningn subconjunto propio cerrado

12-05-2015

12

Estados recurrentes y transitorios Si S es irreducible, se dice que la CM es irreducible. En el DTE,esto ocurre sii dados i,j cualesquiera, j es alcanzable desde i.

Cmo se mencion anteriormente: jS es recurrente sii Fjj=1.En otro caso diremos que j es transitorio.

Es posible demostrar que una CM slo puede pasar por unestado transitorio como mximo una cantidad finita de veces.En cambio, si visitamos un estado recurrente, entonces lovisitaremos infinitas veces.

Cadenas recurrentes y transitorias

Proposicin: Sea X una CM irreducible. Entonces,o bien todos sus estados son recurrentes (ydecimos que X es recurrente), o bien todos susestados son transitorios (y decimos que X estransitoria).

Ejemplos

Periodicidad

Sea jS tal que Fjj>0. Sea }0|}0{{ njjpnmcdk N

Si k>1, entonces diremos que j es peridicode periodo k. El estado j ser peridico deperiodo k>1 sii existen caminos que llevandesde j hasta j pero todos tienen longitudmk, con m>0

12-05-2015

13

Periodicidad

Ejemplo: En la siguiente CM todos los estados sonperidicos de periodo k=2:

Ejemplo: En la siguiente CM todos los estados son

peridicos de periodo k=3:

Periodicidad Proposicin: Sea X una CM irreducible. Entonces, o bientodos los estados son peridicos de periodo k (ydecimos que X es peridica de periodo k), o bien ningnestado es peridico (y decimos que X es aperidica)

En toda CM peridica de periodo k, existe una particin de S,={A1, A2, ,Ak}, de tal manera que todas lastransiciones van desde Ai hasta A(i mod k)+1. (La distribucinse repite en un cierto nmero de etapas)

Periodicidad

Ejemplo de CM peridica de periodo k=3:

A1 A2

A3

12-05-2015

14

Distribucin lmite y distribucinestacionaria

Distribucin lmite

Lo que se traduce en calcular:

limn fn limn([P

n ]T * f 0) limn([P

n ]T )* f 0

En el largo plazo interesa averiguar el comportamiento delsistema en el lmite, cuando n. Recordando el modelopara el estado transiente:

SjijjTEF

plm ijnijn

),()},({

Concepto de distribucin estacionaria

Definicin: Una cadena tiene distribucin estacionariasi:

nn

flm

Y esta distribucin es independiente de y de laetapa en que se encuentre el sistema k

0f

12-05-2015

15

Concepto de distribucin estacionaria

Teorema: Sea X una CM formada por una nica clase deestados recurrente positiva y aperidica (ergdica).Entonces,

nij

nj plmpSj ,

Sj

jp 1

Diremos que una CM alcanza la distribucinestacionaria sii existen los lmites del teoremaanterior y adems se cumple que:

Existencia de la distribucin estacionaria Teorema: Si existe la distribucin estacionariaentonces, viene dada por la solucin de lassiguientes ecuaciones:

Si

ijij pppSj ,

Sj

jp 1

Este teorema nos dice cmo calcular la distribucin encaso de existir.En forma matricial:

Sjj

T

pPpp T

1*

Nomenclatura para las ecuaciones

A las primeras ecuaciones del teorema se les llamaecuaciones de equilibrio, porque expresan que lo quesale de j (izquierda) es igual a lo que entra en j(derecha):

Si

ijiSi

jij pppp

A la ltima ecuacin se le llama ecuacinnormalizadora, ya que obliga a que el vector formadopor los pj est normalizado (en la norma 1)

12-05-2015

16

Ejemplos

Ejemplo: Hallar la distribucin estacionaria (si existe)del ejemplo de la lnea telefnica.

0 10,9

0,1

0,3

0,7

1 Comprobar que la CM es finita y ergdica, paraas saber que existe la distribucin estacionaria.Lo es, con lo cual dicha distribucin existe.

Ejemplos

O lo que es ms fcil,

1

0,

pp

pdondepPp T

110 pp 3 Plantear la ecuacin normalizadora:

2 Plantear las ecuaciones de equilibrio (una por nodo):

100 3,09,0:0 pppNodo 101 7,01,0:1 pppNodo

Ejercicios

12-05-2015

17

Cadenas de Markov en TiempoDiscretoMacarena Donoso P.

Escuela de Ingeniera IndustrialUniversidad Diego Portales