Unidad 6 Cadenas de Markov en Tiempo Continuo
-
Upload
benjamin-zuniga-carmona -
Category
Documents
-
view
234 -
download
3
Transcript of Unidad 6 Cadenas de Markov en Tiempo Continuo
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
1/23
ICI2212 Modelos Estocsticos
Profesor Claudio C. Araya Sassi
Unidad 6: Cadenas de Markov en Tiempo Continuo
Curso Perodo Verano, Enero de 2015
Facultad de IngenieraEscuela de IndustriasIngeniera Civil Industrial
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
2/23
Cadenas de Markov en Tiempo Continuo
2Profesor MSc. Claudio Araya Sassi
En la unidad anterior se supuso que el parmetro t del tiempo es
discreto (es decir, t = 0, 1, 2, . . .).
Este supuesto es adecuado para muchos problemas, pero existen ciertos
casos en los que se requiere un parmetro (llamado t) de tiempo
continuo, debido a que la evolucin del proceso se observa de manera
continua a travs del tiempo.
La definicin de cadena de Markov que se dio en la unidad anterior
tambin se extiende a esos procesos continuos.
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
3/23
Formulacin
3Profesor MSc. Claudio Araya Sassi
Se etiquetan los estados posibles del sistema 0, 1, . . ., M.
Si se comienza en el tiempo 0 y se deja que el parmetro de tiempo t
corra de manera continua para 0, sea la variable aleatoria ()elestado del sistema en el tiempo .
Entonces
(
)toma uno de sus (M + 1) valores posibles en un intervalo,
< despus salta a otro valor en el siguiente intervalo < y as sucesivamente, donde los puntos de trnsito (, . ..) son puntos aleatorios en el tiempo (no necesariamente enteros).
Ahora considere los tres puntos en el tiempo:
1) 0 2) > 3) + > 0 ,
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
4/23
Formulacin
4Profesor MSc. Claudio Araya Sassi
Por lo tanto, el estado del sistema se ha observado en los tiempos t=s y
t=r. Estos estados se etiquetan como
Dada esta informacin, el paso natural es buscar la distribucin de
probabilidad del estado del sistema en el tiempo t= s + t. En otras
palabras, cul es la probabilidad
Un proceso estocstico de tiempo continuo ; 0 tiene lapropiedad markoviana si
()
+ () , 0, 1, . . ,
+ () + , 0, 1, . . , 0, > > 0
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
5/23
Formulacin
5Profesor MSc. Claudio Araya Sassi
Observe que + es una probabilidad detransicin, igual que las probabilidades de transicin de las cadenas de
Markov de tiempos discretos, donde la nica diferencia es que ahora noes necesario que t sea entero.
Probabilidades de transicin estacionarias
Si las probabilidades de transicin son independientes de s, de manera
que
Funcin de probabilidad de transicin de tiempo continuo
Un proceso estocstico de tiempo continuo ; 0 es unacadena de Markov de tiempo continuo si presenta la propiedad
markoviana.
+ 0 , > 0
() 0
lim 1, 0,
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
6/23
Algunas variables aleatorias importantes
6Profesor MSc. Claudio Araya Sassi
Cada vez que el proceso entra en el estado i, la cantidad de tiempo que
pasa en ese estado antes de moverse a uno diferente es una variable
aleatoria , donde 0 , 1 , . . , Suponga que el proceso entra en el estado en el tiempo . Entonces, para cualquier cantidad de tiempo fijo > 0, observe que
> si y solo si para toda en el intervalo + . Por lo tanto, la propiedad markoviana(con probabilidades de transicin
estacionarias) implica que
Dice que la distribucin de probabilidad del tiempo que falta para que el
proceso haga una transicin fuera de un estado dado siempre es la
misma, independientemente de cunto tiempo haya pasado el proceso
en ese estado.
> + > >
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
7/23
Algunas variables aleatorias importantes
7Profesor MSc. Claudio Araya Sassi
En efecto, la variable aleatoria no tiene memoria; el proceso olvida su
historia.
Existe slo una distribucin de probabilidad (continua) que posee esta
propiedad, la distribucin exponencial.
Esta distribucin tiene un solo parmetro, llmese q, donde la media es
1/q y la funcin de distribucin acumulada es
1 , 0
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
8/23
Algunas variables aleatorias importantes
8Profesor MSc. Claudio Araya Sassi
Este resultado conduce a una forma equivalente para describir una cadena
de Markov de tiempo continuo:
1. La variable aleatoria tiene una distribucin exponencial con media 1/.2. Cuando sale de un estado , el proceso se mueve a otro estado, con
probabilidad , donde satisface las condiciones
3. El siguiente estado que se visita despus del estado i es independiente del
tiempo que pas en el estado i.
0
1
=
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
9/23
Algunas variables aleatorias importantes
9Profesor MSc. Claudio Araya Sassi
Intensidades de transicin
Papel anlogo a las probabilidades de transicin de un paso de una cadena de
Markov de tiempos discretos.
Donde
()es lafuncin de probabilidad de transicin de tiempo continuo es la probabilidad descrita en la propiedad 2 de la diapositiva anterior parmetro de la distribucin exponencial de
0 lim1 ()
, 0, 1, 2, ,
0 lim()
,
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
10/23
Algunas variables aleatorias importantes
10Profesor MSc. Claudio Araya Sassi
Intensidades de transicin
La interpretacin intuitiva de y es que son tasas de transicin.
En particular, es la tasa de transicin hacia fuera del estado i en elsentido de que es el numero esperado de veces que el proceso deja elestado i por unidad de tiempo que pasa en el estado i.
De esta forma, es el reciproco del tiempo esperado que el proceso pasaen el estado i por cada visita al estado i; es decir,
De manera similar,
es la tasa de transicin del estado i al estado j en el
sentido de que es el numero esperado de veces que el proceso transitadel estado i al estadoj por unidad de tiempo que pasa en el estado i. As,
1/[]
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
11/23
Algunas variables aleatorias importantes
11Profesor MSc. Claudio Araya Sassi
Intensidades de transicin
es el parmetro de una distribucin exponencial de una variablealeatoria relacionada Cada vez que el proceso entra al estado i, la cantidad de tiempo que
pasara en el estado i antes de que ocurra una transicin al estado j (si no
ocurre antes una transicin a algn otro estado) es una variable aleatoria, donde , 0, 1, , . Las son variables aleatorias independientes, donde cada tiene una
distribucin exponencial con parmetro , de manera que:
1/ El tiempo que pasa en el estado i hasta que ocurre una transicin ()esel mnimo (sobre ) de las .
Cuando ocurre la transicin, la probabilidad de que sea al estadoj es
/
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
12/23
Probabilidades de estado estable
12Profesor MSc. Claudio Araya Sassi
Ecuaciones de Chapman-Kolmogorov
Para cualesquiera estados i yj, y nmeros no negativos (0 ),
Se dice que un par de estados i yj se comunican si existen tiempos
tales que > 0 > 0. Se dice que todos los estados que se comunican forman una clase.
Si todos los estados de una cadena forman una sola clase, es decir, la
cadena de Markov es irreducible.
()( )
=
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
13/23
Probabilidades de estado estable
13Profesor MSc. Claudio Araya Sassi
Probabilidades de estado estable
Si la cadena de Markov es irreducible, entonces,
Siempre existe y es independiente del estado inicial de la cadena de
Markov, paraj =0, 1, . . ., M.
Las satisfacen las ecuaciones
> 0, > 0
lim
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
14/23
Probabilidades de estado estable
14Profesor MSc. Claudio Araya Sassi
Probabilidades de estado estable
Sin embargo, las siguientes ecuaciones de estado estable proporcionanun sistema de ecuaciones mas til para obtener las probabilidades de
estado estable:
es la probabilidad (estable) de que el proceso est en el estado jes la tasa de transicin hacia fuera dej dado que el proceso se encuentraen el estadoj.
es la tasa de transicin del estado i alj dado que el proceso se encuentra
en el estado i.
tasa a la que el
proceso deja el
estado j
, 0, 1, . , .
tasa a la que el proceso
entra al estadoj desde
cualquier otro estado
1
=
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
15/23
Ejemplo 1
15Profesor MSc. Claudio Araya Sassi
Un taller tiene dos maquinas idnticas en operacin continua excepto cuando
se descomponen. Como lo hacen con bastante frecuencia, la tarea con mas
alta prioridad para la persona de mantenimiento que trabaja tiempocompleto es repararlas cuando sea necesario. El tiempo que se requiere para
reparar una maquina tiene distribucin exponencial con media de 1/2 da.
Una vez que se termina la reparacin, el tiempo que transcurre hasta la
siguiente descompostura tiene distribucin exponencial con media de un da.
Estas distribuciones son independientes.
Defina la variable aleatoriaX(t) como
X(t) = nmero de maquinas descompuestas en el tiempo t,
El estado (numero de maquinas descompuestas) aumenta en 1 cuando
ocurre una descompostura y disminuye en 1 cuando se termina una
reparacin.
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
16/23
Ejemplo 1
16Profesor MSc. Claudio Araya Sassi
Como tanto las descomposturas como las reparaciones ocurren una a la
vez,
El tiempo esperado de reparacin es de 1/2 da, de manera que la tasa a
la que se terminan las reparaciones (cuando hay maquinas
descompuestas) es 2 por da, lo que implica que 2 2 .
De manera similar, el tiempo esperado hasta que se descompone unamaquina en operacin es de un da, de manera que la tasa a la que se
descompone (cuando esta en operacin) es de uno por da; esto implica
que 1 .
Durante los tiempos en los que las dos maquinas operan, lasdescomposturas ocurren a una tasa de 1+1 = 2 por da, por lo que
2.
0 0
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
17/23
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
18/23
Ejemplo 1
18Profesor MSc. Claudio Araya Sassi
Diagrama de tasas
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
19/23
Ejemplo 2
19Profesor MSc. Claudio Araya Sassi
Suponga que ahora se agrega al taller una tercera mquina, idntica a las
dos primeras. La persona de mantenimiento debe atender todas las
mquinas. 0 2 2 3 1
+ + 3 3
+ + 4 + 4 + + 3 + 3
+ + 2 2
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
20/23
Ejemplo 2
20Profesor MSc. Claudio Araya Sassi
Diagrama de tasas
0 1 2 3
01 3q
10 2q
12 2q
21 2q
23 1q
32 2q
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
21/23
Ejemplo 2
21Profesor MSc. Claudio Araya Sassi
Ecuaciones de estado estable
0, 1, ,
=
1
0 1 +
2 + 3
+ + + 1
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
22/23
-
8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo
23/23
Ejemplo 2
23Profesor MSc. Claudio Araya Sassi
Ecuaciones de estado estable
Reemplazando en (5) se tiene:
+ 32 + 32 + 34 1
4 + 6 + 6 + 34 1
194 1
419
3
2 4
19 6
19
619
34 4
19 3
19