Elementos de Cadenas de Markov.ppt
-
Upload
ivan-alex-apaza -
Category
Documents
-
view
193 -
download
0
Transcript of Elementos de Cadenas de Markov.ppt
Elementos de Cadenas de Markov
Probabilidad y Estadística Aplicadas a las Operaciones
Especialidad en Dirección de Operaciones
MCE Paul Ramírez De la Cruz
feb 2009
feb 201016 feb 2009 Elementos de Cadenas de
Markov2
Contenido
Introducción Definiciones sobre Cadenas de Markov de
tiempo discreto Ejemplos Estados absorbentes Procesos Poisson Ejemplo
feb 201016 feb 2009 Elementos de Cadenas de
Markov3
Introducción
Consideremos un cajero que atiende a las personas que llegan a una sucursal bancaria
Pensemos que en la fila nunca hay más de tres personas (incluyendo la que se atiende)
Supongamos que los clientes no llegan en grupos
Entonces el número de personas en la fila (incluyendo la que se atiende) puede tomar los valores 0, 1, 2, 3
feb 201016 feb 2009 Elementos de Cadenas de
Markov4
Introducción
Pensemos que el cajero tarda al menos un minuto en atender a un cliente y que en un minuto dado no puede llegar más de un cliente al banco
Si observamos el número de personas en la fila cada minuto, esta cantidad puede:
Aumentar en 1, si llega otro cliente antes de que atiendan al que está en servicio
Disminuir en 1, si se termina de atender al cliente y nadie más llega
Esto se repite a lo largo del día
Minuto 5
Minuto 6
Minuto 7
Minuto 8
feb 201016 feb 2009 Elementos de Cadenas de
Markov5
Introducción
Si podemos considerar que la cantidad de clientes en el próximo minuto depende solamente de la cantidad de clientes en el minuto actual, entonces podríamos determinar la probabilidad de tener una cierta cantidad de clientes en la fila en el próximo minuto
Para ello requeriríamos solamente probabilidades condicionales del tipo:
P(en el siguiente minuto haya i clientes | en este minuto hay j clientes) A fin de poder calcular tales probabilidades, debemos contar con:
Información acerca de la “velocidad” con que atiende el cajero a los clientes
Información sobre la cantidad de clientes que llega al banco por unidad de tiempo
feb 201016 feb 2009 Elementos de Cadenas de
Markov6
Introducción
Una forma adecuada de organizar dicha información es mediante una tabla o matriz
En los renglones colocamos el número actual de clientes
En las columnas, el número de clientes en el siguiente minuto
Llamemos Xn al número de clientes en el minuto n
0 1 2 3
0 0.5 0.5 0 0
1 0.25 0.5 0.25 0
2 0 0.7 0.2 0.1
3 0 0 0.4 0.6Clie
nte
s e
n
el m
inu
to n
Clientes en el minuto n+1
12 1 2 | 1 0.25n np P X X
feb 201016 feb 2009 Elementos de Cadenas de
Markov7
Introducción
Notemos que el primer renglón de la matriz anterior indica las probabilidades de pasar a 0, 1, 2 o 3 clientes en la fila dado que ahora hay cero clientes Como estos valores representan todos los posibles
resultados, deben sumar 1 Lo mismo ocurre con los otros renglones
A una matriz que cumple con esta condición se le llama matriz estocástica (probabilística)
feb 201016 feb 2009 Elementos de Cadenas de
Markov8
Definiciones sobre Cadenas de Markov de Tiempo Discreto
Proceso estocástico Es una función aleatoria que varía en el tiempo Sus valores no pueden ser predichos con exactitud, sino con
cierta probabilidad Proceso o Cadena de Markov
Es un tipo importante de proceso estocástico que cumple con la Propiedad Markoviana
Dicha propiedad implica que el comportamiento futuro del proceso, dada la trayectoria que ha seguido en el pasado y hasta el momento actual, depende únicamente de su situación presente
Esto implica que un proceso de Markov “no tiene memoria” En el ejemplo, el proceso o cadena de Markov, Xn, es el número
de clientes en la fila en el minuto n
feb 201016 feb 2009 Elementos de Cadenas de
Markov9
Definiciones sobre Cadenas de Markov de Tiempo Discreto
Si se observa el valor de la cadena de Markov en una cantidad a lo más numerable de momentos: 0, 1, ..., n, ... entonces se dice que es de tiempo discreto
Estados de una cadena de Markov Son los valores que puede asumir el proceso En el ejemplo visto, los estados son 0, 1, 2 y 3
Probabilidades de transición Son las probabilidades de que la cadena pase al estado j dado
que está en el estado i Se representan por pij
Por ejemplo, si i = 1 y j = 2, entonces
12 1 2 | 1 0.25n np P X X
feb 201016 feb 2009 Elementos de Cadenas de
Markov10
Definiciones sobre Cadenas de Markov de Tiempo Discreto
Si las probabilidades de transición son constantes con respecto al tiempo, entonces se dice que la cadena de Markov es homogénea o estacionaria
Matriz de transición o matriz estocástica Es la matriz que resume las probabilidades de transición
Si la matriz da las probabilidades de pasar: Del estado i en el tiempo n al estado j en el tiempo n+1, entonces se
le llama “de un paso” Del estado i en el tiempo n al estado j en el tiempo n+2, se le llama
“de dos pasos”, etc Si P es la matriz de un paso de una cadena de Markov,
entonces P2 es la matriz de dos pasos; P3 la de tres pasos, etc
feb 201016 feb 2009 Elementos de Cadenas de
Markov11
Definiciones sobre Cadenas de Markov de Tiempo Discreto
La distribución inicial de una cadena de Markov son las probabilidades de que inicie en cada estado
En nuestro ejemplo, siempre se empieza sin clientes, así que siempre tenemos X0 = 0, lo cual es equivalente a decir que P(X0 = 0) = 1
En general podríamos tener una probabilidad de empezar con 0 clientes, una probabilidad de empezar con 1 cliente, etcétera
Esto podríamos expresarlo mediante un vector: (P(X0 = 0), P(X0 = 1), P(X0 = 2), P(X0 = 3)) = (1,0,0,0)
feb 201016 feb 2009 Elementos de Cadenas de
Markov12
Ejemplo 1
Dada la matriz de transición del cajero bancario, calcule
Solución Hay que observar que
Pero por la definición de probabilidad condicional
0 10, 1P X X
0 1 0 10, 1 0 1P X X P X X
0 1 1 0 0
01
0 1 1| 0 0
1 0.5
P X X P X X P X
p
feb 201016 feb 2009 Elementos de Cadenas de
Markov13
Ejemplo 2
Dada la matriz de transición del cajero bancario, calcule
Solución Hay que observar que Por la definición de probabilidad condicional
Luego
Pero por el ejemplo anterior y por la propiedad markoviana
0 1 20, 1, 2P X X X
0 1 2 0 1 20, 1, 2 0 1 2P X X X P X X X
0 1 2 2 0 1 0 10 1 2 2 | 0, 1 0, 1P X X X P X X X P X X
0 1 22 0 1
0 1
0 1 22 | 0, 1
0, 1
P X X XP X X X
P X X
0 1 2 2 0 1 1 0 0
2 1 1 0 0
12 01
0 1 2 2 | 0, 1 1| 0 0
2 | 1 1| 0 0
1 0.25 0.5 0.125
P X X X P X X X P X X P X
P X X P X X P X
p p
feb 201016 feb 2009 Elementos de Cadenas de
Markov14
Ejemplo 3
Considere el problema de enviar un mensaje binario a través de un canal de señal que consta de tres etapas
La transmisión en cada etapa está sujeta a una probabilidad de error fija de 0.01
Suponga que se envía X0 = 0 y que Xn es la señal que se recibe en la n-ésima etapa. Asuma que Xn es una cadena de Markov
Obtenga: La matriz de transición de Xn
La probabilidad de que el mensaje llegue sin errores hasta la segunda etapa: P(X0 = 0, X1 = 0, X2 = 0)
Sugerencia: Sea P la matriz de transición de Xn. Calcule P2
feb 201016 feb 2009 Elementos de Cadenas de
Markov15
Clasificación de estados de una cadena de Markov
Los estados de una cadena de Markov se clasifican dependiendo de la fracción de tiempo que la cadena pasa en cada uno de ellos
Los estados de una cadena de Markov pueden ser: Transitorios Recurrentes Absorbentes
feb 201016 feb 2009 Elementos de Cadenas de
Markov16
Estado Absorbente
Es un estado de una cadena de Markov tal que cuando el proceso llega a él, ya no puede pasar a otro estado
Un estado es absorbente si la probabilidad de que el proceso siga en él es igual a 1
En la siguiente matriz de transición, note que el estado 2 es absorbente, más no así el estado 0
0 1 2 3
0 0 1 0 0
1 0.1 0.5 0.25 0.15
2 0 0 1 0
3 0.2 0.1 0.4 0.3Es
tad
o n
Estado n+1
feb 201016 feb 2009 Elementos de Cadenas de
Markov17
Estados transitorios y recurrentes
Un estado i está comunicado con un estado j si existe una ruta que lleva de i a j
Definimos como la probabilidad de que la cadena de Markov regrese al estado j en n pasos
Se define como la probabilidad de que la cadena regrese eventualmente al estado j y se calcula como
Un estado es transitorio si Un estado es recurrente si
njjf
jjf
1jjf
1jjf
1 2
1
n njj jj jj jj jj
n
f f f f f
feb 201016 feb 2009 Elementos de Cadenas de
Markov18
Cadenas de Markov irreducibles
Cadena de Markov irreducible, es aquella en la que todos los estados están comunicados entre sí
Se puede saber si una cadena de Markov es irreducible verificando que Pk tiene todas sus entradas positivas para algún k natural
feb 201016 feb 2009 Elementos de Cadenas de
Markov19
Ejemplo
Verifique si las siguientes matrices de transición pertenecen a una cadena de Markov irreducible
0 1 2 3
0 0.5 0.5 0 0
1 0.25 0.5 0.25 0
2 0 0.7 0.2 0.1
3 0 0 0.4 0.6
0 1 2 3
0 1 0 0 0
1 0.1 0.5 0.25 0.15
2 0 0 1 0
3 0.2 0.1 0.4 0.3
feb 201016 feb 2009 Elementos de Cadenas de
Markov20
Distribución límite de una cadena de Markov
Si una cadena de Markov es irreducible, entonces tiene distribución límite única Si es reducible, puede que también tenga distribución límite
única La distribución límite de una cadena de Markov
irreducible es un vector de probabilidades que puede interpretarse como: La probabilidad de que en cualquier momento dado, la cadena
se encuentre en el estado j, j = 1,2,…,n; o bien La fracción del tiempo que, en el largo plazo, la cadena pasa en
el estado j, j = 1,2,…,n
feb 201016 feb 2009 Elementos de Cadenas de
Markov21
Distribución límite de una cadena de Markov
Sea P la matriz de transición de una cadena de Markov irreducible con n estados y sea = (1, 2,…, n)t un vector
La distribución límite de la cadena de Markov es la solución de
Note que una de las ecuaciones en P = es redundante
1 2
.
1n
P
s a
feb 201016 feb 2009 Elementos de Cadenas de
Markov22
Ejemplo
Calcule la distribución límite de la cadena de Markov cuya matriz de transición es
0 1 2 3
0 0.5 0.5 0 0
1 0.25 0.5 0.25 0
2 0 0.7 0.2 0.1
3 0 0 0.4 0.6
feb 201016 feb 2009 Elementos de Cadenas de
Markov23
Procesos Poisson
Es uno de los tipos más importantes de procesos estocásticos Ejemplos de sus aplicaciones son
Llegada de consumidores a una estación de servicio Solicitudes de archivos a un servidor de red Ocurrencia de accidentes en un crucero en particular Defectos en un producto manufacturado
Comenzamos definiendo “un contador” que cuenta el número de ocurrencias de un fenómeno a partir de un punto de referencia y definimos
X(t) = Número de ocurrencias en el intervalo (0,t] El contador X(t) se incrementa en una unidad cada vez que hay
una ocurrencia
feb 201016 feb 2009 Elementos de Cadenas de
Markov24
Procesos Poisson
En un proceso Poisson, el número de ocurrencias hasta el tiempo t sigue una distribución Poisson con media t:
X(t) toma sólo valores enteros y X(0) = 0 Los incrementos de X(t) son independientes entre sí y
estacionarios (todos tienen la misma tasa de ocurrencia, t) Lo anterior implica que, por ejemplo, en el caso del banco, los
clientes no llegan en grupos y a lo largo de todo el día llegan con la misma intensidad
Si estas condiciones no se cumplen, no es un proceso Poisson
; 0,1,2,...
!
xte tp x P X t x x
x
feb 201016 feb 2009 Elementos de Cadenas de
Markov25
Ejemplo
Suponga que las solicitudes a un servidor de red siguen la distribución Poisson con tasa =5 por minuto. Encuentre la probabilidad de que haya al menos 8 solicitudes en un periodo de 2 minutos
feb 201016 feb 2009 Elementos de Cadenas de
Markov26
Ejemplo
Los defectos en cierto tipo de cable siguen la distribución Poisson con tasa 1.5 por metro. Encuentre la probabilidad de que haya no más de 4 defectos en una pieza de 2 metros de cable
feb 201016 feb 2009 Elementos de Cadenas de
Markov27
Ejemplo
Una central telefónica recibe llamadas con una intensidad de 3 llamadas por minuto
Calcule la probabilidad de que se reciban 3 llamadas en un periodo de 40 segundos
feb 201016 feb 2009 Elementos de Cadenas de
Markov28
Suma de Procesos Poisson
Si X1(t) es un proceso Poisson con tasa 1t y X2(t)
es otro proceso Poisson con tasa 2t, entonces X3(t) = X1(t) + X2(t) es un proceso Poisson con intensidad (1 + 2)t
Ejemplo Cierto tipo de cacerolas presenta defectos no graves en 10 de
cada 1000 unidades y presenta defectos graves en 1 de cada 10000 unidades
Encuentre la probabilidad de que en las próximas 100 unidades haya por lo menos 2 con algún defecto, grave o no grave