Procesos y Cadenas de Markov

Modelos de Investigación de Operaciones

Expositor: Luis Coba

Ejemplo

Suponga que un jugador A apuesta sucesivamente contra un jugador B. Inicialmente el jugador A tiene k dólares, y B tiene N − k dólares, es decir, el capital conjunto entre los dos jugadores es de N dólares. En cada apuesta el jugador A tiene la probabilidad p de ganar, y probabilidad q = 1−p de perder.

Sea Xn la fortuna del jugador A al tiempo n. {Xn: n = 0, 1, . . ,11} es una caminata aleatoria que inicia en el estado k. El jugador A ha perdido el juego, cuando llega al estado 0.El jugador A ha ganado el juego, cuando llega al estado N.

El proceso Xn esta constituido por variables aleatorias independientes.

Ejemplo: lanzar un dado o una moneda repetidas veces.

Conclusión:

El resultado u observación del proceso en un momento cualquiera es, independiente de cualquier otra observación pasada o futura del proceso.

El proceso de Markov, está caracterizado por movimientos o transiciones aleatorias.

Este modelo representa una sucesión de ensayos independientes de un mismo experimento aleatorio.

Cadena de Markov

Una “CADENA“ es un proceso en el que una variable aleatoria “Xn” va cambiando con el paso del tiempo.

Definición: Suponiendo conocido el estado presente del sistema, los estados anteriores no tienen influencia en los estados futuros del sistema.

Para cualesquiera estados x0, x1, . . . , xn−1 (pasado), xn (presente), xn+1 (futuro), se cumple la igualdad

P(Xn+1=xn+1|X0=x0,…,Xn=xn)=P(Xn+1=xn+1|Xn=xn)

La probabilidad del evento futuro (Xn = xn) sólo depende el evento (Xn-1 = xn-1), mientras que la información correspondiente al evento pasado (X0 = x0,. . . ,Xn−2 = xn−2) es irrelevante.

La probabilidad de que Xn=xn solo depende del estado inmediatamente anterior Xn-1

Matriz de transición

Ejemplo 1.

Supongamos que el clima es lluvioso o despejado. Como resultado de un amplio registro, se determina que:

La probabilidad de que se dé un día lluvioso después de un día despejado es 1/3, y la probabilidad de que se tenga un día lluvioso después de otro día lluvioso es 1/2.

D: estado de un día despejado

R: estado de un día lluvioso

T matriz de transición de esta cadena de Markov

Matriz de transición

Ejemplo 2.

Una empresa investigadora de mercados analiza un gran grupo de consumidores de café. Se han determinado que:

50% de las personas que actualmente utilizan la marca A, la comprarán de nuevo la próxima semana, 25% cambiara a la marca B, y 25% preferirá alguna otra.

De las personas que ahora consumen la marca B, 30% la comprará otra vez la próxima semana, 60% optará por la marca A y 10% cambiará a otra.

De los consumidores que actualmente compran otra marca, 30% adquirirá de nuevo otra marca la próxima semana, 40% escogerá la marca A y 30% cambiará a la marca B.

Teorema

Si T es la matriz de transición de un proceso de Markov, el vector x(k+1), en el (k+1)-esimo periodo de observación, puede determinarse a partir del vector de estado x(k)

x(k+1)= Tx(k)

Esto significa que para obtener el vector de estado en el periodo (k+1) se multiplica la matriz de transición por el vector de estado en el periodo k.

x(1)= Tx(0)

x(2)= Tx(1) = T(Tx(0)) = T2x(0)

x(3)= Tx(2) = T(T2x(0)) = T3x(0)

Ahora utilizaremos la matriz de transición del proceso de Markov para determinar la probabilidad de que el sistema se encuentre en cualquiera de los n estados en el futuro.

Ejemplo 1.

Suponga que comenzamos nuestra observación(día 0) en un día despejado, de modo que el vector de estado inicial es:

Entonces el vector del día 1 es:

La probabilidad de que no llueva el día 1 es 0.67 y la probabilidad de que llueva es 0.33

De manera similar,

A partir del cuarto día, el vector de estado del sistema es siempre el mismo

Esto significa que, a partir del cuarto día, no llueve en 60% del tiempo y llueve 40% del tiempo

Ejemplo 2.

Supongamos que al iniciar el estudio vemos que la marca A tiene un 20% del mercado, la marca B tiene 20% y las otras marcas tienen el 60% restante.

Entonces, el vector dedo inicial x(0) es:

El vector de estado después de la primera semana es:

En consecuencia cuando n crece, los vectores de estado tienden al vector fijo

Esto significa que, a largo plazo, la marca A tendrá el control de cerca de 51% del mercado, la marca B dominará más o menos 27 % del mismo y las otras marcas tendrán la predilección del 22%.

De manera análoga,

Resumen

Consideremos que un sistema está, en cualquier momento en uno y sólo un estado entre una cantidad finita de ellos.

Por ejemplo, el clima en cierta área puede ser lluvioso o despejado; una persona puede fumar o no fumar; vamos o no vamos a la escuela; vivimos en un área urbana, suburbana o rural; contamos con un nivel de ingresos bajo , medio o alto; compramos un auto Chevrolet, Ford o de alguna otra marca.

Al pasar el tiempo el sistema puede pasar de un estado a otro supondremos que el estado del sistema es observado a periodos fijos(digamos cada día, cada hora, etc.)

En muchas aplicaciones conocemos el estado actual del sistema y queremos predecir el que tendrá en el siguiente periodo de observación o en cualquier otro.

Con frecuencia podemos predecir, a partir de datos históricos, la probabilidad de que el sistema este en cierto estado particular en determinado periodo de observación.

Bibliografía

Algebra Lineal, autor Bernard Kolman Introducción a los PROCESOS ESTOCÁSTICOS, autor Luis Rincón http://es.slideshare.net/oskr2588/cadenas-de-markov-blog