¿Qué es el Método de Monte Carlo con Cadena de Markov?

Una cadena de Markov es un modelo matemático de sistemas estocásticos donde los estados dependen de probabilidades de transición.

El método de Monte Carlo es un método no determinístico o estadístico numérico usado para aproximar expresiones matemáticas complejas y costosas de evaluar con exactitud.

MCMC es una herramienta para resolver muchos problemas de cálculo e inferencia que surgen especialmente en contextos multidimensionales y que son intratables analíticamente.

¿Cuándo se utiliza?

Es una técnica de propósito general para generar muestras justas de un espacio de probabilidades de grandes dimensiones. Utiliza números aleatorios obtenidos de una probabilidad uniforme en cierto rango.

¿Cuál fue su origen?

 El método se llamó así en referencia al Casino de Monte Carlo (Principado de Mónaco) por ser “la capital del juego de azar”, al ser la ruleta un generador simple de números aleatorios. El nombre y el desarrollo sistemático de los métodos de Monte Carlo datan aproximadamente de 1944 y se mejoraron enormemente con el desarrollo de la computadora.

La invención del método de Monte Carlo se asigna a Stanislaw Ulam y a John von Neumann. Ulam ha explicado cómo se le ocurrió la idea mientras jugaba un solitario durante una enfermedad en 1946. Advirtió que resulta mucho más simple tener una idea del resultado general del solitario haciendo pruebas múltiples con las cartas y contando las proporciones de los resultados que computar todas las posibilidades de combinación formalmente. Se le ocurrió que esta misma observación debía aplicarse a su trabajo de Los Álamos sobre difusión de neutrones, para la cual resulta prácticamente imposible solucionar las ecuaciones íntegro-diferenciales que gobiernan la dispersión, la absorción y la fisión. “La idea consistía en probar con experimentos mentales las miles de posibilidades, y en cada etapa, determinar por casualidad, por un número aleatorio distribuido según las probabilidades, qué sucedería y totalizar todas las posibilidades y tener una idea de la conducta del proceso físico”.

 Durante una de las visitas de von Neumann a Los Álamos en 1946, Ulam le mencionó el método. Después de cierto escepticismo inicial, von Neumann se entusiasmó con la idea y pronto comenzó a desarrollar sus posibilidades en un procedimiento sistemático. 

Ejemplo de cadena de Markov

En un país como Colombia existen 3 operadores principales de telefonía móvil como lo son tigo, Comcel y movistar (estados).

Los porcentajes actuales que tiene cada operador en el mercado actual son para tigo 0.4 para Comcel 0.25 y para movistar 0.35. (estado inicial)

Se tiene la siguiente información un usuario actualmente de tigo tiene una probabilidad de permanecer en tigo de 0.60, de pasar a Comcel 0.2 y de pasarse a movistar de 0.2; si en la actualidad el usuario es cliente de Comcel tiene una probabilidad de mantenerse en Comcel del 0.5 de que esta persona se cambie a tigo  0.3 y que se pase a movistar de 0.2; si el usuario es cliente en la actualidad de movistar la probabilidad que permanezca en movistar es de 0.4 de que se cambie a tigo de 0.3 y a Comcel de 0.3.  

Partiendo de esta información podemos elaborar la matriz de transición.

La suma de las probabilidades de cada estado en este caso operador deben ser iguales a 1

Po= (0.4  0.25  0.35)          →                        estado inicial

Ahora procedemos a encontrar los estados en los siguientes pasos o tiempos, esto se realiza multiplicando la matriz de transición por el estado inicial y así sucesivamente pero multiplicando por el estado inmediatamente anterior.

Ejemplo de metropolos-hostings

Queremos generar una números aleatorios con distribución beta (2.7,6.3). La cadena

de Markov que podemos generar va a ser   variables aleatorias con

distribución uniforme en (0,1) y también vemos que el valor   es fácil de cacular ya

que este es

Esto lo podemos implementar de manera fácil en R.

123456789

a=2.7;b=6.3;Nsim=5000X=runif(1) # inicializar la cadenafor (i in 2:Nsim){   Y=runif(1)   rho=dbeta(Y,a,b)/dbeta(X[i-1],a,b)   X[i]=X[i-1] + (Y-X[i-1])*(runif(1)<rho)}

Nótese que   es el intervalo [0,1], por lo que la cadena de Markov tiene espacio de

estados no numerable. Si bien pareciera este un cambio muy pequeño fue necesario

construir mucha teoría para formalizar la convergencia y existencia de este método.

Por último para ver la correspondiente densidad empírica para nuestra simulación

hacemos

12

library(ggplot2)qplot(X,geom='density',adjust=3)

http://elisa.dyndns-web.com/~elisa/teaching/opt/comb/mcmc.pdf

http://web.udl.es/usuaris/esi2009/treballs/15_1_1.pdf

http://es.wikipedia.org/wiki/M%C3%A9todo_de_Montecarlo

http://es.wikipedia.org/wiki/M%C3%A9todo_de_Montecarlo#Or.C3.ADgenes_del_m.C3.A9todo

http://investigaciondeoperaciones2markov.blogspot.com/p/teoria-y-ejemplos.html

http://jmbarrios.wordpress.com/2010/10/08/el-algoritmo-metropolis-hastings/