Sntesis del artculo Real-Time Monte Carlo Tree Search in Ms Pac-Man

Equipo n 9:Daniel Ceballos Monsalve c.c 1152215229 Camila Mantilla Rojas c.c 1090466094Nicols Villegas Echavarra c.c 1037625350

Primera parte: Descripcin de las partes del artculo

Numeral I. Introduccin: Se hace una pequea resea histrica del juego, y se habla acerca de sus objetivos bsicos. Se enuncia el objetivo del artculo, a saber: Este artculo discute mejoras al algoritmo MCTS, para permitir su uso en dominios estocsticos y de tiempo real tales como Ms. Pac-Man. Tambin se habla someramente de otras aplicaciones del algoritmo MCTS, as como tambin se habla de las competencias de inteligencia artificial (AI) en torno al juego y del xito que han tenido los agentes que utilizan el algoritmo MCTS.

Numeral II. Ms Pac-Man: se hace una contextualizacin de las reglas y mecnicas del juego.

Numeral III. Monte Carlo Tree Search: Se da una explicacin del algoritmo MCTS y se describen cada uno de sus pasos bsicos. Adems, se expone el motivo por el cual MCTS resulta especialmente til en dominios de tiempo real.

Numeral IV. MCTS para Ms Pac-Man: Se discuten las mejoras al algoritmo MCTS aplicado a Ms. Pac-Man. Primero, se provee una descripcin del rbol de bsqueda. Luego, se da la estructura de las recompensas y las mejoras a los pasos estratgicos del algoritmo MCTS. El objetivo es presentar las tcnicas que son especficas a Ms Pac-Man pero que tambin pueden ser extendidas o adaptadas a otros dominios de tiempo real. Esta seccin se divide en varios literales:En el literal A. rbol de bsqueda y altura variable, se explica la representacin del laberinto de juego como un grafo (rbol) en donde los corredores son aristas y los cruces son nodos, y la manera en la que se asignan pesos a las aristas. En el literal B. Tcticas, se describen los tres estados, o tcticas, posibles en el juego y las posibles acciones tomadas bajo alguna de estas. El literal C. Reutilizacin del rbol de bsqueda, argumenta la reutilizacin de dicho rbol y las reglas y mecanismos usados para esto, tales como la reutilizacin con base en reglas y el decaimiento continuo de los pesos de los objetivos. En D. Seleccin y expansin, se exponen los criterios de seleccin de un nodo del rbol como camino a seguir, basado en un ndice de riesgo/beneficio. Los literales E. Simulacin y F. Estrategia de simulacin, describen las reglas y el proceso de simulacin de jugadas que preceden a una retropropagacin. En G, Metas a largo plazo, se explican los mecanismos de planeacin de un recorrido. El literal H. Retropropagacin y seleccin de movimiento, describe el proceso de ajuste de los pesos de los nodos y aristas de manera recursiva para as lograr una bsqueda que resulte en el mejor camino en trminos de recompensas y seguridad. Finalmente, en I. Pseudocdigo, se ejemplifica y explica la implementacin del algoritmo en pseudocdigo.

Numeral V. Experimentos: En este numeral se describen detalladamente los experimentos llevados a cabo con el algoritmo MCTS. Tambin se habla de su desempeo en algunas competencias de AI.

Numeral VI. Conclusiones: Se muestra que la aplicacin del algoritmo MCTS es satisfactorio incluso en escenarios de alta dificultad y se destaca la importancia que tiene la simulacin en su desempeo. Se deja abierta la pregunta de qu tan efectivo puede ser en dominios variables de tiempo y, adems, se dan algunas ideas para mejorarlo.

Numeral VII. Referencias: Se presenta un listado de 39 referencias, de las cuales una gran parte tienen que ver con otras aplicaciones del algoritmo MCTS.

Segunda parte: Sntesis del contenido desde el punto de vista del estudiante

El MCST, rbol de bsqueda Monte Carlo, es un algoritmo de bsqueda heurstico empleado para la toma de decisiones. Es ampliamente empleado en el campo de los videojuegos, como un componente importante en el desarrollo de inteligencia artificial (AI). Es utilizado en su mayora para juegos de combinatoria, los cuales generalmente estn basados en turnos y tienen un gran componente determinstico, tales como el ajedrez, damas, Go, etc. El objetivo de este artculo es dar cuenta de la utilizacin de este algoritmo en dominios de gran componente aleatorio y de tiempo real.

En este caso, se aplica el MCST al juego llamado Ms. Pac-Man, donde el jugador controla un personaje que escapa de unos fantasmas a travs de una serie de laberintos, y acumula puntos recolectando pldoras y comiendo a los fantasmas despus de haber conseguido una pldora de poder. Inicialmente Ms. Pac-Man tiene tres vidas, las cuales pierde al contacto con los fantasmas. Al perder una vida se vuelve a las condiciones iniciales. Al aplicar MTSC, se busca controlar este personaje usando un agente de AI en lugar de la interaccin humana.

El juego se desarrolla en unidades de tiempo de 40 milisegundos. Un movimiento corresponde a una accin tomada en este intervalo de tiempo. El rbol Monte Carlo se construye a partir de los posibles movimientos disponibles, en donde los corredores del laberinto son representados por aristas de un grafo y las intersecciones por nodos. A cada arista le son asignados pesos los cuales corresponden a un indicador de costo/beneficio en trminos de puntaje ganado, el riesgo adquirido y la longitud del camino. Este rbol crece a medida que se hacen simulaciones de las jugadas con sus posibles resultados, y los pesos de cada arista son actualizados entre cada simulacin, con criterios como decaimiento temporal, resultados inesperados, etc. Los cuatro pasos bsicos de la construccin del rbol son los siguientes:

1. Seleccin: Se inicia en el nodo raz, el cual corresponde a la ubicacin actual de Ms. Pac-Man, y se seleccionan los nodos hijos de acuerdo con un criterio de seleccin, estos nodos corresponden a posibles movimientos a ejecutar. Cuando se encuentra un nodo hoja (aquel que se encuentra al final de una rama y que no tiene hijos), ste es seleccionado para ser expandido.2. Expansin: Al nodo hoja alcanzado se le aaden hijos que corresponden a posibles jugadas subsecuentes.3. Simulacin: Una partida simulada se ejecuta, a partir de la estado del nodo o los nodos aadidos. Los movimientos se realizan al azar hasta que se alcanza un estado terminal.4. Retropropagacin. El resultado de la simulacin se propaga desde el nodo seleccionado hacia arriba hasta encontrar el nodo raz. Las estadsticas se actualizan a lo largo del rbol por cada nodo seleccionado.

Con base en observaciones se calcula que se pueden hacer entre 200 y 400 simulaciones por cada bsqueda, y en cada turno se selecciona al que provea el mejor resultado.

Vale la pena destacar la importancia de los mecanismos de actualizacin de pesos de las aristas, pues estos constituyen, a nuestro parecer, la parte ms interesante del algoritmo, pues estos permiten la reutilizacin del rbol lo cual se traduce en beneficios en trminos del costo computacional, permitiendo hacer mayor nmero de simulaciones. Si se construyera un nuevo rbol por cada turno, se restringira la planeacin a largo plazo de los movimientos. Si por el contrario, los pesos de las aristas permanecieran sin cambios durante toda la simulacin, el comportamiento del agente puede tornarse muy terco y la simulacin puede volverse no confiable pues se hara con base en informacin desactualizada. Ejemplo de esto es que el comportamiento de los fantasmas tiene un gran componente aleatorio, adems de que existe un mecanismo en el juego que invierte la direccin de movimiento de los fantasmas con una pequea probabilidad de 0.0015 por cada unidad de tiempo. Se busca entonces un factor (0, 1) que proporcione el decaimiento ptimo para el peso de las aristas. Otros mecanismos de actualizacin implican el descarte completo del rbol y la construccin de uno nuevo, lo cual se da cuando la tctica a seguir cambia completamente, por ejemplo, cuando se consume una pldora de poder.

En cuanto a las simulaciones, su objetivo es representar las mecnicas del juego de la manera ms fiel posible, para que las decisiones tomadas puedan ser confiables. Para esto es necesario predecir el comportamiento parcialmente aleatorio de los fantasmas. En cada turno existe una probabilidad de = 0.2 de que el movimiento ejecutado por el fantasma sea aleatorio. Con probabilidad de (1 - ), los fantasmas se mueven con base en unas reglas establecidas separadas en tres casos: (1) si un fantasma se encuentra en estado normal, se escoge el camino ms corto a su objetivo, (2) si se encuentra en estado comestible, se escoge siempre el camino que lo aleje ms de Ms. Pac-Man, y (3) si el fantasma se mueve hacia una arista ya ocupada por otro fantasma, se cambia de rumbo y se selecciona otra movida aleatoriamente. Esto ltimo garantiza que los fantasmas estn uniformemente repartidos por el laberinto. La simulacin de Ms. Pac-Man sigue las siguientes reglas en orden jerrquico: (1) si hay fantasmas comestibles alcanzables, se selecciona el movimiento seguro que minimice la distancia al fantasma. (2) Si un movimiento encamina a una arista que no est despejada (tenga pldoras disponibles), sta se selecciona. (3) Si todas las aristas seguras estn despejadas, se hace un movimiento aleatorio hacia alguna de estas. (4) Si no hay movimientos seguros disponibles, se selecciona uno al azar. Las simulaciones se detienen cuando se alcanza algn estado terminal, entre las siguientes dos posibilidades: (i) Ms. Pac-Man es atrapado por un fantasma, tras lo cual el movimiento se descarta, o (ii) se alcanza el lmite de distancia recorrida permitida por cada movida en la simulacin, tras lo cual se pondera el peso de la simulacin.

Cuando el tiempo de 40ms que se tienen para seleccionar una jugada se agota, se procede a la retropropagacin, en donde se selecciona el movimiento con mayor beneficio ponderado entre todas las posibilidades evaluadas y simuladas.

Conclumos entonces que el MCTS es un algoritmo tanto eficiente como efectivo en dominios no determinsticos y en tiempo real, y que aunque la aplicacin expuesta en este artculo est dada a la inteligencia artificial en videojuegos, presumimos que la aplicacin de esta clase de algoritmos podra extenderse a otros mbitos de la ingeniera tales como robtica, algoritmos de bsquedas, enrutamiento de paquetes a travs de internet, aplicaciones navegacin en tiempo real para dispositivos mviles, problemas de optimizacin, etctera, o incluso como posible reemplazo en algunos contextos para algoritmos evolutivos y redes neuronales, respecto a los cuales en algunos casos ha mostrado ser ms eficiente.

Bibliografa:

Pepels, T., Winands, M. H. M., & Lanctot, M. (2014). Real-Time Monte Carlo Tree Search in Ms. Pac-Man, IEEE Transactions on Computational Intelligence and AI in Games, Vol 6, no. 3, September 2014. 245257.