PROBLEMA 22.2-4

Un hombre juega póker cada sábado en la noche en su casa con el mismo grupo de amigos. Si

un sábado en la noche ofrece refrescos (con costo esperado de $14), el siguiente, el grupo

tendrá una probabilidad de jugar de buen humor de 7/8 y de hacerlo de mal humor de 1/8. Si

no lo hace, el siguiente sábado el grupo jugara de buen humor con una probabilidad de 1/8 y

de mal humor con una probabilidad de 7/8 sin importar el humor de este sábado. Es más, si la

noche comienza de mal humor y el no ofrece refrescos, el grupo lo molestara y tendrá una

perdida esperada en el póker de $75. De otra manera su promedio de ganancias o pérdidas en

el juego es cero. El hombre quiere encontrar la política óptima para determinar cuándo ofrecer

refresco para minimizar su costo promedio esperado semanal (a largo plazo).

a) Formule este problema como un proceso de decisión markoviano; identifique estados y

decisiones. Encuentre Cik.

Estado Condición

0 Buen humor

1 Mal humor

Decisión Acción Estados relevantes

1 Dar refresco 0,1

2 No dar refresco 1

Decisión Estado

Cik

1 2

0 14 14

1 - 75

b) Identifique todas las políticas (determinísticas estacionarias). Para cada una, elabora

una matriz de transición y obtenga la expresión del costo promedio esperado a largo

plazo por periodo en términos de las probabilidades de estado estable desconocidas.

π0= 7/8π0 + 1/8π1

π1= 1/8π0 + 7/8 π1

La solución simultánea es:

π0 = 1/2, π1 = 1/2.

El costo promedio esperado (a la larga) por semana para esta política es:

14 π0 +75 π1 = 44.5/2= $22.5

Conclusión: Según la matriz de transición del problema, la mejor opción para reducir los costos al máximo (minimizar el costo) es ofrecer refrescos en el primer sábado, ya que solo generara un costo de 21.625 y la opción de no dar nada crea un costo mucho más alto de 67.375.

Ganancia = (probabilidad de

buen humor x $14)

Pérdida = (probabilidad de mal

humor x $75)

Costo por ofrecer refresco

Costo por no ofrecer

refresco