- Introducción.

- Procesos estocásticos.

- Formulación de cadenas de Markov.

- Propiedad Markoviana de primer orden.

- Probabilidades de transición estacionarias de un solo paso

- Probabilidades de transición estacionarias de “n” pasos.

- Estados absorbentes

- Probabilidades de transición estacionarias de estados

estables. Tiempos de primer paso.

Los procesos de Markov se centran en el análisis de teoría de probabilidad, como es el caso de la teoría del azar o teoría de juegos (teoría de decisiones); en la teoría de Markov, el resultado del experimento actual, influye de manera directa en el resultado del siguiente suceso (proceso estocástico).

El concepto práctico, está sustentado en determinar el grado de satisfacción de un cliente al recibir un servicio, las preferencias del cliente al seleccionar un producto, la puntualidad de pago de los deudores, para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal, para analizar el reemplazo de equipo, entre otros, básicamente, en la respuesta de las decisiones que se tomen acerca de un servicio o producto y de qué manera puede influir en el medio.

https://www.youtube.com/watch?v=Gngu2xp3exU

DEFINICIONES:

CADENA DE MARKOV: Una cadena de Markov, que recibe su nombre del matemático ruso Andreí Markov, es una parte del análisis de decisiones que se encarga de estudiar series de eventos, en los cuales la probabilidad de que ocurra el evento siguiente solo depende del evento actual.

CONCEPTO DE MEMORIA: característica que posee el proceso estocástico, en el que la probabilidad de que ocurra un evento, depende solamente del evento inmediatamente anterior.

PROCESO ESTOCÁSTICO: concepto matemático que sirve para caracterizar una sucesión de variables aleatorias, que evolucionan en función de otra variable.

PROPIEDAD DE MARKOV: conocido el estado del proceso en un momento dado, su comportamiento futuro no depende del pasado sino solo del estado actual.

ESTADOS: son las condiciones o resultados en los cuales se puede encontrar el objeto de análisis, que deben ser exhaustivos y mutuamente excluyentes. Por ejemplo, si hablamos de días con lluvia en una ciudad, los estados son: seco, lluvioso.

ENSAYOS: son las ocurrencias repetidas del evento que se estudia. En el caso del ejemplo de los días de lluvia, serían todos y cada uno de los días analizados en el estudio.

Continuación:

Probabilidad de transición: es la probabilidad de pasar del estado inicial i al estado final j, en una transición o periodo. Se acostumbra expresar este conjunto de probabilidades en forma de una matriz.

Diagrama de transición: representa las probabilidades condicionales de pasar de un estado a otro. Un estado se muestra como un nodo y de ahí emergen flechas dirigidas a otros nodos, con números mostrando la probabilidad de que ocurra las transiciones indicadas.

Vector de probabilidad de estado: representa la probabilidad de que el sistema se encuentre en un estado en un periodo determinado. Se representa por el vector: …………………….

Continuación:

Cálculo de probabilidades de estado: para calcular las probabilidades de estado para la siguiente etapa en el tiempo, se multiplica el vector con las probabilidades de estado de la etapa actual por la matriz de transición, de la siguiente manera…

Matriz de transición: son las probabilidades condicionales de pasar de un estado a otro en un proceso de Markov. Se representan en forma matricial:

Con tus compañeros de tu nuevo equipo de trabajo, realiza preguntas y respuestas de los conceptos básicos de cadenas de Markov, para prepárate para un examen conceptual en los siguientes 20 minutos de la clase siguiente.

Material de repaso…https://www.youtube.com/watch?v=q8xIHmAvbrw

- Investigación de operaciones , 9ª edición, Hamdy Taha, Editorial Pearson. - https://www.youtube.com/watch?v=q8xIHmAvbrw - https://www.youtube.com/watch?v=Gngu2xp3exU

NOTA IMPORTANTE: Repasar también álgebra matricial