Ecuaciones de Chapman Kolmogorov

1. Ecuaciones de ChapmanKolmogorov Simulación Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

2. Probabilidades de Transición en varias etapas • Durante un proceso de Markov, es posible pasar de estado a estados en una secuencia finita que tiene una probabilidad definida. • Las probabilidades de transición pueden definirse a través de la generación de un diagrama de árbol. • Representan la probabilidad de pasar de un estado hacia otro en unos determinados saltos de tiempo. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

3. Ejemplo • Probabilidad de 1 etapa • Probabilidad de 2 Etapas • Ecuaciones de Chapman - Kolmogorov Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

4. Ejemplo • Suponga que toda la industria de gaseosas está compuesta sólo por dos productos. Dado que la persona la última vez compró la gaseosa 1 hay un 90% de probabilidad de que lo vuelva a hacer en su siguiente compra. Dado que la última compra de una persona fue la gaseosa 2 hay un 80% de probabilidades de que lo vuelva hacer. • Si una persona es actual comprador de la gaseosa tipo 2, ¿Cuál es la probabilidad de que compre la gaseosa tipo 1 dos veces seguidas a partir de ahora? • Si una persona en la actualidad es comprador de la gaseosa tipo 1. ¿Cuál es la probabilidad de que compre la gaseosa tipo 1 tres veces seguidas a partir de ahora? Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

5. Probabilidades de transición de varias etapas (Matrices) • Debido a la definición del cálculo de probabilidades de transición provenientes de los principios básicos de probabilidad. Es posible representar los cálculos de probabilidades a partir de las matrices de transición. • Producto de Matrices: • Probabilidades de Transición Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

6. Clasificación de estados • Trayectorias • La trayectoria de i a j es la sucesión de transiciones que comienza en i y termina en j. • Alcanzabilidad • Un estado j es alcanzable desde un estado i si existe una trayectoria posible ij. • Comunicación • Dos estados i y j están comunicados si j es alcanzable desde i y viceversa. • Estado Absorbente • Un estado i es absorbente si la probabilidad de transición de ese estado a el mismo es 1. • Periódico • El estado j será periódico de periodo k>1 si existen caminos que llevan desde j hasta j pero todos tienen longitud que es múltiplo de k. • Estado transitorio • El estado i es transitorio si hay un estado j alcanzable desde i, pero i no es alcanzable desde j. Si un estado es no transitorio, entonces es recurrente. • Conjunto Cerrado • Un conjunto des estados es cerrado si no existe una trayectoria desde el conjunto a algún estado fuera de él. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

7. Ejemplo • Analizar las siguientes cadena de Markov y clasificar sus estados. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

8. Clasificación de Cadenas de Markov • Periódicas • Si todos sus estados son periódicos, con periodo k. • Ergódicas • Si todos los estado de una cadena son recurrentes, aperiódicos y se comunican entre sí. • No ergódicas • Al menos uno de los estados de una cadena de Markov es no recurrente, y/o periódico. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

9. Ejemplo • Clasificar las siguientes cadenas de Markov. A) C) D) B) Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

10. La ruina del jugador • En el tiempo 0 se tiene una cantidad de $2. En los tiempos 1 y 2 …, se participa en un juego en el que se apuesta 1. Con probabilidad p se gana el juego, y con probabilidad 1-p se pierde. El objetivo es llegar a $4, por lo que cuando lo logra se termina el juego. El juego también termina si el capital se reduce a 0. • Definir la matriz de transición. • Dibujar el grafo asociado. • Clasificar los estados. • Clasificar la cadena de Markov. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

11. Probabilidades Según el estado inicial • El estado inicial de una cadena de Markov permite calcular las probabilidades esperadas asociadas a cada estado después de saltos de tiempo. • Viene de la ley de Probabilidad total. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

12. Ejemplo • Con el ejemplo de las gaseosas: Supongamos que el 60% de toda la gente toma hoy Coca Cola y el 40% Pepsi. A tres compras a partir de ahora, ¿Qué fracción de los compradores estará tomando Coca Cola. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

13. Probabilidades límite • Algunas cadenas de Markov tienden a estabilizarse cuando el número de transiciones se hace demasiado grande. • Las cadenas ergódicas tienen probabilidades de estado estable que no dependen de su estado inicial. (Todas las filas tienden a ser iguales) • Las cadenas periódicas no se estabilizan ya que su matriz de transición sigue el mismo comportamiento cada k aumentos de tiempo. En este caso, las probabilidades de largo plazo dependen de su estado inicial. • Las cadenas no ergódicas también dependen de su estado inicial para el cálculo de sus probabilidades de largo plazo. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

14. Ejemplo Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

15. Ejemplo Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

16. Ejemplo

17. Probabilidades de estado estable • Permiten identificar las probabilidades estables de largo plazo (si existen). • Facilitan el análisis de las cadenas de Markov a través del entendimiento del funcionamiento del sistema. • Si las probabilidades de estado estable son iguales para todas sus filas, entonces ellas no dependen de las probabilidades de estado inicial. • De manera general las probabilidades pueden definirse de la siguiente manera. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

18. Cálculo de probabilidades límite • Según la definición de las probabilidades límite: • Para n(S)=3 Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

19. Ejemplo • Determinar las probabilidades límite para el ejemplo de las gaseosas. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

20. Ejercicio • La cervecería más importante del mundo (Guiness) ha contratado a un analista de investigación de operaciones para analizar su posición en el mercado. Están preocupados en especial por su mayor competidor (Heineken). El analista piensa que el cambio de marca se puede modelar como una cadena de Markov incluyendo tres estados, los estados G y H representan a los clientes que beben cerveza producida por las mencionadas cervecerías y el estado I representa todas las demás marcas. Los datos se toman cada mes y el analista ha construido la siguiente matriz de transición de los datos históricos. • Determine la matriz de Transición • Clasifique los estados • Clasifique la matriz de transición • Determine las probabilidades de estado estable Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá