Cadenas de Markov de Tiempo Discreto

1. Cadenas de Markov de Tiempo Discreto Simulación Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

2. Sucesos Dependientes • Aquellos eventos en los que la probabilidad asociada a la ocurrencia de un punto de su espacio muestral depende de la ocurrencia de otro evento. • Existe una gran variedad de eventos repetitivos en el tiempo, en los cuales su función de probabilidad depende únicamente de su estado anterior. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

3. Proceso Estocástico • Un proceso estocástico es el análisis del comportamiento de una o más variables aleatorias (xt) en función del tiempo. • La sucesión de tiempo se da en saltos discretos. • Ejemplo • Unidades defectuosas de producción. • Confiabilidad de maquinaría. • Pronósticos. • Variables financieras. • Inventarios. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

4. Cadena de Markov • Son herramientas que permiten modelar el comportamiento de un sistema en el tiempo. • Permiten determinar las probabilidades asociadas a los estados del sistema en función del tiempo. • Sirven para conocer el desarrollo futuro de procesos que se desarrollan a lo largo del tiempo, para predecir el comportamiento de fenómenos físicos, sociales, productivos, económicos, etc. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

5. Conceptos • Estado • Es el conjunto de resultados posibles de cada uno de los experimentos asociados a un proceso estocásitco. Las cadenas de Markov representan la probabilidad de estar en un estado determinado en función de los estados anteriores. • Transición • Cuando el sistema pasa del estado idurante un periodo al estado j durante el siguiente periodo • Probabilidad de Transición (Pij) • Representa la probabilidad de pasar del estado i al j en un periodo de tiempo. • Matriz de Transición • Una matriz deMxM, donde M representa el número de estados y que en su cuerpo contiene las probabilidades de transición.

6. Cadenas de Markov • Definición • Es un tipo especial de procesos estocásticos de tiempo discreto que cumplen con la siguiente característica: • Supuestos • Las probabilidades asociadas a los estados NO son dependientes del tiempo Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

7. Ejemplo de proceso estocástico • Lanzamos una moneda al aire 6 veces. El jugador gana 1 € cada vez que sale cara (C), y pierde 1 € cada vez que sale cruz (F). • Xi = estado de cuentas del jugador después de la i-ésima jugada • La familia de variables aleatorias {X1, X2,…, X6} constituye un proceso estocástico Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

8. Ejemplo de proceso estocástico • ={CCCCCC,CCCCCF,…} • card() = 26 = 64 • P()=1/64   • T={1, 2, 3, 4, 5, 6} • S={–6, –5, …, –1, 0, 1, 2, …, 5, 6} • X1()={–1, 1} • X2()={–2, 0, 2} Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

9. Ejemplo de proceso estocástico • Si se fija ω, por ejemplo 0=CCFFFC, se obtiene una secuencia de valores completamente determinista: • X1(0)=1, X2(0)=2, X3(0)=1, X4(0)=0, X5(0)= –1, X6(0)=0 • Es posible dibujar con estos valores la trayectoria del proceso: Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

10. Ejemplo de proceso estocástico Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

11. Ejemplo de proceso estocástico • Si se fija t, por ejemplo t0=3, se obtiene una de las variables aleatorias del proceso: • Los posibles valores que puede tomar el proceso en t0=3 son: X3()={–3, –1, 1, 3} Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

12. Ejemplo de proceso estocástico • Podemos hallar la probabilidad de que el proceso tome uno de estos valores: Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

13. Gráfico de nodos • Permite representar gráficamente una cadena de Markov, indicado sus estados, posibles transiciones, y las probabilidades asociadas. P23 1 2 3 P12 P13 Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

14. Ejemplo • En un pueblo, al 90% de los días soleados le siguen días soleados, y al 80% de los días nublados le siguen días nublados. Con esta información modelar el clima del pueblo como una cadena de Markov. • ¿Es un proceso estocástico? • ¿Es una cadena de Markov? • ¿Cuál es el sistema? • ¿Cuáles son los estados del sistema? • ¿Cuáles son las probabilidades de transición? • ¿Cuál es el gráfico de nodos? Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

15. Matriz de Transición • Representa todas las probabilidades de transición en un periodo de tiempo para todos los estados del sistema. • Todas las matrices de transición cumplen que: Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

16. Valores de probabilidad asociados al estado inicial. • Es un vector de tamaño S que representa el estado inicial del sistema, o la probabilidad inicial asociada a cada estado. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

17. Ejemplo • Durante 5 días laborales de la semana, una persona reparte su tiempo libre entre dos ocupaciones: salir a pescar o trabajar en el jardín. Se sabe que esta persona nunca pesca dos días seguidos, sim embargo si un día trabaja en el jardín, es igualmente probable que realice cualquiera de las dos ocupaciones el siguiente día. • ¿Es un proceso estocástico? • ¿Es una cadena de Markov? • ¿Cuál es el sistema? • ¿Cuáles son los estados del sistema? • ¿Cuáles son las probabilidades de transición? • ¿Cuál es la matriz de Transición? Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

18. Ejercicio • El ascensor de un edificio cuenta con tres opciones: sótano, primer piso y segundo piso. Se sabe que el piso en el que finaliza el viaje n-ésimo del ascensor sigue una cadena de Markov. Se sabe que la mitad de los viajes que parten del sótano se dirigen a cada uno de los otros dos pisos, mientras que si un viaje comienza en el primer piso, sólo el 25% de las veces finaliza en el segundo. Por último, si un trayecto comienza en el segundo piso, siempre finaliza en el sótano. • a) Definir los estados. • b) Calcular la matriz de probabilidades de transición de la cadena. • c) Dibujar el grafo asociado. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

19. Ejercicio • Cierto almacén de fotografía permite solicitar un modelo especial de cada cámara cada semana. Se conoce además que este modelo de cámara tiene una demanda que se aproxima a una distribución Poisson con media de 1 cámara por semana (La demanda se presenta haya o no haya inventario). La política de abastecimiento del almacén consiste en ordenar 3 cámaras sólo si al finalizar la semana están sin inventario. Las cámaras ordenadas se entregan el domingo en la noche (después de que la tienda ha cerrado). Si definimos cada estado como la cantidad de cámaras que hay al finalizar cada semana. • Identifique los posibles estados • Obtenga la matriz de probabilidades de transición transición Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

20. Ejercicio • Una compañía tiene dos máquinas. Durante cualquier día, cada máquina que está trabajando al comienzo del día tiene una probabilidad de 1/3 de descomponerse. Si durante el día se descompone una máquina, se envía a la instalación de reparación y estará funcionando dos días después que se descompuso. (Así, si una máquina se descompone al día 3 estará funcionando al día 5). Haciendo que el estado del sistema sea el número de máquinas funcionando al principio del día, formule una matriz de transición para esta situación. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

21. Ejercicio • Considere un sistema de inventario en el que la secuencia de sucesos durante cada periodo es como sigue. (1) se observa el nivel de inventario (llámelo i) al comienzo del periodo. (2) si i≤ 1 se piden 4-i unidades. Si i ≥2 no se piden unidades. La entrega de las unidades pedidas es inmediata. (3) Con probabilidad 1/3 la demanda durante un periodo es de 0 unidad, con probabilidad 1/3 la demanda durante un periodo es de 1 unidad y con probabilidad 1/3 se piden durante el periodo 2 unidades. (4) se observa el nivel del inventario al inicio del siguiente periodo. Si los estados se definen en función del inventario inicial del periodo, determine la matriz de transición que permiten modelar este sistema como una cadena de Markov. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

22. Ejercicio • Supongamos que un buffertiene espacio para M paquetes. En cualquier instante de tiempo es posible enviar un mensaje para insertar un paquete en el buffer con probabilidad  o bien el buffer puede vaciarse con probabilidad . Ambos casos no pueden suceder al tiempo. • Sea Xt=nº de paquetes en el buffer en el instante t. Suponiendo que las inserciones y vaciados son independientes entre sí e independientes de la historia pasada, { Xt}es una CM, donde S={0, 1, 2, …, M}. • Realizar el diagrama de estados. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá