Capítulo 2 Cadenas de Markov

1. Capítulo 2Cadenas de Markov Basado en la presentación del libro Investigación de Operaciones de Winston 4a. Edición Profesor: A. Leonardo Bañuelos S.

2. Introducción Algunas veces estamos interesados en el cambio de una variable en el tiempo. El estudio de los cambios de una variable aleatoria en el tiempo involucra a un proceso estocástico. Aquí estudiaremos un caso particular de un proceso estocáctico conocido como Cadenas de Markov Comenzaremos con la definición de proceso estocástico.

3. ¿Qué es un Proceso Estocástico? • Supóngase que observamos una característica de un sistema en puntos de tiempo discreto. • Sea Xt el valor del la característica del sistema en el tiempo t. En la mayoría de las situaciones, Xt no es conocido con certeza antes del tiempo t y puede ser considerado como una variable aleatoria. • Un Proceso Estocástico de Tiempo Discreto es simplemente una descripción de la relación entre las variables aleatorias X0, X1, X2 …

4. Un Proceso Estocástico de Tiempo Continuo es simplemente un proceso estocástico en el cual los estados del sistema pueden ser observados en cualquier instante, no solo en instantes discretos. • Por ejemplo, el número de personas en un supermercado t minutos después de abrir la tienda es un proceso estocástico de tiempo continuo.

5. ¿Qué es un Cadena de Markov? • Un tipo especial de proceso estocástico de tiempo discreto. • Definición: Un proceso estocástico de tiempo discreto es una Cadena de Markov si, para t = 0,1,2… y todos los estados:P(Xt+1 = it+1| Xt = it, Xt-1=it-1,…,X1=i1, X0=i0) =P(Xt+1=it+1|Xt = it) • Esencialmente esto significa que la distribución de probabilidad de los estados en el tiempo t+1 depende sólo del estado en el tiempo t(it) y no depende de los estados por los que pasó previamente para llegar a it en el tiempo t.

6. En las cadenas de Markov que se estudiarán, se considerará que para todos los estados i y j y para cualquier tiempo t, P(Xt+1 = j|Xt = i) es independiente del tiempo. • Esta suposición nos permite escribir P(Xt+1 = j|Xt = i) = pijdonde pij es la probabilidad de que el sistema pase del estado i en el tiempo t, al estado j en el tiempo t+1. • Si el sistema se modifica del estado i en un periodo, al estado j para el siguiente periodo, entonces se dice que ha ocurrido una transición de i a j .

7. Las pij son llamadas probabilidades de transición de la cadena de Markov. • La ecuación implica que las probabilidades de transición para los siguientes periodos no cambian con el tiempo. • Generalmente se le llama suposición de Estacionaridad y cualquier Cadena de Markov que la tiene se llama Cadena de Markov Estacionaria. • Se puede definir qi como la probabilidad de que la cadena se encuentre en el estado i en el tiempo 0; en otras palabras, P(X0=i) = qi.

8. Se denotará por v= [v1, v2,…vs] al vector de distribución de probabilidad inicial de la cadena de Markov. • Las probabilidades de transición se acostumbran presentar en una matriz de s x s llamada matriz de transición de probabilidades P. La matriz se escribe como

9. Para cada i • Cada valor en la matriz debe ser no negativo. • La suma por renglón es igual a la probabilidad del espacio muestral condicional, es decir, suma 1.

10. Probabilidades de Transición de n-Pasos • Una cuestión de interés cuando se estudian cadenas de Markov es: Si una cadena de Markov está en el estado i en el tiempo m, ¿Cuál es la probabilidad de que n periodos después la cadena se encuentre en el estado j? • Esta probabilidad es independiente de m, y se puede escribirP(Xm+n =j|Xm = i) = P(Xn =j|X0 = i) = pij(n)donde pij(n) se llama probabilidad de n-pasos de transición del estado i al estado j. • Para n > 1, pij(n) = ij-ésimo elemento de P n

11. Ejemplo de Refrescos • Supóngase que la industria de refrescos produce solamente 2 refrescos de cola. • Dado que una persona ha comprado Coca, existe una probabilidad de 0.9 de que en su siguiente compra consuma también Coca. • Dado que una persona ha comprado Pepsi, existe una probabilidad de 0.8 de que en su siguiente compra consuma también Pepsi. • Si la persona actualmente compra Pepsi, ¿cuál es la probabilidd de que en 2 compras consuma Coca? • Si la persona actualmente compra Coca, ¿cuál es la probabilidd de que en 3 compras consuma Pepsi?

12. Ejemplo de Refrescos (Cont.) • Se puede considerar la compra de cada persona como una Cadena de Markov, en la cual el estado está dado por el tipo de refresco que adquirió. • Puesto que cada compra puede ser de dos refrescos, la Cadena se representa por dos estados, • Estado 1 = La persona compra el refresco 1 • Estado 2 = La persona compra el refresco 2 • Si se define Xn como el tipo de refresco comprado por una persona en el n-ésimo periodo futuro, entonces X0, X1, … puede ser descrito como una Cadena de Markov con la siguiente matriz de transición:

13. Ejemplo de Refrescos (Cont.) Para responder a las preguntas 1 y 2, • Se busca P(X2 = 1|X0 = 2) = p21(2) = elemento 2,1 de P 2:

14. Ejemplo de Refrescos (Cont.) • Se tiene, p21(2) =0.34. Esto significa que la probabilidad de que un cliente del refresco 2, compre el refresco 1 en dos compras es de 0.34. • Utilizando la teoría de la Probabilidad, se podría obtener el mismo resultado. • Se busca p11(3) = elemento 1,1 de P 3: Por lo que , p11(3) = 0.781

15. En muchas ocasiones no se conoce el estado de la Cadena de Markov en el tiempo 0. Entonces se puede calcular la probabilidad de que el sistema este en el estado i en el tiempo n utilizando el siguiente razonamiento. • Probabilidad de estar en el estado j en el tiempon donde v=[v1, v2, … ,vn].

16. Para ilustrar el comportamiento de la matriz de transición de n-pasos para valores muy grandes de n, se han calculado las matrices para algunos valores de n. • Esto significa que para n suficientemente grande, no importa cuál es el estado inicial, y existe una probabilidad de 0.67 de que una persona consuma Coca. • Podemos multiplicar fácilmente matrices en una hoja de cálculo usando el comando de MMULT.

17. 17.4 Clasificación de estados en una cadena de Markov • Para entender la transición de n-pasos más detalladamente, necesitamos estudiar cómo los matemáticos clasifican los estados de una cadena de Markov. • La matriz siguiente de transición ilustra la mayoría de las definiciones siguientes. Una representación gráfica se puede obtener con facilidad.

18. Definición: Dados dos estados i y j, una trayectoria i a j es una secuencia de transiciones que comienza en i y termina en j, tal que cada transición en la secuencia tiene una probabilidad mayor que cero de ocurrir. • Definición: Un estado j es accesible del estado i si hay una trayectoria que conduce de i a j. • Definición: Dos estados i y j se dice que se comunican si j es accesible desde i, e i es accesible desde j. • Definición: Un conjunto de estados S en una cadena de Markov es un conjunto cerrado si no hay estado fuera de S que sea accesible desde cualquier estado en S.

19. Definición: Un estado i es un estado absorbente si pij =0. • Definición: Un estado i es un estado transitorio si existe un estado j que sea accesible desde i, pero el estado i no es accesible desde el estado j. • La importancia de estos conceptos será clara después de las dos secciones siguientes.

20. 17.5 Probabilidades de estado estable y tiempos de primera pasada • Las probabilidades de estado estable se utilizan para describir el comportamiento a largo plazo de una cadena de Markov. • Teorema 1: Sea P la matriz de transición para una cadena ergódica de s-estados. Entonces existe un vector π = [π1 π2 … πs] tal que

21. El teorema 1 nos dice que para cualquier estado inicial i, • Al vector π = [π1 π2 … πs] comúnmente se le llama distribución de estado estable, o distribución de equilibrio, para la cadena de Markov.

22. Análisis Transitorio e Interpretación Intuitiva • El comportamiento de una cadena de Markov antes de que se alcance el estado estable es a menudo llamado transitorio (o a corto plazo). • Se puede dar una interpretación intuitiva a las ecuaciones de probabilidad del estado estacionario. • Esta ecuación puede verse en el de estado estacionario, como que el "flujo" de la probabilidad en cada estado interno debe ser igual a el flujo de la probabilidad de cada estado externo.

23. Uso de la probabilidad de estado estable en la toma de decisiones • En el ejemplo de los refrescos de cola, suponga que cada cliente consume una marca de cola durante cualquier semana. • Suponga que hay 100 millones de clientes para los refrescos de cola. • Cada refresco por producirlo le cuesta a la compañía $1 y se vende en $2

24. Toma de decisiones (Cont.) • Por $500 millones/año, una empresa de publicidad garantiza una disminución del 10% al 5% en la porción de clientes que cambian al refresco de cola 1 después de una compra. • ¿Debe la compañía que hace el refresco de cola 2 emplear la firma?

25. Actualmente, la proporción π1 = ⅔ de las compras totales prefieren consumir el refresco de cola de la marca 1. • Por cada compra del refresco de cola 1 la compañía obtiene $1 de ganancia. Podemos calcular la ganancia anual en $3.466.666.667.. • La empresa de publicidad está ofreciendo cambiar la matriz P a

26. Para P1, las ecuaciones de estado estable se convierten en • π1 = .95π1+.20π2 π2 = .05π1+.80π2 • Sustituyendo la segunda ecuación por π1+π2=1 y resolviendo, obtenemos π1=0.8 y π2 = 0.2 • Ahora la ganancia anual de la compañía de cola 1 será $3.660.000.000. • Por lo tanto, la compañía que produce la cola 1 debe emplear la agencia del anuncio.

27. Tiempos (promedio) de Primera Pasada • Para una cadena ergódica, sea mij = número esperado de transiciones antes de que por primera vez se alcance el estado j, dado que estamos actualmente en el estado i; el mij se llama tiempo de primera pasada desde el estado malo del paso del estado i al estado i al estado j. • En el ejemplo, asumimos que estamos actualmente en el estado i. Entonces con la probabilidad pij, tomará una transición para ir del estado i al estado j. para k ≠ j, seguiremos con la probabilidad pik para ir al estado k. En este caso, tomará un promedio de 1 para ir de i a k + las transiciones mkj para ir de k a j

28. Este razonamiento implica • Para resolver las ecuaciones lineales de la ecuación anterior, encontramos todas los tiempos de primera pasada, lo cual puede hacerse así

29. Resolución por probabilidades de estado estable y Tiempos de Primera Pasada mediante la computadora • Podemos calcular las probabilidades de estado estable y los tiempos de primera pasada tal y como se ha mostrado o bien podemos utilizar LINDO, WinQSB, etc. para realizar estos cálculos con ayuda de la computadora • Simplemente capture una función objetivo como 0, y capture en las restricciones las ecuaciones que necesita para obtener la solución. • Como una alternativa, se puede utilizar el modelo LINGO que se encuentra en el archivo Markov.lng para determinar las probabilidades de estado estable y para calcular los tiempos de primera pasada para una cadena ergódica.

30. 17.6 Cadenas Absorbentes • Muchas aplicaciones interesantes de cadenas de Markov implican las cadenas en las cuales algunos de los estados están absorbiendo y el resto son estados transitorios. • Este tipo de cadenas son llamadas Cadenas Absorbentes. • Para ver por qué estamos interesados en las cadenas absorbentes consideraremos el siguiente ejemplo de las cuentas por cobrar.

31. Ejemplo De las Cuentas por Cobrar • La situación de las cuentas por cobrar de una empresa se modela a menudo como cadena de Markov absorbente. • Suponga que una firma asume que una cuenta es incobrable si la cuenta tiene más de tres meses de atraso.

32. Ejemplo de las Cuentas (Cont.) • Entonces al principio de cada mes, cada cuenta se puede clasificar en uno de los estados siguientes: • Estado 1 Cuenta Nueva. • Estado 2 Cuenta con un Mes de atraso en el pago. • Estado 3 Cuenta con dos meses de atraso en el pago. • Estado 4 Cuenta con tres meses de atraso en el pago. • Estado 5 Cuenta pagada. • Estado 6 Cuenta incobrable.

33. Nuevo Mes 1 Mes 2 Mes 3 Pago Incobrable Nuevo Mes 1 Mes 2 Mes 3 Pago Incobrable • Suponga que datos pasados indican que la cadena de Markov siguiente describe cómo el estado de una cuenta cambia de un mes a otro.

34. Para simplificar nuestro ejemplo, asumimos que después de tres meses, una deuda está pagada o considerada deuda incobrable. • Una vez que una deuda se paga o se considera incobrable, la cuenta se cierra y ya no hay transiciones. • Por lo tanto, la deuda pagada o incobrable es un estado absorbente, y eventualmente estará en un estado de cuenta nueva, cuenta con 1 mes, con 2 meses y con 3 meses, serán estados transitorios.

35. s-m columnas m columnas. s-m filas m filas • Una nueva cuenta será absorbida como una deuda pagada o incobrable. • ¿Cuál es la probabilidad que una nueva cuenta sea pagada? • Para responder esta pregunta debemos escribir la matriz de transición. Asumimos s - m estados transitorios y m estados absorbentes. La matriz de transición se escribe en la forma de P =

36. Nuevo Mes 1 Mes 2 Mes 3 Pago Incobrable Nuevo Mes 1 Mes 2 Mes 3 Pago Incobrable N A • La matriz de la transición para este ejemplo es • Así s =6, m =2, y N y A como se muestran

37. ¿Cuál es la probabilidad que una nueva cuenta sea pagada? • ¿Cuál es la probabilidad que una cuenta atrasada un mes se convierta en incobrable? • ¿Si las ventas de la empresa en promedio son de $100.000 por mes, cuánto dinero por año será incobrable?

38. t1 t2 t3 t4 t1 t2 t3 t4 (I-N)-1 = • Usando el método de Gauss-Jordan, encontramos que

39. a1 a2 t1 t2 t3 t4 (I-N)-1 A= • Para resolver las preguntas 1-3 requerimos de la computadora

40. Así • t1 = Nueva, a1 = Pagada. Así, la probabilidad que una nueva cuenta sea pagada es el elemento 11 de (I –N)-1A =.964. • t2 = 1 mes, a2 = incobrable. Así, la probabilidad de que una cuenta atrasada un mes se convierta en incobrable es el elemento 22 de (I –N)-1A = .06 • De la respuesta 1, solamente 3.6% de todas las deudas son incobrables. Las cuentas a pagar anuales son de $1,200,000 en promedio, así (0.036)(1,200,000) = $43,200 por año serán incobrables.

41. 17.7 Modelos para planificar la fuerza de trabajo • Muchas organizaciones emplean varias categorías de trabajadores. • Los propósitos de la planeación a largo plazo, es a menudo útil para predecir el número de los empleados de cada tipo que estarán disponibles en el estado estable. • Tales predicciones se pueden hacer mediante un análisis similar al de las probabilidades de estado estable para las cadenas de Markov. • Considere una organización en la que clasifiquen a sus miembros en cualquier momento en uno de s posibles grupos.

42. 17.7 Modelos para planificar la fuerza de trabajo (Cont.) • Durante cada período, una porción pij de los que comienzan el período en el grupo i comienza la próxima vez el período en el grupo j. • También durante cada período, una porción pi,s+1 del grupo i, sus miembros dejan la organización. • Sea P la matriz de s x (s+1) en la cual la entrada ij es pij.

43. 17.7 Modelos para planificar la fuerza de trabajo (Cont.) • Al comienzo de cada periodo, la organización contrata Hi miembros del grupo i. • Sea Ni(t) el número de miembros del grupo i al comienzo del periodo t.

44. Una pregunta de interés normal es si Ni(t) tiende al límite a medida que crece t (llamemos al límite Ni, si existe). • Si cada Ni(t) no se acerca a un límite, llamamos N = (N1, N2,…,Ns) censo de estado estable de la organización. • Las ecuaciones usadas para calcular el censo de estado estable son

45. Observe que lo siguiente se puede utilizar para simplificar la ecuación anterior. • Si no existe un censo de estado estable, entonces la ecuación no tendrá ninguna solución.

46. Uso de LINGO para calcular el censo de estado estacionario • El modelo LINGO ubicado en el archivo Census.lng se puede utilizar para determinar el censo de estado estableo para un problema del planeación de mano de obra.