Sesión 5: Modelos Ocultos de Markov

1. Sesión 5: Modelos Ocultos de Markov

2. Modelos Ocultos de Markov • Cadenas de Markov • Modelos Ocultos de Markov • Problemas básicos • Evaluación • Secuencia óptima • Aprendizaje • Aplicaciones • Reconocimiento de voz • Reconocimiento de gestos Incertidumbre - HMM, L.E. Sucar

3. Máquina de estados • Es un dispostivo de procesamiento de información especificado por: • Un conjunto de estados, S • Un estado incial, S0 • Un conjunto finito de entradas, I • Un conjunto finito de salidas, S • Una función de transición de Si -> Sj • Una función de salida de Si -> O Incertidumbre - HMM, L.E. Sucar

4. Cadena de Markov (MM) • Máquina de estados finitos en la que: • Las transiciones de un estado a otro no son determinísticas • La probabilidad de transición de un estado a otro sólo depende del estado actual (y no de los anteriores) – propiedad de Markov Incertidumbre - HMM, L.E. Sucar

5. Ejemplo • Estados del clima: • Lluvioso (q1) • Nublado (q2) • Soleado (q3) • Probabilidades de transición: 0.4 0.3 0.3 0.2 0.6 0.2 0.1 0.1 0.8 • Probabilidades iniciales: 0.3 0.5 0.2 Incertidumbre - HMM, L.E. Sucar

6. Ejemplo q1 q2 q3 Incertidumbre - HMM, L.E. Sucar

7. Especificación de un MM • Conjunto de estados Q = {q1 ... qn} • Una vector de probabilidades iniciales, P = {p1 ... pn}, pi = P (S0 = qi) • Un matriz de probabilidades de transición, A = {aij}, donde aij = P (St = qj | St-1 = qi) • En forma compacta: L = {A, P} Incertidumbre - HMM, L.E. Sucar

8. Propiedades • 1. Sipi = 1 • 2. Sj aij = 1 • 3. P (St = qj | St-1 = qi, St-2 = qk, ...) = P (St = qj | St-1 = qi) Incertidumbre - HMM, L.E. Sucar

9. Salidas • A cada estado le corresponde una salida, Oi • Una secuencia de observaciones de t = 1 a t = T se denota por: O = {o1 ... oT} Incertidumbre - HMM, L.E. Sucar

10. Preguntas • Probabilidad de pertenencia: probabilidad de cierta secuencia de estados • Probabilidad de permanencia: probabilidad de que permanezca en cierto estado por cierto tiempo • Permanencia promedio: tiempo esperado de permanencia en un estado Incertidumbre - HMM, L.E. Sucar

11. Preguntas • Probabilidad de pertenencia: P(qj qk ql ...) = a0j ajk akl ... • Probabilidad de permanencia: P (di ) = aii d-1(1 - aii) • Permanencia promedio: E{d} = Sdi P(di ) E{d} = Sdi aii d-1(1 - aii) = 1/(1 - aii) Incertidumbre - HMM, L.E. Sucar

12. Ejemplos de Preguntas Dado el modelo del clima - • Probabilidad de pertenencia: • Dado que el tiempo inicial es soleado, cual es la P de que sea sol, sol, lluv, lluv, sol, nub, sol? • Probabilidad de permanencia: • Probabilidad de que este nublado por 3 días seguidos? • Permanencia promedio: • Tiempo esperado que permanezca nublado? Incertidumbre - HMM, L.E. Sucar

13. Estimación de parámetros • Dada una secuencia de observaciones, se pueden determinar los parámetros (A, P) del modelo: • Probabilidades iniciales: pi ~ g0i / N • Probabilidades de transición: aij ~ gij / gi • Donde: • g0i= número de veces que el estado i es el inicial • gi= número de veces que pasa por el estado i • gij = número de transiciones del estado i al j Incertidumbre - HMM, L.E. Sucar

14. Ejemplo de estimación • Obtener los parámetros del modelo dada la secuencia: q2q2q3q3q3q3q1q1q3q2q3q3q3q3q3q3q2q2 q2q1q2q2q1q1q3 Incertidumbre - HMM, L.E. Sucar

15. Modelos Ocultos de Markov (HMM) • Es un modelo de Markov en que los estados no son directamente observables • Se puede ver como un doble proceso estocástico: • Un proceso estocástico “escondido” que es no observable • Otro proceso estocástico que produce la secuencia de observaciones Incertidumbre - HMM, L.E. Sucar

16. Ejemplo • Se tienen dos monedas (M1 y M2) que se seleccionan en forma aleatoria • Cada moneda esta cargada: • M1 – P=0.8 de águila • M2 – P=0.8 de sol • Se tiran en secuencia (N) las moneda y sólo se observa la salida (A o S) Incertidumbre - HMM, L.E. Sucar

17. Ejemplo q1 q2 Sol Águila Incertidumbre - HMM, L.E. Sucar

18. Especificación de un HMM • Conjunto de estados Q = {q1 ... qn} y de posibles observaciones O {o1 ... om} • Una vector de probabilidades iniciales, P = {p1 ... pn}, pi = P (S0 = qi) • Un matriz de probabilidades de transición, A = {aij}, donde aij = P (St = qj | St-1 = qi) • Un vector de probabilidades de salida por cada estado (matriz), B = {bik}, donde bik = P (Ot = ok | St = qi) • En forma compacta: l = {A, B, P} Incertidumbre - HMM, L.E. Sucar

19. Ejemplo - especificación • P: 0.5 0.5 • A: 0.5 0.5 0.5 0.5 • B: 0.8 0.2 0.2 0.8 Incertidumbre - HMM, L.E. Sucar

20. Preguntas básicas • Dado el modelo, calcular la probabilidad de una secuencia de observaciones (evaluación) • Dado el modelo, obtener la secuencia de estados más probable correspondiente a una secuencia de observaciones (secuencia óptima) • Dada una secuencia de observaciones, ajustar los parámetros del modelo (aprendizaje) Incertidumbre - HMM, L.E. Sucar

21. Evaluación – método directo • Dada la secuencia de observaciones: O1 O2 O3 O4 ... • Pueden ser generados por diferentes secuencias de estados, considerando una: S1 S2 S3 S4 ... • Entonces la probabilidad de las observaciones y dicha secuencia de estado es: P(O, Qi) = pq1 bq1 (O1)aq12 bq2 (O2) ... aq(T-1)T bqt (OT) Incertidumbre - HMM, L.E. Sucar

22. Evaluación – método directo • Considerando todas las secuencias: P(O) = SQ P(O, Qi) • Qué es lo mismo que: P(O) = SQ [ pq1 bq1 (O1)aq12 bq2 (O2) ... aq(T-1)T bqt (OT) ] Incertidumbre - HMM, L.E. Sucar

23. Evaluación – método directo • Número de operaciones • Para cada término: 2T • Número de posibles secuencias (sumatoria) NT • Total: 2T x NT • Por ejemplo, N=5 y T=100 -> 1072 operaciones! • Se requiere de un método más eficiente! Incertidumbre - HMM, L.E. Sucar

24. Evaluación – método iterativo • Se basa en la idea de ir evaluando en paralelo la probabilidad de estados/observaciones para cada tiempo q1 q1 qo q2 q2 Incertidumbre - HMM, L.E. Sucar

25. Evaluación – método iterativo • Se define la variable “forward”: at(i) = P (O1 O2 O3 O4 ... Ot , St = qi) • Es decir, la probabilidad de una secuencia parcial de observaciones y que llegue a cierto estado Incertidumbre - HMM, L.E. Sucar

26. Algoritmo • Inicialización at(1) = P (O1, S1 = qi) = pi bi (O1) • Inducción at+1(j) = [ Siat(i) aij ] bj (Ot+1) • Terminación P(O) = SiaT(i) Incertidumbre - HMM, L.E. Sucar

27. Complejidad • En cada iteración se tiene del orden de N multiplicaciones y N sumas • Para las T iteraciones: N2 x T Incertidumbre - HMM, L.E. Sucar

28. Secuencia óptima • Encontrar la secuencia de estados óptima dada la secuencia de observaciones • Óptimo se puede definir de diferentes maneras: • Estados más probables • Secuencia total más probable Incertidumbre - HMM, L.E. Sucar

29. Definiciones • Variable “backward”: bt(i) = P (Ot+1 Ot+2 ... OT , St = qi) • En forma iterativa: bt(j) = [ Sjbt+1(j) aij ] bj (Ot+1) • Definiendo: bT(j) = 1 Incertidumbre - HMM, L.E. Sucar

30. Definiciones • Por lo tanto, combinando ambas definiciones: P (O, St = qi) = at(i) bt(i) • Y entonces: P(O) = Sjat(i) bt(i) Incertidumbre - HMM, L.E. Sucar

31. q1 q1 q1 qo q2 q2 q2 Cálculo iterativo q1 q2 OT O1 O2 Ot Incertidumbre - HMM, L.E. Sucar

32. Más definiciones • Probabilidad condicional: gt(i) = P (St = qi | O) = P (St = qi , O) / P (O) • En términos de a y b: gt(i) = at(i) bt(i) / P(O) gt(i) = at(i) bt(i) / Siat(i) bt(i) Incertidumbre - HMM, L.E. Sucar

33. Estados más probable • El estado individual más probable para el tiempo t es: ARG MAX igt(i) • El problema es que la concatenación de los estados más probables no necesariamente corresponde a la secuencia más probable Incertidumbre - HMM, L.E. Sucar

34. Secuencia más probable • Secuencia total más probable es: MAX P(Q | O) • Dado que P(Q|O) = P(Q,O) / P(O), entonces es equivalente a: MAX P(Q , O) Incertidumbre - HMM, L.E. Sucar

35. Algoritmo de Viterbi • Antes de ver el algoritmo es necesario definir otra variable • La subsecuencia de estados óptimos hasta el tiempo t: dt(i) = P (S1 S2 ...St = qi, O1 O2 ... Ot ) • En forma iterativa: dt+1(i) = [ MAX dt(i) aij ] bj (Ot+1) Incertidumbre - HMM, L.E. Sucar

36. Algoritmo • Inicialización: d1(i) = pi bi (O1) y1(i) = 0 • Recursión dt(i) = MAXi [dt-1(i) aij ] bj (Ot) yt(i) = ARGMAXi [dt(i)] • Terminación P*= MAXi [dT(i)] qT*= ARGMAXi [dT(i)] • Backtracking qt*= yt+1(qt+1*) Incertidumbre - HMM, L.E. Sucar

37. Aprendizaje • Consiste en determinar los parámetros del modelo, l = {A, B, P}, dada una secuencia de observaciones • Para ello, se buscan los parámetros que maximizen P(O | l) – no se pueden obtener con precisión • Número de parámetros: N + N2 + N x M Incertidumbre - HMM, L.E. Sucar

38. Algoritmo de Baum-Welch • Otra variable auxiliar – probabilidad de estar en el estado i en t y pasar a j en t+1 dada la secuencia de observaciones: xt(i,j) = P (St = qi , St+1 = qj | O) = P (St = qi , St+1 = qj , O) / P (O) • En términos de a y b: xt(i,j) = at(i) aij bj (Ot+1)bt+1(j) / P(O) xt(i,j) = at(i) aij bj (Ot+1)bt+1(j) / SiSjat(i) aij bj (Ot+1)bt+1(j) Incertidumbre - HMM, L.E. Sucar

39. Algoritmo de Baum-Welch • La variable gt(i) se puede calcular como: gt(i) =Sjxt(i,j) • Esta variable sumada sobre todos los tiempos da una estimación del número de veces que se pasa por el estado “i” Stgt(i) • Mientras que la suma sobre t de xt(i,j) da una estimación del número de transiciones de “i -> j”: St xt(i,j) Incertidumbre - HMM, L.E. Sucar

40. Re-estimación de los parámetros • Probabilidades iniciales – número de veces en el estaod “i” en t=1: pi= g1(i) • Probabilidades de transición – número de transiciones de “i -> j” entre el número de veces en “i” aij = St xt(i,j) / Stgt(i) • Probabilidades de salidas – número de veces en estado “j” y observar “k” entre el número de veces en dicho estado: bjk = St,O = kgt(i) / Stgt(i) Incertidumbre - HMM, L.E. Sucar

41. Re-estimación de los parámetros • Se inicia con ciertos valores (al azar) y se van mejorando iterativamente (se repite el proceso varias veces) • Se obtiene un estimador de máxima verosimilitud • No se garantiza el óptimo global Incertidumbre - HMM, L.E. Sucar

42. Aplicaciones • Modelado de procesos dinámicos, como: • Reconocimiento de voz • Reconocimiento de gestos Incertidumbre - HMM, L.E. Sucar

43. Reconocimiento de voz • Se modela a nivel palabra o fonema utilizando HMM • Las observaciones consisten de vectores de característcas obtenidas del procesamiento de la señal de voz • Se utilizan secuencias de voz para el entrenamiento y, posteriormente durante reconocimiento, se obtiene la probabilidad de cada modelo (palabra o fonema), seleccionando la de mayor probabilidad Incertidumbre - HMM, L.E. Sucar

44. Reconocimiento de voz Palabra: “tomato” ey t ow m t ow aa Fonema ini mid fin Incertidumbre - HMM, L.E. Sucar

45. Reconocimiento de gestos Seguimiento de la mano en una secuencia imágenes Incertidumbre - HMM, L.E. Sucar

46. Características • Observaciones: • cambio en X (DX) • cambio en Y (DY) • cambio en área (DA) • cambio en razón X-Y (DR) • Cada una se codifica en 3 valores: (+, 0, -), lo que da un total de 81 posibles observaciones X2,Y2 X1,Y,1 A2 A1 Incertidumbre - HMM, L.E. Sucar

47. HMM • Se utiliza un HMM para cada gesto (5 gestos): • 3 estados: gestos simples • 5 estados: gestos complejos Incertidumbre - HMM, L.E. Sucar

48. Referencias • L. R. Rabiner, B. H. Juang, “An introduction to hidden Markov models”, IEEE ASSP, Enero 1986. • L. R. Rabiner, “A tutorial on hidden Markov Models and selected applications in speech recognition”, IEEE 1989. • J. K. Kemeny, J. L. Snell, “Finite Markov Chains”, Van Nostrand, 1965. Incertidumbre - HMM, L.E. Sucar

49. Actividades • Hacer ejercicio de HMM Incertidumbre - HMM, L.E. Sucar