ENTRENAMIENTO

1. ENTRENAMIENTO Estimación de la máxima probabilidad (MLE). Se basa en la maximización de la probabilidad de los datos de entrenamiento. Procedimientos de entrenamiento Estimación del máximo a posteriori (MAP). Las densidades a priori de los parámetros del modelo son tomados en cuenta en el proceso de maximización. El desarrollo teórico de las fórmulas iterativas de estos algoritmos se basa en la desigualdad de Baum [Baum 67]. Las aplicaciones de ambos métodos son distintas, MLE suele usarse para entrenamiento de grandes bases de datos, mientras que MAP es útil cuando el número de datos de entrenamiento es pequeño. MAP alcanza el mismo rendimiento cuando se aplica a grandes bases de datos.

2. ENTRENAMIENTO Considere la variable regresiva definida como se muestra en la ecuación siguiente: esto es, la probabilidad de la secuencia de observación parcial, O1O2...Ot, (mientras el tiempo t) y el estado i al tiempo t, dado el modelo . En [9] se menciona que podemos resolver para inductivamente, como se muestra en las ecuaciones siguientes. 1.Inicialización 1  i  N 2.Inducción 1  j  N, 1  t  T-1 3.   Finalización  

3. ENTRENAMIENTO 1.Inicialización 2.Inducción 3.   Finalización  

4. ENTRENAMIENTO La probabilidad de las muestras pueden ser expresadas de forma alternativa como sigue: Por medio de las probabilidades anteriores, podemos obtener las expresiones explicitas de la probabilidad de las muestras en términos de inicio, transición y las probabilidades de salida.

5. EL PROCEDIMIENTO DE MAXIMIZACIÓN: CASO MLE Si Q es la cantidad a ser maximizada y sus valores iniciales y finales, después de la maximización, son respectivamente Qstart y Qopt pueden escribirse de la forma: Esto implica que: Considerando lo siguiente q:dq=qdln(q) se tiene:

6. EL PROCEDIMIENTO DE MAXIMIZACIÓN: CASO MLE Consideramos que d(ln(q))=ln q’ – ln qstart. La optimización se puede lograr de la forma: La solución a la expresión anterior puede estar basada en pdf Gaussianas

7. EL PROCEDIMIENTO DE MAXIMIZACIÓN: CASO MLE El parámetro se utiliza para satisfacer la condición: Y se cumple la condición de que: Las fórmulas de reestimación para el caso MLE es de la forma:

8. EL PROCEDIMIENTO DE MAXIMIZACIÓN: CASO MLE

9. MODELO DE ENTRENAMIENTO El modelo de entrenamiento esta basado en el algoritmo de Baum-Welch Etiquetas de fronteras Base de datos acústica Etiquetas Modelo de entrenamiento simple muestras Extracción de características Archivo de Modelos Acústicos reestimados Modelo de entrenamiento simúltaneo Campo de modelos acústicos anteriores

10. MODELO DE ENTRENAMIENTO El modelo de entrenamiento esta basado en el algoritmo de Baum-Welch Etiquetas de fronteras Base de datos acústica Etiquetas Modelo de entrenamiento simple muestras Extracción de características Archivo de Modelos Acústicos reestimados GESTIÓN DEL SISTEMA EXPERTO Modelo de entrenamiento simúltaneo Campo de modelos acústicos anteriores

11. MODELO DE ENTRENAMIENTO Dos consideraciones deben de seguirse para realizar la estimación de cada modelo al hacer uso de las fórmulas de reestimación de Baum-Welch. La primera consideración, conocida como Modelo de Entrenamiento Sencillo, cada modelo de una unidad de voz es reestimada sin afectar a las demás. Por lo que los datos de entrenamiento “segmentados” son requeridos para un entrenamiento completo. Los datos de voz son segmentados con la ayuda de las etiquetas especificada con anterioridad. La segunda consideración, conocida como Modelo de Entrenamiento Simúltaneo, la reestimación se realiza de forma simúltanea para todos los modelos de las unidades de voz. Este tipo de entrenamiento es más lento y menos flexible dado que no se puede reestimar una unidad sin alterar las contiguas.

12. ENTRENAMIENTO DE MODELO SENCILLO INICIO no Parámetro de reestimación De Baum-Welch Número máximo de iteraciones no ¿Convergen? si si FIN DEL ENTRENAMIENTO

13. ENTRENAMIENTO DE MODELO SENCILLO El modelo de las HMM tiene N+2 estados en donde el primero y el último de ellos son estados de no emisión, estados dummies. El dato de entrenamiento contiene H muestras del modelo indexado con . La h-ésima muestra contiene Th (muestras extraídas) observaciones La pdf de observaciones esta compuesta de M pdf’s Gaussianas con índices

14. ENTRENAMIENTO DE MODELO SENCILLO • Para cada etiqueta (act_phone),las fórmulas de estimación contienen los siguientes pasos. Cada paso del procedimiento es realizado por funciones de C++. • Para cada instancia del fonema en el dato de entrenamiento se tiene: • Obtener todos los datos de voz, calcular la Th características extraídas de observaciones y almacenar los vectores en whole_phon_instance. • Calcular la probabilidad Gaussiana de yt para cada estado i, mixtura k y tiempo t de la forma:

15. ENTRENAMIENTO DE MODELO SENCILLO Calcular la probabilidad de 3a) Para cada estado de emisión calcular la probabilidad alfa: De acuerdo a la expresión: para Calcular la probabilidad total de las muestras h:

16. ENTRENAMIENTO DE MODELO SENCILLO Para cada estado de emisión , calcular la probabilidad beta: de acuerdo a la expresión para . Para t=Th, Los parámetros son calculados por la expresión:

17. ENTRENAMIENTO DE MODELO SENCILLO Las fórmulas anteriores son fracciones en donde los numeradores y denominadores son sumas de cantidades a ser evaluadas en cada instancia h. Entonces, los denominadores y numeradores pueden ser acumulados para cada h y cuando todos las muestras de los fonemas son procesadas, la razón es calculada para obtener nuevos parámetros HMM. Por lo que, los siguientes pasos son requeridos: 5a) Los valores acumulados en las variables del programa estima la nueva matriz de transiciones en donde las fórmulas son las mismas usadas para el MAP estableciendo =1. En particular, para cada instancia h acumulada se tiene: 5b) Acumular los valores en las variables del programa para estimar nuevos parámetros de la función de densidad de probabilidad gaussiana. En particular, para todas las instancias h, acumular cada estado y mixtura.

18. ENTRENAMIENTO DE MODELO SENCILLO 6) Cuando todas las muestras son leídas, el nuevo modelo es calculada calculando las razones correspondientes:

19. ENTRENAMIENTO DE MODELOS SIMULTÁNEOS • El entrenamiento se lleva a cabo por una función que permite realizar los siguientes pasos: • Almacenar y reestablecer los acumuladores para los parámetros HMM. • Leer las siguientes muestras almacenadas en un archivo debe estar basado en modelos de entrenamiento. • Construir una HMM sencilla pero concantenando las HMMs de las unidades silábicas que comprenden a la muestra actual. • Calcular la probabilidad hacia delante y hacia atrás de la HMM global. • Usar las probabilidades calculadas para actualizar los acumuladores. • Estas operaciones son realizadas para cada archivo de entrenamiento, es decir para todas las muestras de entrenamiento.

20. ENTRENAMIENTO DE MODELOS SIMULTÁNEOS 1) La función de reestimar valores calcula los valores de beta para las muestras completas pero considerando que para los estados de no emisión q-1 y q al tiempo testa dado por: en donde es el número de estados del modelo HMM en la posición q. Otra función se encarga de calcular el valor de la muestra de acuerdo a los modelos actuales . Si Ph es mayor a un umbral, el modelo completo de Markov captura la muestra actual. Esto significa que las muestras actuales pueder ser favorables para estimar los parámetros de la HMM y los pasos sucesivos son calculados. 2) Otra función realiza el cálculo de alfa aplicando las fórmulas antes vistas y para los estados de no emisión de dos modelos consecutivos q-1 y q; alfa al tiempo t esta dado por: en donde Es el número de estados del modelo HMM en la posición q

21. ENTRENAMIENTO DE MODELOS SIMULTÁNEOS 3) Se actualizan las variables occ empleadas para estimar las transiciones. 4) Estimar los parámetros de las Mixturas Gaussianas con las mismas expresiones del método simple de entrenamiento. 5) Calcular los acumuladores para los parámetros de transición. Conisderar que la inclusión de estados intermedios de no emisión en el modelo completo requiere cambios en la reestimación de las probabilidades de transición.