REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

1. REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María

2. SOM/KOHONEN NetworkMapas Autoorganizativos Capítulo 3 Redes Neuronales Artificiales

3. Estructura de la Red SOM (Self-Organization Map o Kohonen Network) Teuvo Kohonen Rev. Information Science(1984) • Red de aprendizaje no supervisado. • Posee una única capa, la capa de salida. • Posee un feedback lateral. En general es de forma indirecta ( tipo “Sombrero Mejicano”). • Consiste en K neuronas. • Puede ser unidimensional (K) o multidimensional ( KxK). • La capa adicional de entrada solo distribuye la entrada en la capa de salida. • Consiste en N neuronas (dimensión de la entrada). • No hay procesamiento Redes Neuronales Artificiales

4. Estructura de la red de Kohonen Redes Neuronales Artificiales

5. Sombrero mejicano Las Neuronas cercanas reciben un feedback (+) Las Neuronas a mediana distancia reciben feedback (-). Las Neuronas lejanas no son afectadas. Redes Neuronales Artificiales

6. Estructura de la Red. • Obervaciones: • La distancia entre neuronas es discreta. 0 para la neurona misma, 1 para las neuronas más cercanas etc. • La función de feedback determina la velocidad de aprendizaje. • Vecindad Neuronal: Area afectada por el feedback lateral. • Para grandes vecindades, la distancia puede considerarse función continua. Redes Neuronales Artificiales

7. El Proceso de aprendizaje • Matriz de pesos: • Vector de entrada: • Entrada es una función paramétrizada x = x(t) • Entrada total: a = W x • La neurona k que tiene un peso asociado tal que: se declara ganadora. Redes Neuronales Artificiales

8. Proceso de aprendizaje • Todas las neuronas incluidas en la vecindad neuronal incluida ella misma participan en el proceso de aprendizaje. Las otras neuronas no son afectadas. • El proceso de aprendizaje consiste en cambiar el vector de pesos en la dirección del vector de entrada (feedback positivo). • Existe también un proceso de olvido proceso que retarda el progreso (feedback negativo) Redes Neuronales Artificiales

9. Proceso de aprendizaje • Aprendizaje lineal: cambios ocurren en direccion de la combinación lineal de X y W(j,:) para cada neurona: donde  y  son funciones escalares (no lineales).  : feedback positivo : feedback negativo • A continuación se considera que la vecindad neuronal es toda la red. Redes Neuronales Artificiales

10. Tipos de aprendizaje • La ecuacion diferencial Trivial: Para t, W(j,:) es un promedio exponencialmente ponderado de X. Redes Neuronales Artificiales

11. Tipos de Aprendizaje • La ecuación simple: Redes Neuronales Artificiales

12. Tipos de Aprendizaje • La Solución de la ecuación simple: • La solución puede ser divergente o convergente a cero, casos ambos casos son inaceptables. • Para tiempos cortos la solución se aproxima a procesos asintóticamente estables. • Para t ;  relativamente pequeños y 0: Redes Neuronales Artificiales

13. Tipos de Aprendizaje • La Ecuación diferencial de Riccati: Redes Neuronales Artificiales

14. Tipos de Aprendizaje • Ecuación de Riccati: • Proposición: Considerando un acercamiento estadístico a la ecuación de Riccati, si una existe solución, la solución de W es de la forma: • Todo W(j,:) llega a estar paralelo a <x> y tendrá la norma Redes Neuronales Artificiales

15. Tipos de Aprendizaje • Ecuaciones más generales: Teorema: Sea  > 0, a =Wx y (a) una función arbitraria tal que E{(a)|W} existe. Sea x = x(t) un vector con propiedades estadísticas estacionarias (e independiente de W). Entonces, si el proceso de aprendizaje es del tipo: tiene soluciones W acotada para t, entonces debe tener la forma: donde <x> es la esperanza de x(t). ie., W(j,:) llega a ser paralelo a <x> Redes Neuronales Artificiales

16. Tipos de Aprendizaje Teorema: Sea  > 0, a = Wx y (a) una función arbitraria tal que E{(a)|W} existe. Sea <xxT>=E{xxT|W}. Sea max=máxl l el valor propio máximo de < xxT > y umax el vector propio asociado. Entonces, si el proceso de aprendizaje es del tipo: tiene soluciones no triviales W acotada para t, entonces debe tener la forma: donde Wumax Ô, W(0) = W0 ; ie, W(j,:) llega a ser paralelo a umax Redes Neuronales Artificiales

17. Dinámica de la Red • Función de ejecución de la red: Para cada vector de entrada X , la neurona k para la cual se declara ganadora. El ganador es usado para decidir que pesos serán cambiados. Todas las neuronas pertenecientes a la vecindad neuronal participan en el aprendizaje. Redes Neuronales Artificiales

18. Dinámica de la Red • Función de aprendizaje de la red: • El proceso de aprendizaje es no-supervisado. • El aprendizaje se desarrolla en tiempo discreto. • W=W(t) • En t = 0 los pesos son inicializados con valores aleatorios pequeños W(0) = W0 . • Los pesos se actualizan de la siguiente forma: • Para x(t) encontrar la neurona ganadora k. • Actualizar los pesos según modelo elegido: Redes Neuronales Artificiales

19. Dinámica de la Red • Inicialización y condición de parada: • Los pesos son inicializados con valores aleatorios pequeños. • La condición de parada del proceso de aprendizaje puede ser: • Elegir un número fijo de pasos. • El proceso de aprendizaje continúa hasta que la cantidad de ajuste: wji= wji(t+1)-wji (t)  Redes Neuronales Artificiales

20. El Algoritmo • Para toda las neuronas en la capa de salida: inicializar los pesos con valores aleatorios • Si se trabaja con vectores normalizados, Normalizar vectores • Elegir el modelo de aprendizaje ( Ecuación diferencial) • Elegir un modelo de vecino neuronal ( fu. de feedback lateral). • Elegir condición de parada. • Construir a partir de la ED, la fórmula de adaptación de los pesos. • Considerando tiempo discreto, repetir los pasos anteriores hasta que la condición de parada se cumpla: • Tomar la entrada x(t) • Para todas las neuronas j en la capa de salida, encontrar la ganadora. • Conociendo la ganadora, actualizar los pesos. Redes Neuronales Artificiales

21. Fórmula de adaptación de pesos • La ecuacion diferencial Trivial: Para t, W(j,:) es un promedio exponencialmente ponderado de X. Redes Neuronales Artificiales

22. Fórmula de adaptación de pesos La ecuación Trivial: Redes Neuronales Artificiales