1 / 30

Redes Neuronales Artificiales 2 - Aprendizaje

Redes Neuronales Artificiales 2 - Aprendizaje. Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx http://lsc.fie.umich.mx/~juan/ http://lsc.fie.umich.mx/~juan/Materias/ANN. Curso Redes Neuronales Artificiales. CONTENIDO

xantha-beck
Download Presentation

Redes Neuronales Artificiales 2 - Aprendizaje

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Redes Neuronales Artificiales2 - Aprendizaje Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx http://lsc.fie.umich.mx/~juan/ http://lsc.fie.umich.mx/~juan/Materias/ANN

  2. Curso Redes Neuronales Artificiales CONTENIDO • Introducción • Aprendizaje • Perceptrones mono-nivel • Perceptrones multi-nivel • Otras Arquitecturas

  3. Redes Neuronales Artificiales RNA: Habilidad de aprender del medio ambiente y mejorar su desempeño por medio del aprendizaje. Aprendizaje: Proceso por el cual los parámetros (pesos sinápticos) de una RNA se adaptan por estimulación del medio ambiente. Algoritmo de Aprendizaje: Conjunto bien definido de reglas para actualizar los pesos sinápticos. Paradigma de Aprendizaje: Modelo del medio ambiente en el cual la RNA opera.

  4. Algoritmos de Aprendizaje • Corrección de Error • Basado en Memoria • Hebbian • Competitivo • Boltzmann

  5. Paradigmas de Aprendizaje • Supervizado • No Supervisado • Por Refuerzos • No Supervisado

  6. Tareas de Aprendizaje • Asociación de Patrones • Reconocimiento de Patrones • Aproximación Funcional • Control • Filtrado

  7. Algoritmos de AprendizajeCorrección de Error ek(n) = dk (n) – yk (n) E(n) = ½ ek(n) 2 — Error Energy wkj (n) =  ek(n) xj(n) —Delta Rule (Widrow-Hoff) wkj (n+1) = wkj (n) + wkj (n)

  8. Algoritmos de AprendizajeBasado en Memoria Almacenar ejemplos entrada – salida {(xi, di)} i=1, .., N Ejemplo: Clasificación binaria Clases: C1 y C2 xtest (nuevo) es clasificado examinando su vecindad

  9. Algoritmos de AprendizajeBasado en Memoria Componentes: • Criterio para definir vecindad • Regla de aprendizaje Ejemplo: Vecino más Cercano (Nearest Neighbor) x* e {x1, x2, .., xN} es el vmc de xtest si Mini d(xi, xtest ) = d(x*, xtest ) Donde d(xi, xtest ) es la distancia Euclideana

  10. Algoritmos de AprendizajeBasado en Memoria k Vecinox más Cercanos: • Identificar los k vecinos mas cercanos a xtest • Asignar a xtest la clase más común en sus k vecinos más cercanos

  11. Algoritmos de AprendizajeHebbian • Si dos neuronas vecinas se activan simultaneamente, el peso de su conexión se incrementa. • Si dos neuronas vecinas se activan asíncronamente, la conexión se debilita o elimina. La conexión se llama sinapsis hebbiana

  12. Algoritmos de AprendizajeHebbian Mecanismos en aprendizaje hebbiano • Dependiente del Tiempo. Aprendizaje depende de los tiempos de activación. • Local. Activaciones Espacio-Temporales. • Interactivo. Depende de la interacción entre neuronas vecinas. • Conjuncional (correlacional). La co-ocurrencia de señales produce una modificación de pesos.

  13. Algoritmos de AprendizajeHebbian wkj – peso sináptico xj– señal presináptica yk– señal postsináptica wkj (n) = F(yk(n), xj(n)) wkj (n) =  yk(n) xj(n) — Hebb´s hypothesis wkj (n) =  (yk-yav) (xj(n)-xav) — Covariance Hypothesis

  14. Algoritmos de AprendizajeCompetitivo • Las neuronas de salida compiten para activarse. • Solo una neurona de salida estará activa a la vez. • Usadas en clasificación.

  15. Algoritmos de AprendizajeCompetitivo yk= 1 si vk> vjjk yk= 0 otro caso i wkj = 1 k wkj =  (xj – wkj) si k gana wkj = 0 si k pierde

  16. Algoritmos de AprendizajeBoltzmann Estructura recurrente Estados: 1 y -1 E = - ½ j k wkjxkxj para j k — Energy Seleccionar neurona k aleatoriamente Cambiar su estado a temperatura T con probabilidad wkj =  (kj+– kj-) para j k

  17. Algoritmos de AprendizajeBoltzmann • Neuronas: • Fijas (entradas) • Libres • Utilizadas para modelar (aprender) una distribución de probabilidad de los datos de entrada. • Completan entradas incompletas.

  18. Paradigmas de AprendizajeSupervizado

  19. Paradigmas de AprendizajePor Refuerzos • Minimizar un índice escalar de aptitud • Refuerzo retardado • Asignación de Crédito y Culpa a acciones • Aprende a realizar tareas basado solamente en el resultado de sus experiencias

  20. Paradigmas de AprendizajeNo Supervizado • Auto-organizado • Medida de calidad de representación, independiente del contexto • Los parámetros son optimizados con respecto a esa medida • Clasificación

  21. Tareas de AprendizajeAsociación de Patrones • Memoria Asociativa • Almacenar Patrones • Patrones con ruido • Recordar patrones xk yk, k=1, 2, ... , q • Autoasociativo: xk= yk • Heteroasociativo: xk yk • Meta de Diseño: Recordar + patrones con - neuronas

  22. Tareas de AprendizajeReconocimiento de Patrones Clasificación

  23. Tareas de AprendizajeAproximación Funcional • d = f(x) • T = {(xi, di)}, i=1, ..., N • F aproximación de f • Meta: F(x) – f(x)<, x

  24. Tareas de AprendizajeControl • d = f(x) • T = {(xi, di)}, i=1, ..., N • F aproximación de f • Meta: F(x) – f(x)<, x

  25. Tareas de AprendizajeFiltrado • Filtrado. Extracción de información de una variable en el tiempo discreto n, usando mediciones hasta n. • Smoothing. Filtrado con retardo. • Predicción. Derivar información acerca del futuro de una variable, usando información pasada.

  26. Tareas de AprendizajeFiltrado • Problema del Cocktail. • Predicción no Lineal.

  27. Ejercicios(Reglas de Aprendizaje)

  28. Ejercicios(Reglas de Aprendizaje)

  29. Ejercicios(Reglas de Aprendizaje)

  30. Ejercicios(Paradigmas de Aprendizaje)

More Related