REDES NEURONALES

1. REDES NEURONALES

2. ¿Qué son las Redes Neuronales? • Modelos simplificados del sistema nervioso central • Están formadas por un elevado número de elementos simples de computación interconectados que trabajan en paralelo

3. Modelo Neurona Artificial

4. Modelo matemático (1943) Mc Culloch-Pitts Operación: Suma Ponderada de las Entradas Si la suma supera un umbral, se activa la salida En caso contrario, se inhibe Modelo matemático: Los pesos wij representan la sinapsis que une la neurona j (fuente) con la i (destino) Modelo Simple Neurona Artificial

5. 1943 Mc Culloch-Pitts (Primeros Modelos matemáticos) 1949 D. Hebb. Aprendizaje neuronal 1956 Rochester. Primeras simulaciones de redes neuronales 50’-60’ Rosenblatt introduce el Perceptrón 1969 Minsky y Papert publican un libro estudiando los problemas del Perceptrón. COMIENZO DE LA DÉCADA OSCURA 1970 Widrow. Primera aplicación redes neuronales (ADALINE y MADALINE) Regla de Aprendizaje Widrow-Hoff (Mínimos Cuadrados) 1974 Werbos publica el algoritmo de Retropropagación, aunque no se utiliza hasta 1985 (PDP) 1982 Hopfield analiza el comportamiento de la red mediante teoría de Lyapunov Breve Historia de las Redes Neuronales

6. La red puede aproximar cualquier función no lineal continua Son unidades de procesamiento paralelo y distribuido Permite generalizar y adaptarse en tiempo real Puede trabajar con conceptos cuantitativos y cualitativos simultáneamente. Pueden modelar sistemas multivariables Aplicación de las Redes Neuronales al Control

7. Arquitectura de las Redes Neuronales • Funciones continuas utilizadas: • Función Escalón • Función Umbral • Función Rampa • Función Sigmoidal • Neurona • Elemento básico • Formada por: • Sumador Ponderado • Función de Activación continua

8. Arquitectura de Red • En general, las neuronas tienen más de una entrada...

9. Arquitectura de red • O más de una salida ...

10. Arquitectura de Red • O más de una capa....

11. Arquitectura de Red • Capa de Entrada: Capa sensorial • Capa Oculta: Procesamiento de Datos • Capa de Salida: Respuesta al entorno

12. Entrenamiento = Ajuste de los pesos Entrenamiento supervisado (99% de las aplicaciones neuronales) Entrenamiento no supervisado (el resto) Según el flujo de datos: Redes Unidireccionales (de entrada  salida) Redes Recurrentes (donde  realimentación de la salida a la entrada) Entrenamiento de Redes

13. Funcionamiento de las Redes • Aprendizaje  Ajuste de pesos • Ejecución  Aplicación

14. Perceptrón • Propuesto por Rosenblatt (1961) • F(n) es una función umbral (o escalón) • Permite clasificar vectores dividiendo el espacio de entrada en dos regiones • Sólo puede resolver problemas de separación LINEAL (OR-Exclusivo)

15. Reglas de Aprendizaje • La señal ri es función de (wi,x, di) • El incremento de los pesos será: Dwi(t) = ri [wi(t), x(t), di(t)] x(t) • Luego: wi(t+1) = wi(t) + Dwi(t)

16. Regla del Perceptrón: ri = dik-yik Regla de Hebb Reglas de Aprendizaje Sólo puede Clasificar VECTORES DE ENTRADA LINEALMENTE SEPARABLES

17. Solución al Problema Or-Exclusivo • ¡Utilizar Redes con dos capas!. • La Capa de Entrada  Dos Perceptrones • Capa de Salida Perceptron adicional • Problema: ENTRENAMIENTO

18. (1959) Widrow Función de Activación LINEAL Sistema de ec. Lineales  solución si los vectores x son LINEALMENTE INDEPENDIENTES Función de COSTE: E(w) minimiza la suma de los cuadrados de los errores. Método de entrenamiento  DESCENSO POR EL GRADIENTE Adaline (Adaptive Linear Neuron)

19. Basada en el DESCENSO DE GRADIENTE Si los cambios se hacen individualmente para cada patrón de entrada:  Factor de Aprendizaje Regla de Widrow-Hoff

20. Generalización de la regla de Widrow-Hoff para funciones de Activación Continuas Diferenciables Función de Coste: Aplicando descenso de gradiente (BATCH): En identificación/control los pesos se va actualizando al presentar nuevas entradas, x: Regla de Aprendizaje Delta

21. Perceptron Multicapa • Solución a problemas de clasificación de vectores no separables linealmente • Al utilizar funciones de activación no lineales, es posible modelar sistemas no lineales • Problema:Entrenamiento • 1974 Paul Werbos • 1986 Grupo PDP populariza el algoritmo

22. Algoritmo de Retropropagación • Red Multicapa.Función de Activación Diferenciable

23. Error Cuadrático: Ajuste de pesos: Relación neuronas 4 y 8 w84 n8  y8 E Aplicando Regla de la Cadena: Definiendo error equivalt.: d8(x) = (d8-y8)F'8(n8(x)) Ajuste Pesos Capa Salida: w84t+1 = w84t + d8y w74t+1 = w74t + d7y4 w64t+1 = w64t + d6y4 w85t+1 = w85t + d8y5 w75t+1 = w75t + d7y5 w65t+1 = w65t + d6y5 Algoritmo de Retropropagación

24. Capa Oculta. Conexión neuronas 1 y 4. representa la relación entre y4 y E. Calculando el primer término: Error Equivalente: d4=(d6w64+d7w74+d8w84)F'4(n4) Algoritmo Retropropagación (2)

25. Algoritmo Retropropagación (3) • Agrupando: • La variación del peso w41 vendrá dada por: w41t+1 = w41t + d4y1

26. Aspectos a considerar: Pesos Iniciales. Aleatorios y pequeños Constante de Aprendizaje Función Cuadrática Número de Patrones Tipo de Patrones Número de Capas Número de Neuronas Ocultas Variantes: Término de momento Otras reglas de Actualización basadas en el método de Newton (calculando la matriz Hessiana) Algoritmo Retropropagación (4) w(t) = -E(t)+w(t-1)