INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

1. INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María

2. Basic Neural Dynamics The ANN Books R.M. Kristev 1998 Capítulo 1 http://www.inf.utfsm.cl/~hallende/ redes neuronales/novedades • FAQ NN: "ftp://ftp.sas.com/pub/neural/FAQ.html" Redes Neuronales Artificiales

3. Inteligencia Computacional ?Computational Intelligence • Combinación: • Ciencias de la Computación • Neuro-Fisiología • Filosofía (Teoría del conocimiento y lógica) Creación de Máquinas que puedan Pensar en el sentido del test de Turin

4. Corteza Cerebral Humana: 11 • Aproximadamente 10 neuronas • 1000 a 10.000 Synapsis por neurona • Comunicación tren de impulsos electro-quimicos ( mensaje modulado) • Proceso Cognitivo • tiempo (milisegundos) • Operación MasivaParalela • Secuencial en 100 Etapas

5. Célula Nerviosa Soma: Info. Hereditaria + Plasma + Generación Señales Dendritas: Recepción Señales  Impulsos Axón: Transmisión de Señales Sinapsis: Interfaz Neuronal (Inhibitoria, Excitatoria)

6. Breve Historia • 1943 W.McCulloch, W. Pitts: Modelo ANN ( El Perceptrón ) • 1959 Bernard Widrow ( SU): Filtro Adaline (Adaptative Linear Neuron) y el Madaline (Multiple Adaline) Basado en ( ANN) • 1969 Minsky y Papert: El Perceptrón (limitaciones). • 1982 J. Hopfield: Memoria Asociativa ”Redes de Hopfield". • 1986 Rumulhart, Hunton y Williams : redescubren el BPL algoritmo de "back-propagation learning" ( Paul Werbor, 1974) • 1989 K. Hornik, M. Stinchcombe, H. White: Multi-FANN y Aproximación Universal Redes Neuronales Artificiales

7. Red neuronal artificial (ANN) • ANN: Es un sistema dinámico compuesto por redes paralelas y distribuidas de procesadores elementales, con la capacidad de aprender y almacenar “conocimiento”. • Arquitectura • Interacción • Función de proceso • ANN: SM sobre-parametrizado Redes Neuronales Artificiales

8. Aplicaciones de las ANN • Resolver problemas Complejos • Hacer generalizaciones • Establecer Relaciones no evidentes • Análisis de sistemas complejos • Percepción • Comprensión y Aprendizaje • Generación de nuevo conocimiento

9. Aplicaciones de las ANN • Telecomunicaciones • Informática • Minería • Energía • Finanzas • Transporte • Salud

10. Aplicaciones de las ANN • Clasificación • Pre-procesamiento de datos • Reconocimiento de patrones • Aproximación de funciones • Predicción de Series de Tiempo • Optimización Combinatorial • Control

11. 1 Modelo Neuronal: Mc Culloch & Pitts 1943 w 0 1 1i  . . . xi(t) 0 bi 1 0 w 1 ni n åwij xj(t-1) - bi xi(t) = j=1 Redes Neuronales Artificiales

12. ANN y Neuronales Biológicas Neurona y Conecciones Sinápticas Procesador Elemental • Neuronas: El aprendizaje se produce mediante la variación de la efectividad de las sinapsis, de esta manera cambia la influencia que unas neuronas ejercen sobre otras. • ANN: La regla de aprendizaje usada indica como se ajustan los pesos de las conexiones en función del vector entrada Redes Neuronales Artificiales

13. Analogías Redes Neuronales Artificiales

14. Procesador Elemental. PE: Es una unidad básica de procesamiento la que posee múltiples entradas y solo una salida. • Cada entrada xi es ponderada por un factor (peso) wi y se calcula la suma ponderada de las entradas: • Luego es aplicada una transformación mediante la función de activación : Redes Neuronales Artificiales

15. Procesador elemental. a=netai wi f(a) xi f Input Output Unidad de agregación Unidad de Activación Redes Neuronales Artificiales

16. Procesador elemental. • ANN Feedforward: Se construye colocando las neuronas en capas y conectando las salidas de una capa con las entradas de las neuronas de la próxima capa. • Capas de una red: • Capa de entrada Zona sensorial ( S) • Capa de salida Zona de Respuesta ( R) • Capas ocultas Zona de asociación ( A) Redes Neuronales Artificiales

17. ANN: Aprendizaje y Generalización Métodos Actuales Supervisado Tipos de Aprendizaje Tipos de Arquitectura Tipos de Función de Transición: deterministas, probabilistas Tipo de Algoritmo de Aprendizaje: BPL, PPL, LM, etc No - Supervisado Híbridos FeedForward Single, Multiple Recurrentes Profesor: Héctor Allende Redes Neuronales Artificiales 17

18. Feedforward Neural Network Redes Neuronales Artificiales

19. S x1 x2 Redes Feedforward • FANN La capa 0 no realiza procesamiento alguno, solo distribuye las entradas a la capa siguiente Redes Neuronales Artificiales

20. 1 Modelo de Turing xi(0) {0,1} n åwij xj(t-1) - bi xi(t) = j=1  i=1,...,n W (conectividad de la NN) b =(bi ) vector de umbrales wij Redes Neuronales Artificiales

21. Arquitectura En función de la conectividad de las capas, podemos hablar de redes recurrentes (feed-back) y redes no recurrentes o redes en cascada (feed-forward). Lo más usual es disponer las unidades en forma de capas, pudiéndose hablar de redes de una capa oculta, o de más de dos capas ocultas (redes multicapa Redes Neuronales Artificiales

22. Neuronas y Redes simples. • ANN Recurrente: La salida de una neurona es la entrada de neuronas de capas anteriores (feedback). • Feedback lateral: La salida de una neurona es la entrada de otra neurona en la misma capa. Redes Neuronales Artificiales

23. Neuronas y Redes simples. • Parámetros de la Red: Los pesos {wi}. • Aprendizaje o entrenamiento: Es el procedimiento mediante el cual los pesos son ajustados. • Conjunto de entrenamiento: Conjunto de datos que consiste vectores de entrada asociado con vectores de salida deseada:{(xi,yi)}. Redes Neuronales Artificiales

24. Neuronas como funciones • Las neuronas transforman una entrada no acotada x(t) en el tiempo t en una señal de salida acotada f(x(t)). • La función de activación o función de señal: f • Velocidad de la señal: Redes Neuronales Artificiales

25. Funciones de Activación Funciones Tipo Sigmoide Funciones Base Radial Redes Neuronales Artificiales

26. Funciones de activación comunes • Función de activación logística: • Es monótamente creciente para c >0 Redes Neuronales Artificiales

27. Funciones de activación comunes Redes Neuronales Artificiales

28. Funciones de activación comunes • Tangente hiperbólica: donde c>0. Redes Neuronales Artificiales

29. Funciones de activación comunes • Threshold (umbral) c>0 Redes Neuronales Artificiales

30. Funciones de activación comunes • Distribución exponencial: c>0. Redes Neuronales Artificiales

31. Funciones de activación comunes • Razón polinomial: Redes Neuronales Artificiales

32. Funciones de activación comunes • Pulse-coded: Consiste en un tren de pulsos exponencialmente ponderados Redes Neuronales Artificiales

33. NN: Preguntas Abiertas • Tamaño de las muestras • Cuántas Neuronas • Cuantas Capas • Tipo de Arquitectura ( Selección del Modelo ANN) • Tipo de Aprendizaje • Algoritmos de Aprendizaje • ¿Cuándo usar ANN Modelador Redes Neuronales Artificiales

34. Aplicaciones NN • Optimización Combinatorial • Aprendizaje y Generalización: • Memorias Asociativas (Básico) • Redes Multicapas • Pattern Recognition • Predicción y Pronósticos • Aproximación de Funciones • Modelos de Difusión de Información • Arquitecturas Paralelas Redes Neuronales Artificiales

35. “Un computador merece ser llamado inteligente si puede hacer pensar a un ser humano que es otro ser humano” Test de Turing:

36. Estructura y Formas de Conexión • Función de Activación • Se suele distinguir entre funciones lineales, en las que la salida es proporcional a la entrada; funciones de umbral, en las cuales la salida es un valor discreto (típicamente binario 0/1) que depende de si la estimulación total supera o no un determinado valor de umbral; y funciones no lineales, no proporcionales a la entrada. • CaracteristicasAprendizaje inductivo • Generalización • .Abstracción tolerancia al ruido: • Procesamiento paralelo • Memoria Distribuida • Redes Asincronicas v/s Sincronicas • Metodos deterministas v/s Estaticos Redes Neuronales Artificiales

37. Funcionamiento Basico • La arquitectura más usada en la actualidad de una red neuronal consistiría en: • Una primera capa de entradas, que recibe información del exterior. • Una serie de capas ocultas (intermedias), encargadas de realizar el trabajo de la red. • Una capa de salidas, que proporciona el resultado del trabajo de la red al exterior. • El número de capas intermedias y el número de neuronas de cada capa dependerá del tipo de aplicación al que se vaya a destinar la red neuronal. Redes Neuronales Artificiales