Redes Neuronales Artificiales

1. Redes Neuronales Artificiales

2. Neurona

3. Recursos disponibles en computadoras y cerebro humano

4. Redes Neuronales Artificiales Consisten en unidades de procesamiento densa-mente interconectadas , llamadas neuronas por su similaridad funcional con las neuronas biológi-cas. Las unidades de procesamiento reciben, pro-cesan y transmiten señales, tal como las neuronas biológicas.

5. Composición de las redes neuronales artificiales • Los nueve componentes principales del funcionamiento de las Redes Neuronales Artificiales son: • Un conjunto de unidades de procesamiento (neuronas); • Un estado de activación (variable de estado); • Una función de salida para cada unidad; • Un conjunto de conexiones (patrón de conectividad); • Un conjunto de reglas de propagación para propagar las señales de salida a través de la RNA. • Una regla de combinación; • Una regla de activación; • Una regla de modificación; • Un ambiente en el cual opera la RNA.

6. 1. Conjunto de unidades de procesamiento • Tres tipos de unidades: • Unidades de entradas, reciben señales del ambiente • Unidades de salida, transmiten las señales fuera de la RNA • Unidades ocultas, sólo reciben señales de unidades que pertenecen a la RNA.

7. 2. Estado de activación Magnitud de la variable de estado de la unidad (por ej. 1 o 0) Los valores de activación pueden ser discretos o contínuos, y limitados o ilimitados.

8. 3. Función de salida La señal de salida de una unidad varía con su activi-dad, de acuerdo con una función de salida, general-mente una función de saturación no lineal.

9. Diferentes funciones de salida

10. 4. Conjunto de conexiones Las unidades de procesamiento están interconectadas. Con cada conexión se asocia un peso conocido como peso de conexión o peso sináptico. La magnitud de cada peso representa la eficiencia con la cual la señal de salida de una unidad es transmitida a la otra. Según el signo del peso las señales entrantes pueden ser excitatorias (+), inhibitorias(-), o nulas (0).

11. 5. Conjunto de reglas de propagación Una entrada en una unidad puede ser una versión en escala de la señal de salida recibida, pero también puede ser más compleja si, por ej., el peso sináptico es modulado por alguna señal de salida.

12. 6. Regla de combinación Necesaria para generar la entrada neta de las señales de salida pesadas o moduladas provistas por la regla de propagación.. En el caso de una simple suma de estas señales, la regla de combinación es del tipo simple; en cualquier otro caso se nombrará como del tipo complejo.

13. 7. Regla de activación Necesaria para combinar la señal de entrada con el estado actual. La regla de activación puede ser una ecuación diferencial con respecto al tiempo, en el caso contínuo, o una ecuación diferencia en el caso discreto. Además la regla de activación puede ser determinística o estocástica. En este último caso, se incluye una fuente de ruido para producir cierta incertidumbre sobre el estado presente de la unidad.

14. 8. Regla de modificación La modificación del funcionamiento de una RNA en función del tiempo requiere la modificación de patrones de conectividad con el tiempo, usando alguna regla de modificación.

15. 9. Ambiente Provee las señales a las unidades de entrada. Las señales de entrada pueden ser discretas o contínuas, constantes o dependientes del tiempo, y determinís-ticas o estocásticas.

16. Notación para la red neuronal(R & N)

17. Unidad neuronal

18. Unidades con función escalón para la función activación Pueden actuar como puertas lógicas, dados los adecuados umbrales (t) y pesos (W).

19. Red hacia adelante de dos capas

20. Perceptrones

21. Perceptrones: algoritmo de aprendizaje • Wij nuevo = Wij viejo + Wij •  2jisi j  oj • Wij =  •  0 en cualquier otro caso • ó Wij =(1 - j oj ) ji ó Wij =(j - oj )i  Velocidad de aprendizaje • j Salida esperada de j iEntrada desde i o Salida obtenida de j

22. Separación lineal en perceptrones

23. Separación lineal en tres dimensiones Representación de la función minoría

24. Red de Hopfield • Asume lo siguiente: • Las variables de estado son binarias o graduadas. • Las funciones de salida usadas son tipo hard limiter o sigmoidea. • Las unidades de procesamiento estan ordenadas en una capa: todas las unidades realizan entrada y salida. Las conexiones dentro de la capa son recíprocas y simétricas; las conexiones recibidas de entradas externas son unidireccionales. • La regla de propagación es del tipo simple. • La regla de activación es discreta (red Hopf.binaria), o contínua (red de Hopfield graduada). Las reglas de propag. y de combinac. son del tipo simple. • El aprendizaje se da en un shot, los pesos de conexión son conocidos por el problema, no hay adaptación. • Las entradas externas son invariantes con el tiempo, y binarias o graduadas.

25. Perceptrón multicapa • Asume lo siguiente: • Las variables de estado son graduadas. • La función de salida usada es tipo sigmoidea. • Las unidades de procesamiento estan ordenadas en dos o tres capas. No hay conexiones dentro de una misma capa; las conexiones entre capas son unidireccionales. • La regla de propagación es del tipo simple. • La regla de activación es discreta. La actualización es síncrona dentro de cada capa y asíncrona de una capa a la otra. • El aprendizaje se da por minimización de una función error, el algoritmo de aprendizaje por retropropagación. La función error codifica información global. No hay adaptación. • Las entradas externas son graduadas y constantes.

26. Red hacia adelante de dos capas para el problema del restaurante

27. Algoritmo de retropropagación Es utilizado para actualizar los pesos en una red multicapa.

28. Algoritmo de retropropagación • Inicializar los pesos a valores pequeños al azar. • Elegir un patrón y aplicarlo a la capa de entrada. • Propagar la señal hacia delante por la red. • Computar los deltas de la capa de salida. • Computar los deltas de las capas previas propagando el error hacia atrás. • Actualizar todas las conexiones. • Volver al paso 2 y repetir con el patrón siguiente.

29. Superficie del error para la búsqueda de gradiente descendiente en el espacio de pesos

30. Máquina Boltzman • Asume lo siguiente: • Las variables de estado son binarias. • Las unidades de procesamiento estan ordenadas en capas. • Las conexiones entre capas son recíprocas y simétricas. • Las reglas de activación y de aprendizaje son estocásticas. • Ref. Ackley, 1985; Hinton y Sejnowski, 1986.

31. Asociación • Autoasociación: los conjuntos de patrones de entrada y de salida son idénticos • Heteroasociación: los patrones de salida difieren de los de entrada. • Descubrimiento de regularidad. • Aplicable cuando la estrategia de aprendizaje es no supervisada. • Aprendizaje supervisado • Los pesos de las conexiones se ajustan de manera tal que se reduzcan las discrepancias entre la salida real y la deseada, para todos los pares entrada/salida del conjunto de entrenamiento. Operaciones básicas

32. Estructuras de representación • Codificación de velocidad • La información es representada por la actividad de las unidades de procesamiento de la red: para cada patron de entrada corresponde un patrón de actividad en la RNA. • Codificación por grafo • Las unidades de procesamiento corresponden a nodos y las conexiones se corresponden con arcos. • Los patrones de entrada y patrones de referencia se representan como dos grafos separados.

33. Redes Neuronales de retropropagación Las neuronas artificiales reciben, procesan y comunican actividades y debido a esto, sus estados cambian con el tiempo. La red es enfrentada a un patrón de entrada y, gracias a enlaces que realimentan a la red, va actualizan-do su estado. Las redes neuronales artificiales analógicas son usadas en la resolución de problemas de optimización.