Curso Introdução às Redes Neuronais Parte 2

1. CursoIntrodução às Redes NeuronaisParte 2 Prof. Dr. rer.nat. Aldo von Wangenheim

2. Recapitulação: Aspectos Importantes • Modelagem dos Objetos • Implementação dos Algoritmos de Treinamento • Escolha e Gerência dos exemplos para Treinamento • Estes aspectos são independentes do modelo de rede que se deseja implementar.

3. Recapitulação: Modelagem dos Objetos Objetos a serem modelados: • Rede • Camada (Layer) • Neurônio • Conexão • Neuroreceptor (Site)

5. 1.0 0.5 0.0

6. 1.0 0.5 0.0

7. 1.0 0.5 0.0

8. 1 0 0 1.0 0.5 0.0

9. Backpropagation • Modelo mais utilizado atualmente • Baseia-se em uma extensão dos Perceptrons • Utilizado quando queremos “aprender” uma função y = ?(x) desconhecida entre um conjunto de dados de entrada x e um conjunto de classificações possíveis y para esses. • BP é um algoritmo para a implementação de classificadores de dados. • Representa teoricamente qualquer função, desde que exista.

10. Perceptrons (1957) • Redes Feed-Forward • Treinamento baseado no Erro entre saída e padrão. • 2 Camadas • Limitado pque não existiam algoritmos de treinamento. • Dois modelos de Neurônios: • Neurônios de Barreira • Representam dados linearmente separáveis • Neurônios Lineares • Representam dados linearmente independentes.

11. Aprendizado nos Perceptrons • Através da adaptação dos pesos wik • Mesmo para os dois tipos de neurônios.

12. Perceptron: Regra de Aprendizado

13. Perceptron: Regra de Aprendizado • A regra de aprendizado do Perceptron é chamada de Regra-Delta. • A cada passo é calculado um novo delta. • Com a Regra-Delta como foi definida por Rosenblatt havia vários problemas: • Só servia para treinar redes onde você pudesse determinar o erro em todas as camadas. • Redes com só duas camadas eram limitadas. • Nos neurônios lineares, onde era fácil determinar o erro numa camada interna, não fazia sentido incluí-la por causa da dependência linear.

14. Regra de Aprendizado:Minimizar o Erro • Inicializamos a rede com valores aleatórios para os pesos. • A Regra Delta aplicada repetidamente produz como resultado e minimização do erro apresentado pelarede:

15. Erro:

16. Pesos Convergem para um Ponto de Erro Mínimo chamado Atrator

17. Problemas: • As vezes o espaço vetorial definido por um conjunto de vetores de pesos não basta, não há um atrator (dados linearmente inseparáveis) • Solução: • Rede de mais camadas • Problema: • Como definir o erro já que não podemos usar neurônios lineares, onde o erro pode ser definido pela derivada parcial de E em relação a w ?

18. Erro em Camadas Internas • Com neurônios de McCulloch & Pitts podemos representar qualquer coisa. • Como perém treiná-los ? • Para a camada de saída é fácil determinar o erro, • Para outras impossível.

19. Solução (McLelland 1984) • Usamos uma função não-linear derivável como função de ativação. • Uma função assim mantém a característica provada por McCulloch e Pitts de representação. • Usamos como medida de erro em uma camada interna, a derivada parcial do erro na camada posterior. • Propagamos esse erro para trás e repetimos o processo: Error Backpropagation.

20. Bacpropagation • Redes de mais de duas camadas.Treinamento: • 2 Passos: • Apresentação de um padrão para treinamento e propagação da atividade. • Calculo do erro e retropropagação do erro.

21. Treinamento em BP: • Padrão de treinamento é apresentado. • Atividade é propagada pelas camadas. • Erro é calculado na saída e vetores de pesos entrando na última camada são adaptados. • Derivada do erro em relação aos vetores de pesos (antes da adaptação) é calculada e usada para adaptação dos pesos da camada anterior. • Processo é repetido até a camada de entrada.

22. Funções de AtivaçãoQuaselineares: