UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos

1. UPE – Caruaru – Sistemas de InformaçãoDisciplina: Mineração de DadosProf.: Paulemir G. Campos Redes Neurais Artificiais (Parte 2) MD - Prof. Paulemir Campos

2. Roteiro da Aula • Redes Neurais Artificiais (RNAs): • Principais Modelos Conexionistas e Aplicações • Referências. MD - Prof. Paulemir Campos

3. Principais Modelos Conexionistas e Aplicações MD - Prof. Paulemir Campos

4. Introdução • Há vários tipos de Redes Neurais Artificiais (RNAs); • As principais RNAs são: • MLP (Multilayer Perceptron); • RBF (Radial Basis Function); • ART (Adaptive Resonance Theory); • SOM (Self-Organizing Maps); • Redes Recorrentes; • e, Redes Fuzzy. MD - Prof. Paulemir Campos

5. Redes MLP • As Redes MLP (Multilayer Perceptron) geralmente são constituídas por: • uma camada de entrada; • uma ou mais camadas escondidas; • e, uma camada de saída. MD - Prof. Paulemir Campos

6. Redes MLP Arquitetura de uma Rede MLP Direta com Duas Camadas Escondidas MD - Prof. Paulemir Campos

7. Redes MLP • Redes MLP são treinadas usando aprendizado supervisionado; • O algoritmo back-propagation é o mais popular utilizado no treinamento de redes MLP; MD - Prof. Paulemir Campos

8. Redes MLP • O funcionamento do algoritmo back-propagation consiste de duas fases: • a fase para frente: os pesos das conexões são mantidos fixos e propaga-se os valores dos nodos de entrada, camada-a-camada, para obter-se a saída da rede; • a fase para trás: os pesos das conexões são ajustados, da camada de saída para a camada de entrada, de acordo com o erro (diferença entre a saída da rede e a saída desejada) atingido pela rede. MD - Prof. Paulemir Campos

9. Redes MLP • Aplicações: • Redes MLP treinadas com o algoritmo back-propagation foram aplicadas na solução de vários problemas difíceis, como: • Diagnóstico médico; • Detecção de falhas mecânicas; • Previsão de séries temporais, etc. MD - Prof. Paulemir Campos

10. Redes RBF • Uma rede RBF (Radial Basis Function) é do tipo direta, assim como uma MLP, e contém três camadas com regras bem distintas: • Camada de entrada: composta pelos atributos de entrada de um conjunto de dados; • Uma única camada escondida: formada por funções de base radial, geralmente Gaussiana, responsáveis por efetuar uma transformação não-linear do espaço de entrada para o espaço da camada escondida; MD - Prof. Paulemir Campos

11. Redes RBF • Uma rede RBF (Radial Basis Function) é do tipo direta, assim como uma MLP, e contém três camadas com regras bem distintas (Cont.): • E, camada de saída: fornece a resposta da rede, resultante de uma combinação linear (somatório, por exemplo) do produto dos valores de saída dos nodos escondidos pelos seus respectivos pesos com o nodo da camada de saída. MD - Prof. Paulemir Campos

12. Redes RBF Arquitetura de uma Rede RBF Onde: x é o vetor de entrada; i são as m funções de base radial de cada nodo escondido; e wi os pesos de cada nodo escondido com o nodo de saída. MD - Prof. Paulemir Campos

13. Redes RBF • Aplicações: • As redes RBF foram primeiramente utilizadas na solução de problemas de interpolação multivariado; • Atualmente, a aplicação de redes RBF em análise numérica tornou-se um significativo campo de pesquisas. MD - Prof. Paulemir Campos

14. Redes ART • As redes ART (Adaptive Resonance Theory), diferentemente das redes MLP e RBF, empregam aprendizado não-supervisionado de forma competitiva para gerar clusters (agrupamentos) a partir do conjunto de dados de entrada. MD - Prof. Paulemir Campos

15. Redes ART • Aprendizado em redes ART: • Em função do grau de similaridade entre um padrão de entrada e os padrões contidos nos clusters da rede, um cluster é escolhido e apenas os seus pesos são ajustados; • Caso esse grau de similaridade não supere um certo limiar, de modo que nenhum cluster seja ativado, um novo cluster é criado para acomodar o padrão da entrada da rede. MD - Prof. Paulemir Campos

16. Redes ART Onde: F1-a é a camada de entrada; F1-b é a camada de interface; F2 é a camada de clusters ou camada de saída; R (reset) é um nodo para controlar o grau de similaridade dos padrões localizados num mesmo cluster; G1 e G2 são nodos conectados às camadas F1 e F2 da rede para prover um controle do processo de aprendizagem Arquitetura Básica de uma Rede ART1 MD - Prof. Paulemir Campos

17. Redes ART • Aplicações de Alguns Modelos: • Rede ART1: processa apenas padrões de entrada binários; • Rede ART2: capaz de processar padrões de entrada com valores contínuos; • Rede ARTMAP: uma rede mais sofisticada que permite aprendizado incremental supervisionado. MD - Prof. Paulemir Campos

18. Redes SOM • Uma rede SOM (Self-Organizing Maps) ou Mapas de Kohonen é identificada pela formação de um mapa topográfico dos padrões de entrada; • As localizações espaciais dos nodos disparados neste mapa são um indicativo de características estatísticas intrínsecas contidas nos padrões de entrada. MD - Prof. Paulemir Campos

19. Redes SOM • Semelhante às redes ART, as redes SOM são baseadas numa aprendizagem não-supervisionada competitiva, em que os nodos da camada de saída competem entre si resultando em apenas um nodo vencedor (winner takes all neuron). MD - Prof. Paulemir Campos

20. Redes SOM • O principal objetivo de uma rede SOM é transformar os sinais de um padrão de entrada de dimensão arbitrária num mapa discreto uni ou bidimensional; • Por esta razão, as redes SOM também são denominadas mapas de características. MD - Prof. Paulemir Campos

21. Redes SOM Arquitetura de uma Rede SOM Bidimensional MD - Prof. Paulemir Campos

22. Redes SOM • Aplicações: • As redes SOM foram bem aplicadas na solução de problemas como: • geração de música por computador; • reconhecimento de caracteres; • seleção de características; • e, no bem conhecido problema do caixeiro viajante (traveling salesman problem). MD - Prof. Paulemir Campos

23. Redes Recorrentes • São RNAs com um ou mais caminhos de realimentação (feedback loops); • Por exemplo, considerando-se uma rede MLP, várias arquiteturas de redes recorrentes podem ser obtidas construindo-se caminhos de realimentação dos nodos de saída e/ou dos nodos escondidos para os nodos de entrada. MD - Prof. Paulemir Campos

24. Redes Recorrentes • Os caminhos de realimentação habilitam as redes recorrentes a registrarem temporariamente estados definidos pelos espaços de entrada e saída da rede. MD - Prof. Paulemir Campos

25. Redes Recorrentes • Redes Recorrentes são utilizadas basicamente com duas finalidades: • Memórias Associativas: • Redes de Hopfield; • e, BAM (Bidirectional Associative Memory). • Redes de Mapeamento Entrada-Saída: • Redes NARX; • Rede de Elman; • MLP Recorrente; • e, Rede Recorrente de Segunda Ordem. MD - Prof. Paulemir Campos

26. Redes Recorrentes • Aplicações: • Redes Recorrentes são bastante úteis em diversas aplicações, como: • modelagem e predição não-linear; • equalização adaptativa de canais de comunicação; • processamento de voz; • e, diagnóstico de motores automotivos. MD - Prof. Paulemir Campos

27. Redes Fuzzy • Compreende todas as redes neurais que empregam conceitos da lógica fuzzy em sua concepção; • Usualmente, redes fuzzy apresentam a topologia de uma rede MLP direta com pesos, propagação e funções de ativação diferentes de redes comuns ou não-fuzzy. MD - Prof. Paulemir Campos

28. Redes Fuzzy • Por exemplo, a seguir é apresentada uma rede fuzzy com três camadas onde: • suas unidades usam operadores de conjuntos fuzzy (união ou interseção) ao invés das funções de ativação normalmente utilizadas por RNAs; • os pesos são conjuntos fuzzy; • e, a camada escondida representa regras fuzzy. MD - Prof. Paulemir Campos

29. Redes Fuzzy Onde: 1(1), 2(1) e 3(1) representam conjuntos fuzzy definidos para a entrada x1 1(2), 2(2) e 3(2) representam conjuntos fuzzy definidos para a entrada x2 Exemplo de Rede Fuzzy MD - Prof. Paulemir Campos

30. Redes Fuzzy • Outros modelos conexionistas também estão sendo fuzzyficados, como: • Redes SOM; • e, Redes ART. MD - Prof. Paulemir Campos

31. Redes Fuzzy • A motivação para o crescente interesse no desenvolvimento de redes fuzzy deve-se as seguintes vantagens sobre as redes tradicionais: • Servem como ferramentas de engenharia do conhecimento e estatísticas; • São relativamente resistentes ao “esquecimento catastrófico”, isto é, tendem a não “esquecerem” o conhecimento adquirido quando necessitam treinarem com novos dados; MD - Prof. Paulemir Campos

32. Redes Fuzzy • A motivação para o crescente interesse no desenvolvimento de redes fuzzy deve-se as seguintes vantagens sobre as redes tradicionais (Cont.): • Interpolam e extrapolam bem em regiões onde os dados são esparsos; • E, aceitam tanto dados de entrada reais quanto fuzzy. MD - Prof. Paulemir Campos

33. Referências • Braga, A. P.; Ludermir, T. B. e Carvalho, A. C. P. L. F. Redes Neurais Artificiais: Teoria e Aplicações. Editora LTC, 2000. • Notas de aulas da Profa. Teresa B. Ludermir do CIn/UFPE. MD - Prof. Paulemir Campos

34. Referências • Fausett, L. V. Fundamentals of Neural Networks: Architectures, Algorithms, and Applications. New Jersey, Prentice-Hall, 1994. • Haykin, S. Neural Networks, A Comprehensive Foundation. 2nd ed. Prentice Hall, 1999. MD - Prof. Paulemir Campos

35. Referências • Zurada, J. M. Introduction to Artificial Neural Systems. St. Paul-MN, USA, West Publishing Company Inc., 1992. MD - Prof. Paulemir Campos