Redes Neurais Artificiais (RNA): Introdução

1. Redes Neurais Artificiais (RNA): Introdução Disciplina: Inteligência Artificial CONTEÚDO (1) Introdução (2) Histórico (3) Redes e Neurônios Biológicos (4) Neurônios Artificiais (5) Funções de Ativação (6) Principais Arquiteturas

2. (1) Introdução • Ressurgiu no final da década de 80 • Conexionismo: Computação não algorítmica • Lembram a estrutura de um cérebro. • Sistemas paralelos distribuídos, compostos por unidades de processamento (nodos), que calculam funções matemáticas! • Unidades compostas em camadas e interligadas por conexões -> Inspirado no cérebro humano

3. (1) Introdução • Solução bastante atrativa • Desempenho superior às soluções convencionais. • Fase de Aprendizagem • Exemplos são apresentados; • Extrai-se características necessárias; • Características utilizadas para gerar respostas aos problemas.

4. (1) Introdução • Capacidade de aprender • Através de exemplos, generalizando a informação aprendida. • É o maior atrativo das RNAs

5. (2) Histórico • Primeiro modelo artificial – Warren McCulloch e Walter Pitts em 1943 • McCulloch - Psiquiatra e Pitts – Matemático • Modelo de Nodos ou nodos MCP • Discussão em cima dos métodos de aprendizagem. • Modelo MCP – Descrição do modelo artificial.

6. (2) Histórico • Primeiro trabalho ligado ao aprendizado – Donald Hebb – 1949 • Variação dos pesos de entrada dos nodos • Utilizado hoje em vários algoritmos de aprendizagem • 1958 – Frank Rosenblatt demonstrou que o perceptron poderiam classificar certos tipos de padrões.

7. (2) Histórico • Perceptron de 3 camadas: • 1 – Valores de Entrada (conexões fixas); • 2 – Recebe os valores de entrada, cuja transmissão é ajustável; • 3 – Envia as saídas como resposta. • Faz classificação dividindo o espaço de valores em regiões distintas. • Valores devem ser linearmente separáveis

8. (2) Histórico • Os conexionistas buscam até hoje: • Projetar RNAs que fossem capazes de fazer descobertas interessantes sem a necessidade de regras! • Em 1969 – Minsky e Papert descobriram que o perceptron não resolvia “problemas difíceis de aprender”(hard learning problems) – problemas não linearmente separáveis!

9. (2) Histórico • Problema de tempo e espaço da IA simbólica, logo afetaria os conexionistas. • Anos adormecidos (anos 70), apenas alguns trabalhos na área. • 1982 – artigo de John Hopfield estimula a retomadas das pesquisas na área. • Redes neurais de múltiplas camadas poderiam resolver os “problemas difíceis de aprender”.

10. (3) Motivação: Redes Biológicas • Cérebro humano, comunicação de neurônios, processamento de informações e comportamento conjunto são a base para as RNAs. • As RNAs tentam reproduzir as funções das redes biológicas. • Mas, pelo menos fisicamente, se diferem bastante.

11. (3) Motivação: Redes Biológicas • Ambos são baseados em unidades de computação paralela e distribuídas, que se comunicam via conexões sinápticas nervosas. • As RNAs podem reproduzir com fidelidade funções só encontradas no seres humanos.

12. (3) Motivação: Neurônios Biológicos • Neurônios são divididos em 3 seções: • Corpo, dendritos e o axônio.

13. (3) Motivação: Neurônios Biológicos • O efeito das sinapses é variável, dando ao neurônio uma capacidade de adaptação. • Sinais recebidos são passados para o corpo, onde são comparados com os outros sinais. • Se o percentual é suficientemente alto, a célula dispara um impulso nervoso!! • Entradas: inibidoras ou excitatórias!

14. (4) Neurônios Artificiais: modelo MCP • Simplificação do que se sabia sobre os neurônios biológicos. • Modelo de n terminais de entrada x1, x2,...,xn (dendritos) e apenas uma saída y (axônio). • Os terminais de entrada possuem pesos associados: w1, w2,...,wn (que podem ser positivos ou negativos – excitatórias ou inibitórias)

15. (4) Neurônios Artificiais: modelo MCP • O efeito de uma entrada é dado por: xiwi • Os pesos determinam “em que grau” o neurônio deve considerar sinais de disparo que ocorrem naquela conexão. • Um neurônio biológico dispara quando a soma dos impulsos que ele recebe ultrapassa o seu limiar de excitação (threshold)

16. n ∑ xiwi ≥ θ i = 1 (4) Neurônios Artificiais: modelo MCP • É feito a soma de cada xiwi (soma ponderada) e decide-se se o neurônio deve ou não disparar (saída 1 ou 0). • No MCP, a ativação é dada pela “função de ativação”, que ativa ou não a saída. Função de Limiar:

17. (4) Neurônios Artificiais: modelo MCP • É considerado que os nodos de cada camada disparam sincronamente, todos são avaliados ao mesmo tempo. • Limitações do MCP: • Com apenas 1 camada só resolvem problemas linearmente separáveis; • Pesos negativos são mais adequados para representar disparos inibidores; • Proposto com pesos fixos, não ajustáveis.

18. { + se x >+ - se x ≤ - y = (5) Funções de Ativação • Função DEGRAU: Produz saídas + para os valores de x maiores que zero e saída - para valores de x menores que zero.

19. (5) Funções de Ativação • Outros modelos propostos que produzem uma saída qualquer (≠ 1 ou ≠ 0) • Função linear: y = αx α – número real y – saída x - entrada

20. { + se x ≥ + x se |x| < + - se x ≤ - y = (5) Funções de Ativação • Função linear restringida, produzindo valores constantes em uma faixa [-,+], sendo chamada de função RAMPA;

21. y = 1 1 + є-x/T (5) Funções de Ativação • Função SIGMOIDAL (S-shape): Utilizadas na construção de diversos modelos nas mais diversas áreas. Função Sigmoidal Logística: T - representa a suavidade da curva

22. (6) Principais Arquiteturas das RNAs • Redes com uma única camada de NODOS MCP, só resolvem problemas linearmente separáveis. • Com mais camadas, resolvem outros tipos de problemas. • Parâmetros da arquitetura: • número de camadas da rede; • número de nodos nas camadas; • tipo de conexão entre os nodos; • topologia da rede.

23. X1x2x3 x1 x2 x3 x4 x5 x6 (6) Principais Arquiteturas das RNAs • Número de camadas: • Camada única: • Múltiplas camadas:

24. x1x2x3 x4 x5 x1 x2 x3 x4 x5 x6 (6) Principais Arquiteturas das RNAs • Tipos de conexões: • feedforward ou acíclica: saída de um nodo não pode ser usada como entrada de outro em camada inferior ou na mesma camada.

25. x1 x2x3 x4 (6) Principais Arquiteturas das RNAs • Tipos de conexões: • feedback ou cíclica: a saída de algum neurônio pode ser usada como entrada de outro em camada inferior ou na mesma camada: Se todas as ligações são cíclicas, a rede é denominada auto-associativa. Úteis para recuperação de padrões de entrada.

26. X1x2x3 x1x2x3 x4 x5 x1 x2x3 x4 (6) Principais Arquiteturas das RNAs • Conectividade: • Rede fracamente (ou parcialmente) conectada: • Rede completamente conectada: