Redes neurais artificiais

1. Redesneuraisartificiais Prof. João Henrique - 2013

2. Inspiraçãobiológica O neurônioé a unidadebásica cerebral, especializadanatransmissão de informações, devidoàspropriedades de excitabilidade e transmissão de mensagens nervosas.

3. Modelo do neurôniobiológico

4. Fluxo de informação • A soma e osdendritos forma a superfície de entradado neurônio e o axônio forma a superfície de saídada informação.

5. A informação • Na realidade, a mensagemtransmitida entre osneurôniosé o impulsoelétricopropagado entre osmesmos, captadoporreceptoresnervososos.

6. Modelomatemático do neurônio • McCulloch e Pitts (1943): Perceptron; • Impulsosrepresentadosporsinais de entrada, xi • O estímuloérepresentadopelospesos sinápticos;

7. Pesos sinápticos • Valoresaleatórios (aprendizagemportentativa e erro); • Maior peso, maisexcitatórioé o estímulo; • Excitatórioouinibitório; • Váriosalgoritmosparacalcularos pesos.

8. Soma oucorpocelular • Funçãoaditiva: somatória da multiplicação de cadasinal de entradaporseu peso; • Função de ativação: indicaqualserá o resultado do processamento, passadoentãoaoaxônio.

9. Modelo do neurônio artificial

10. Representaçãomatemática x: sinal de entrada, w: peso sináptico e m: número de sinais de entrada no neurônioi

11. Função de ativação

12. Função de ativaçãologística

13. Redesneuraisartificiais • Tipicamenteformadaporneurôniosinterconectadosemcamadas, ondecadaneurônio interfere em outro; • Representadasnormalmenteporgrafosdirecionados, ondeosvérticessãoosneurônios e as arestassão as sinapses;

14. Representação de redesneurais

15. Aquisição de conhecimento • Se a situaçãogeradapelacombinação de características for informadaàrede, o aprendizadoésupervisionado. Casocontrário, seránãosupervisionado; • O conhecimentoéarmazenadona forma dos pesos das conexões, ajustadossempreparamelhorar o processo de tomada de decisões; • O ajuste dos pesos éfeitopeloalgoritmo de aprendizagem. O maisutilizadoé o backpropagation.

16. Construção da rede neural • Decisõesimportantes: • Topologia; • Algoritmo de aprendizagem; • Função de ativação.

17. Topologia de redesneurais • Dizrespeitoàdisposição dos neurônios, e estáintimamenterelacionadaaoalgoritmo de aprendizagem.

18. Topologia: feed-forward

19. Feed-forward: características • Neurôniosorganizadosemcamadas; • A camadainicial (input) recebeos dados de entrada; • Camadasintermediáriassãochamadas de ocultas; • Cadaneurônio de umacamadaéconectado a todos da próximacamada; • Nãoháconexão entre neurônios da mesmacamada.

20. Feed-backward: características • A saída de um neurônioéusadacomoalimentação do mesmoneurônioou de um neurônio de camada anterior.

21. Mapas auto-organizáveis • Osneurôniossãoforçados a competir entre si; • Entendaissocomo um neurônioqueoferece a melhorresposta a um estímulo; • A melhorrespostaganha a competição e esteserá o neurônioativadoemcadaiteração; • As redesdestetipomaisconhecidassão as Redes de Kohonen.

22. Redes de Kohonen: exemplo O neurôniovencedoré o de cormaisclara, próximoaocentrodo mapa

23. O Processo de aprendizagem • Atualização da representaçãointerna do sistemaemresposta a um estímuloexterno; • Basicamente se dápormeio do ajuste de pesos sinápticos e ativação de regras de neurôniosindividuais; • Normalmentedivididaem 4 tipos, vistosadiante.

24. #1: Correção de erro • Característica do aprendizadosupervisionado (saídaesperadaéconhecida) • Mudaos pesos sinápticos a cadaiteração, apóscomparar a saída da rede com a saídaesperada; • O ajusteleva, quasesempre, a errosgradativamentemenores;

25. #2: AprendizagemHebbiana • Postulado de Donald Hebb; • “Se doisneurôniosem ambos oslados da sinapsesãoativadossincrona e simltaneamente, então a forçadaquelaconexãodeveserseletivamenteaumentada”; • A atividade dos neurôniosgera o ajuste dos pesos.

26. #3: Aprendizagem de Boltzmann

27. #4: Aprendizagemcompetitiva • Vejaos slides das redescompetitivas

28. Perceptron de MúltiplasCamadas • RedesMLP sãoredesalimentadasadiantequepossuemumaoumaiscamadas de neurôniosentre as camadas de entrada e saída, chamada de camadaoculta. • Estacamadaadiciona um podermaioremrelaçãoàsredesPerceptron de camadaúnica, queclassificaapenaspadrõeslinearmenteseparáveis, sendoosneurôniosocultosresponsáveisporcapturar a não-linearidade dos dados.

29. Perceptron de MúltiplasCamadas • Nestemodelotodososneurôniossãoligadosaosneurôniosda camada sub-sequente, nãohavendoligaçãocom osneurônioslaterais (da mesmacamada) e tambémnãoocorrerealimentação. • A aprendizagem de umarede neural MLP éum processoiterativo, conhecidocomoaprendizagemporexperiência, no qualpadrõesde treinamento (exemplos) sãoapresentadosa rede e com base noserrosobtidos, sãorealizadosajustesnos pesos sinápticos, com o intuito de diminuir o erronaspróximasiterações.

30. Treinamento no MPL • O principal algoritmo de treinamentoéo algoritmo de retropropagaçãode erro (error backpropagation), baseadonaregra de aprendizagemporcorreçãode erro, queconsistebasicamente de doispassos, um parafrente e outro paratrás.

31. Treinamentona MLP: frente • O passoparafrenteéchamado de propagação, osvaloresprovindos dos neurôniosde entrada (nósfontes) sãoaplicadosaosneurôniosocultos e posteriormentesuassaídassãoaplicadascomoentradasaosneurôniosda camada final, obtendo a resposta da rede. Durante estepassoos pesos sinápticosda redesãotodosfixos

32. Treinamento MPL: trás • o passoparatráséincumbido de ajustaros pesos sinápticos, pormeio do cálculodo errorealizadonacamada de saída, os pesos sinápticosentre as camadasantecessorassãoajustados de acordo com umaregra de correçãode erro.

33. Perceptron de múltiplascamadas

34. Algoritmo da Backpropagation

35. MLP: problemasaoimplementar • Padrõesadequadamenterepresentados; • Número de camadasescondidas; • Número de neurôniosnascamadasescondidas; • Super-treinamento.

36. Outros modelos: SOM • Self Organized Maps • Aprendizagemnão-supervisionada • PropostaporTeuvoKohonenem 1982

37. SOM: bases biológicas • Utilizandoconhecimentobiológico, a rede de Kohonenutiliza-se de duascamadas, a camada de entrada e a grade pós-sinápticaoumapa de características, sendo a úlltimaum arranjo bi-dimensional de neurônios.

38. SOM: esquema

39. SOM: maisdetalhes • O mapa auto-organizávelétreinadoutilizandoumaaprendizagemhíbridacompostaporaprendizagemHebbiana e competitiva, ondeosneurôniosda grade pós-sinápticacompetem entre si, com base emumamedida de similaridade com o sinal de entrada, o neurôniomais similar éditoser o vencedor.

40. SOM: maisdetalhes • A distânciaeuclidianaégeralmenteutilizadacomomedida de similaridade. • O algoritmoresponsávelpelaformaçãodo mapacomeçapelaatribuiçãode valoresiniciais dos pesos sinápticosda grade, atribuindovalorespequenosgeradosaleatoriamente.

41. SOM: competição • Para cadapadrãode entrada, osneurôniosda grade competem entre si, calculandoa distânciaeuclidiana entre seus pesos sinápticose osvalores do padrãode entrada, sendo o neurôniocom a menordistânciao vencedor (AprendizagemCompetitiva);

42. SOM: cooperação • O neurôniovencedordeterminaumaárea, vizinhançatopológica, naqualosneurônioscooperarãoentre si (AprendizagemHebbiana);

43. SOM: adaptaçãosináptica • Determinada a vizinhança, osneurônioscooperam de modo a atualizaremseus pesos sinápticos, sendoqueosmaispróximosdo neurôniovencedorsofremmodificaçõesmaissignificativas do queosneurôniosmaisdistantes.

44. SOM: vizinhançagaussiana

45. SOM: aplicação • Clusterizaçãode dados, ouseja, agrupamento de dados intrinsecamentesemelhantes, utilizadoquando nada éconhecidosobreos dados. Osmapas de Kohonenpodemseraplicadosemcompressãode dados, umavezque dados de altadimensionalidadesãomapeadosem um espaçode baixadimensão, preservandoseuconteúdo

46. Aplicações de redesneurais • Basicamente, o problemade classificaçãoconsisteemclassificarpadrõesde entrada entre classes previamenteconhecidas, tomandocomo base de conhecimentoalgumascaracterísticasdo problemaaplicado.

47. Aplicações de redesneurais • A clusterizaçãopodeser vista como um problema de classificaçãode padrões, quandoédesconhecidopreviamentequantas e quaissãoas classes a seremclassificadas. A estetipo de problemaaplicam-se redesqueutilizemaprendizagemnão-supervisionada, podendodestacar a Rede de Kohonen.

48. Conclusões • As redesneuraissãomodelospertencentesaoparadigma de aprendizagemconexionistaindutivo, naqual um conjunto de unidades simples de processamento (neurônios), sãofortementeconectados, formandoumacomplexa e altamenterobustaferramenta de aquisiçãodo conhecimento.