Uma Análise da aplicaçãp do Modelo de Rede Neural RePART em Comitês de Classificadores

1. UmaAnálisedaaplicaçãp do Modelo de Rede Neural RePARTemComitês de Classificadores Araken de Medeiros Santos Anne Magály de Paula Canuto Orientadora

2. Trabalhos anteriores • Motivação • Objetivos • Redes Neurais eComitês • Metodologia dos experimentos • Análise dos resultados experimentais • Considerações Finais • Trabalhos Futuros ROTEIRO

3. TRABALHOS ANTERIORES • Análise comparativa do desempenho do RePART com o FA, AIC e MLP • RePART • Estrutura menos complexa • Desempenho igual ou superior aos demais modelos

4. Qual o comportamento do RePART em Comitês de classificadores? MOTIVAÇÃO

5. Definir o impacto, emtermos de acurácia, que a utilização do RePARTemcomitêsutilizandomodelos ARTMAP OBJETIVOS

6. Análisesadicionaisemtermos de: • Número de classificadores base • Número de tipos de classificadores base • Estratégias de aprendizado de comitês • Relacionamentoentreacurácia e diversidade OBJETIVOS

7. Dilema estabilidade-plasticidade • RNA incremental • Grau de similaridade • Aprendizagem não-supervisionada ART (Adaptive Resonance Theory)

8. Mesma estrutura • ART => teoria dos conjuntos clássica • Fuzzy ART => teoria dos conjuntos fuzzy • Cálculo dos neurônios F2 ART x Fuzzy ART • ART => AND booleano (x*y) • Fuzzy ART => AND fuzzy [min(x, y)]

9. Dois módulos ART/Fuzzy ART • ARTa => padrão de entrada • ARTb => saída desejada • Map Field • Aprendizagem supervisionada ARTMAP/Fuzzy ARTMAP

10. Wj I = (a, 1-a) J = (b, 1-b) a b ESTRUTURA DO ARTMAP

11. Sensibilidade a ruídos • Proliferação de categoria • Má classificação (1 vencedor) PROBLEMAS DO ARTMAP

12. Mesmo processo de aprendizagem • Melhorias na fase de reconhecimento • Suavizar o problema de má classificação • Codificação distribuída (grupo de vencedores) • Parâmetro contador de instância ARTMAP-IC

13. Suavizar problemas de proliferação de categoria e má classificação • Codificação distribuída (grupo de vencedores + grupo de perdedores) • Parâmetro contador de instância • Mecanismos Adicionais: • Vigilância variável individual (proliferação de jhcategorias) • Recompensa/Punição (má classificação) RePART

14. Dilema bias/variância • Individual • Freqüência relativa de ativação (RFA) • Inversa da média relativa de ativação (RIAA) Vigilância Variável

15. Vencedores => recompensa • Perdedores => punição • Má classificação RECOMPENSA/PUNIÇÃO

16. Semelhante ao FA e AIC • Diferença básica => cálculo das vigilâncias de todos os neurônios APRENDIZAGEM

17. Neurônios F2 de ARTa • Ranking dos neurônios • Divisão em vencedores e perdedores • Neurônios Map Field => duas fases RECONHECIMENTO

18. NEURÔNIOS MAP FIELD

19. M 1 M 2 Decisão Final Módulo Combinador de Decisão Padrão Desconhecido M 3 M n Comitês de Classificadores (1/4)

20. Comitês de Classificadores(2/4) • Como combinar as saídas dos classificadores? • Como criar os classificadores membros do comitê? • Que métodos levam a comitês mais efetivos?

21. Comitês de Classificadores (3/4) • Boosting • Processo incremental • Atribuição de pesos aos padrões de treinamento • A cada passo do boosting, a distribuição do conjunto de treinamento é alterado • Variações: • Aggressive • Conservative • Inverse

22. Comitês de Classificadores (4/4) Diversidade Diferença de generalização Não há vantagens em se combinar classificadores idênticos (que generalizem da mesma forma) Medidas de diversidade

23. Experimentos (1/5) • Bases de dados • Breast-Cancer Database • Satimage Database

24. Experimentos (2/5) • Métodos de combinação • Soma • Árvore de decisão • MLP • RBF • Naive Bayesian • KNN • SVM

25. Experimentos (3/5) • Boosting • Agressive Boosting • Conservative Boosting • Inverse Boosting

26. Experimentos (4/5) • Validação cruzada : 10 grupos • Teste de Hipótese • T-teste de variância combinada • Comitês Homogêneos e Heterogêneos • 3, 6, 12, 24 e 48 classificadores base • Diferentes tipos de classificadores • 0, 33, 66 e 100% RePART

27. Experimentos (3/5) Medidas de diversidade Medida de Entropia Q-estatístico Medida de Desacordo Medida de Dupla-Falha

28. Resultados Experimentais Classificadores Individuais RePART apresentou uma taxa de erro estatisticamente inferior à do Artmap-IC e Fuzzy Artmap, mesmo com uma complexidade de 30% a menos. O aumento no número de classificadores ocasionou um aumento no erro médio BreastCancer Satimage

29. Resultados Experimentais Individuais vs. Comitês Os comitês com 3, 6, 12, 24 e 48 classificadores base apresentaram uma taxa de erro inferior aos classificadores individuais. Verificou-se significância estatística dos comitês com relação ao Fuzzy Artmap e Artmap-IC Com relação ao RePART verificou-se significância estatística apenas em alguns casos

30. Resultados Experimentais 3 Classificadores base Menor Taxa de Erro: Naive Bayesian Influência significante do RePART : Base de Câncer: SVM e Soma Base SatImage: Naïve Bayesian, KNN e RBF Maior Impacto do RePART: Soma (Câncer) e RBF(SatImage) BreastCancer Satimage

31. Resultados Experimentais 3 Classificadores base Comitê com RePART apresentaram taxa de erro estatisticamente inferior aos que não possuem RePART BreastCancer Satimage

32. Resultados Experimentais 3 Classificadores base A influência do RePART na diminuição do erro médio dos comitês é estatisticamente significante O uso do RePART em comitês com 3 classificadores base melhorou o desempenho BreastCancer Satimage

33. Resultados Experimentais 6 Classificadores base Menor Taxa de Erro: Naive Bayesian e Influência significante do RePART : Base de Câncer: MLP, SVM e Soma Base SatImage: Naive Bayesian , SVM, RBF e Soma Maior Impacto do RePART: Soma (Câncer) e RBF (SatImage) BreastCancer Satimage

34. Resultados Experimentais 6 Classificadores base Comitê com RePART apresentaram taxa de erro estatisticamente inferior aos que não possuem RePART BreastCancer Satimage

35. Resultados Experimentais 6 Classificadores base A influência do RePART na diminuição do erro médio dos comitês é estatisticamente significante O uso do RePART em comitês com 6 classificadores base melhorou o desempenho BreastCancer Satimage

36. Resultados Experimentais 12 Classificadores base Menor Taxa de Erro: Naive Bayesian Influência significante do RePART : Base de Câncer: MLP e Soma Base SatImage: Naive Bayesian , MLP, e Árvore de decisão Maior Impacto do RePART: Soma (Câncer) e MLP(SatImage) BreastCancer Satimage

37. Resultados Experimentais 12 Classificadores base Comitê com RePART apresentaram taxa de erro estatisticamente inferior aos que não possuem RePART BreastCancer Satimage

38. Resultados Experimentais 12 Classificadores base A influência do RePART na diminuição do erro médio dos comitês é estatisticamente significante O uso do RePART em comitês com 12 classificadores base melhorou o desempenho BreastCancer Satimage

39. Resultados Experimentais 24 Classificadores base Menor Taxa de Erro: Naive Bayesian(Câncer) e SVM(SatImage) Influência significante do RePART : Base de Câncer: MLP, RBF, SVM e Soma Base SatImage: Árvore de decisão Maior Impacto do RePART: Soma (Câncer) e MLP(SatImage) BreastCancer Satimage

40. Resultados Experimentais 24 Classificadores base Comitê com RePART apresentaram taxa de erro estatisticamente inferior aos que não possuem RePART BreastCancer Satimage

41. Resultados Experimentais 24 Classificadores base A influência do RePART na diminuição do erro médio dos comitês é estatisticamente significante O uso do RePART em comitês com 24 classificadores base melhorou o desempenho BreastCancer Satimage

42. Resultados Experimentais 48 Classificadores base Menor Taxa de Erro: Naive Bayesian e RBF(Câncer) e SVM(SatImage) Influência significante do RePART : Base de Câncer: MLP, SVM e Soma Base SatImage: Árvore de decisão e MLP Maior Impacto do RePART: Soma (Câncer) e MLP(SatImage) BreastCancer Satimage

43. Resultados Experimentais 48 Classificadores base Comitê com RePART apresentaram taxa de erro estatisticamente inferior aos que não possuem RePART BreastCancer Satimage

44. Resultados Experimentais 48 Classificadores base A influência do RePART na diminuição do erro médio dos comitês é estatisticamente significante O uso do RePART em comitês com 48 classificadores base melhorou o desempenho BreastCancer Satimage

45. Resultados Experimentais Homogêneos vs. Heterogêneos Em geral, comitês Heterogêneos apresentam taxa de erro inferior à taxa dos Homogêneos O aumento no número de tipos de classificadores base ocasionou aumento na diversidade BreastCancer Satimage

46. ResultadosExperimentais Aggressive, Conservative e Inverse Menor taxa de erro: Câncer: Conservative, Inverse e Aggressive SatImage: Aggressive, Conservative e Inverse Bases com características distintas Houve pouca variação no grau de diversidade apresentado pelas três variações do Boosting BreastCancer Satimage

47. Resultados Experimentais Número de Classificadores base O aumento no número de classificadores base ocasiona diminuição na taxa de erro Ao aumentar demasiadamente as melhorias começão a degenerar Comportamento da diversidade bastante semelhante em ambas as bases de dados BreastCancer Satimage

48. Resultados Experimentais Número de Classificadores base Entropia: aumento no grau de diversidade Dupla-falha: redução no grau de diversidade O aumento no número de classificadores aumenta a probabilidade dos classificadores apresentarem o mesmo resultado BreastCancer Satimage

49. Resultados Experimentais Influência do RePART A inclusão do RePART ocasionou uma diminuição na taxa de erro Aumento no grau de diversidade: Entropia, Q-Estatístico e desacordo Redução no grau de diversidade: Dupla-falha BreastCancer Satimage

50. ConsideraçõesFinais • Combinar classificadores ARTMAP melhorou os resultados em relação aos classificadores Individuais • Comitês Heterogêneos em geral apresentam desempenho e grau de diversidade superior aos Comitês Homogêneos • O aumento no número de classificadores base causou uma diminuição na taxa de erro e aumento no grau de diversidade • Ao aumentar demasiadamente o número de classificadores o desempenho é degenerado