1 / 28

Mineração de dados

Mineração de dados. Classificação: avaliação de modelos Prof. Luis Otavio Alvares (INE/UFSC) Parte desta apresentação é baseada em material do prof. Paulo Engel (II/UFRGS). Relembrando Classificação. Exemplo de dados para concessão de empréstimo bancário. montante. médio. baixo. alto.

Download Presentation

Mineração de dados

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Mineração de dados Classificação: avaliação de modelos Prof. Luis Otavio Alvares (INE/UFSC) Parte desta apresentação é baseada em material do prof. Paulo Engel (II/UFRGS)

  2. Relembrando Classificação

  3. Exemplo de dados para concessão de empréstimo bancário

  4. montante médio baixo alto E=sim salário conta baixo alto não sim E=sim E=sim E=não E=não Resultado: modelo de classificação

  5. montante médio baixo alto conta E=sim salário baixo alto não sim E=sim E=sim E=não E=não Avaliação da árvore de decisão Avaliação através da taxa de acertos/erros: • taxa_de_erros = Nerros / Ntotal • taxa_de_acertos = Nacertos / Ntotal Utilizando o conjunto de treinamento: • proporção_de_acertos = 14 / 14 = 100% • proporção_de_erros = 0 / 14 = 0%

  6. Conjunto de teste

  7. Proporção de acertos/erros Utilizando o conjunto de teste: • proporção_de_acertos = Nacertos / Ntotal proporção_de_acertos = 5 / 7 = 71,4% • proporção_de_erros = Nerros / Ntotal proporção_de_erros = 2 / 7 = 28,6%

  8. Avaliação do modelo gerado

  9. Métricas para avaliação de desempenho • O foco deve estar na capacidade preditiva do modelo • E não no tempo que leva para classificar ou criar um modelo, na escalabilidade, etc. • Baseadas na Matriz de Confusão (exemplo com duas classes):

  10. Métricas para avaliação de desempenho... • Métricas mais usadas: • Acurácia (mais usada), Erro Acurácia: Erro:

  11. Exercício em sala Casa Própria sim não 1 Est.Civil separado casado solteiro 2 3 4 Complete a árvore de decisão colocando no lugar dos números das folhas, a classe, de forma a minimizar os erros de classificação. Faça a matriz de confusão correspondente.

  12. Outras métricas para avaliação de desempenho Taxa de VP : (sensibilidade, abrangência, recall) Taxa de VN (especificidade): Precisão: (Média harmônica entre precisão e recall) F-measure:

  13. Limitação da acurácia • Considere um problema de 2 classes • Número de exemplos da classe 0 = 9.990 • Número de exemplos da classe 1 = 10 • Se o modelo predizer que qualquer amostra é da classe 0, a acurácia é 9990/10000 = 99,9 % • A acurácia é enganosa porque o modelo não detecta nenhum exemplo da classe 1! • Solução: levar em consideração custos por classe para erros de classificação • Exemplo: Previsão de culpa emjulgamento: • positivo pena de morte

  14. Matriz de custo • C(i|j): custo de classificar exemplos da classe j, como sendo da classe i

  15. Cálculo de custos de classificação Acurácia = 80% Custo = 3910 Acurácia = 90% Custo = 4255

  16. Métodos para avaliação de modelos • Quão preditivo é o modelo aprendido? • Erro sobre os dados de treinamento não é um bom indicador de desempenho sobre dados futuros: é muito otimista • Solução simples pode ser usada se existirem muitos dados rotulados: • Dividir dados em conjuntos de treinamento e de teste • Mas: normalmente o número de dados rotulados é limitado • São necessárias técnicas mais sofisticadas de avaliação

  17. Avaliação de modelos

  18. Avaliação de modelos

  19. Avaliação de modelos

  20. Treinamento e teste … • Conjunto de teste: conjunto de exemplos (registros) independentes que nãoforam usados na geração do modelo • Suposição: os dados de treinamento e os dados de teste são amostras representativas do problema • Arquivos de teste e de treinamento podem ter naturezas diferentes • Exemplo: classificadores construídos usando dados de consumidores de duas cidades diferentes A e B • Para estimar o desempenho do classificador, gerado com os dados da cidade A, numa cidade diferente, testá-lo com dados de B

  21. Tirando o máximo dos dados • Geralmente, quanto maior o arquivo de treinamento melhor o classificador • Quanto maior o arquivo de teste mais exata será a estimativa de erro • Procedimento holdout (retenção): dividir os dados originais em conjuntos de treinamento e de teste • Dilema: queremos tanto um grande arquivo de treinamento quanto um grande arquivo de teste

  22. Estimação por retenção (holdout) • O que fazer se a quantidade de dados é limitada? • Método holdout reserva uma certa quantidade dos dados para teste e usa o resto para o treinamento • Usualmente 1/3 para teste, o resto para treinamento • Mas: as amostras podem não ser representativas • Exemplo: pode não haver amostras de uma classe nos dados de teste • Versão avançada usa estratificação • Assegura que cada classe esteja representada com proporções aproximadamente iguais em ambos os conjuntos • Após a avaliação, todos os dadospodem ser usados para construir o classificador final !!!!

  23. Validação cruzada (cross-validation) • Validação cruzada evita superposição dos conjuntos de teste • Primeiro passo: conjunto de dados é dividido em k subconjuntos de tamanhos iguais • Segundo passo: um subconjunto é usado para teste e os demais para treinamento. • O segundo passo é repetido k vezes, variando o subconjunto usado para teste • Esta é a chamada validação cruzada por k vezes • Muitas vezes os subconjuntos são estratificados antes de realizar a validação cruzada • A estimativa de erro global é calculada como a média das k estimativas de erro (uma para cada iteração)

  24. subconj 1 Conjunto de Exemplos subconj 2 subconj 3 subconj 4 Modelo 1 Modelo 4 Modelo 3 Modelo 2 subconj 1 subconj 1 treino subconj 1 subconj 1 treino teste treino subconj 2 subconj 2 subconj 2 treino treino subconj2 teste treino subconj 3 subconj 3 treino teste subconj 3 treino subconj 3 treino treino teste treino subconj 4 subconj 4 treino subconj 4 subconj 4 four-fold-cross-validation

  25. Mais sobre validação cruzada • Método padrão de avaliação: validação cruzada por dez vezes estratificada • Por que dez? Experimentos demonstraram que esta é uma boa escolha para se obter uma estimativa precisa • Estratificação reduz a variância da estimativa • Melhor ainda: validação cruzada estratificada repetida • P. ex. se repete dez vezes a validação cruzada por dez vezes e se calcula a média (reduz variância)

  26. Validação cruzada deixando um fora • Validação cruzada deixando um fora (leave-one-out c-v): • O número de vezes é escolhido como o número de exemplos de treinamento • Isto é, deve-se construir n classificadores, onde n é o número de exemplos de treinamento • Aproveita ao máximo os dados • Não envolve sub-amostragem aleatória • Computacionalmente muito custoso

  27. Navalha de Occam • Dados dois modelos com mesma taxa de erros, o modelo mais simples é melhor (preferível)

  28. Exercício em sala lágrimas reduzida normal astigmat. 1 sim não prescrição 2 miopia hipermetr. 4 3 Complete a árvore de decisãocolocando no lugar dos números das folhas, a classe, de forma a minimizaroserros de classificação. Faça a matriz de confusãocorrespondente.

More Related