Capítulo 10

1. Capítulo 10 Métodos de Aprendizagem Supervisionados: CLASSIFICAÇÃO Árvores de Decisão

2. O que são árvores de decisão • São estruturas de dados, compostas de um nó raíz e vários nós filhos, que por sua vez tem seus filhos também e se interligam por ramos, cada um representando uma regra. Os nós que não possuem filhos são chamados de nós folhas e os que têm são chamados de nós pais, ou de decisão.

3. São estruturas que podem ser utilizadas para dividir uma grande base de registros em sucessivos conjuntos menores de dados pela aplicação de simples regras de decisão. A cada divisão, os membros resultantes de um conjunto são cada vez mais similares uns aos outros. • Um modelo de árvore de decisão consiste de um conjunto de regras para dividir uma base de dados em grupos menores e homogêneos com respeito a uma particular variável target. A variável target geralmente é categórica e o modelo de árvore de decisão é usado para calcular a probabilidade que um dado registro pertença a cada uma das categorias, ou para classificar um registro designando-o a categoria mais provável.

4. Aplicações de árvores de decisão • Durante a fase de análise exploratória de dados em um projeto de data mining as árvores de decisão são uma ferramenta útil para selecionar as variáveis que são realmente úteis para predizer o valor de uma variável resposta. Exemplo: • Deseja-se construir um modelo de regressão utilizando variáveis de entrada para obter um valor predito. Mas quais variáveis de entrada? Solução: usar árvores de decisão para a seleção de variáveis.

5. Um fabricante de motores a diesel utilizou árvores de decisão para prever a venda de motores baseado em dados históricos de registros sobre caminhões. O objetivo era identificar individualmente os donos de caminhões que estariam dispostos a trocar os seus motores. • Uma empresa de cartões de crédito desejava verificar aqueles clientes que tinham um risco potencial maior. Utilizaram-se árvores de decisão para classificar a base de clientes atuais em bons e maus pagadores. • O departamento de medicina de uma universidade americana utilizou árvores de decisão para identificar características de tumores em câncer de mama, para identificar se eles eram malignos ou benignos.

6. Classificação • Geralmente é utilizada para classificar os registros de uma variável categórica (variável target) de uma base de dados em suas respectivas classes pré determinadas. Muitos métodos de classificação foram propostos em aprendizagem de máquina, sistemas especialistas, estatística, neurobiologia e data mining.

7. Classificação de dados é um processo de duas etapas: na primeira, um modelo é construído descrevendo um predeterminado conjunto de classes de dados. Esse modelo é construído analisando os registros descritos pelas suas variáveis em uma base de dados. Cada registro pertence a uma classe pré-determinada por uma de suas variáveis. O conjunto de registros analisados para construir o modelo formam o conjunto de treinamento. Tipicamente, o modelo de aprendizagem é representado na forma de regras de classificação ou árvores de decisão. • Na segunda etapa, o modelo é usado para a classificação. Primeiramente, a acurácia do modelo é estimada. Se a acurácia do modelo é considerada aceitável, o modelo pode ser utilizado para classificar futuros registros em que os rótulos ou classe não são conhecidos.

8. Ilustração de um modelo de classificação

9. Como cresce uma árvore de decisão • Geralmente se utiliza árvores binárias, ou seja, aquelas com um número máximo de dois ramos por nó. Para explicação serão consideradas as árvores com uma variável target do tipo categórica binária, por exemplo, responde/não responde. Isto simplifica as explicações sem perda de generalização. • Há vários algoritmos para o crescimento ou indução dos nós de uma árvore, mas em geral eles possuem um procedimento em comum: repetir sucessivas divisões nos dados, em grupos cada vez menores, de modo que a cada nova geração, os nós tenham uma pureza maior do que os seus ancestrais em relação a variável target ou resposta.

10. Encontrando as divisões • No inicio, há um conjunto de treinamento consistindo de registros pré-classificados, isto é, os valores da variável target são conhecidos para todos os registros. O objetivo é construir uma árvore que designe uma classe para a variável resposta de um novo registro baseado nas informações das variáveis de entrada. • O primeiro passo é decidir quais dasvariáveis de entrada fazem a melhor divisão. A melhor divisão é definida como aquela que melhor separa os registros em grupos, nos quais uma classe é predominante em cada grupo. • Uma medida para se avaliar uma divisão é a pureza. Um alto grau de pureza representa que uma classe é predominante em um conjunto de registros, enquanto que um baixo grau de pureza representa que há uma distribuição de classes pelo conjunto de registros. O objetivo é sempre ter um alto grau de pureza. Uma boa divisão também cria nós de tamanhos similares, ou, pelo menos, não cria nós que contém muito poucos registros.

11. Os algoritmos de indução de árvores de decisão funcionam pegando cada variável de entrada e medindo o aumento na pureza resultante por toda divisão proposta por aquela variável. • Depois de tentar com todas as variáveis de entrada, aquela que possibilita a melhor divisão é utilizada para a divisão inicial, criando dois ou mais filhos. Se não é possível novas divisões, por não haver registros suficientes ou não haver divisões que tragam melhoras, o algoritmo termina e aquele nó se torna um nó folha. Senão, o algoritmo continua de forma recursiva para cada um dos filhos obtidos na ultima divisão. • A pureza de uma divisão pode ser obtida através de medidas (critérios) que dependem do tipo da variável resposta (target) e não das variáveis de entrada.

12. Divisão com variáveis de entrada numéricas Divisão com variáveis numéricas é da forma X < C, onde X é a variável de entrada. Todos os registros cujos valores da variável de entrada é menor do que C são colocados num nó (filho) e todos os registros onde o valor de X é maior ou igual do que C é colocado em outro nó (filho). Depois de cada tentativa de divisão, calcula-se uma medida de pureza. Divisão com variáveis de entrada categóricas O algoritmo mais simples para divisão com variável de entrada categórica é simplesmente criar um novo ramo para cada classe que a variável categórica apresentar.

13. Medidas para avaliar a melhor divisão • Variável resposta (target) categórica • Gini ou diversidade da população • Redução da entropia ou ganho de informação • Taxa de ganho de informação • Teste Qui-Quadrado • Variável resposta (target) quantitativa contínua • Redução na variância • Teste F

14. Gini • Fornece a probabilidade de que dois registros escolhidos aleatoriamente de uma mesma população estarem em uma mesma classe ou categoria. Para uma população pura, ou seja, com apenas uma categoria, esta probabilidade é igual a 1. • A medida Gini de um nó é simplesmente a soma dos quadrados das proporções das classes. Um nó com igual número de registros para duas classes teria um Gini de: 0.52 + 0.52 = 0.50, valor esperado porque a chance de pegar dois itens da mesma categoria ao acaso, com reposição, é 1 de 2.

15. Redução da entropia ou ganho de informação • Na teoria da informação, entropia é uma medida de quanto um sistema é desorganizado. A entropia de um particular nó de uma árvore de decisão é a soma, sobre todas as classes representadas no nó, da proporção de registros pertencente a uma particular classe multiplicada pelo logaritmo base dois daquela proporção. Portanto: I(S1,...,Sm) = EntropiaEsperada = onde pi é igual à proporção da classe i, no nó, i=1,2,...,m, onde m é o número de categorias da variável target. • Para medir a Entropia real de uma determinada variável A, utiliza-se a seguinte fórmula: Onde Sij representa os subconjuntos (quantidade de registros) da amostra S (o número total de registros), onde j=1,...,v, corresponde as categorias da variável de entrada. EntropiaReal(A) =

16. Então, o ganho de informação para um determinado ramo da variável A pode ser obtido pela fórmula: Ganho(A) = EntropiaEsperada – EntropiaReal(A) • O valor de Ganho(A) permite uma redução da entropia causada pelo conhecimento do valor da variável A.

17. O algoritmo ID3 A medida de entropia pode ser usada de forma combinada com uma metodologia que utiliza variáveis de entrada categóricas criando ramos separados para cada categoria. Este é o caso do algoritmo ID3, uma árvore de decisão criada pelo pesquisador J. Ross Quinlan.

18. Exemplo – Classificar os registros para compra de computador, se sim ou não, de acordo com as variáveis age, income, student e credit_rating

19. 1º passo: decidir qual variável de entrada é a mais importante para separar os registros. Será aquela que tiver o maior ganho de informação em relação à variável target buys computer. A variável buys computer tem dois valores possíveis, yes ou no. S1 = yes : 9 casos S2 = no : 5 casos EntropiaEsperada(buys) = - pi log2 (pi)

20. Variável Age • Para Age <=30 • Para Age 31...40 • Para Age >40

21. Ganho(Age) = EntropiaEsperada(buys) – EntropiaReal(Age) • = 0,94 – 0,694 = 0,246 • Variável Income EntropiaReal(Income) = 0,9111 Ganho(Income) = 0,94 - 0,9111 = 0,029

22. Variável Student EntropiaReal(Student) = 0,788451 Ganho(Student) = 0,94 - 0,788451 = 0,152 • Variável Credit rating Ganho(credit rating) = 0, 048 A variável que possuiu o maior ganho de informação é a variável AGE, então será ela que ficará na raiz da árvore, ou seja, é a variável selecionada.

23. Age > 40 <= 30 31...40 Como no ramo 31...40 todos os registros pertencem a mesma classe da variável target (yes), então este nó se torna uma folha. Os outros nós devem continuar o processo de divisão.

24. Nó Age <= 30 • Variável Income Para income High Para income Medium Para income Low

25. Ganho(Income) = 0,971 – 0,400 = 0,571 • Variável Student • Para Student yes • Para Student no

26. Ganho(Student) = 0,971 – 0,00 = 0,971 • Variável Credit Rating • Para Credit Rating fair • Para Credit Rating excellent

27. Ganho(Credit_Rating) = 0,971 – 0,951 = 0,020 O maior ganho de informação pertence a variável Student, então ela fica no nó desta divisão. Age <= 30 > 40 31..40 Student ? yes no yes Os dois nós se transformam em duas folhas.

28. Nó Age > 40 • Variável Income Para income High Para income Medium Para income Low

29. Ganho(Income) = 0,971 – 0,951 = 0,020 • Variável Student • Para Student yes • Para Student no

30. Ganho(Student) = 0,971 – 0,951 = 0,020 • Variável Credit Rating • Para Credit Rating fair • Para Credit Rating excellent

31. Ganho(Credit_Rating) = 0,971 – 0 = 0,971 O maior ganho de informação pertence a variável Credit_Rating, então ela fica no nó desta divisão. Age <= 30 > 40 31..40 Student Credit_Rating yes no yes excellent fair yes no Os dois nós se transformam em duas folhas.

32. Estrutura final da Árvore Buys Computer (Compram computador)

33. Teste Qui-Quadrado • O teste Qui-Quadrado, proposto por Karl Pearson (1900), geralmente é utilizado em situações em que há muitos testes a serem feitos e pelo menos dois resultados categóricos possíveis, com o objetivo de se averiguar quais variáveis de entrada são importantes para dividir a população em sub-populações. • A estatística de qui-quadrado (2) é calculada pela fórmula: Onde oijé a freqüência observada da variável na i-ésima linha e j-ésima coluna da tabela, eij é a freqüência esperado da variável, ni. é a freqüência total da i-ésima linha, n.j é a freqüência total da coluna j e n é o número total de observações.

34. Exemplo: 2=267, valor bastante alto, indicando que o meio como foi feita a assinatura divide os registros com sucesso, ou seja, é uma variável importante para explicar a target.

35. CHAID • O algoritmo de árvore de decisão CHAID (Chi-Squared Automatic Interaction Detector), uma evolução do algoritmo AID, proposto em 1975 por John A. Hartigan, tem por base o teste de qui-quadrado em uma tabela de contingência entre as categorias da variável resposta e as categorias das variáveis de entrada (as variáveis contínuas devem ser previamente discretizadas em classes). • Realiza um conjunto de testes agregando as classes da variável de entrada que não são significativas para explicar a variável target, de modo a descobrir o melhor número de classes. Depois vai escolher a melhor divisão possível dos dados, ou seja, encontrar a melhor variável explicativa. Finalmente decide se vale a pena realizar qualquer divisão adicional sobre o nó. • O teste de qui-quadrado aplicá-se para variáveis categóricas, assim, para o algoritmo CHAID as variáveis de entrada devem ser categóricas. Variáveis contínuas devem ser discretizadas.

36. Redução da variância • Quando a variável resposta é numérica, uma boa divisão deve reduzir a variância para a variável resposta. • A fórmula do cálculo da variância é a seguinte Onde n é o número total de observações, ou casos, xi é o valor do registro atual e é o valor da média da variável.

37. Teste F • Proposto pelo inglês Ronald Fisher, faz com as variáveis contínuas o que o teste Qui-Quadrado faz para as categóricas. • O teste F observa as relações entre duas estimativas de variância da população: uma derivada da combinação de todas as amostras e obtendo a variância dessa combinação e uma derivada da variância da média simples de uma amostra. Se as várias amostras foram selecionadas aleatoriamente da mesma população, essas duas estimativas devem ser muito próximas. • O valor do teste F é dado pela divisão da segunda estimativa pela primeira. Um alto valor de F indica que a divisão da população em subgrupos obteve sucesso.

38. Podagem • As árvores de decisão continuam crescendo até que novas divisões possam ser feitas para melhorar a habilidade da árvore de separar os registros do conjunto de treinamento em subconjuntos com um aumento da pureza. Eliminar alguns nós, aumentaria a taxa de erro, para o conjunto de treinamento. • Porém, isso não significa que a árvore completa faria um melhor trabalho para classificar novos registros! Uma árvore completa pode chegar ao super treinamento, ou overfitting. • A solução é eliminar registros que façam a união de grupos muito pequenos por um processo chamado de podagem.

39. Há duas maneiras de fazer a podagem. Uma seria durante a construção da árvore, e outra após a sua construção. • Na pré-poda ocorre uma parada nas divisões dos nós mais cedo, e aquele nó se torna uma folha. É utilizado algum critério de parada como algum limiar, ou algum teste estatístico. • Na pós-poda são removidos ramos da árvore já completa. O nó então se transforma em folha e recebe a denominação da classe de maior representatividade entre os objetos nele presentes.

40. O algoritmo de podagem CART • O algoritmo CART identifica subárvores candidatas, através de um processo de sucessivas podagens. O objetivo é podar primeiro os ramos que possuem um menor poder preditivo por folha. Para identificar esses ramos menos úteis, o CART utiliza um conceito chamado de taxa de erro ajustada. • Esta é uma medida que incrementa cada taxa de classificação errada de cada nó para o conjunto de treinamento pela imposição de uma penalidade baseada no número de folhas da árvore. • A fórmula da taxa de erro ajustado é: EA (T) = E(T) + contadorFolhas(T) Onde é um fator de ajuste incrementado gradualmente para criar novas subárvores.

41. Para encontrar a primeira subárvore, as taxas de erro ajustadas para todas as possíveis subárvores contidas no nó raiz são avaliadas com sendo gradualmente aumentado. • Quando a taxa de erro ajustada para alguma subárvore for menor do que a taxa da árvore completa, então tem-se a primeira subárvore candidata. Todos os ramos que não fazem parte desta subárvore são eliminados e então o processo se reinicia a partir deste subárvore para se obter uma segunda. O processo termina quando todos os caminhos até o nó raiz forem podados. Cada uma das subárvores são candidatas a fazerem parte do modelo final. • O próximo passo é identificar no conjunto de subárvores, aquela que classifica melhor novos dados. Para isto é utilizado um conjunto de dados de validação. A árvore que classificar os novos registros com uma menor taxa erro é declarada vencedora. • Para um teste final, um conjunto de treinamento pode ser criado com a junção do conjunto de treinamento e de validação, para verificar se a subárvore escolhida realmente obtém a melhor performance.

42. Gráfico da poda no conjunto de treinamento e no de validação

43. O algoritmo de podagem C5 • C5 é a mais recente versão do algoritmo para árvores de decisão desenvolvido pelo pesquisador Ross Quinlan. O crescimento da árvore é similar ao algoritmo CART, porém com algumas diferenças. O C5 não usa um conjunto de validação. O mesmo conjunto de crescimento da árvore é utilizado para decidir como a árvore deve ser podada. • O C5 poda a árvore examinando a taxa de erro de cada nó e assumindo que a taxa de erro real atual é bem pior. Se N registros chegam ao nó e E deles são classificados incorretamente, então a taxa de erro é E/N. Então o algoritmo de crescimento tenta minimizar a taxa de erro, assumindo que E/N é o melhor que poderia ter sido feito.

44. O algoritmo tenta estimar a pior taxa de erro de uma folha. Dado um grau de confiança, um intervalo de confiança é obtido, com um intervalo de valores esperados para E. o C5 assume que o número de erros observados no conjunto de treinamento é o limite inferior desse intervalo e substitui o limite superior para chegar a taxa de erro predita, E/N em novos dados desconhecidos. Quanto menor o nó, maior será a taxa de erro. Quando o limite superior do número de erros do nó for menor que o erro estimado para os erros de seus filhos, então os filhos são podados.

45. Extração de regras das árvores • Uma das propostas do Data mining é ganhar conhecimento no domínio do problema. Isso pode ser obtido reduzindo a grande massa de regras em uma árvore de decisão em uma pequena e mais compreensível coleção. Há situações em que as saídas desejadas do sistema são um conjunto de regras. • O primeiro passo é fazer o caminho que levam as folhas fazer uma mesma classificação.

46. Então extrai-se regras do tipo: Se o tempo é Sol e a umidade menor que 77,5 então sair para a rua Se o tempo é Sol e a umidade maior que 77,5 então não sair para a rua Se o tempo é nublado, então sair para a rua Se o tempo é chuva, mas o vento é 1 (forte) então não sair para a rua Se o tempo é chuva, mas o vento é 2 (fraco) então sair para a rua

47. Casos especiais de Árvores de Decisão • Testando mais de uma variável por vez • Árvores neurais • Árvores de Regressão

48. Testando mais de uma variável por vez • A maioria das árvores de decisão testa uma simples variável a cada divisão. Isto pode levar a um maior número de nós que o necessário. Supondo um caso em que idade e sexo sejam indicadores importantes. Se o nó raiz for dividido em idade, então cada filho contem somente uma parte de mulheres, o mesmo problema se o nó raiz for divido em sexo. • Muitos algoritmos foram desenvolvidos para permitir que múltiplas variáveis possam ser utilizadas para formar uma divisão.Uma técnica forma conjunções booleanas de características com o objetivo de reduzir a complexidade da árvore. Depois de encontrar a variável que forma a melhor divisão, o algoritmo procura pela variável que, quando combinada com a primeira, faz o melhor trabalho de divisão. Variáveis continuam sendo adicionadas até que haja uma significativa melhora estatística no resultado das divisões.

49. Árvores neurais • Uma maneira de combinar entradas para muitas variáveis para cada nó é ter cada representado por uma pequena rede neural. Para domínios onde regiões retangulares façam um trabalho pobre em descrever o tamanho real das classes, árvores neurais podem produzir classificações com mais acurácia, com um treinamento e respostas mais compreensíveis do que uma rede neural pura. • Do ponto de vista do usuário, esta técnica hibrida é mais comum nas variações de redes neurais do que nas de árvores de decisão, porque assim como outras técnicas de redes neurais, não é capaz de explicar suas decisões.

50. Árvores de Regressão • Outra maneira de misturar árvores de decisão com outros métodos é fazer uma regressão linear inteligente em que cada divisão em uma árvore de decisão é escolhida para minimizar o erro de um simples modelo de regressão nos dados para cada nó. • O mesmo método pode ser aplicado para regressão logística para variáveis resposta categóricas.