Aprendizado de Descrições Lógicas

1. Aprendizado inductivo pode ser visto como um processo de busca de uma boa hipoteses num grande espaço. O espaço de hipoteses, definido pela linguagem de representação escolhida para a tarefa. No termo lógico a relação entre hipoteses, objetivos e exemplos. Aprendizado de Descrições Lógicas

2. A situação comum é: predicado objetivo Q (ex: esperar num restaurante) Hipoteses: uma definição candidata do predicado Q. x Q(x) Ci(x) r Esperar(r)  Estado(r,medio) v (Estado(r,cheio) ^ ~fome(r) ^ tipo(r,F)) v (estado(r,cheio) ^ ~fome(r) ^ tipo(r,T) ^ Sex/Sab(r)) v (Situação(r,cheio) ^ ~fome(r) ^ tipo(r,B)) Hipóteses

3. Cada hipoteses prediz um certo conjunto de exemplos. Os que satisfacem sua definição Duas hipoteses são diferentes => suas extensões são inconsistentes. Logicamente falando, um exemplo é um objeto ao qual o conceito objetivo se aplica ou não. Ele tem uma descrição lógica. Extensão de uma hipoteses

4. Ex: linha 1, alternativa(x) ^ ~bar(x) ^ ~sex/sab(x) ^ fome(x) ^ .... => Esperar(x) o conjunto de treinamento é então a conjunção de todas essas sentenças. A hipoteses esta de acordo com todos os exemplos SSE é logicamente consistente com todos os conjuntos de treinamento Exemplo

5. Hi é consistente com todos os conj. De treinamento => consistente com cada exemplo Um exemplo pode ser falso - para a hipoteses Se a hipoteses afirma ser negativo mais de fato é + Um exemplo pode ser um falso positivo para a hipoteses, se a hipoteses diz que é positivo mais o exemplo é negativo. Consistência

6. Assumindo que o exemplo esta correto e a hipoteses não, então um sistema de inferência poderia portanto, aprender dos exemplos eliminando 1 ou + hipoteses Aprendizado inductivo como um processo de gradualmente eliminar hipoteses que são inconsistentes com os exemplos, como o espaço de hipoteses pode ser inmenso, esta aproximação não é utilizada. Aprendizado Inductivo

7. Manter uma hipoteses única e ajustar ela a novos exemplos de maneira a manter consistência. - - - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + - + + + + + + + + - + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Espaço consistente Falso negativo Hipoteses generalizada Falso positivo Hipoteses especializada Busca pela melhor hipoteses - + +

8. Dado um conjunto de instâncias de treinamento positivas para a classe C Dado um conjunto de instâncias de treinamento negativas para a classe C Encontrar Uma conjunçào lógica que extenda uma descrição intensional para usar em classificação de instâncias futuras. Tarefa de inducir conjunções lógicas

9. Parcialmente ordenado Espaço de Classes conceituais T, a mais geral F, a mais especifica

10. Bredth-first search (EGS, G->S) a cada nivel EGS considera todas as especializações de uma H, com + 1 condição. Para cada especialização gerada H H cobre todos os exemplos + , cc ela é retirada. Se H ainda cobre algum exemplo negativo, será novamente especializada no proximo ciclo, se não H é consistente. Indução não incremental de CL

11. Algoritmo: EGS + - + -

12. Algoritmo

13. Complexidade computacional Ruido nos dados Solução -> heuristica Problemas

14. Manipula dois conjuntos Closed (H, sem melhora) Open (H, podem ser melhoradas) A cada estagio HGS considera todas as especializações de Hset com + 1 condição (S) S -> f(S) Se f(S) > f(H), Open-set = Open-set +S Se " S f(S) < f(H) , H -> Closed-set HGS(G->S)

15. Depois de considerar todas as especializações das descrições em Hset Se existem H em Open-set continua, Se não retorna H com maior score. Avaliação heuristica ex: Pc + Nnc/(P+N) (0,1) HGS

16. Algoritmo HGS

17. HGS ou HSG custo de memoria fixo busca sobre controle, mais não sempre gera a descrição otima para um conjunto de dados relativamente robusta com respeito a ruido, e a hipoteses que são aproximadamente conjuntivas em HSG deve-se cuidar o exemplo inicial usado. Problemas de HGS

18. Um caso de treinamento por vez, guarda-se Hs consistentes com exemplos. Inicializa com T encontra e-, abandona as Hi tal que Hi->e-, substituindo por uma variante Abandona qualquer Hi tal que Hi ~->e+. Obs: guarda e reprocessa explicitamente a lista de exemplos +, fazendo uma aproximação incremental somente com respecto a exemplos -. Indução Incremental IGS

19. + - Algoritmo: IGS + -

20. Algoritmo

21. Estrutura básica similar a IGS Esta tecnica retem um conjunto de descrições que são consistentes com as instâncias observadas Inicializa o conjunto de Hs a 1a instância positiva do conjunto de treinamento frente a uma instância + , verfica as Hs, substituindo as inconsistentes por "minimas"mais gerais ISG abandona as Hs que cobrem instâncias negativas, e Hs mais especificas que outras. O ciclo ISG usa e+ para gerar Hs e e- para abandonar Hs Algoritmo ISG

22. Combinação de S->G e G->S Neste caso, ou G ou S atua como operador primario, sendo que o outro efetua backtracking Tecnicas Bidirecionais

23. Outra alternativa, espaço de versão, que IGS e ISG 2 conjuntos de descrições (S,G) ISG atualiza S, quando encontra e+ IGS atualiza G, quando encontra e- não é necessário reter as instâncias + nem - IGS apaga os membros de G que são mais especificos que todos os membros de S, similar ISG com S. Tecnicas Bidirecionais

24. ISG, IGS, Bidireccionais guardam em memoria todas as descrições consistentes com os dados Em alguns dominios o tamanho do conjunto pode crecer exponencialmente Ruido e conceito não é uma conjunção lógica Problemas dos Métodos I. Exaustivos

25. Minimizar o processamento para cada nova instância, reduzir memoria requerida Ideia: Guardar uma hipoteses Hill Climbing metodo de busca clássico de IA se aplicam todos os possiveis operadores comparam os resultados, função de avaliação seleciona-se o melhor, iterar até não obter progressos Método Hill Climbing

26. Busca num espaço n-dimensional, com f Esta função determina a forma da superficie Em geral f é estatica, assim a forma da superficie é constante. Em ML, cada nova instância muda f modificando o contorno da superficie Esta característica deixa pouco claro as limitações tradicionais deste método (mínimo local) Existe dependência na ordem de presentação das instâncias Hill Climbing

27. Para cada instância I, o método verifica se H classifica corretamente Se correto, IHC não atua Se errado, IHC gera todas as revisões de H que corrigem o erro usa f para ordenar as candidatas, nos últimos K casos A melhor é comparada com H pai, fica a melhor O caso mais antigo é substituido pelo novo O processo continua ate que existam instâncias Algoritmo IHC

28. O algoritmo responde diferente se e+ ou e- e-, IHC diz e+, H é geral demais, -> S e+, IHC diz e-, H é muito especifica, -> G Formas de inicialização a mais geral o primeiro exemplo Algoritmo IHC

29. Algoritmo IHC

30. - + IHC em operação + - (1+1)/2=1 (1+1)/2=1 (0+1)/2=0.5 (0+1)/2=0.5 (1+2)/3=1 (1+2)/3=1 (0+2)/3=2/3 (1+1)/3=2/3 (0+1)/3=1/3 - (1+2)/3=1 (0+2)/3=2/3 (0+2)/3=2/3

31. Baixos requisitos de memoria e processamento Uma hipoteses Sensibilidade a ordem no treinamento, maior quantidade de instâncias de treinamento para converger Menos sensitivo a ruido Comentarios IHC

32. Exercicios

33. Indução de Conceitos Competitivos

34. Protótipos Tarefa dado um conjunto de instâncias pre-classificadas encontrar uma descrição intencional um conjunto de protótipos Indução de Conceitos Competitivos

35. Esquemas competitivos não podem ser representados isoladamente A extensão de um conceito depende de sua descrição e da dos outros O operador típico é o calculo da media das instâncias de treinamento. A descrição especifica a tendência central das instâncias Indução de Conceitos Competitivos

36. Guardam instâncias específicas ao invés de uma descrição abstrata Protótipos conjunção de pares atributos valor Aprendizado baseado em Instâncias

37. Peso Peso C B A B A D Altura Altura Protótipos

38. Usar protótipos para classificação é um processo de três passos: Dada uma instância I, calcula-se sua distância a cada protótipo distância euclidiana, distância de hamming Usa-se o resultado para classificar a instância, o protótipo mais perto Protótipos

39. Realizar a média das instâncias para encontrar o protótipo de cada classe Para determinar o valor pi de um atributo para um protótipo (numérico) pi= 1/n  xij (j=1,n) Método média das Instâncias

40. Ao encontrar uma instância de uma classe nova, guarde esta instância como protótipo Quando observar uma instância de uma classe conhecida, recalcule o protótipo para cada atributo i  pi= (xi-pi)/n+1 para atributos nominais, escolha o valor mais frequente Método incremental

41. Em termos de eficiência e elegância é um dos melhores pouca expressão representacional linhas de fronteiras Método média das Instâncias

42. Um dos problemas do método anterior é tratar todos os atributos de forma equivalente Se os atributos tem escalas diferentes normalizar Alguns atributos tem maior importância Método dos Pesos

43. Peso + + - + - - Altura Relevância dos atributos Peso + + - + - - Altura Altura 0.93 e peso 0.68 Pesos de atributos iguais

44.  i wi (pi-xi)2 wi ? wi = 1 - 1/n( (k=1,c) j=1,nk pki - xji) n = número total de instâncias de treinamento nk = número de instâncias para a classe c Métrica de distância

45. Os tópicos anteriores tratam de indução de conceitos que podem ser descritos usando uma única região de decisão Neste tópico se tratará da indução de descrições disjuntivas (v) Construção de listas de decisão

46. Múltiplas regiões Peso + + - - + + - - - + + + Altura

48. Construção de listas de decisão

49. Forma normal disjuntiva FND combina um conjunto de descrições D1,D2,..Dn em uma disjunção {D1vD2v..Dn } as vezes mais de uma classe "match"uma instância criar descrições mutualmente exclusivas precedência, lista ordenada Construção de listas de decisão

50. Dado: Um conjunto de instâncias de treinamento, cada uma com sua classe associada Encontrar: Uma descrição disjuntiva que, corretamente classifique instâncias não observadas Ao menos para algumas representações, o espaço de FND é parcialmente ordenado (G->S), mas o fator de ramificação é muito grande A tarefa de indução disjuntiva