1 / 11

Mineração de Dados (Mestrado de Informática) UCE – Sistema de Suporte à Decisão

Mineração de Dados (Mestrado de Informática) UCE – Sistema de Suporte à Decisão. Paulo J Azevedo Departamento de Informática ( pja@di.uminho.pt )

tobias
Download Presentation

Mineração de Dados (Mestrado de Informática) UCE – Sistema de Suporte à Decisão

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Mineração de Dados(Mestrado de Informática)UCE – Sistema de Suporte à Decisão Paulo J Azevedo Departamento de Informática (pja@di.uminho.pt) Sistemas de informação cada vez mais sofisticados, envolvendo elevadas quantidades de dados, motivam o desenvolvimento de técnicas de Análise Exploratória de Dados para apoio à Decisão Mineração de Dados - Apresentação

  2. Extracção de “conhecimento” (relações não triviais entre os dados) em bases de dados • Uma possível definição (KDD): é a tarefa de desenvolver algoritmos (processos) para extrair estrutura dos dados. Esta estrutura pode ser descrita na sob a forma de padrões estatísticos, modelos ou mesmo relações. Encontrar esta estrutura pode ser visto como um processo de redução que permite uma sumarização dos dados. • Preparação e recolha dos dados (via Warehousing) • Data Mining (extracção das relações “escondidas” entre os dados recolhidos) • Pós-processamento e análise dos resultados • Visualização Mineração de Dados - Apresentação

  3. Perguntas representativas dos problemas a tratar: • Mostrar as transacções que indiciam fraude ? • Quais os indivíduos que tem tendência a comprar o produto X ? • Quais os acessos ao servidor Y que tinham o intuito de “ataque” ? • A que clientes (ou tipo de clientes) deveremos enviar o catálogo de Natal ? • Quais os grupos que melhor caracterizam os nosso clientes ? • Como organizar (e apresentar ao utilizador) o resultado de uma pesquisa muito genérica no Google ? • Considerando o historial de concessão de crédito da nossa instituição deverá ser considerada a proposta Z ? • Sabendo o conjunto de páginas visitados, que tipo de produto consultará o utilizador no resto da sua sessão ? • Que padrões de aminoácidos, de elevado “interesse” biológico, se pode encontrar numa dada família de proteínas ? • Como se comporta um dado conjunto de aminoácidos ao longo do tempo (i.e. ao longo de um determinado processo sofrido pela proteína)? Mineração de Dados - Apresentação

  4. Case Study (1) • Web sites Adaptativos • Amazon: site sugere novos interesses com base nas compras efectuadas. • Challange Netflix: http://www.netflixprize.com • Email Spam filtering, • Códigos Postais, • Handwriting recognition. • Crédito à Habitação • Apoio à decisão na atribuição de crédito baseando no historial da instituição. Mineração de Dados - Apresentação

  5. Case Study (2) • DARPA challenge http://www.darpa.mil/grandchallenge/index.asp • Conduzir um veiculo autónomo no deserto durante cerca de 200 km. • Detecção de fraude nas chamadas de telefones móveis • Detecção de “churning”http://www.kdnuggets.com/news/2009/n05/4i.html(propensão para os clientes de uma empresa de comunicações/cartões de crédito/etc mudar de fornecedor) • MicroArrays http://www.en.wikipedia.org/wiki/DNA_microarray • Análise de expressão de DNA (matriz de genes x amostras “situações”) Mineração de Dados - Apresentação

  6. A Estrutura extraída dos dados pode ter a forma de: • Padrões sequenciais, • Motifs • Modelos de Previsão (árvores de decisão, redes neuronais, regras de decisão, etc), • Agrupamentos (clustering)/ Segmentação, • Regras de Associação. • Dependências entre dados (dependências funcionais, multivalor, etc) Mineração de Dados - Apresentação

  7. O processo KDD Data Mining Transformação Interpretação DATA (reavaliação) Pré-processamento Selecção Visualização Mineração de Dados - Apresentação

  8. Algumas ferramentas usadas durante o curso: • C4.5 • R • Cubist • Caren • Weka • Microsoft SQL Server • Outras… Mineração de Dados - Apresentação

  9. Principais temas a estudar… • Modelos de Previsão: árvores de decisão, classificação, previsão numérica, simplificação de modelos, avaliação, composição de modelos, etc. • Regras de Associação: algoritmos, medidas de interesse, pruning, tratamento de numéricos, aplicações, etc. • Clustering: algoritmos, medidas de similaridade, tipos de clustering, etc. • Revisão de significância estatística Mineração de Dados - Apresentação

  10. Avaliação • Proposta: • Teste Teórico • Projectos Prático : • Exercícios semanais • Projecto final com apresentação em grupo. • Nota = 0.5 x projecto + 0.5 x teste ????? Mineração de Dados - Apresentação

  11. Biblio • Data Mining (Pratical Machine Learning tools and Techniques), Ian Witten & Eibe Frank, Morgan Kaufmann Publishers. (WEKA book) • Data Mining, Concepts and Techniques, Jiawei Han & Micheline Kamber, Morgan Kaufmann Publishers. • Apontamentos das aulas Mineração de Dados - Apresentação

More Related