1 / 61

Fouille de données complexes

Fouille de données complexes. Karine Zeitouni Master COSY – Université de Versailles Saint-Quentin Edition 2005-2006 En ligne sur : http://www.prism.uvsq.fr/users/karima/DM. Introduction. De plus en plus d’entrepôts de données sont ou seront créés Raisons principales :

ilar
Download Presentation

Fouille de données complexes

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Fouille de données complexes Karine Zeitouni Master COSY – Université de Versailles Saint-Quentin Edition 2005-2006 En ligne sur : http://www.prism.uvsq.fr/users/karima/DM

  2. Introduction • De plus en plus d’entrepôts de donnéessont ou seront créés • Raisons principales : • Le tout numérique dans l’entreprise génère des données à entreposer • échange et recherche de données facilités (via Internet) • capteurs et numérisations de toute sorte (librairies digitales) • Explosion des données multimédias • SIG / Télédétection (données cartographiques, données satellitales) • agence de photo de presses • CAO, Bio-informatique, imagerie médicales (données techniques) • finance (cours des actions= séries temporelles) • GED (documents, emails) • vidéo, … Cours M2 COSY - Fouille de données complexes

  3. Plan • Fouille de données spatiales • Les Bases de données spatiales • Méthodes de la FDS • Fouille de données textuelles • Fouille de données séquentielles Cours M2 COSY - Fouille de données complexes

  4. Bases de données spatiales

  5. Définition d’une BD spatiale • Ensemble organisé d’objets géographiques : • Chaque objet est une association d'une description qualitative ou quantitative et d’une localisation spatiale • Gérée au sein d’un SIG • Organisée en couches thématiques • Ex : découpage administratif, Réseaux routier, Cadastre, POS, Topographie (courbes de niveau)... Cours M2 COSY - Fouille de données complexes

  6. Interface graphique Cours M2 COSY - Fouille de données complexes

  7. Parallèle relationnel – Spatial (1) • Parallèle entre Thème et table: • Un thème peut être vu comme une table avec un attribut de localisation Table Id_route 1 2 3 Nom_route Av. Morane Saulnier Rue Dewoitine Av. Europe TypeSurface Goudronnée Goudronnée Goudronnée Localisation Nb_voies 4 3 1 Cours M2 COSY - Fouille de données complexes

  8. Parallèle relationnel – Spatial (2) select c.nom, c.loc from commune c where c.population > 10000 • Requêtes spatiales • Sélection • Ville de plus de 10 000 • Sélection spatiale • Accès aux objets situés dans une fenêtre donnée • Accès par relation à un objet • Communes au bord de le N10 • Jointure spatiale • Zones d’intersection des communes et des forêts (map overlay) • Agrégation • Fusion des communes par département select c.nom, c.loc from commune c where Intersecte (c.loc, Rectangle(xmin,ymin,xmax,ymax)) select c.* from commune c, route r where r.nom = 'N10' and adjacent(c.loc, r.loc) select c.nom, f.nom, Intersection (c.loc, f.loc) from commune c, foret f where Intersecte (c.loc, f.loc) select departement, fusion (loc) from commune group by departement Cours M2 COSY - Fouille de données complexes

  9. Parallèle relationnel – Spatial (3) • Cette comparaison montre que : • les SGBD Géographiques sont spécifiques, • mais ils peuvent être vus comme une extension des SGBD relationnels Cours M2 COSY - Fouille de données complexes

  10. Exemple d’Oracle spatial • Niveau de fiabilité supérieur à celui des simples fichiers (sécurité d’accès, intégrité transactionnelle…) • Intégration des données géo-spatiales dans un SGBD: =>utilisation beaucoup plus efficace des données =>garantie de l’universalité et de l’interopérabilité - conforme aux normes (OpenGIS, ISO, …) =>requêtes combinées aux informations géo-spatiales et classiques - dans un langage SQL (familier aux développeurs) Cours M2 COSY - Fouille de données complexes

  11. Fouille de données spatiales

  12. Problème type Dr. John Snow découvre la cause probable des cas de choléra Cours M2 COSY - Fouille de données complexes

  13. Autre application - Analyse de l’accidentologie routière • Vise à décrire et expliquer le risque routier par : • la description des accidents inventoriés • leur contexte géographique Accidents inventoriés Fouille de Cartes et Voirie Données connaissances extraites Spatiales Activités ... Cours M2 COSY - Fouille de données complexes

  14. Applications décisionnelles : Analyse spatiale de phénomènes localisés : risque routier, épidémiologie, criminologie, pollution, … FDS versus Analyse spatiale Fouille de données spatiales versus Analyse spatiale Cours M2 COSY - Fouille de données complexes

  15. FD « classique » Batterie de méthodes exploratoires Pas de raisonnement spatial BD spatiales Requêtes avec critères spatiaux Pas d’analyse exploratoires Fouille de données spatiales versus Fouille de données classique • Fouille de données spatiales • Intègre les techniques de BDS et de FD • Explore les données et les relations spatiales d ’une BDS Cours M2 COSY - Fouille de données complexes

  16. Fouille de données spatiales - Définition • Découverte de connaissances implicites depuis une BDS • toute propriété, règle ou régularité • impliquant les objets de la BD spatiales et/ou les objets avoisinants et leurs relations spatiales • Principales méthodes : • Statistiques spatiales • Clustering • Règles d’association • Classification Cours M2 COSY - Fouille de données complexes

  17. Statistiques spatiales • Analyse globale - Mesure d’auto-corrélation spatiale d’une variable • Indice global (par carte) de Moran et Geary (en 1945 et 54) • Analyse locale - Indice local d’associations spatiales (LISA) [Anselin 90] • Particularités au niveau local => met en évidence les données atypiques • utilise une matrice de voisinage binaire ou pondérée (wij) • quantifie la contribution individuelle de chaque lieu à l’indice global Cours M2 COSY - Fouille de données complexes

  18. Application aux sections • Vert : moins corrélé que la moyenne globale • Rouge : plus corrélé que l’indice global • Jaune: comme l’indice global • Blanc : tronçons sans calcul (pas d’accidents) Cours M2 COSY - Fouille de données complexes

  19. Application aux régions Autocorrélation locale du nombre de blessés Cours M2 COSY - Fouille de données complexes

  20. Problèmes engendrés • Problème 1: Les données spatiales sont liées • Les méthodes de FD supposent les données indépendantes • Problème 2: Les relations spatiales sont implicites • Non stockées dans la BD • Leur calcul nécessite des jointures coûteuses • Leur intégration dans l’analyse est coûteuse • Problème 3: Les relations spatiales sont multiples • Topologiques (adjacence, intersection, …) ou métriques (distance) • Le choix de la bonne relation spatiale est difficile Cours M2 COSY - Fouille de données complexes

  21. Clustering • Groupage d’objets similaires / séparation dissimilaires • Similarité en spatial = distance euclidienne • Utilisé moins pour classer que pour découvrir des concentrations ou des points chauds • ex: criminologie, épidémiologie, accidents • Méthodes en spatial : • orientés perf. : CLARANS, DBSCAN, ... • sur spatial & attributs : GDBSCAN, Neighborhood EM [Govaert] • évitement obstacle : COE-CLARANS [Han] • Concentration atypiques : machine GAM [Openshaw] Cours M2 COSY - Fouille de données complexes

  22. Clustering spatial sous contraintes • Problème : • Trouver des regroupements qui respectent des contraintes et des obstacles physiques • Contraintes physiques « COE-CLARANS » [Tung ICDT’01] • Ex: installation de réseaux ATM doit tenir compte des obstacles géographiques (rivière, pont, etc.) • Solution: calculer la distance entre p et q en considérant les obstacles Cours M2 COSY - Fouille de données complexes

  23. Exemple avec la machine GAM : caractériser les accidents de nuit/ WE Localisations des accidents de nuit WE en rouge Recherche de concentrations spatiales locales atypiques Cours M2 COSY - Fouille de données complexes

  24. Clustering sous Oracle 10g But: Trouver les zones de concentration de criminologie. Moyen: Grouper les données spatiales dans une table spécifiée USBG_high_crimes 1. Définir high_crimes>150 Create Table USBG_high_crimes As Select* From USBG_data Where CrimeIndex>150 2. Appliquer la méthode de clustering (k=4) Select geometry From Table(sdo_sam.spatial_cluster(‘USBG_high_crimes’,’geom’,4)) Cours M2 COSY - Fouille de données complexes

  25. Clustering sous Oracle 10g Visualiser les clusters par Oracle MapViewer USBG_data en jaune, partie crimes élevés en bleu foncé et clusters en bleu transparent Cours M2 COSY - Fouille de données complexes

  26. Règles d’associations spatiales • Règle d’association multi-dimensionnelle • Sur une table (attributs x Valeurs) en remplaçant les valeurs d ’"articles" d'une transaction par les valeurs d’attributs "A1^A2...^Am => B1^...^Bn"avec support et confiance où Ai et Bj sont des valeurs d'attributs • Sur des données spatiales idem + Rel° spatiales => idem + Rel° spatiales ce qui revient à trouver des associations entre des propriétés des objets et celles de leurs "voisins" Cours M2 COSY - Fouille de données complexes

  27. Exemple station_service ^ dans (zone_rurale) -> proche (autoroute) (25%, 80%) exprime que les stations service en zone rurales sont près des autoroutes, • à 80% (confiance) • et que ces stations forment 25% (support) des stations inventoriées. • Variantes • Thème de référence [Koperski] • Règle de co-localisation quelconque [Shashi] Cours M2 COSY - Fouille de données complexes

  28. Co-localisation • Sous ensemble d’objets spatiaux fréquemment situés ensemble Cours M2 COSY - Fouille de données complexes

  29. Arbre de décision spatial • Rappel • Règles de classement pour expliquer une variable « classe » par des variables explicatives. • En FDS Les propriétés du voisinage peuvent être explicatives • Exemple : classer les accidents selon 3 classes d’impliqués (piéton, 2 roues, véhicules) selon les propriétés des accidents et des objets voisins • Découvre des liens cachés avec certains types de voisins et les illustrer sur la carte. Cours M2 COSY - Fouille de données complexes

  30. Exemple – Spatial CART Cours M2 COSY - Fouille de données complexes

  31. Approches proposées FD spatiales Index de Jointure Spatial Etape 1 FD multi-tables Adapter les données aux algos existants Etendre les algorithmes au multi-tables Prendre en compte la duplication des objets Etape 2 Algos ILP CROISEMENT algorithme classique Programme logique Connaissances Connaissances Cours M2 COSY - Fouille de données complexes

  32. Approche préconisée par Oracle 10g Cours M2 COSY - Fouille de données complexes

  33. Index de jointure spatiale? • Structure secondaire qui matérialise et codifie les relations spatiales An ….. Id ID1 Relation spatiale ID2 Id …. Bn …. 01 ….. 12 01 ….. …. 01 60 02 …. …. 02 43 …. 02 …. 45 … … ….. … … ….. ….. ……. …… … … ….. …… … ……. … ….. ….. …. ….. ……. …. ….. ….. ….. … … 99 99 … … 99 53 75 Thème 1 Index de jointure spatiale Thème 2 Cours M2 COSY - Fouille de données complexes

  34. La FD classique est mono-table • Représentation des données en FD classique 1 table unique Valeurs atomiques 1 exemple d’apprentissage par ligne Cours M2 COSY - Fouille de données complexes

  35. Bâtiment IndexJS Accident ID Libelle ID1 ID2 Dist ID1 Date Impliqué … An 01 Ecole 01 12/03/03 Piéton … an1 01 01 10 02 Ecole 02 10/04/03 2 roues … An2 01 02 55 03 Marché 02 01 75 02 03 20 Opérateur CROISEMENT Transformation préalable Cours M2 COSY - Fouille de données complexes

  36. Conclusion sur la FDS • La fouille de données spatiales = prolongement de la fouille de données • Tient compte des interactions dans l’espace • La préparation des données peut changer la donne ? • FD spatiale  FD multi-tables grâce aux index de jointures spatiales  FD classique grâce à l’opérateur • C’est souvent le cas d’autres objets complexes : • Fouille de texte  FD par transformation en vecteur de termes • Fouille d’images  FD sur descripteurs Cours M2 COSY - Fouille de données complexes

  37. Fouille de données textuelles

  38. Fouille de textes • Croissance phénoménale de données textuelles • Documents sur Internet, mail, rapports, … • Besoin d’automatiser leur recherche et leur classement • Comment faire supporter à la machine le traitement rapide du langage naturel ? • Techniques d’Analyse du Langage Naturel (TALN): • Extraction d’éléments du langage : nom propres (personne, lieu, société) • Utilise les règles de grammaire et des patrons linguistiques, des thésaurus (synonymes et hiérarchies de termes) ou des ontologies (règles en plus) • Fouille de textes (si grand nombre de textes) • Clustering de texte • Classification (catégorisation) • Associations de termes Cours M2 COSY - Fouille de données complexes

  39. Fouille de texte versus fouille de données Cours M2 COSY - Fouille de données complexes

  40. sport textes Moteur de Catégorisation culture santé politic economic vacances Classification de documents • Principe • Classification (par apprentissage) de textes dans 1 ou plusieurs catégories • Application en e-commerce : • Relier une description de produit en texte libre à une classe de produits. • Application web: • les sites tels que Yahoo constituent une exellente base d’apprentissage, car les catégories y ont été générées manuellement. Sert à générer un classifieur pour classer les prochains documents. • Ces classes peuvent servir comme balises sémantiques Cours M2 COSY - Fouille de données complexes

  41. Site organisé par catégorie Cours M2 COSY - Fouille de données complexes

  42. Processus global de catégorisation Termes uniques présents dans les documents Documents d’apprentissage Sélection des termes pré-traitement Termes uniques Dictionnaire document Représentation Vecteurs des documents Vecteur des documents Calcul des similarités Apprentissage Calcul des scores des catégories catégories affectées k proches voisins Catégorisation Cours M2 COSY - Fouille de données complexes

  43. Document: doc Tokenizing Removing stop words Stemming words* Calculating term frequency stoppedTermsTF StemmedTermsTF* Prétraitement des documents Génère des données de type: (docID, (term, term frequency)*) Cours M2 COSY - Fouille de données complexes

  44. Ex: Stop-words (mots chevilles) • Liste de mots (ex. ceux listés par Oracle text) sont les 200 suivants : a , beaucoup, comment, encore, lequel, moyennant, près, ses, toujours, afin, ça, concernant, entre, les, ne, puis, sien, tous, ailleurs, ce, dans, et, lesquelles, ni, puisque, sienne, toute, ainsi, ceci, de, étaient, lesquels, non, quand, siennes, toutes, alors, cela, dedans, était, leur, nos, quant, siens, très, après, celle, dehors, étant, leurs, notamment, que, soi, trop, attendant, celles, déjà, etc, lors, notre, quel, soi-même, tu, au, celui, delà, eux, lorsque, notres, quelle, soit, un, aucun, cependant, depuis, furent, lui, nôtre, quelqu’un, sont, une, aucune, certain, des, grâce, ma, nôtres, quelqu’une, suis, vos, au-dessous, certaine, desquelles, hormis, mais, nous, quelque, sur, votre, au-dessus, certaines, desquels, hors, malgré, nulle, quelques-unes, ta, vôtre, auprès, certains, dessus, ici, me, nulles, quelques-uns, tandis, vôtres, auquel, ces, dès, il, même, on, quels, tant, vous, aussi, cet, donc, ils, mêmes, ou, qui, te, vu, aussitôt, cette, donné, jadis, mes, où, quiconque, telle, y, autant, ceux, dont, je, mien, par, quoi, telles, autour, chacun, du, jusqu, mienne, parce, quoique, tes, aux, chacune, duquel, jusque, miennes, parmi, sa, tienne, auxquelles, chaque, durant, la, miens, plus, sans, tiennes, auxquels, chez, elle, laquelle, moins, plusieurs, sauf, tiens, avec, combien, elles, là, moment, pour, se, toi, à, comme, en, le, mon, pourquoi, selon, ton. Cours M2 COSY - Fouille de données complexes

  45. t1 t2  tT w11 w12 w1T w21 w22 w2T    wN1 wN2 wNT d1 d2    dN Représentation des documents et Mesure de similarité • Représentation des documents • Vecteurs de document • ou matrice Document x terme • Pondération (ex: tf-idf) • + Réduction de dimension Similarité : • Par le cosinus : Plus il est élevé (angle obtus) plus les documents sont similaires Cours M2 COSY - Fouille de données complexes

  46. Pondération TF-IDF • TF-IDF signifie Term Frequency x Inverse Document Frequency : • Proposée par [Salton 1989], mesure l'importance d’un terme dans un document relativement à l’ensemble des documents. Avec: • tf i,j = fréquence du terme i dans le document j df i = nombre de documents du corpus contenant le terme iN = nombre de documents du corpus Cours M2 COSY - Fouille de données complexes

  47. Évaluation de Performances • Ex. pour la catégorisation binaire (Y/N): • Mesures basés sur la table de contingences : • Rappel mesure la largeur de la catégorisation : ratio des documents bien classés par rapport à l’ensemble des documents appartenant réellement à la catégorie. r=a/(a+c) • Précision mesure la qualité de la catégorisation et correspond à la fraction des documents bien classés sur tous les documents affectés à la catégorie. p=a/(a+b) • F-mesure mesure le compromis entre r et p: F1=2r*p/(r+p) Cours M2 COSY - Fouille de données complexes

  48. Fouille de données séquentielles

  49. Utilisations • Panier de la ménagère en considérant l’historique des transactions des clients. • Le Web Usage Mining en considérant les succession des pages accédées par un même internaute. • Analyse de séquences ADN • Analyse de séquences d’événements quelconques : • Ex: Séquence d’activités de l’enquête «Ménages- Déplacements» • Différences avec les séries temporelles • Séries qualitatives et non numériques • Parfois série d’ensembles, série de données multi-variées, … Cours M2 COSY - Fouille de données complexes

  50. Ex : Le Web Usage Mining • Le Weblog contient des informations richessur la dynamiquedu Web => Son analyse permet de cibler les utilisateurs (clients, marchés) potentiels • La recherche de régularités (séquences fréquentes de pages) permet : • D’ajuster la conception des pages et des liens et d’améliorer les performancesdes sites • Les associations de pages côté client permet d’optimiser le cache du navigateur, d’effectuer du « prefetching » • L’analyse de tendance (temporelle): • Indique les changements et la dynamique du web pour s’y adapter Cours M2 COSY - Fouille de données complexes

More Related