Indexation

1. Indexation Extraction d’Information dans les textes I

2. Rappels des épisodes précédents

3. Les acteurs de la Recherche d'Information Collection : un ensemble de documents • Les systèmes de RI doivent pouvoir traiter : • De grandes masses d'information • En langage naturel (et créée pour des humains) • De façon rapide et pertinente Utilisateur : un besoin d'information et/ou une tâche à accomplir

4. Recherche d'Information Indexation(modèle de document) Collections dynamiques vs. statiques Modèle derecherche Évaluation Requête

5. Indexation : pourquoi ? • Le parcours complet de l'ensemble des documents avec les termes d'une requête est impossible : trop de documents et temps de réponse prohibitif. • On passe par un traitement préalable : l'indexation • Le but de l'indexation automatique : "transformer des documents en substituts capables de représenter le contenu de ces documents" (Salton et McGill, 1983) • Les difficultés de l'indexation sont pour beaucoup celles inhérentes à la langue des documents. • Les index peuvent prendre plusieurs formes : mots simples, termes complexes, syntagmes, entrées de thésaurus...

6. Construction de l’index : vue générale INDEX DOCUMENTS TERMES sert ne Rien de faut courir il point partir à TERMESnormalisés TEXTE Rien ne sert de courir; il faut partir à point : Le lièvre et la tortue en sont un témoignage. «Gageons, dit celle-ci, que vous n'atteindrez point Sitôt que moi ce but. - Sitôt? Êtes-vous sage ? Repartit l'animal léger : Ma commère, il vous faut purger Avec quatre grains d'ellébore.) - Sage ou non, je parie encore." Ainsi fut fait; et de tous deux On mit près du but les enjeux : Savoir quoi, ce n'est pas l'affaire, Ni de quel juge l'on convint. Notre lièvre n'avait que quatre pas à faire, J'entends de ceux qu'il fait lorsque, prêt d'être atteint, Il s'éloigne des chiens, les renvoie aux calendes, Et leur fait arpenter les landes. Ayant, dis-je, du temps de reste pour brouter, Pour dormir et pour écouter D'où vient le vent, il laisse la tortue Aller son train de sénateur. Elle part, elle s'évertue, Elle se hâte avec lenteur. Lui cependant méprise une telle victoire, Tient la gageure à peu de gloire, Croit qu'il y a de son honneur De partir tard. Il broute, il se repose, Il s'amuse à toute autre chose Qu'à la gageure. A la fin, quand il vit Que l'autre touchait presque au bout de la carrière, Il partit comme un trait; mais les élans qu'il fit Furent vains : la tortue arriva la première. "Eh bien! lui cria-t-elle, avais-je pas raison ? De quoi vous sert votre vitesse ? Moi l'emporter! et que serait-ce Si vous portiez une maison ?" sert rien faut courir point partir

7. Fichier inverse

8. Indexation : le fichier inverse • Notion "classique" de l'index • Un fichier inverse associe des index aux documents qui les contiennent. Chaque document possède un identifiant unique. • a   ▸  d1, d2, d3, d4, d5... • à   ▸  d1, d2, d3, d4, d5... • abaissa    ▸  d3, d4... • abaissable    ▸  d5 • abandon ▸  d1, d5 • abandonna ▸  d2 • abasourdi ▸  d1 • …

9. Construction d’un index

10. Construction de l’index Terme Id. Doc Doc #1 Terme Id. Doc I enact did julius was caesar I Capitol the killed i’ Séquencede termes Brutus killed me Doc #2 it let with So be noble caesar The Brutus told hath you was ambitious caesar

11. Construction de l’index Terme Id. Doc Terme Id. Doc Terme Id. Doc Tri par termes (puis par documents) ….. …..

12. Construction de l’index Terme Fréquence Liste Terme Id. Doc Fichier inverse (dictionnaire) En RI, "fréquence" = "nb d’occurrences" ….. …..

13. Construction de l’index Terme Fréquence Liste Questions pour plus tard • Pourquoi conserver la fréquence ? • Comment construire cet index de façon efficace et économe ? • Comment le conserver (mémoire, disque, quelle structure de données) ? • Mais pour l’instant : comment faire une requête sur cet index ?

14. Requête dans un index

15. Retrouver les documents Brutus AND Caesar • On recherche« Brutus » dans le dictionnaire  On récupère la liste de documents • On recherche« Caesar » dans le dictionnaire  On récupère la liste de documents • On fusionneles deux listes Brutus Caesar

16. Fusion fusion = <> id1 = l1[0], id2 = l2[0] Tant que les listes ne sont pas vides siid1 = id2 alors ajouter(fusion, id1) id1 = suivant(l1) id2 = suivant(e2) sinon siid1 < id2 alors id1 = suivant(l1) sinon id2 = suivant(l2) • Les listes de documents sont ordonnées ! • On traverse les deux listes l1 et l2 simultanément Complexité ? Brutus Fin ! Caesar

17. Fusion Brutus AND Caesar AND Calpurnia Comment faire la fusion de trois listes (ou plus) ? Indice • On a conservé dans l’index le nombre de documents contenant le terme

18. Fusion par sauts • Pour éviter de parcourir des morceaux de liste inutilement Par exemple lorsque l’on fusionne un mot fréquent et un mot peu fréquent • On ajoute des pointeurs de « saut » 5 21

19. Fusion par sauts • Comment et où place-t-on les sauts ? • Plus de sauts  plus de chances de sauter  des sauts plus courts • Moins de sauts  moins de chances de sauter  des sauts plus longs • En pratique, pour une liste de longueur L, on met des sauts tous les L.

20. Fusion par sauts • Gain de temps pour la fusion • Mais : • Plus de pointeurs, donc plus de place dans l’index • Si l’index est sur le disque, plus d’entrées-sorties pour le lire • Compliqué à mettre en place si l’index évolue beaucoup (L…)

21. Recherche de groupes de mots

22. Recherche de groupes de mots • Recherche sur Nicolas Sarkozy. • On veut obtenir des textes contenant « Nicolas Sarkozy », et non par exemple : « Nicolas Bedos après son sketch sur DSK et Carla Bruni-Sarkozy. » • De nombreuses requêtes sont implicitement des recherches de groupes de mots, au moins en partie : « Nicolas Sarkozy » Disneyland • Nos index inversés <terme : documents> ne suffisent plus

23. La notion de n-gramme • n-gramme : une sous-séquence de n éléments extraite d’une séquence donnée. Ici, n-grammes de mots • uni-gramme : tous les mots • bi-gramme : une sous-séquence de 2 éléments • etc. • Différent du groupe de mots d’un point de vue linguistique (cf. modèles de Markov) • Combien de bi-grammes théoriquement possibles pour m mots uniques dans un vocabulaire ? • Combien de tri-grammes ? • Jusqu’à quelle valeur de n devrait-on aller pour couvrir raisonnablement les besoins d’un utilisateur de moteur de recherche ?

24. Index de bi-grammes • Indexer (en plus des mots simples) toutes les paires de termes du texte. • On considère donc chaque bi-gramme comme un terme du dictionnaire • Une requête sur un bi-gramme est immédiate Rien de de courir Rien ne sert ne sert de ne sert courir il faut courir il il faut faut partir à point partir à point partir à Comment éviter d’indexer toutes les paires ?

25. Index de bi-grammes • Les requêtes plus longues (n-grammes, n > 2) « pommes de terre » et ainsi de suite pour des requêtes encore plus longues… « pommes de » AND « de terre » Risque de faux positifs, pourquoi ?

26. Index de bi-grammes • Autre solution plus économique, on supprime les « mots vides » dans l’index et dans la requête « pommes de terre » • Ça ne suffit pas pour « Université Paris-Sud 11 » ou « Centre National de la Recherche Scientifique » « pommes terre » Encore un risque de faux positifs, pourquoi ?

27. Index de bi-grammes • Conduit à des faux positifs • Dictionnaire beaucoup plus gros et index vite ingérable • Impraticable pour n > 2 • On peut utiliser des index bi-grammes dans certaines circonstances ou pour certains groupes de mots, mais ce n’est pas la solution standard pour la recherche de groupes de mots. • si on a 200 000 termes uniques • et si on considère les n-grammes de n = 1 à 5 • on obtient un dictionnaire de 3,2 × 1026entrées !  Index de positions

28. Index de position • Idée : dans les listes de documents de l’index, ajouter la position de chaque occurrence de terme dans le document.

29. Index de position : parcours « Université Paris-Sud 11 » • Extraction des entrées du dictionnaires • Utilisation récursivede l’algorithme de fusion, pour les documentspuis pour les positions. • Mais utiliser une comparaison incrémentale au lieu d’une égalité stricte.

30. Recherche de proximité • Souvent les recherches de groupes de mots sont implicites. • Même pour des recherches de mots simples, la proximité des termes est importante. • Cette proximité peut être demandée dans la requête… • déclaration /3 droits /3 Angleterre /3 • déclaration NEAR droits Angleterre • … mais dans la plupart des moteurs ce n’est pas le cas • déclaration droits Angleterre

31. Recherche de proximité • Ici les index de n-grammes sont inutiles… • … Mais les index de positionpeuvent servir. • Comment adapter l’algorithme de fusion linéaire pour tenir compte de la proximité des termes ? • Comment garder cet algorithme efficace ?

32. Recherche de proximité • La recherche de proximité est devenue indispensable pour un moteur de recherche dans les grands corpus. • Mais un index de position augmente fortement la taille de l’index. • Une entrée par occurrence au lieu d’une entrée par document. • La taille de l’index dépend directement de la taille moyenne des documents Indices • Une page Web moyenne contient moins de 1000 termes • De la documentation, un livre, etc. 100 000, voire beaucoup plus • Considérons un terme avec une fréquence de 0.1 %... Pourquoi ?

33. Index de position • Un index de position est environ 2 à 4 fois plus grand qu’un index « sac de mots ». • Le volume d’un index de position représente environ 35 à 50 % de celui du texte original. • Nous verrons plus tard comment on peut compresser (un peu) cet index. Rappel • On ne parle ici que d’une certaine catégorie de langues…

34. Structures de données

35. Les questions à se poser Que veut-on faire ? • Indexer • Quoi ? • Recherche littérale • Racinisation, lemmatisation, rien ? • Vite ? • En économisant la place ? • En facilitant la lecture de l'index ? • Un index, plusieurs index ? • Modifications fréquentes ? • Chercher • Quoi ? • Vite ? • Souvent avec les mêmes requêtes ? • Avec des fautes ? • Avec des expressions régulières ?

36. Une base de données • Vous savez faire… mais attention de bien gérer les index ! • Permet d'éviter la redondance (avec des tables bien conçues) • Manipulation parfois peu aisée et rigide • Les jointures peuvent être très longues à exécuter • Pour assurer des réponses en un temps raisonnable, la base doit entrer en mémoire Plutôt non

37. Une hashtable • Association clé-élément ( terme-liste de documents) • Recherche très rapide (O(1)) • Compliqué de gérer les variations mineures (fautes d’orthographe, fautes de frappe) • Pas de recherche par préfixes

38. Arbres binaires de recherche jeu jard jard jeudi jante je jante je jeux jeu jeudi Dépend de l'ordre d'insertion ! jeux (au pire : liste chaînée)

39. Arbres binaires de recherche • BST : BinarySearchTree • En RAM • Chaque nœud de l'arbre contient un mot • Chaque nœud pointe vers deux sous-arbres : • Le sous-arbre des éléments "plus grands" • Le sous-arbre des éléments "plus petits" • Recherche et ajout rapide • Recherche par préfixes simple • Redondance des préfixes • Plus lent : O(log M)

40. B-Tree a-hu n-z hy-m

41. Trie • Arbre N-aire (automate à états finis déterministe) • En RAM • L'arc entre les nœuds représente l'ajout d'une lettre • Un arc sortant du nœud par lettre ajoutée • Plus de nœuds, mais moins d'information stockée • Un nœud ne contient rien, sauf l'information qu'il s'agit d'une fin de mot • Coûteux en RAM • Chaque préfixe est stocké une seule fois • Nombreux algorithmes possibles (recherche approximative…)

42. Trie j j a e Les nœuds représentant un mot existant sont "marqués". ja je n r u jan jar jeu d t d x jant jard jeud jeux Les nœuds sont étiquetés pour la clarté de l'illustration, mais en pratique ils ne contiennent pas la chaîne de caractères. i e jante jeudi

43. Arbre des suffixes • Suffix tree • Une structure de trie • Stockage de tous les suffixes d'un texte • Utile pour : • La recherche de motifs • La détection de répétition • Moins adapté pour le stockage "simple"

44. Arbres des suffixes A NA BANANA$ 0 $ NA NA$ $ 5 4 2 $ NA$ 3 1 • Tous les suffixes du mot BANANA • Le '$' indique la fin du mot • Le chiffre indique la position du suffixe dans le mot

45. Patricia Trie • Un type de Trie • Remplace les listes (segments non arborescents) par des chaînes de caractères • Les chaînes de caractères sont externes à la structure et les arcs indiquent les offset et les longueurs dans ce tableau • On peut stocker le tableau sur le disque, et la structure est plus petite en RAM • Le tableau est fragmenté • Les ajouts demandent de réorganiser l'arbre

46. Patricia Trie c (0,1) c e t (2,2) c (1,1) c t i t e

47. Mais aussi… • Splay Tree • Ternary Search Tree • Burst Tree • Judy Tree • String B-Tree (dynamiques et statiques) • Trie compilés • …