Les systèmes de recommandation

1. Les systèmes de recommandation NEGRE Elsa Université Paris-Dauphine Elsa.Negre@dauphine.fr

2. Plan • Qu’est ce qu’un système de recommandation ? • Les méthodes les plus utilisées • Filtrage collaboratif • Basée sur le contenu • Hybride • Quelques variations • Un petit mot sur l’évaluation • La recommandation en BD et OLAP • Conclusion et perspectives NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

3. Un système de recommandation – Quèsaco? • Un système de recommandation (RS) aide les utilisateurs qui n'ont pas suffisamment d'expérience ou la compétence nécessaire pour évaluer le nombre, potentiellement important, d’alternatives offertes par un site (web). • Dans leur forme la plus simple les RS • recommandent à leurs utilisateurs des listes personnalisées et classées d'articles • fournissent aux consommateurs des renseignements pour les aider à décider quels articles acheter • Les articles peuvent être : • musique, livres, films, … • De manière générale, on parle d’items NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

4. Un système de recommandation – Quèsaco? (2) • Problématique : estimation de scores pour des articles non encore évalués • Définition [Hill+:CHI’95] : • Soit • C : ensemble de tous les utilisateurs • S : ensemble de tous les articles possibles • u : fonction d’utilité d’un article s à l’utilisateur c • Alors, choisir l’article s’ non encore évaluéde S qui maximise l’utilité de chaque utilisateur c de C NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

5. Plan • Qu’est ce qu’un système de recommandation ? • Les méthodes les plus utilisées • Filtrage collaboratif • Basée sur le contenu • Hybride • Quelques variations • Un petit mot sur l’évaluation • La recommandation en BD et OLAP • Conclusion et perspectives NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

6. Les méthodes les plus utilisées • [La personnalisation - Personalized recommendations] • Le filtrage collaboratif – Collaborative filtering • Les recommandations basées sur le contenu – Content-based • Les approches hybrides NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

7. Les méthodes les plus utilisées (2) Personalized recommendations NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

8. Les méthodes les plus utilisées (3) Collaborative: "Dites-moi ce qui est populaire parmi mes pairs" NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

9. Les méthodes les plus utilisées (4) Content-based: “Montrez-moi plus que ce qui ressemble à ce que j’ai aimé" NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

10. Les méthodes les plus utilisées (5) Hybrid: combinaisons de différentes entrées et/ou composition de différents mécanismes NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

11. Plan • Qu’est ce qu’un système de recommandation ? • Les méthodes les plus utilisées • Filtrage collaboratif • Basée sur le contenu • Hybride • Quelques variations • Un petit mot sur l’évaluation • La recommandation en BD et OLAP • Conclusion et perspectives NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

12. Filtrage collaboratif Collaborative: "Dites-moi ce qui est populaire parmi mes pairs" NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

13. Filtrage collaboratif - Présentation • Les systèmes basés sur le filtrage collaboratif produisent des recommandations en calculant la similarité entre les préférences d’un utilisateur et celles d’autres utilisateurs • De tels systèmes ne tentent pas d’analyser ou de comprendre le contenu des items à recommander • Ils sont capables de suggérer de nouveaux items à des utilisateurs qui ont des préférences similaires à d’autres • La méthode consiste à faire des prévisions automatiques (filtrage) sur les intérêts d'un utilisateur en collectant des avis de nombreux utilisateurs (collaborateurs). L'hypothèse sous-jacente de cette approche est que ceux qui ont accepté (aimé qqch) dans le passé ont tendance à accepter (aimer qqch) de nouveau dans l'avenir. NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

14. Filtrage collaboratif - Mécanisme • Idée : • Essayer de prédire l'opinion de l'utilisateur qu’il aura sur les différents items et être en mesure de recommander le «meilleur» item à chaque utilisateur en fonction de : des goûts/avis précédents de l'utilisateur et des avis d'autres utilisateurs qui lui sont semblables • Mécanisme : • Un grand groupe de préférences d’utilisateurs sont enregistrées • Un sous-groupe d’utilisateurs est repéré dont les préférences sont similaires à celles de l'utilisateur qui cherche la recommandation • Une moyenne des préférences pour ce groupe est calculée • La fonction de préférence qui en résulte est utilisée pour recommander des options à l'utilisateur qui cherche la recommandation • La notion de similitude doit être définie d'une certaine façon NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

15. abcd abcd How it works User-to-User Item-to-Item How collaborative filtering works? “People who liked this also liked…” • Les recommandations sont faites en trouvant des utilisateurs ayant des avis similaires. Jane et Tim aiment tous les deux l’Item 2 et détestent l’Item 3; il semble qu’ils ont des avis similaires, ce qui suggère qu’en général Jane et Tim sont du même avis. Donc, l’Item 1 est une bonne recommandation pour Tim. Cette approche n’est pas adaptée pour des millions d’utilisateurs. • Les recommandations sont faites en trouvant les items qui ont le même intérêt pour plusieurs utilisateurs. Tom et Sandra aiment l’Item 1 et l’Item 4. Cela suggère que, en général, les utilisateurs qui aiment l’Item 4 aimeront aussi l’Item 1, donc l’Item 1 pourra être recommander à Tim. Cette approche s’adapte à des millions d’utilisateurs et des millions d’items. Item to Item User to User NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012 15 Source : Bracha Shapira

16. Filtrage collaboratif – Techniques utilisées • Similarité : • Pearson’s correlation coefficients between 2 users, • Cosinus similarity measure • SVD – Matrix Factorization • Sélection du voisinage • Neighbourhood-based algorithms (kNN, …) • Rating Prediction • LSA • Association rules • … NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

17. Filtrage collaboratif – Avantages • Utilise des recommandations d’autres utilisateurs (score) pour évaluer l’utilité des items • l'essentiel est de trouver des utilisateurs ou groupes d'utilisateurs dont les intérêts correspondent à l'utilisateur courant • Plus il y a d’utilisateurs, plus il y a de scores : meilleurs sont les résultats NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

18. Filtrage collaboratif – Inconvénients • Trouver des utilisateurs ou groupes d’utilisateurs similaires est difficile • cold start problem – démarrage à froid • Nouvel utilisateur = Pas de préférences • Nouvel item = Pas de score • Faible densité de la matrice utilisateur/score • Évolutivité: • dans les systèmes avec un grand nombre d‘items et d'utilisateurs, le calcul croît linéairement; des algorithmes appropriés sont nécessaires • Portfolio Effect: Non Diversity Problem • Il n'est pas utile de recommander tous les films avec Antonio Banderas à un utilisateur qui a aimé l'un d'eux dans le passé • Sécurité • Privacy NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

19. Plan • Qu’est ce qu’un système de recommandation ? • Les méthodes les plus utilisées • Filtrage collaboratif • Basée sur le contenu • Hybride • Quelques variations • Un petit mot sur l’évaluation • La recommandation en BD et OLAP • Conclusion et perspectives NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

20. Basée sur le contenu Content-based: “Montrez-moi plus que ce qui ressemble à ce que j’ai aimé" NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

21. Basée sur le contenu – Présentation • Pour les recommandations basées sur le contenu, le système essaie de recommander des items qui correspondent au profil de l'utilisateur. • Le profil est basé sur les items que l’utilisateurs a aimé dans le passé ou sur les intérêts qu’il a explicitement définis. • Un RS basé sur le contenu fait coïncider le profil de l’item avec le profil de l’utilisateur pour décider de sa pertinence pour l’utilisateur. NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

22. Basée sur le contenu – Exemple User Profile update Read User Profile New books Match Recommender Systems recommendation 22 NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

23. Basée sur le contenu - Techniques • Ces systèmes utilisent le plus souvent un algorithme de “machine learning” pour obtenir un profil des préférences de l’utilisateur à partir d’exemples basés sur une description du contenu. • … NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

24. Basée sur le contenu – Avantages • Recommander des items similaires à ceux que les utilisateurs ont aimé dans le passé • Le profil des utilisateurs est la clé • Le matching entre les préférences de l'utilisateur et les caractéristiques des items fonctionne aussi pour les données textuelles • Pas besoin de données sur les autres utilisateurs. • Pas de problème de démarrage à froid ou de faible densité • Possibilité de faire des recommandations à des utilisateurs avec des goûts « uniques ». • Possibilité de recommander de nouveaux items ou même des items qui ne sont pas populaires NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

25. Basée sur le contenu – Inconvénients • Tous les contenus ne peuvent pas être représentés avec des mots-clés (exemple: les images, …) • Des items représentés par le même ensemble de mots-clés ne peuvent pas être distingués • Les utilisateurs avec des milliers d'achats/items sont un problème • Nouvel utilisateur : pas d’historique • “Over-specialization” : limitation aux items similaires • Les profils utilisateurs… • Pour produire des recommandations précises, l'utilisateur doit fournir un « feedback » sur les suggestions retournées - les utilisateurs n'aiment pas… • Entièrement basé sur les scores d’articles et de sujets d'intérêt: moins il y a de scores, plus l’ensemble de recommandations possibles est limité. • Il faut faire attention à l’évolution des intérêts de l’utilisateur et les prendre en compte • Impossible d’exploiter les jugements des autres utilisateurs NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

26. Plan • Qu’est ce qu’un système de recommandation ? • Les méthodes les plus utilisées • Filtrage collaboratif • Basée sur le contenu • Hybride • Quelques variations • Un petit mot sur l’évaluation • La recommandation en BD et OLAP • Conclusion et perspectives NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

27. Hybride Hybrid: combinaisons de différentes entrées et/ou composition de différents mécanismes NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

28. Hybride - Présentation • Combinaison du filtrage collaboratif et basé sur le contenu • 3 approches : • Monolitique • Parallèle • Pipeline NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

29. Plan • Qu’est ce qu’un système de recommandation ? • Les méthodes les plus utilisées • Filtrage collaboratif • Basée sur le contenu • Hybride • Quelques variations • Un petit mot sur l’évaluation • La recommandation en BD et OLAP • Conclusion et perspectives NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

30. Quelques variations… • Knowledge based RS • Utilise les informations des utilisateurs et des items • L'interaction conversationnelle est utilisée pour établir les préférences des utilisateurs : « plus comme ci », « moins comme ça », « aucun de ceux là », … • Cluster Models • Crée des clusters ou des groupes • Met un utilisateur dans une catégorie • La classification simplifie la tâche de “matching” entre utilisateurs • Plus d'évolutivité et de performances • Un peu plus précis que le filtrage collaboratif classique • Graph-based method • Principe de la propagation d’activité • Utilise les chemins de longueur > 3 pour recommander des items NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

31. Plan • Qu’est ce qu’un système de recommandation ? • Les méthodes les plus utilisées • Filtrage collaboratif • Basée sur le contenu • Hybride • Quelques variations • Un petit mot sur l’évaluation • La recommandation en BD et OLAP • Conclusion et perspectives NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

32. Evaluation des systèmes de recommandation • Mean Absolute Error (MAE) calcule l’écart entre les scores prédits et les scores réels. • Root Mean Square Error (RMSE) , similaire à la MAE, mais met l’accent sur les plus grands écarts • Rappel et précision • Le « rank score » est défini comme le rapport entre le score des items corrects et le meilleur score théorique réalisable pour l'utilisateur • … NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

33. Plan • Qu’est ce qu’un système de recommandation ? • Les méthodes les plus utilisées • Filtrage collaboratif • Basée sur le contenu • Hybride • Quelques variations • Un petit mot sur l’évaluation • La recommandation en BD et OLAP • Conclusion et perspectives NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

34. Les systèmes de recommandation en BD et OLAP • Recommandations en bases de données : • Etant donnés : • Un log de requêtes • Une base de données • Une session courante • Soit • Q : ensemble de requêtes • S : ensemble de sessions • u : fonction d’utilité d’une requête q pour une session s • Alors choisir la requête q’ non encore évaluée de Q qui maximise l’utilité pour chaque session s de S NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

35. Les systèmes de recommandation en BD et OLAP (2) • Approches basées sur : • Exploitation du profil d’utilisation (Cuppens+:DSS’91, Jerbi+:DAWAK’09) • Analyse pilotée par la découverte (Sarawagi:VLDB’99-VLDB’00-VLDB’01, Cariou+:DAWAK’08, Giacometti+:IJDWM’09) • Exploitation du log de requêtes (Sapia:DMDW’99-DAWAK’00, Chatzopoulou+:SSDBM’09, Yang+:ICDE’09, Negre:09) NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

36. Les systèmes de recommandation en BD et OLAP (3) • Requête : {Rouge}X{Centre, Limousin}X πAnnée(Temps)X{Montant} • Références : {<Montant, Rouge, Centre, 2007>, <Montant, Rouge, Limousin, 2007> <Montant, Rouge, Centre, 2008>, <Montant, Rouge, Limousin, 2008>} • Résultats : NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

37. Exploitation du profil NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

38. Analyse pilotée par la découverte NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

39. Exploitation du log de requêtes NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

40. Plan • Qu’est ce qu’un système de recommandation ? • Les méthodes les plus utilisées • Filtrage collaboratif • Basée sur le contenu • Hybride • Quelques variations • Un petit mot sur l’évaluation • La recommandation en BD et OLAP • Conclusion et perspectives NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

41. Conclusion • Les systèmes de recommandation ont leurs racines dans de nombreux domaines de recherche : • Recherche d’information • Filtrage d’information • Classification de texte • … • Ils utilisent des techniques issues de différents domaines : • Machine learning • Data mining • … • Et abordent différents sujets : • Algorithmes de recommandation • Approches collaboratives, basées sur le contenu, hybrides, … • Evaluation des RS • … NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

42. Perspectives • Amélioration des techniques de filtrage collaboratif • Utiliser plus de sources de données (tagging data, demographic information, and time data) • Combiner des techniques • … • Multicriteria recommender systems • Exploiter les scores multicritères qui contiennent de l’information contextuelle, pour améliorer les recommandations • Context awareness • Prendre en compte les aspects temporel, géographiques, … • Contexte émotionnel (“Je suis tombée amoureuse d’un garçon. Je veux voir un film romantique.") • … • Group recommendations • Améliorer les modèles d’interactions • Traitement du langage naturel, • Dialog-based systems for interactive preference, and • Passage des RS classiques aux “conseillers virtuels”. • Les techniques de recommandation vont fusionner avec d’autres champs de recherche • User modeling • Personalized reasoning • … • … NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012

43. Questions ? NEGRE Elsa - Systèmes de recommandation - Lens - 25/06/2012