Principles of Mixed-Initiative User Interfaces

1. Principles of Mixed-Initiative User Interfaces Interfaces Intelligentes Youssef KASSID M.DESMARAIS KASSID Youssef Automne 2013 Interfaces Intelligentes

2. Introduction. • Les Principes de l’Initiative Mixte UI. • Le Système LookOut. • Les objectifs de l’utilisateur. • Certitude et action • L’attention utilisateur & le timing de service • Machine pour l’apprentissage continu • Conclusion Plan KASSID Youssef Automne 2013 Interfaces Intelligentes

3. Introduction Développer des services automatisés Agent d’interface # Chercheurs Tendance à la divergence des intérêts Manipulation directe Manipuler directement les interfaces KASSID Youssef Automne 2013 Interfaces Intelligentes

4. Objectif : Service automatisé Mixed-initiative UI Manipulation directe Introduction KASSID Youssef Automne 2013 Interfaces Intelligentes

5. les principaux problèmes a l’utilisation des services automatisés dans des interfaces: • Le système ne peut pas deviner les objectifs et les besoins de • l’utilisateur. • Considération inadéquate des coût et des avantages des actions automatisées. • Mauvais timing de l’action automatisée. Difficulté a l’utilisateur de guider l’invocation de services automatisés Difficulté d’affiner les résultats non optimaux générés par les services automatisés. Les principes de mixte initiative UI KASSID Youssef Automne 2013 Interfaces Intelligentes

6. Les facteurs critiques pour l’intégration effective des services automatisés avec la manipulation directe: • 2-prise en considération de l’incertitude sur les objectifs de l’utilisateur . • 3-Prise en considération de l’attention de l’utilisateur dans le choix du temps de service . • 1-L'automatisation a une valeur ajoutée significative. • 5-Utilisation des boites de dialogue pour résoudre les principales incertitudes. • 6-Permettre a l’utilisateur une invocation directe efficace et résiliation . • 4-Déduire l’action idéale en prenant compte les coûts, les avantages et les incertitudes . • 9-Fournir un mécanisme pour une collaboration efficace Agent-utilisateur afin d’affiner le résultat . • 8-Cadrer la précision de service à la hauteur de l’incertitude, variations des objectifs de l’utilisateur • . 7-Minimiser le coût de mauvaise supposition sur l'action et le timing • 10-Utilisation des agents dotés d’un comportement social pour les interactions agent-utilisateur. • 11-maintenir la mémoire de travail des interactions récentes. • 12-Système d’apprentissage • continu Les principes de mixte initiative UI KASSID Youssef Automne 2013 Interfaces Intelligentes

7. Il a comme principale fonction: LookOut Identifier les nouveaux message ouverts Aider les utilisateurs a concevoir ou a revoir leur calendrier et les RDV qui composent ce calendrier Le système LookOut KASSID Youssef Automne 2013 Interfaces Intelligentes

8. Service a valeur ajoutée: LookOutinvoked Analyse le corps et le sujet du message. Tente d’identifier une date et une heure associées à un évènement dans le corps du message. prendre la date d’envoi du message comme une date de référence. Appelle le sous- système d’Outlook calendrier. Soulève le carnet de RDV de l’utilisateur. tente de remplir ce carnet. Affiche ses suppositions à l'utilisateur et permet à l'utilisateur de modifier ces suppositions et sauvegarde le résultat final. Le système LookOut KASSID Youssef Automne 2013 Interfaces Intelligentes

9. - LookOuta des connaissances sur les modèles typiques d’expression dans un courriel électronique sur les réunions et les heures. - Le système comprend aussi les implications temporelles et les différents moments dans le future : « sometime tomorrow», «later in the week», «nextweek»,…. etc Prototype de la journée : «morning», «afternoon», «evening». Les événements récurrents : «at breakfast», «grab lunch», «meet for dinner»...etc. - L’analyse effectuée par Lookout réduit le nombre d'interactions et la complexité de navigation requise de l'utilisateur. - Sans Lookout, les utilisateurs doivent accéder au bouton ou d'un menu graphique approprié pour ouvrir leur calendrier, recherche pour la journée échéant, saisir les moments appropriés et remplir l'objet de la réunion. - Lookout effectue cette opération automatiquement ou par l'intermédiaire d'une seule interaction, en fonction de la modalité sélectionnée. Même quand Lookout devine incorrect, l'utilisateur est placé dans une position à peu près correcte dans le calendrier et peut affiner une estimation approximative de la nomination implicite. Le système LookOut KASSID Youssef Automne 2013 Interfaces Intelligentes

10. Prise des décisions dans l’incertitude: En se basant sur l’en-têt, le sujet et le corps du message, lookout attribue la probabilité qu’un utilisateur souhaite consulter le calendrier ou planifier un RDV en employant un système de classification probabiliste. En fonction de la probabilité et sur une évaluation des coûts et avantages escomptés de l’action, le système décide soit de ne rien faire, mais simplement attendre la poursuite de la manipulation directe d'Outlook ou une invocation manuelle de Lookout, pour engager l'utilisateur dans un dialogue au sujet de ses intentions en ce qui concerne la fourniture d'un service. Le système LookOut KASSID Youssef Automne 2013 Interfaces Intelligentes

11. Modalité d’interaction multiple: LookOut Peut être configurer Manuel Assistance automatisée Action Symbole d’alerte Agent social Boite de dialogue Clique sur icone Le système LookOut Personnage animé KASSID Youssef Automne 2013 Interfaces Intelligentes

12. Le système LookOut KASSID Youssef Automne 2013 Interfaces Intelligentes

13. Engager l’utilisateur a un dialogue naturel en réduisant l’utilisation de la souris et du clavier Text-to-speach(TTS) Agent Social Main libre Reconnaissance vocale Le système LookOut KASSID Youssef Automne 2013 Interfaces Intelligentes

14. + Evaluation des objectifs Evaluation des objectifs - Renseigne sur l’intérêt de l’utilisateur Personnage apparait soit Motionne a l’utilisateur ou ou Préparait un calendrier Voir le calendrier Voir les RDV Créer un RDV Provisoire LookOut attend une réponse vocale de la part de l’utilisateur Le système LookOut KASSID Youssef Automne 2013 Interfaces Intelligentes

15. L'utilisateur peut indiquer via discours que la nomination est souhaitée avec l'une des nombreuses reconnaissances naturelles: «yes »,«yeah», «sure», «do it». Si l'utilisateur est désintéressé: « no», «not now»,«nah»,«go away». Le système LookOut KASSID Youssef Automne 2013 Interfaces Intelligentes

16. Le système LookOut KASSID Youssef Automne 2013 Interfaces Intelligentes

17. Le système LookOut KASSID Youssef Automne 2013 Interfaces Intelligentes

18. LookOut s’appuie sur la classification automatique de texte pour prendre des décisions sur des actions. D'autres méthodes de classification de texte ont été explorées: - le classificateur bayésien naïf de texte. - le classificateur de texte basé sur le Support Vector Machine (SVM). La version actuelle de Lookoutattribue la probabilités d'intention de l'utilisateur en utilisant une classification de texte SVM basé sur une méthode d'approximation de SVM linéaire efficace développé par Platt Les objectifs de l’utilisateur KASSID Youssef Automne 2013 Interfaces Intelligentes

19. La méthode a été couplée avec une méthodologie. Dans cette approche nous exploitons les méthodes d'apprentissage et de raisonnement sur les objectifs probable de l’utilisateur. Pour le contexte d’un utilisateur revoie un email, nous souhaitons attribuer une probabilité que ce message e-mail qui vient de recevoir l'attention est dans la catégorie d’objectif que«l'utilisateur voudra planifier ou revoir un calendrier de cet e-mail" par rapport à la catégorie d’objectif que «l'utilisateur ne voudra pas planifier ou revoir un calendrier de cet e-mail" basé sur le contenu des messages. Les objectifs de l’utilisateur KASSID Youssef Automne 2013 Interfaces Intelligentes

20. Un classificateur linéaire SVM est construit par la formation du système sur un ensemble de messages qui sont pertinents et non pertinents. Lors de l'exécution, pour chaque message e-mail en cours d’analyse, la procédure de rapprochement linéaire de SVM émet la probabilité que l'utilisateur voudra mettre en place un calendrier ou un rendez-vous. La version actuelle de Lookout a été formée initialement d’​​environ 1000 messages, divisés en 500 messages dans les messages non pertinents et 500 dans les messages pertinents. Les objectifs de l’utilisateur KASSID Youssef Automne 2013 Interfaces Intelligentes

21. Quelles actions automatisées devraient être prises? Les actions automatisées ne devraient être prises que lorsqu'un agent croit qu'ils auront plus de valeur attendue que l'inaction pour l'utilisateur, en tenant compte les objectifs de l'utilisateur. Certitude et action KASSID Youssef Automne 2013 Interfaces Intelligentes

22. Actions, intentions et résultats: Dans LookOut la probabilité qu’un utilisateur désire un agenda est calculé à partir des indices dans des modèles de texte contenues dans un message qui a été récemment ouvert. Certitude et action KASSID Youssef Automne 2013 Interfaces Intelligentes

23. Pour les décisions concernant l'action ou l'inaction, il faut considérer quatre résultats déterministes: Desired Goal Not Desired Certitude et action KASSID Youssef Automne 2013 Interfaces Intelligentes

24. On calcule l’utilité attendue pour prendre une action automatisée par la combinaison des résultats des utilités dans le cas ou l’utilisateur désire un agent pour lui fournir un service ou non, pondéré par la probabilité de chaque résultats : eu(A|E)=p(G|E)u(A,G) + p(¬G|E) u(A,¬G) (1) en notant que : p(G|E)=1-p(¬G|E) Alors , l'utilité attendue de fournir un service autonome est: eu(A|E)=p(G|E)u(A,G) + [1-p(G|E)] u(A,¬G) (2) L’utilité attendue de ne pas agir d’une manière autonome est : eu(¬A|E)=p(G|E)u(¬A,G) + [1-p(G|E)]u(¬A,¬G) (3)* p(G|E) : la réalisation de G dépend de la réalisation de E. Certitude et action KASSID Youssef Automne 2013 Interfaces Intelligentes

25. Certitude et action KASSID Youssef Automne 2013 Interfaces Intelligentes

26. L'utilité espérée et les seuils d’action d’un agent: en regardant le graphe précèdent on observe qu’il y a un point d’intersection entre les 2 lignes, c’est le seuil de la probabilité p* ou la valeur attendue d’action ou d’inaction sont égaux. Si p(G|E) > p*  le système doit faire une action Si p(G|E) < p*  ne pas faire une action Si p(G|E) = p*  équation (2) = équation (3) • Le système doit juste comparer p* et p(G|E) pour décidé quoi faire. Certitude et action KASSID Youssef Automne 2013 Interfaces Intelligentes

27. Ce graphe montre comment p* peut être changer selon le changement du contexte. Dans ce cas, l'augmentation de l'utilité d'agiru(A,¬G) lorsque le service n'est pas désirée conduit à une diminution de la probabilité de seuil. Certitude et action KASSID Youssef Automne 2013 Interfaces Intelligentes

28. Le Dialogue est une option pour agir : Certitude et action KASSID Youssef Automne 2013 Interfaces Intelligentes

29. On peut considérer l'action de demander aux utilisateurs de leurs objectifs. u(D,G): le cas où un agent initie un dialogue sur un objectif et que l'utilisateur désire réellement l'objectif. u(D,¬G): et le cas où l'utilisateur ne désire pas l’objectif. L'utilité de s'engager dans un dialogue avec un utilisateur lorsque l'utilisateur ne dispose pas d’un objectif est généralement supérieure à l'utilité d'effectuer une action lorsque l'objectif n'est pas souhaité. l'utilité de dialoguer avecun utilisateur avant d'effectuer une action souhaitée est généralement plus petit que l'utilité de réaliser une action désirée lorsque l'utilisateur a un l'objectif. Certitude et action KASSID Youssef Automne 2013 Interfaces Intelligentes

30. Nous voyons que l'action peut être guidée par deux nouvelles probabilités de seuils: le seuil entre l'inaction et le dialogue, p*¬A,D , et le seuil entre dialogue et d'action, p*D,A. Ces deux seuils constituent un indice d'agir, d’engager l'utilisateur dans un dialogue, ou de ne rien faire, en fonction de la probabilité estimée que l'utilisateur possède un objectif. Certitude et action KASSID Youssef Automne 2013 Interfaces Intelligentes

31. L’activité automatisée peut être déclenchée avant que l’utilisateur soit prêt ce qui peut être gênant. Les retards dans la fourniture de services peuvent diminuer la valeur de l'automatisation. Solution: Ajouté d’un instrument à Lookout pour surveiller le temps écoulé entre l’analyse des messages et l'invocation manuelle des services de messagerie. Ces données recueillies de plusieurs utilisateurs permettent de construire un modèle temporel centré d'attention. L’attention utilisateur et le timing de service: KASSID Youssef Automne 2013 Interfaces Intelligentes

32. L’attention utilisateur et le timing de service: KASSID Youssef Automne 2013 Interfaces Intelligentes

33. LookOutest conçu pour continuer a apprendre auprès des utilisateurs, en observant l’utilisateur travailler sur email. • LookOut enregistre le temps pris par l’utilisateur avant l’invocation d’un service. • L'utilisateur peut spécifier une politique d’apprentissage continu. • L’utilisateur dicter un programme de formation qui guide le système d’une façon périodique afin d'affiner le modèle probabiliste et le modèle d’attention basé sur le temps. Machine pour l’apprentissage continu: KASSID Youssef Automne 2013 Interfaces Intelligentes

34. Durant cette présentation on vu : * Les principes pour la conception utilisateur-interfaces initiative mixte qui traite des problèmes systématiques avec l'utilisation d'agents qui peuvent souvent deviner les besoins de l'utilisateur. *Les interfaces qui permettent aux utilisateurs et aux agents intelligents de collaborer efficacement. *le principe de système de Lookout. *La combinaison élégante des agents automatisés et la manipulation directe. Conclusion KASSID Youssef Automne 2013 Interfaces Intelligentes

35. Merci de votre attention KASSID Youssef Automne 2013 Interfaces Intelligentes