Presentaci ó n de las actividades

1. Presentación de las actividades Director: Jean Caelen E-mail : Jean.Caelen@imag.fr Web : www-clips.imag.fr

2. Tutelas

3. La sociedad de la información • Estudiar, diseñar y evaluar nuevos medios de comunicación y de trabajo • entre personas • con computadoras Convergencia entre + telecomunicación + informática

4. Temas de investigación Interacción persona-sistema Interacciones humanas electrónicas Herramientas multimedia y hipermedia para la educación Búsqueda de información multimedia en el Web Indices sobre los documentos multimedia (sonidos, imágenes, video) Ingenería de la interacción y nuevas interfaces multimodal Interfaces colaborativas, realidad aumentada Interacción con la palabra y diálogo hombre-máquina Tratamiento de la lengua y multilingüismo Tratamiento de la voz y del sonido

5. Equipos de investigación ARCADE (J.P. Peyrin, prof. UJF) Plataforma para Realizar Aplicaciones de Educación GEOD (J.F. Serignat, MCF INPG) Grupo de Investigación sobre la Voz y el Diálogo GETA (C. Boitet, prof. UJF) Grupo de Investigación sobre la Traducción Automática IIHM (J. Coutaz, prof. UJF) Ingenería de la Interacción Hombre-Máquina MRIM (M.F. Bruandet, prof. UJF) Modelización y Búsqueda de Informaciones Multimedia

6. MultiCom • Una plataforma tecnológica para : • Estudiar los usos y la utilisabilidad en situación de trabajo • Crear, desarollar y evaluar a los sistemas • en, • Experimentando escenarios de uso • Simulando maquetas • Y ofrecer al mundo industrial • Una red de competencias multidisciplinarias (sociología de los usos, ergonomía, ingenería) • Herramientos y métodos • Una formación especializada para ingenieros Acercamiento centrado usuario

7. Valorización 1998 : Creación de la start-up NOVADIS, consejo en ergonomía 1999 : Creación de la start-up ARLYS, servicio de explotación de redes de educación 2000 : Creación de la start-up SpatioGuide, servicio vocal de ayuda a los peatones ciegos 2001 : Creación de la start-up Dmailer, sortear automaticamente los mensajes electrónicos sobre el contenido lingüístico

8. Principales proyectos C-STAR : Traducción de diálogos en el campo del turismo (ATR Japan, ETRI Corea, CMU USA, ISL Alemania, IRST Italia) RICOM : Búsqueda de información Interactiva, Colaborativa y Multimodal FORMID : FORMación Interactiva a Distancia Espacios perceptivos y objetos comunicantes : (tele-médica, domótica, arqueología…) Realidad aumentada : Pizarra mágica, Mesa de diseño, Cirurgia

9. Tratamiento de la lengua y de la voz C-STAR : Consortium for Speech Translation Advanced Research (Japan, Corea, USA, Alemania, Italia, Francia) NESPOLE! (EU project) : NEgotiating through SPOken Language in E-commerce (USA, Alemania, Italia, Francia)

10. El cliente habla con un agente de viaje en su propria lengua Proyecto C-STAR Traducción de diálogos entre humanos Aplicación al turismo y al comercio electrónico

11. Modulos lingüísticos : 2 caminos posibles Reconocimiento de la palabra Texto en lengua de entrada Análisis hacia IF Traducción texto IF Generación Texto en lengua de salida Síntesis de la palabra

12. Interchange Format • Representación del sentido independiente de las lenguas • Representación edificada sobre los • Actos de habla • Lo que quiere o lo que hace • Conceptos • De que se habla (focus de la información) • Argumentos • Valores de las variables del discurso « Tengo una habitación doble » • give-information • +availability+room • room-type=(single ; double)

13. IF : beneficios • N lenguas de salida posibles por el precio de una • Ejemplo • Posibilidad de « retroconstruir » en francés para el control o la verificación Análisis hacia IF IF Generación

14. Los componentes : “reconocimiento de voz” • Reconocimiento « multilocutor » • vocabulario (centrado sobre el turismo) de 64k palabras • palabra continua y espontánea • Arquitectura « cliente-servidor » • Modulo RAPHAEL construido sobre la herramienta de JANUS III • en cooperación con las universidades de Karlsruhe y de Carnegie Mellon • Proyecto de ricerca con INAOE y IIMAS por el español-mexicano

15. “Francés hacia IF” • Entrada :trascripción ortográfica de la palabra (texto) • Análisis morfológico y lematisación de las palabras • Primer análisis con el diccionario de traspaso francés-IF • Análisis sintáctico y reconocimiento de las estructuras gramaticales semánticamente pertinentes • Datos, cuantos, nombres, precios, etc. • Segundo análisis con el diccionario de traspaso francés-IF • Generación sintáctica y morfológica de la IF • Salida :texto en lengua IF

16. sala de prensa El 22 de julio 1999 a Grenoble cliente agentes

17. Busqueda de informacion • RICOM : Búsqueda Interactiva, Colaborativa y Multimodal • de información • HALPIN : Diálogo hombre-máquina en el Web • CoVitesse : Navegación cooperativa en una gran cantidad de información

18. Qué hay en el tema ... e, inteligencia artificial ? Tengo 1206 documentos en el tema inteligencia artificial. Quisiería precisar su pregunta? HALPIN : Diálogo en languaje natural para la búsqueda de informaciones en el Web El usuario dialoga con el sistema HALPIN. El dice su pregunta con la voz y la máquina responde de la misma manera. La respuesta es cooperativa : en este ejemplo, se hace una nueva pregunta con la finalidad de reducir la cantidad de documentos a consultar.

19. Histórico del diálogo Repuesta de la máquina Detalle de un documento Entrada de la pregunta al teclado Entrada del reconocimiento IBM ViaVoice Botones de control

20. VITESSE • Una interfaz gráfica en “ojo de pescado” • Búsqueda sobre una gran cantidad de documentos • Multimodal para la navegación

21. COVITESSE • Navegación colaborativa en el Web • Definición de los tipos de navegación : • “Twidale, M., Nichols, D., Paice, C. Browsing is a collaborative process.” • Preguntar a otro usuario, • Buscar con otros, participando sus búsquedas, • Mostrar y explicar, como un guía en un museo, un conjunto de páginas a grupos, • Sólo ver a la actividad del grupo.

22. Protócolos de las interacciones colaborativas Conflicto Visita guiada Navegación participante Alto Navegación libre Estilo Control Maximum Monodirectional Bajo Minimum Multidirectional Informal Grande Formal Pequeño Tamaño Modo de comunicación

23. Interfaz para la navegación colaborativa

24. Aplicación colaborativa : VITICOL • Navegación colaborativa y asíncrona • Pertinencia social y pertinencia "sistema" • Búsqueda de opinión a cada página visitada • Visibilidad de las estadísticas de opinión dentro de una lente mágica

25. Espacios perceptivos y comunicantes RESIDE-HIS : Casa Inteligente y Salud COMEDI : Comunicación Electrónica Informal

26. Domótica : sensores de información y inteligencia

27. Teléfono público Modem H Fusión de señales Dispositivo de salud a la casa Bus domótico Modem Decision local / distante Sensores fisiológicos - Memoria de eventos - Corazón - Identificación - Movimientos - Comunicación - Peso Senores de ruidos, de palabras

28. Mapa del piso experimental

29. CoMedi : Espacio de comunicación informal Focus, matriz Control Espejo : control y observación Zona de acceso

30. Ejemplos de filtros de publicación Cortina Video Poster

31. EigenSpace Filter Eigen Space Data basis de imágenes Imagen recibida Imagen vista

32. Clase virtual e distante Pizarra transparente FORMID : FORMación Interactiva a Distancia

33. Pizarra transparente

34. FORMID FORMID :FORMación Interactiva a Distancia Metáfora de una clase virtual GeneSimu es un generador para simular ejercicios. Esta simplificación a un campo dedicado permite a los diseñadores usar GenSimu para desarollar productos de educación Comedi Pizarra tansparente GeneSimu

35. Realidad aumentada Pizarra mágica : escritura natural y virtual Mesa de diseño : « brainstorming » aumentado Cirurgia : mejor control y seguridad

36. Pizarra mágica

37. Mesa de diseño

38. Cirurgia CASPER (Computer ASsisted PERicardial puncture) Ayuda al cirujano para conducir la operación con una aguja cerca del corazón

39. Problema general de ingeneria Cómo tener en todos lugares y sobre todos los dispositivos la misma calidad de información ? Es necesario decomponer la arquitectura del sistema sobre elementos tan concretos comó abstretos, en particular en función del contexto

40. ... un método Plataforma para experimentar (diseñar, desarollar y evaluar) sistemas interactivos MultiCom

41. Objetivos Estudiar los usos y la utilisabilidad Desarrollar y Evaluar a los sistemas con escenario de uso sobre prototipos o productos finales

42. Un buen inicio : enriquecer la idea El proceso de desarrollo en espiral Es muy importante para evitar paradas en el proceso enriquecer la idea del ingeniero antes de dasarrollar el producto considerando (a) El uso, (b) La utilidad, (c) El precio, (d) La técnica Funciones Diagnóstico Observación Idea CC Maqueta Evaluación Evaluación Escenario

43. El proceso empieza... Analizando el uso Analizando las funcionalidades Capturando la actividad del usuario => Para especificar el sistema

44. El proceso continua y se acaba... • Desarrollando el sistema • Evaluando el sistema final • las funcionalidades (uso) • la « ergonomía » (utilidad) • Con criterios de calidad

45. Una plataforma « mago de Oz » Dispositivo de observación Usuario Video de control Grabación sonora Magos

46. Para concluir… CLIPS es… • Un centro de ricerca de 100 personas con : • Una red de competencias multidisciplinarias (sociología de los usos, ergonomía, ingenería) • Una plataforma de herramientas de captura del comportamiento y de métodos de análisis cognitivos MultiCom