2. Projektlenkungssitzung Smart Web European Media Lab (EML) Heidelberg, 16. Dezember 2005

1. 2. Projektlenkungssitzung Smart WebEuropean Media Lab (EML)Heidelberg, 16. Dezember 2005 Stand des Projektes Wolfgang Wahlster Deutsches Forschungszentrum für Künstliche Intelligenz GmbH Stuhlsatzenhausweg 3, Geb. 43.8 66123 Saarbrücken Tel.: (0681) 302-5252/4162 Fax: (0681) 302-5383/5341 E-mail: wahlster@dfki.de WWW: http://www.dfki.de/~wahlster

2. SmartWeb integriert vier aktuelle Forschungsgebiete Sprachtechnologie Semantisches Web Multimodaler Dialog SmartWeb Mobile Breitband- kommunikation Projektfolge mit systematischer Ergebnisverwertung: Verbmobil  SmartKom  SmartWeb Zweite SmartWeb-Projektlenkungssitzung

3. Der erste Meilenstein 1wurde termingerecht am 31.03.2005 erfüllt Realisierung der Gesamtarchitektur ü Serverbasiertes multimodales Demonstratorsystem V0.1 zu den Domänen WM-2006 und Kfz ü Basisontologien für die Domänen WM-2006 und Kfz und für die Diskursverarbeitung prototypisch definiert ü Verarbeitung unbekannter Orts- und Personennamen in der sprachlichen Interaktion ü Spin-off-Planung im Rahmen des Technologietransfers ü Zweite SmartWeb-Projektlenkungssitzung

4. Checkliste für Meilenstein 2Auf sehr gutem Wege bis zum 31.03.2006 Technologieüberprüfung für Hardware-Update (Mobiler Client) ü Server- und Client Forschungsprototyp V0.5 zu den Domänen WM-2006 und Kfz mit unbekannten Wörtern aus diesen Domänen ü Interaktionen für das Motorrad realisiert ü Ontologische Modellierung der Domänen stabil in einer ersten Version ü Signifikante Anzahl von Webseiten aus dem Sportbereich semantisch annotiert ü Robuste multimodale On-/Offtalk-Unterscheidung ü Zweite SmartWeb-Projektlenkungssitzung

5. SmartWebs Mobiles Endgerät: Vom Mobile Digital Assistent MDA III zum MDA Pro • MDA Pro • UMTS, WLAN • Bluetooth • Windows • Mobile 2005 • 2 Kameras • 640 x 480 VGA • Zugriff auf Benutzer- • kamera • MDA III • GPRS, WLAN • Bluetooth • Windows • Mobile 2003 • 1 Kamera • 320 x 240 Zweite SmartWeb-Projektlenkungssitzung

6. Übergang auf neuesteEndgerätegeneration der Telekom • Technologieüberprüfung für Hardware-Update (2. Meilenstein) bereits erfolgt: • MDA Pro ergänzt MDA III als persönliches Endgerät • PDA/Smartphone bietet zusätzlich UMTS (neben WLAN), integrierte Kamera für Benutzeraufnahme, sowie hochauflösende VGA-Bildschirmdarstellung mit wahlweise drehbarem Bildschirm (Hoch- und Querformat) • MDA Pro Nutzung für SmartWeb: • Gerät, neues Betriebssystem und Entwicklungswerkzeuge erst ganz kurz am Markt verfügbar • Basisportierung erfolgreich abgeschlossen (vorläufige Problemlösung für Inkompatibilitäten bei Audioanbindung konnte kurzfristig realisiert werden) • Kameraanbindung und Bildübertragung für MDA Pro erfordert noch höhere Implementierungsaufwände • Soll bis zum 2. Meilenstein für den WM-Demonstrator abgeschlossen sein • Experimentalaufbau mit externer, serverseitig angebundener Kamera für CeBIT • Portierung des gesamten lokalen Dialogsystems • Java-Umgebung für lokalen Spracherkenner, lokale Steuerungskomponente und Anbindung an die Sympalog-Plattform. Zweite SmartWeb-Projektlenkungssitzung

7. Optimierung der SmartWeb Bedienoberfläche • Schnelle Anpassung auf Breitkantformat möglich durch eigens entwickeltes Layout-XML-Format. • Einbinden der Handschrifterkennung im VGA-Modus. • Automatische Erkennung der Bildschirmausrichtung + automatisches Umschalten. • Reduktion des Speicherverbrauchs: Bei hoher Auflösung ist der Speicherbedarf extrem hoch, wenngleich der MDA Pro weniger Speicher zur Verfügung stellt. • CPU Auslastung verringern, da das neue Betriebssystem langsamer reagiert und bei hoher Auflösung mehr Rechenzeit erforderlich ist. • Videos flüssiger abspielen. Zweite SmartWeb-Projektlenkungssitzung

8. Adaption der Sympalog Dialogsystemplattform Die (modifizierte) Sympalog-Plattform leistet die Telefonie- sowie Endgeräteanbindung und macht die Verarbeitung multisession-fähig für den Mehrbenutzerbetrieb. Persönliches Endgerät Serverseitige Dialogverarbeitung Sprach- kanal CAPI (ISDN ) Multimodaler Erkenner Sympalog, FAU, UdS H.323 / SIP (VoiceIP ) A-Law Audio IP Nachrichten Semantic Web Zugriff Dialog- verarbeitung DFKI-IUI, EML Video SymClient Extended Audiomodul SymCTM Call & Task Manager Daten (Bedienoberfläche) Nachrichten A-Law Audio Sprachsynthese IMS Zweite SmartWeb-Projektlenkungssitzung

9. Neu: Mehrbenutzerfähigkeit skalierbare Serverfarm l l l l l l • Mit 3 parallelen mobilen Clients wurde SmartWeb bereits erfolgreich getestet • Pro Server können bis zu 30 Kanäle für SmartWeb bereitgestellt werden. Zweite SmartWeb-Projektlenkungssitzung

10. Vervollständigung aus dem Diskurs-Kontext Generischer Ansatz implementiert (Weiterführung des Ansatzes von SmartKom) Paraphrase zeigt die vervollständigte semantische Struktur Verarbeitung von Diskursphänomenen: Neu: Auflösung von Ellipsen Zweite SmartWeb-Projektlenkungssitzung

11. Neu: Paraphrasengenerierung • Vereinfachte Darstellung der semantischen Repräsentation • Zentral: Wonach wird gefragt? • Umkehrung der Analyse • Generierungsregeln für Konzepte der Ontologie • Traversierung des Ergebnisses der Sprachanalyse • Vereinfachung • Beibehaltung der inhaltstragenden Strukturen • Formatierung • Der Benutzer kann auf diese Weise das Sprachverstehen des Systems überwachen und ggf. korrigieren Zweite SmartWeb-Projektlenkungssitzung

12. Neu: Dialogkohärenz durch Ellipsenverarbeitung Zweite SmartWeb-Projektlenkungssitzung

13. Neu: Integration von Webdiensten mit aktueller Verkehrsinformation Zweite SmartWeb-Projektlenkungssitzung

14. Neu: Eingabe und Beantwortung von beliebigen Fragen in akustischer oder schriftlicher Form Zweite SmartWeb-Projektlenkungssitzung

15. Domänenoffene Fragebeantwortung • Erfolgreiche Integration der DFKI-Technologie des Forschungsbereichs Sprachtechnologie (Prof. Uszkoreit) für domänenoffene Fragebeantwortung in den SmartWeb-Demonstrator • Erweiterung der robusten Frageanalyse für Deutsch mit Schnittstellen zum Spracherkenner und der Bildextraktionskomponente • Formulierung optimaler Google-Anfragen unter Berücksichtigung der linguistischen Analyse • Antwortselektion zur Bestimmung der besten Kandidaten • Aktive Teilnahme an CLEF-2005 (Cross-Language Evaluation Forum) (Neumann et al. 2005; beste Ergebnisse für Deutsch und Englisch als Zielsprache; u.a. 43.5% (87/200) Akkuratheit für Task DE2DE, 25.5 % (51/200) für DE2EN) • Prototyp für sprachunabhängige Fragebeantwortung aus Web-Snippets basierend auf statistischen Verfahren als Grundlage für englisches System (Figueroa & Neumann, Paper für WEBIST06) Zweite SmartWeb-Projektlenkungssitzung

16. Neu: Automatische Extraktion und Annotation von Bildern aus PDF-Dokumenten im Web 10% der Webseiten im PDF-Format Google wertet Bilder im PDF-Dokumenten nicht aus, hier schließt SmartWeb eine Lücke → QUAERO-Projekt des BMWi Layout-Analyse zur Erkennung von Bildbeschriftungen, Mehrdeutigkeitsanalyse Gerber foult Wiesinger Zweite SmartWeb-Projektlenkungssitzung

17. ? Interaktiver intelligenter Zugriff Interaktive semantische Zugriffsdienste Freie Fragebe- antwortung Web-Ressourcen Web- Seiten AP 5.1 DFKI-LT, UdS, Siemens Agentenbasierter semantischer Zugriff AP 5.1.3.1/6.1.2 EML Web-Seiten Semantic Mediator AP 6.1.1 DFKI-KM Semantische Modellierung Dialog Web Service Zugriff AP 6.2.3 AIFB, DFKI-KM Web Services Semantisches Crawlen, voll- automatische Generierung semantischer Web-Seiten, Design,Lernen und Integration von Ontologien Ontologien & Faktenbasis Wissens- server TP 4 Ontoprise, AIFB, DFKI-KM Datenaustausch mittels RDF/S plus EMMA, DLP (OWL-Easy), XTriple, F-Logic Zweite SmartWeb-Projektlenkungssitzung

18. QUAERO: Mögliche SmartWeb-Nutzung in Deutsch-Französischem Mega-Projekt Entwicklung einer Infrastruktur für zukunftsweisende Technologien zur automatischen Verarbeitung multimedialer Inhalte: Digitalisierung, Indexierung, Archivierung, Recherche und Zugriff auf Schrifttum, Bilder, Videos und Audiodateien, wobei die Fähigkeit zum Umgang mit Inhalten in den verschiedenen europäischen Sprachen genauso integraler Bestandteil des Projektes ist, wie die Mobilität, Datensicherheit, Schutz der Privatsphäre. Anwendungen: u.a. multimediale Suchmaschinen, News-on-demand und Monitoring von Medien als Dienste Industriekonsortium: Bertelsmann, Siemens, Telekom, Koordination: Dr. Blume (DLR) Am 22.12. Spitzengespräch bei Bundeskanzlerin Merkel zu diesem Thema. Zweite SmartWeb-Projektlenkungssitzung

19. Bereits 2 Buchpublikationen aus SmartWeb • Author: Daniel Oberle • Series: The Semantic Web and Beyond, • Volume: I • Editors: Amit P. Sheth, Ramesh Jain • Foreword: Steffen Staab • Preface: Amit P. Sheth • Publisher: Springer Science+Business and Media • Release: December 2005 • Available @ amazon.com • http://www.aifb.uni-karlsruhe.de/WBS/dob/book/ Zweite SmartWeb-Projektlenkungssitzung

20. Bereits 2 Buchpublikationen aus SmartWeb Zweite SmartWeb-Projektlenkungssitzung

21. Neu: Entwicklerportal mit Komponentendatenbank • Ausbau des Entwicklerportals mit neuer „Datenbank“ zu SmartWeb Softwarekomponenten: • Stellt technische Information und Kurzbeschreibung in standardisierter Form bereit • Unterstützt den Technologietransfer • Bietet einfacheren Zugang zur notwendigen Dokumentation für die Systementwicklung • Aktuelle Version umfasst bereits rund 130 Datenblätter Zweite SmartWeb-Projektlenkungssitzung

22. SmartWeb-Treffen seit der ersten Projektstandsssitzung am 14.06.2005 14.06.2005 Erste Projektstandssitzung München 15.06.2005 Erste MoKo-Sitzung München 28.–29.06.2005 Workshop TP5 'On- und offline Extraktion von semantischen Strukturen' Saarbrücken 07.07.2005 Arbeitstreffen Einbindung der Kontextmodellierung Saarbrücken 07.07.2005 Arbeitstreffen Schnittstellenabsprache für die OnView/OffView/OnTalk/OffTalk-Erkennung Erlangen 08.07.2005 Arbeitstreffen serverbasierte Spracherkennung und Spracherkennung im KFZ Erlangen 20.07.2005 Arbeitstreffen Lernen von Domänenontologien Heidelberg 20.–21.07.2005 Workshop Motorradsystem München 28.–29.07.2005 Viertes Arbeitstreffen Ontologieabstimmung, Dialog, Mediator und offline IE Karlsruhe Zweite SmartWeb-Projektlenkungssitzung

23. SmartWeb-Treffen seit der ersten Projektstandsssitzung am 14.06.2005 01.09.2005 Arbeitstreffen zur Ontologieabstimmung und -integration Heidelberg 14.09.2005 Arbeitstreffen zur Integration der Kontextmodellierung Saarbrücken 26.10.2005 Arbeitstreffen Web Services Modellierung Karlsruhe 27.10.2005 Vierte Lenkungskreissizung Stuttgart 28.10.2005 Arbeitstreffen zur LingInfo-Abstimmung Kaiserslautern 31.10.2005 Arbeitstreffen Englisches System: Speech Erlangen 02.–03.11.2005 Arbeitstreffen Englisches System: Language Processing and Extraction Saarbrücken 15.11.2005 Arbeitstreffen Merkmalberechnung für die Erkennung von Worten und Wortuntereinheiten Erlangen 06.12.2005 Zweiter Gesamtworkshop Saarbrücken Zweite SmartWeb-Projektlenkungssitzung

24. Außendarstellung seit der ersten Projektstandssitzung am 18.10.2004 05.07.2005 SmartWeb-Demo für Nick Campbell, ATR 15.07.2005 SmartWeb-Demo für Saarlandbotschafter 18.07.2005 SmartWeb-Demo für Telekom Laboratories 01.08.2005 SmartWeb-Demo für Prof. Toru Ishida 10.10.2005 SmartWeb-Demo für MinR Dr. Manfred Dietrich (BMBF) 09.11.2005 Filmbericht der ARD (SR, Aktueller Bericht) im Rahmen der Pressekonferenz "Microsoft - Saarland - DFKI" 16.11.2005 SmartWeb-Demo für Adam Opel AG Zweite SmartWeb-Projektlenkungssitzung

25. Terminplanung • PLS-01 16.12.2005 EML, Heidelberg • LK-05 09.02.2006 ? IMS, Stuttgart • PSS-02 14.06.2006 DTAG, Berlin • WM-Demo 17.06.2006 ? Fritz-Walter-Stadion (Italien:USA) Kaiserslautern • Ort der Ideen 22.09.2006 DFKI, Saarbrücken Presseevent der Bundesregierung Deutschland – Land der Ideen mit Verabschiedung Dr. Reuse, große SmartWeb-Demonstration Zweite SmartWeb-Projektlenkungssitzung