Dokumentverarbeitung und Textzusammenfassung

1. Dokumentverarbeitung und Textzusammenfassung Prof. Dr. Manfred Stede AG Angewandte Computerlinguistik Institut für Linguistik Universität Potsdam

2. 19 March. A bomb went off this morning near a power tower in San Salvador leaving a large part of the city without energy, but no casualties have been reported. According to unofficial sources, the bomb allegedly detonated by urban guerrilla commandos blew up a power tower in the northwestern part of San Salvador at 0650. Informationsextraktion  Manfred Stede

3. 19 March. A bomb went off this morning near a power tower in San Salvador leaving a large part of the city without energy, but no casualties have been reported. According to unofficial sources, the bomb allegedly detonated by urban guerrilla commandos blew up a power tower in the northwestern part of San Salvador at 0650. Informationsextraktion  Manfred Stede

4. 19 March. A bomb went off this morning near a power tower in San Salvador leaving a large part of the city without energy, but no casualties have been reported. According to unofficial sources, the bomb allegedly detonated by urban guerrilla commandos blew up a power tower in the northwestern part of San Salvador at 0650. Informationsextraktion  Manfred Stede

5. Automatische Zusammenfassung • Ziel: Aus langem Text erstelle kurzen Text • System bietet Kurzfassung an, Leser/in kann dann entscheiden, ob Originaldokument lesenswert ist • E-Mail „gisting“, z.B. für mobile Applikationen • Web-Recherche - schnell Überblick verschaffen • Problem: Identifizieren der „wichtigen“ Informationen • ...unabhängig von der inhaltlichen Domäne! •  Techniken der Informationsextraktion nicht verwendbar Manfred Stede

6. Grundlage: Statistik (Luhn 58) • TF/IDF Gewichtung • Idee: „wichtige“ Wörter sind im fraglichen Text häufig, im gesamten Textbestand jedoch selten • Sei N: Anzahl aller Texte • Sei Df(w): Anzahl der Dokumente (document frequency), in denen Wort w vorkommt • Idf(w) := log(N / Df(w)) (inverted document frequency) • Sei Tf(w) die Häufigkeit des Wortes w (term frequency) im Text • Tf(w) * Idf(w): Maß für die Gewichtung des Wortes w im Text • Ermittele die „wichtigen“ Wörter des Textes nach Tf*Idf • Wähle diejenigen Sätze aus, in denen die wichtigen Wörter am häufigsten auftreten. Fertig ist die Zusammenfassung! •  Zusammenfassung = Extraktion Manfred Stede

8. 1. Einleitung: RIU Die zur World of TUI gehörende RIU-Gruppe besticht weltweit durch sehr gute Anlagen der gehoben Preis- und Qualitätsklasse mit herausragendem Service. Daher versuche ich eigentlich immer meinen Erholungsurlaub in einem der Hotels dieser Kette zu genießen. 2. Lage: Hotel RIU Gran Canaria Das 4****-Hotel liegt im Süden Gran Canarias, bei Maspalomas. Zu den bekannten Dünen sind es etwa 1000 Meter entlang der neuen und sehr sauberen Küstenpromenade, die erst 2002 fertig gestellt wurde. Den Leuchturm erreicht man bereits nach 700 Meter. Dort befindet sich auch der nächste Geldautomat der Deutschen Bank. Zwischen Leuchtturm und Hotel liegt ein recht großes Einkaufszentrum mit Supermarkt, Apotheke usw. 3. Die Hotelanlage Das Hotel wurde 2000 eröffnet, so das die Einrichtung noch nicht abgenutzt ist. Die Außenfassade wirk zwar ziemlich luxuriös, allerdings herrscht trotzdem eine überraschend ungezwungene Atmosphäre. Da das Hotel auch eine eigene Kinderanimation bietet, findet man viele Familien in der Anlage. Die Kinder stören aber den Erholungsbetrieb nicht, da das Hotel sehr weitläufig ist. Besonders bemerkenswert finde ich hier die sehr großzügige Poolanlage mit 3 großen Pools, einer davon für Kinder. In dier poolanlage befindet sich auch das Poolrestaurant und zusätzlich noch eine Bar. <...> 6. Preise Das Hotel ist zwar recht teuer, aber das Geld auf jeden Fall wert. Man kommt deutlich günstiger wenn man über ein Reiseunternehmen bucht (TUI). 7. Meine Meinung Der Aufenthalt im RIU Gran Canaria gehört zweifelslos zu meinen schönsten Urlauben und ich überlege bereits ob ich dort nicht nächstes Weihnachten wieder verbringen sollte. Von der Qualität des Services her ist das Hotel auf jedem Fall 5***** Sterne wert.

9. 1560506043 Minibar 1149846558 Fazit 1067714661 Supermarkt 1012960063 Aerobic 930828166 Sauna 876073568 Tischtennis 821318970 Albatros 684432475 Gartenanlage 629677877 Salate 602300578 Luxor 588611928 Bungalows 564783538 Strand 554390304 Balkon 547545980 Boccia 547545980 Billard 531119600 Hotel 506480031 Verpflegung 492791382 RIU 492791382 Aufpreis 465414083 Urlauber 438036784 Badezimmer 434614621 Abendessen 410659485 Müsli 383282186 Volleyball 383282186 Liegestühle 383282186 Fußball 365030653 Ausflug 355904887 Haan 355904887 Diskothek 328527588 Schlafzimmer 328527588 Raucher 328527588 Kleiderschrank 328527588 Dinar 328527588 Bakschisch 322443743 Zimmer 301150289 Kreta ..... Manfred Stede

10. 1. Einleitung: RIU Die zur World of TUI gehörende RIU-Gruppe besticht weltweit durch sehr gute Anlagen der gehoben Preis- und Qualitätsklasse mit herausragendem Service. Daher versuche ich eigentlich immer meinen Erholungsurlaub in einem der Hotels dieser Kette zu genießen. 2. Lage: Hotel RIU Gran Canaria Das 4****-Hotel liegt im Süden Gran Canarias, bei Maspalomas. Zu den bekannten Dünen sind es etwa 1000 Meter entlang der neuen und sehr sauberen Küstenpromenade, die erst 2002 fertig gestellt wurde. Den Leuchturm erreicht man bereits nach 700 Meter. Dort befindet sich auch der nächste Geldautomat der Deutschen Bank. Zwischen Leuchtturm und Hotel liegt ein recht großes Einkaufszentrum mit Supermarkt, Apotheke usw. 3. Die Hotelanlage Das Hotel wurde 2000 eröffnet, so das die Einrichtung noch nicht abgenutzt ist. Die Außenfassade wirk zwar ziemlich luxuriös, allerdings herrscht trotzdem eine überraschend ungezwungene Atmosphäre. Da das Hotel auch eine eigene Kinderanimation bietet, findet man viele Familien in der Anlage. Die Kinder stören aber den Erholungsbetrieb nicht, da das Hotel sehr weitläufig ist. Besonders bemerkenswert finde ich hier die sehr großzügige Poolanlage mit 3 großen Pools, einer davon für Kinder. In dier poolanlage befindet sich auch das Poolrestaurant und zusätzlich noch eine Bar. <...> 6. Preise Das Hotel ist zwar recht teuer, aber das Geld auf jeden Fall wert. Man kommt deutlich günstiger wenn man über ein Reiseunternehmen bucht (TUI). 7. Meine Meinung Der Aufenthalt im RIU Gran Canaria gehört zweifelslos zu meinen schönsten Urlauben und ich überlege bereits ob ich dort nicht nächstes Weihnachten wieder verbringen sollte. Von der Qualität des Services her ist das Hotel auf jedem Fall 5***** Sterne wert.

11. Mögliche Extrakt-Probleme • Pronomina • In Deutschland sind 5 Mio Menschen arbeitslos. Der Bundeskanzler handelt aber nicht.Er hat ein Konjunkturprogramm abgelehnt. • Temporale und lokale Anaphern • In Deutschland sind 5 Mio Menschen arbeitslos. Am vergangenen Montag beriet der Bundeskanzler sich mit den Ministerpräsidenten der Länder.Am nächsten Tag traf Schröder den Arbeitgeberpräsidenten. • Definite NPs • In Deutschland sind 5 Mio Menschen arbeitslos. Dies rief gestern auch den Bund der Steuerzahler auf den Plan.Der Vorsitzende forderte ein Vereinfachung des Steuersystems. Manfred Stede

12. Mögliche Extrakt-Probleme • Komparative • In Deutschland sind 5 Mio Menschen arbeitslos. Die Erwerbslosenquote stieg um zwei Prozent. Noch höher war der Anstieg in Ostdeutschland. • Konnektoren • In Deutschland sind 5 Mio Menschen arbeitslos. Wirtschaftsminister Clement stellte gstern ein rasches Hilfsprogramm der Bundesregierung in Aussicht.Dennoch zeigten die Gewerkschaften sich nicht zufrieden. Manfred Stede

13. Mögliche Extrakt-Probleme • Statistisch nicht signifikante Sätze können gleichwohl „wichtig“ sein: • Schulze (1994) hat ein Verfahren für die Gewichtung von Termen in Dokumenten vorgeschlagen. Es funktioniert aber nicht. • Redundanz: Taucht dieselbe oder sehr ähnliche Information mehrfach im Text auf, wird sie auch mehrfach extrahiert Manfred Stede

14. Beyond extraction:PINK-Projekt SUMMaR • Zusammenfassung verschiedener Dokument-Typen mit statistischer und linguistischer Analyse • Technischer Ansatz: „Baukasten“ aus Textanalysemodulen, strikt XML-basiert • Rolle der Linguistik: • Robuste syntaktische Analyse • (Partielle) Ableitung von Ko-Referenz • (Partielle) Ableitung der rhetorischen Textstruktur • Textsorten-Wissen: Textaufbau, Relevanz-anzeigende Formulierungen Manfred Stede

15. Soll der Steglitzer Kreisel abgerissen werden? Alles spricht gegen den Steglitzer Kreisel. Selbst wenn man vergisst, dass der olle Schuhkarton in bester Lage einst ein privates Prestigeobjekt war, das der öffentlichen Hand fürteures Geld aufgenötigt wurde. Ein Symbol der West-Berliner Filzwirtschaft in den späten sechziger Jahren. Aber lassen wir das ruhig beiseite. Der Kreisel ist Asbest verseucht. Nicht nur hier und da, sondern durch und durch. Zwar könnte man, wie beim Palast der Republik, den Bau bis aufs wackelige Stahlskelett entkleiden und neu aufbauen. Aber das würde mindestens 84 Millionen Euro, vielleicht auch das Doppelte kosten. Was fürein Preis fürdie Restaurierung eines städtebaulichen Schandflecks, der seit mehr als dreißig Jahren Schatten auf die nette, gutbürgerliche Umgebung wirft. Von allen Seiten versperrt der Kreisel die Sicht. Er ist keine Sehenswürdigkeit. Und fürdie Mitarbeiter des Bezirks Steglitz, die im Hochhaus arbeiten, kann die Lebensqualitätbei einem Umzug in ein anderes Dienstgebäude nur steigen. Der Kreisel ist auch innen hässlich, zudem zugig und Energie verschleudernd. Einzig brauchbar ist die gute Verkehrsanbindung und der Blick aus dem 24. Stock auf den Süden Berlins. Aber beides rechtfertigt es nicht, das marode Gebäude zu sanieren. Fürdas viele Geld kann man fast zwei neue, wirklich schöne Häuser bauen. Manfred Stede

16. Soll der Steglitzer Kreisel abgerissen werden? Alles spricht gegen den Steglitzer Kreisel. Selbst wenn man vergisst, dass der olle Schuhkarton in bester Lage einst ein privates Prestigeobjekt war, das der öffentlichen Hand fürteures Geld aufgenötigt wurde. Ein Symbolder West-Berliner Filzwirtschaft in den späten sechziger Jahren. Aber lassen wir das ruhig beiseite. Der Kreisel ist Asbest verseucht. Nicht nur hier und da, sondern durch und durch. Zwar könnte man, wie beim Palast der Republik, den Bau bis aufs wackelige Stahlskelett entkleiden und neu aufbauen. Aber das würde mindestens 84 Millionen Euro, vielleicht auch das Doppelte kosten. Was fürein Preis fürdie Restaurierung eines städtebaulichen Schandflecks, der seit mehr als dreißig Jahren Schatten auf die nette, gutbürgerliche Umgebung wirft. Von allen Seiten versperrt der Kreisel die Sicht. Er ist keine Sehenswürdigkeit. Und fürdie Mitarbeiter des Bezirks Steglitz, die im Hochhaus arbeiten, kann die Lebensqualitätbei einem Umzug in ein anderes Dienstgebäude nur steigen. Der Kreisel ist auch innen hässlich, zudem zugig und Energie verschleudernd. Einzig brauchbar ist die gute Verkehrsanbindung und der Blick aus dem 24. Stock auf den Süden Berlins. Aber beides rechtfertigt es nicht, das marode Gebäude zu sanieren. Fürdas viele Geld kann man fast zwei neue, wirklich schöne Häuser bauen. Manfred Stede

17. Soll der Steglitzer Kreisel abgerissen werden? Alles spricht gegen den Steglitzer Kreisel. Selbst wenn man vergisst, dass der olle Schuhkarton in bester Lage einst ein privates Prestigeobjekt war, das der öffentlichen Hand fürteures Geld aufgenötigt wurde. Ein Symbol der West-Berliner Filzwirtschaft in den späten sechziger Jahren. Aber lassen wir das ruhig beiseite. Der Kreisel ist Asbest verseucht. Nicht nur hier und da, sondern durch und durch. Zwar könnte man, wie beim Palast der Republik, den Bau bis aufs wackelige Stahlskelett entkleiden und neu aufbauen. Aber das würde mindestens 84 Millionen Euro, vielleicht auch das Doppelte kosten. Was fürein Preis fürdie Restaurierung eines städtebaulichen Schandflecks, der seit mehr als dreißig Jahren Schatten auf die nette, gutbürgerliche Umgebung wirft. Von allen Seiten versperrt der Kreisel die Sicht. Er ist keine Sehenswürdigkeit. Und fürdie Mitarbeiter des Bezirks Steglitz, die im Hochhaus arbeiten, kann die Lebensqualitätbei einem Umzug in ein anderes Dienstgebäude nur steigen. Der Kreisel ist auch innen hässlich, zudem zugig und Energie verschleudernd. Einzig brauchbar ist die gute Verkehrsanbindung und der Blick aus dem 24. Stock auf den Süden Berlins. Aber beides rechtfertigt es nicht, das marode Gebäude zu sanieren. Fürdas viele Geld kann man fast zwei neue, wirklich schöne Häuser bauen. Manfred Stede

18. document structure (XML) tokenized text Document StructureAnalysis Syntactic Analysis Statistical Analysis dependencystructures term relevance sentence relevance structure-basedrelevance Coreference Analysis coreference chains Summarizer doc info „backbone“

19. Mehrschichtige Repräsentation -------STAT/TS-RELEVANT------- -----PROGRESSION-1-NUC-------- -------------PROGRESSION-1-SAT------------- -------------EXTERN----------- ---------------INTERN------------- KON-1 REF-1 REF-{1,2} NP-DEF NP-DEF PIS VVFIN APPR ART NN NN ADV KOUS PIS VFIN KOUS ART ADJ NN Alles spricht gegen den Steglitzer Kreisel. Selbst wenn man vergisst, dass der olle Schuhkarton in Manfred Stede

20. Manfred Stede

21. Manfred Stede

22. Manfred Stede

23. Manfred Stede

24. Manfred Stede

25. Manfred Stede

26. Manfred Stede

27. XML-Toolbox für Dokumentverarbeitung • Komponenten • Dokumentstruktur-Repräsentation • Statistische Auswertung • Robuste syntaktische Analyse • Ko-Referenz Analyse • Ableitung der Diskursstruktur • Anwendungsfelder • Text-Zusammenfassung • Informationsextraktion • Frage-/Antwort Systeme • Automatische Übersetzung Manfred Stede

28. Zusammenfassung SUMMaR • Tf/Idf + Textsortenwissen Liste relevanter Sätze • Part-of-speech tagging + robustes parsing • Ko-Referenz Analyse  unterspezifizierte referentielle Ketten • Konnektoren-Analyse (+ synt. Merkmale) unterspezifizierte „rhetorische Textstruktur“ • Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Schröder traf die Spitzen der Arbeitgeberverbände. {} Der Bundeskanzler kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Dennoch mahnte Bsirske an, die Unternehmensgewinne stärker zu besteuern. Manfred Stede

29. Zusammenfassung SUMMaR • Tf/Idf + Textsortenwissen Liste relevanter Sätze • Part-of-speech tagging + robustes parsing • Ko-Referenz Analyse  unterspezifizierte referentielle Ketten • Konnektoren-Analyse (+ synt. Merkmale)  unterspezifizierte „rhetorische Textstruktur“ • Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } Schröder traf die Spitzen der Arbeitgeberverbände. {} Der Bundeskanzler kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Dennoch mahnte Bsirske an, die Unternehmensgewinne stärker zu besteuern. Manfred Stede

30. Zusammenfassung SUMMaR • Tf/Idf + Textsortenwissen Liste relevanter Sätze • Part-of-speech tagging + robustes parsing • Ko-Referenz Analyse  unterspezifizierte referentielle Ketten • Konnektoren-Analyse (+ synt. Merkmale)  unterspezifizierte „rhetorische Textstruktur“ • Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { } BundeskanzlerSchröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Dennoch mahnte Bsirske an, die Unternehmens-gewinne stärker zu besteuern. Manfred Stede

31. Zusammenfassung SUMMaR • Tf/Idf + Textsortenwissen Liste relevanter Sätze • Part-of-speech tagging + robustes parsing • Ko-Referenz Analyse  unterspezifizierte referentielle Ketten • Konnektoren-Analyse (+ synt. Merkmale)  unterspezifizierte „rhetorische Textstruktur“ • Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { }Bundeskanzler Schröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Dennoch mahnte Bsirske an, die Unternehmens-gewinne stärker zu besteuern. Manfred Stede

32. Zusammenfassung SUMMaR • Tf/Idf + Textsortenwissen Liste relevanter Sätze • Part-of-speech tagging + robustes parsing • Ko-Referenz Analyse  unterspezifizierte referentielle Ketten • Konnektoren-Analyse (+ synt. Merkmale)  unterspezifizierte „rhetorische Textstruktur“ • Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { }Bundeskanzler Schröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Der DGB zeigte sich im Prinzip einverstanden. Dennoch mahnte Bsirske an, die Unternehmensgewinne stärker zu besteuern. Manfred Stede

33. Zusammenfassung SUMMaR • Tf/Idf + Textsortenwissen Liste relevanter Sätze • Part-of-speech tagging + robustes parsing • Ko-Referenz Analyse  unterspezifizierte referentielle Ketten • Konnektoren-Analyse (+ synt. Merkmale)  unterspezifizierte „rhetorische Textstruktur“ • Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { }Bundeskanzler Schröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Der DGB zeigte sich im Prinzip einverstanden. Dennoch mahnte Bsirske an, die Unternehmensgewinne stärker zu besteuern. Manfred Stede

34. Zusammenfassung SUMMaR • Tf/Idf + Textsortenwissen Liste relevanter Sätze • Part-of-speech tagging + robustes parsing • Ko-Referenz Analyse  unterspezifizierte referentielle Ketten • Konnektoren-Analyse (+ synt. Merkmale)  unterspezifizierte „rhetorische Textstruktur“ • Partielle Re-Generierung des Extrakts In Deutschland sind 5 Mio Menschen arbeitslos. { }Bundeskanzler Schröder traf die Spitzen der Arbeitgeberverbände. {} Er kündigte an, die nächste Stufe der Steuerreform vorzuziehen. {} Der DGB zeigte sich im Prinzip einverstanden. Dennoch mahnte Verdi-ChefBsirske an, die Unternehmensgewinne stärker zu besteuern. Manfred Stede

35. Perspektive:Multi-Document Summarization Japans Ministerpräsident Koizumi hat bei der Unterhauswahl einen überwätigenden Sieg errungen. Die LDP errang {271/276/296} der 480 Sitze. Erstmals seit 15 Jahren verfügt sie über die absolute Mehrheit.