330 likes | 458 Views
Sehr große Korpora für große Wörterbücher Manfred Pinkal Kolloquium Korpus-Annotierung Saarbrücken, 15.2.02. Lexika. Wörterbücher für menschliche Benutzer. Bedeutungswörter-bücher für menschliche Benutzer. Wörterbücher für sprachtechnologische Anwendung.
E N D
Sehr große Korpora für große WörterbücherManfred PinkalKolloquium Korpus-AnnotierungSaarbrücken, 15.2.02
Lexika Wörterbücher für menschliche Benutzer Bedeutungswörter-bücher für menschliche Benutzer Wörterbücher für sprachtechnologische Anwendung Bedeutungswörter-bücher für sprachtechnologische Anwendung Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Lexika Wörterbücher für menschliche Benutzer Wahrig-Projekt I Bedeutungswörter-bücher für menschliche Benutzer Wörterbücher für sprachtechnologische Anwendung Bedeutungswörter-bücher für sprachtechnologische Anwendung Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Lexika Wörterbücher für menschliche Benutzer Wahrig-Projekt I Bedeutungswörter-bücher für menschliche Benutzer Wahrig-Projekt II Wörterbücher für sprachtechnologische Anwendung Bedeutungswörter-bücher für sprachtechnologische Anwendung Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Lexika Wörterbücher für menschliche Benutzer Wahrig-Projekt I Bedeutungswörter-bücher für menschliche Benutzer Wahrig-Projekt II Wörterbücher für sprachtechnologische Anwendung Bedeutungswörter-bücher für sprachtechnologische Anwendung Leibniz-Projekt Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Das Wahrig Textkorpus digital • Korpus mit (bisher) 6 Jahrgängen deutschsprachiger Periodika 1995-2000 Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Das Wahrig Textkorpus digital • Korpus mit (bisher) 6 Jahrgängen deutschsprachiger Periodika 1995-2000 • Berliner Zeitung • Süddeutsche Zeitung • Der Spiegel Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Das Wahrig Textkorpus digital • Korpus mit (bisher) 6 Jahrgängen deutschsprachiger Periodika 1995-2000 • Berliner Zeitung • Süddeutsche Zeitung • Der Spiegel • Neue Zürcher Zeitung • Der Standard Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Das Wahrig Textkorpus digital • Korpus mit (bisher) 6 Jahrgängen deutschsprachiger Periodika 1995-2000 • Berliner Zeitung • Süddeutsche Zeitung • Der Spiegel • Neue Zürcher Zeitung • Der Standard • Spektrum der Wissenschaft (ab 1993) • Brigitte (ab 1997) Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Das WTD: Umfang • 450 Mio. Textwörter Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Das WTD: Struktur • XML-Format (CES/TEI) • Kodierung meta-linguistischer Header-Information beim Dokument (z.Zt. 20 Tags) • Kodierung linguistischer Information beim Token (später) • Markierung von Nicht-Texten („Schrottfilter“): zwischen 1 und 10% des Umfangs ausgefiltert Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Metalinguistische Information • <abschnitt> <ressort>Nachrichten</ressort> <rubrik>SPORT AKTUELL</rubrik> </abschnitt> • <titel> <dt>Neue Ideen, Kraftfahrzeuge optimal erscheinen zu lassen</dt> <t>Wenn die Lichter angehen</t> <ut>Bei Hecklichtern und Innenraumbeleuchtung werden Sicherheit und Komfort ausgebaut</ut> </titel> Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Schrott • <p>Primärmarktkurse für Franken-Neuemissionen </p><p>Betrag Emissions-Rendite(inMio.) CouponZeichnungsfristLiberierungpreisGeldBrief(in%)Inlandschuldner12513/4Eurofima99/0410.5.9917.5.99100,9002,0001,8001,9430021/4KantonBern99/0730.4.9918.5.9999,8001,3501,1502,4420027/8KantonalbankAargau99/08 ... </p> (NZZ 1999) • <p>1. Bundesliga Herren: Alba Berlin - TuS Herten 115:94, Bayer Leverkusen - TVG Trier 91:69, Tally Oberelchingen - MTV Gießen 55:59, Hitachi Landshut - Steiner Bayreuth 80:89; Spitze: 1. Bayer Leverkusen 28:2 Pkt., 2. Alba Berlin 24:4, 3. Brandt Hagen 22:8, 4. TTL Bamberg 20:8.</p> (Berliner Zeitung 1996) Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Das WTD im Vergleich Umfang Anz. Dokumenttypen BNC 100 Mio. 4000 DWDS 150 Mio.(500 Mio.) 1500 IdS ? ? WTD 450 Mio. 7 FR/WSJ 1 Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Linguistische Annotation I • Wortart-Tagging (TnT, STTS) • Korrektheit ca. 96,5 % • Nach Training Korrektheit ca. 97,5 % • Lemmatisierung, zweifach, auf der Basis von • Bertelsmann deutsche Rechtschreibung • Wahrig, Deutsches Wörterbuch • Korrektheit >96 % • Harmonisierung der Rechtschreibung (Corrigo) Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Lückensuche: SZ 5/99 • Ausgangsbasis: Liste nicht-lemmatisierter Tokens Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Automatische Auswahlverfahren I • Ausfiltern von: • Eigennamen (BLV- Eigennamenlisten): 0,5% • Eigennamen (Tagger): 16% • Fremdsprachiges Material (Tagger): 2% • Abkürzungen: 0,3% • Nichtwörtern (ßenseiter, schööön, www.festspiel-plus-heimat.de ...): 4,6% (Wortfilter, reg. Ausdrücke) • „irrelevanten Wörtern“ (Straßennamen, Ortsableitungen, Wörter mit vielen Bindestrichen ...): 22% (Wortfilter, reg. Ausdrücke) Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Filterung Ca. 450.000 Textwörter, 135.000 Wortformen, 90.000 gute Kandidaten Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Automatische Auswahlverfahren I • Weitere Reduktion durch Trunkierung: Bsp: [Abgeordnetensitzes, Abgeordnetensitzen, Abgeordnetensitze]> Abgeordnetensitz [Abhörprotokoll, Abhörprotokollen, Abhörprotokolle]> Abhörprotokoll [abbrannte, abbrannten] > abbrannten • wortartspezifische Reduktion um ca.: Nomen 16%, Verben 17%, Adjektive 56% Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Stichprobe: 1000 Wörter Rohliste Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Beispiele • gute Kandidaten/Lücke: • Tierhaltung, Wahlhelfer, Wohngebiet, zerstörerisch • gute Kandidaten/Neologismus • Datenautobahn, Docu-Soap,Kinderfreibetrag, Solidaritätszuschlag, Abfallwirtschaft • falsche Kandidaten: • wolfsburger, Xetra-Computerhandel, zweitgrößter, Überraschungskonzert, ästhetisch-harmlos Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Automatische Auswahlverfahren II • Streuung über Jahrgänge und Titel: • positive Bewertung: z.B. Frequenzsteigung über mehrere Jahrgänge hinweg (floppen: 2/5/5/13/27 über 5 Jahrgänge SZ) • positive Bewertung: regional interessantes Vorkommen nur in einem Titel wie NZZ (auszonen) • negative Bewertung: z.B. Vorkommen (fast) nur in einem Titel (Klausenerplatz: Gesamtfrequenz 79, davon 77 Berliner Zeitung) Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Wahrig,Deutsche Rechtschreibung • 5000 Neuaufnahmekandidaten: 80% mit Bewertungsverfahren ermittelt / 20% nach höchster Gesamtfrequenz ca. 78% Substantive, 17%Adjektive, 5% Verben • 570 schweiz./850 österr. Kandidaten • Ca. 700 als Lemmata übernommen • 400 aus anderen Quellen (v.a. Sprachberatung) Manfred Pinkal, Sehr große Korpora für große Wörterbücher
schwächeln:Häufigkeit in Jahrgängen Manfred Pinkal, Sehr große Korpora für große Wörterbücher
schwächeln:Häufigkeit in Ressorts Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Neue Verwendungen • Tagger (ADJD) gegen Lemmatisierer (Verb) zunehmend, überwiegend, genügend, vorwiegend, besorgt, begeistert, zwingend Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Häufigkeit von Verbbelegen Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Leichenschau • Abelmoschus, Abendfalter, Abendländerin, Abenduniversität, abendwärts, Abendweite, Aberhundert, Aberraute, aberrieren, Abersaat, Abertausend, ABF, abfasen, abfasern, abfleischen, abfluchten Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Signifikante Belege Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Definitionen: Beispiele • UnterTelematikversteht man technische Systeme, die die Verkehrsströme so intelligent verteilen und steuern sollen, dass auf der vorhandenen Verkehrsfläche mehr Autos flüssiger vorankommen. • UnterLigaschießenversteht man ein freies Schießen, bei dem sich mehrere Vereine für das Finalschießen qualifizieren. • Unter Ökostromversteht man Energie, die aus Wasser- und Windkraft, Biomasse oder Sonne erzeugt wird. Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Definitionen: Mehr Beispiele Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Morphologie: Wortschatzgruppierung Agrarminister Arbeitsminister Arbeitsministerin Außenminister Außenministerin Bauminister Bundesminister Bundesministerin Europaminister Finanzminister Gesundheitsministerin Handelsminister Innenminister Justizminister Kanzleramtsminister Kultusminister Kultusministerin Landwirtschaftsminister Olympiaminister Premierminister Sozialministerin Staatskanzleiminister Staatsminister Tourismusminister Umweltminister Verkehrsminister Verteidigungsminister Wirtschaftsminister Wohnungsbauminister Bundesarbeitsminister Bundesbildungsminister Bundesfinanzminister Bundeswirtschaftsminister DDR-Staatssicherheitsmin. Kultur-Staatsminister SPD-Innenminister US-Außenminister US-Verteidigungsminister Bundesminister Exminister Kriegsminister Kultusminister Kultusministerin Premierminister Reichsminister Minister Manfred Pinkal, Sehr große Korpora für große Wörterbücher
Lexika Wörterbücher für menschliche Benutzer Wahrig-Projekt I Bedeutungswörter-bücher für menschliche Benutzer Wahrig-Projekt II Wörterbücher für sprachtechnologische Anwendung Bedeutungswörter-bücher für sprachtechnologische Anwendung Leibniz-Projekt Manfred Pinkal, Sehr große Korpora für große Wörterbücher