Qualität einer Dokumentation Relevanz- und Vollständigkeitsrate

1. Qualität einer DokumentationRelevanz- und Vollständigkeitsrate Zur Erinnerung: Zweck einer Dokumentation ist nicht in erster Linie das Speichern, sondern das Wiederauffinden von Dokumenten. Die Qualität einer Dokumentation ist also daran zu messen, inwiefern alle für den Benutzer relevanten Dokumente von der Dokumentationsstelle wiedergefunden werden. Spree SoSe 2008

2. Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree SoSe 2008  Qualität? qualitätskriterien Umfrage: Woran würden Sie messen, ob die Qualität eines Informationsdienstes – real: Dokumentationsstelle wie beim NDR – oder virtuell: Suchmaschine wie google – hoch ist?

3. Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree SoSe 2008  Qualitätskriterien Precision & recall • Angemessenheit – Entspricht die Antwort dem Informationsbedarf? • Neuigkeit – Anteil der Dokumente, die der Nutzer noch nich kennt • Nützlichkeit – kann auch für Informationen zutreffen, nach denen der Nutzer gar nicht recherchiert hat Qualitative Kriterien • Relevanz / Precision – Grad der Übereinstimmung der inhaltlichen Aussage eines Dokumentes mit der Suchanfrage • Vollständigkeit / Recall – Anteil der wiedergefundenen vorhandenen Dokumente Quantitative Kriterien Raten Sie mal. Wie hoch ist die Vollständigkeit im Durchschnitt?

4. Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree SoSe 2008  Bewertungskriterien für Indexierungsergebnisse Precision & recall • Indexierungsbreite • Anzahl der vergebenen Deskriptoren oder Notationen • Indexierungsspezifität • Annäherung durch das hierarchische Niveau der Indexierungsbezeichnungen • Indexierungstiefe • Kombination aus Breite und Tiefe • Indexierungskonsistenz • Indexierungskonsistenz ist das Maß der Übereinstimmung verschiedener Indexierungsergebnisse des gleichen Dokuments in derselben Dokumentationssprache. Quelle: Die DIN 31 623, Teil 1, Abschnitt 5

5. Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree SoSe 2008  Recherche als Mengenlehre vollständig Recherchefrage an eine Filmdatenbank: Liste aller Spielfilme, in denen Rock Hudson und Doris Day zusammen mitgespielt haben. Richtige Antwort wäre 3. Ergebnis im gelben Feld: Pillow Talk Lionpower B Lionpower C Lover.. Send … A Pillow .. Berechnung Relevanz: Anzahl der relevanten gefundenen Doks/Anzahl der selektierten Dokumente A /(A + B) = 1/ (1 + 1) = ½ Berechnung Recall: Anzahl der relevanten gefundenen Doks/Anzahl der relevanten Dokumente A /(A + C)= 1/ (1 + 2) = 1/3 C: Menge der relevanten Dokumente, die nicht gefunden wurden (2 Filme mit Rock Hudson und Doris Day: Lover come back; Send me no more flowers) A: Anzahl der relevanten gefundenen Dokumente (1 Pillow Talk) B: Anzahl der nicht relevanten gefundenen Datensätze (1 Lionpower)

6. Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree SoSe 2008  Hohe Qualität vollständig Recall o o oooooooooooooo oooooo oooo oo o oo ooooooo ooooo 1 0 Präzision 1 Verteilung von Recall und Präzision bei Recherchen in einer Datenbank von relativ guter Indexierungsqualität. Beide Werte liegen dicht an 1. Nach Gaus: Dokumentations- und Ordnungslehre. Berlin u.a., 2003. S. 220

7. Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree SoSe 2008  Niedrige Qualität vollständig oooooooooooooooooooooooo ooooooo oooooooooooo ooooooooo oooooo ooooooo oooooo Recall 1 0 1 Präzision Verteilung von Recall und Präzision bei Recherchen in einer Datenbank von relativ schlechter Indexierungsqualität.Beide Werte liegen dicht an 0. Nach Gaus: Dokumentations- und Ordnungslehre.Berlin u.a., 2003. S. 220

8. Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree SoSe 2008  Übung 1: genau • Mario Schreiber sucht Dokumente zum Thema "Elektrosmog". Er findet 120 Dokumente, wovon 70 relevant sind. Weitere 30 relevante Dokumente hat er nicht gefunden. • Wie wird Mario Schreiber das Ergebnis bewerten, wenn er wenig Zeit hat und möglichst relevante Dokumente finden will? Die Präzisionsquote beträgt: • Wie wird Mario Schreiber seine Informationssuche bewerten, wenn er möglichst viele Dokumente finden will? Die Recallquote beträgt: Berechnung Relevanz: Anzahl der relevanten gefundenen Doks/Anzahl der selektierten Dokumente Berechnung Recall: Anzahl der relevanten gefundenen Doks/Anzahl der relevanten Dokumente 70/120 70/100

9. Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004 Spree Sose 2008  Übung 2: Fachtermini für Laien verständlich erklären genau Zielgruppenorientierung ist ein Fachterminus in der Wissensnorganisation. Solche Fachtermini sind nicht immer leicht für einen Laien verständlich. Unten finden Sie eine Erklärung des Begriffs für einen Laien. "Zielgruppenorientierung bedeutet Indexieren aus der Perspektive und für die Bedürfnisse einer bestimmten Zielgruppe, z.B. für Sie als Journalisten. Eine Alternative wäre neutrales Indexieren für eine anonyme Nutzergruppe. Wenn meine Kollegin und ich indexieren, haben wir immer die Interessen und Aufgaben der Mitarbeiter im Hinterkopf. Wir wissen z.B., dass Sie, Herr Schreiber, sich für alles interessieren, was mit der PISA-Studie zu tun hat. Diese Dokumente erschließen wir zusätzlich mit den Suchtermini, die Sie für Ihre Recherchen nach Auswertung unserer Log Files bevorzugen, nämlich "Bildungskatastrophe" und "struktureller Analphabetismus". Außerdem schreiben wir für Dokumente über die PISA-Studie Abstracts, die auf Ihre Interessen besonders eingehen.„ Arbeiten Sie in Zweiergruppen: Schreiben Sie ähnliche Erläuterungen für die 4 weiteren Fachtermini: Indexierungsbreite Indexierungsspezifität Indexierungstiefe Indexierungskonsistenz 2 vorderen Reihen 2 hinteren Reihen Bitte formulieren Sie Ihre Erklärungen so, dass ein Laie sie versteht!