1k likes | 1.13k Views
Hermann-Paul-Centrum für Linguistik. Nutzung von Termhäufigkeiten bei der medizinischen Dokumentenrecherche Stefan Schulz, Kornél Markó, Rüdiger Klar Universitätsklinikum Freiburg Abteilung Medizinische Informatik. Medizinische Informatik in Freiburg.
E N D
Hermann-Paul-Centrum für Linguistik Nutzung von Termhäufigkeiten bei der medizinischen DokumentenrechercheStefan Schulz, Kornél Markó, Rüdiger KlarUniversitätsklinikum FreiburgAbteilung Medizinische Informatik
Medizinische Informatik in Freiburg Medizinische Informatik Direktor Prof. Dr. Klar • Wissenschaftliche Schwerpunkte • Patientenbezogene Dienste: Krankenhausinformationssystem • Patientenunabhängige Auskunfts- und Wissensdienste • Grundlagen zur Modellierung medizinischer Konzepte • Begriffliche Ordnungssysteme in der Medizin • Konzepte zur Integration von Elektronischer Patientenakte und medizinischen Wissensdiensten • Text-Retrieval / Cross-Language Retrieval
Dokumentenrecherche Medizinische Suchmaschinen • Unterschiedliche Dokumentenarten • Mehrsprachigkeit • Diverse Nutzergruppen • Hohe sprachliche Variabilität • Dokumentenumfang
Nutzung von Termhäufigkeiten bei der medizinischen Dokumentenrecherche • Kontext: Semantische Indexierung • Termhäufigkeiten zur lexikalischer Disambiguierung • Termhäufigkeiten zum Relevanz-Ranking • Termhäufigkeiten bei der Lexikonvalidierung
Nutzung von Termhäufigkeiten bei der medizinischen Dokumentenrecherche • Kontext: Semantische Indexierung • Termhäufigkeiten zur lexikalischer Disambiguierung • Termhäufigkeiten zum Relevanz-Ranking • Termhäufigkeiten bei der Lexikonvalidierung
Konventionelle Suchtechnologien Todesursachenstatistik Statistik Todesursachen Statistik Todesursache
Konventionelle Suchtechnologien Todesursachenstatistik Statistik Todesursachen Statistik Todesursache
Konventionelle Suchtechnologien Anstieg der Cholestase-parameter
Konventionelle Suchtechnologien Anstieg der Cholestase-parameter
Konventionelle Suchtechnologien Anstieg der Cholestase-parameter
Konventionelle Suchtechnologien Anstieg der Cholestase-parameter
Problem • Variabilität fachsprachlicher Ausdrücke beeinträchtigt Rechercheergebnis • Maschinelle Indexierung (z.B. Web-Suchmaschinen) semantisch „blind“ • Manuelle Indexierung (z.B. MEDLINE) aufwendig • Morphosaurus-Ansatz: lexikonbasierte automatische semantische Indexierung
Semantische Indexierung durch MORPHOSAURUS Subwort Thesaurus: Gruppierung von synonymen Subwörtern Subwort Lexikon: gastr stomach Magen ventric chamber hepat, hepar liver leber -itis, inflamm, entzünd nephr- ren- kidney niere #GASTR #CHAMBER #HEPAR #INFLAMM #NEPHR
High TSH values suggest the diagnosis of primary hypo-thyroidism ... Erhöhte TSH-Werte erlauben die Diagnose einer primären Schilddrüsenunterfunktion ... Original Semantische Indexierung durch MORPHOSAURUS
high tsh values suggest the diagnosis of primary hypo-thyroidism ... High TSH values suggest the diagnosis of primary hypo-thyroidism ... Orthografische Normalisierung Erhöhte TSH-Werte erlauben die Diagnose einer primären Schilddrüsenunterfunktion ... erhoehte tsh werte erlauben die diagnose einer primaeren schilddruesenunterfunktion ... Orthografische Regeln Original Semantische Indexierung durch MORPHOSAURUS
high tsh values suggest the diagnosis of primary hypo-thyroidism ... High TSH values suggest the diagnosis of primary hypo-thyroidism ... Orthografische Normalisierung Erhöhte TSH-Werte erlauben die Diagnose einer primären Schilddrüsenunterfunktion ... erhoehte tsh werte erlauben die diagnose einer primaeren schilddruesenunterfunktion ... Orthografische Regeln Original Zerlegungsalgorithmus Subwort-Lexikon hightsh value s suggest the diagnos is of primar y hypothyroid ism er hoeh te tsh wert e erlaub en die diagnos e einer primaer en schilddruese n unterfunktion Semantische Indexierung durch MORPHOSAURUS
high tsh values suggest the diagnosis of primary hypo-thyroidism ... High TSH values suggest the diagnosis of primary hypo-thyroidism ... Orthografische Normalisierung Erhöhte TSH-Werte erlauben die Diagnose einer primären Schilddrüsenunterfunktion ... erhoehte tsh werte erlauben die diagnose einer primaeren schilddruesenunterfunktion ... Orthografische Regeln Original Zerlegungsalgorithmus Subwort-Lexikon #up tsh #value #suggest #diagnost #primar #hypo #thyre Semantische Normalisierung hightsh value s suggest the diagnos is of primar y hypothyroid ism #up tsh #value #permit #diagnost #primar #thyre #hypo #function Subwort- Thesaurus er hoeh te tsh wert e erlaub en die diagnos e einer primaer en schilddruese n unterfunktion Semantische Indexierung durch MORPHOSAURUS Interlingua (Semantische Deskriptoren)
high tsh values suggest the diagnosis of primary hypo-thyroidism ... High TSH values suggest the diagnosis of primary hypo-thyroidism ... Orthografische Normalisierung Erhöhte TSH-Werte erlauben die Diagnose einer primären Schilddrüsenunterfunktion ... erhoehte tsh werte erlauben die diagnose einer primaeren schilddruesenunterfunktion ... Orthografische Regeln Original Zerlegungsalgorithmus Subwort-Lexikon hightsh value s suggest the diagnos is of primar y hypothyroid ism er hoeh te tsh wert e erlaub en die diagnos e einer primaer en schilddruese n unterfunktion Semantische Indexierung durch MORPHOSAURUS Interlingua (Semantische Deskriptoren) #up tsh #value #suggest #diagnost #primar #hypo #thyre Semantische Normalisierung #up tsh #value #permit #diagnost #primar #thyre #hypo #function Subwort- Thesaurus
Sprachübergreifende Suche mit MORPHOSAURUS Korrelation von Hypertonie und Läsion der Weißen Substanz…
Sprachübergreifende Suche mit MORPHOSAURUS Korrelation von Hypertonie und Läsion der Weißen Substanz… #correl #hyper #tens #lesion #whit #matter
Sprachübergreifende Suche mit MORPHOSAURUS Korrelation von Hypertonie und Läsion der Weißen Substanz… #correl #hyper #tens #lesion #whit #matter
Benutzerfreundlichkeit Todesursachenstatistik Statistik Todesursache Statistik Todesursachen
Benutzerfreundlichkeit Todesursachenstatistik Statistik Todesursache Statistik Todesursachen
Mehrsprachigkeit Behandlung Hirnhautentzündung automatic all
Mehrsprachigkeit Behandlung Hirnhautentzündung automatic all
Nutzung von Termhäufigkeiten bei der medizinischen Dokumentenrecherche • Kontext: Semantische Indexierung • Termhäufigkeiten zur lexikalischer Disambiguierung • Termhäufigkeiten zum Relevanz-Ranking • Termhäufigkeiten bei der Lexikonvalidierung
Mehrdeutigkeit • Quellen von Mehrdeutigkeiten sind lexikalische Ressourcen (vgl. WordNet) • „Bruch“ -> {#fraktur, #hernie} • Ohne Weltwissen nicht interpretierbar: „Bruch des Kleinfingers“, „Bruch in der Leiste“ • Alternative: Kontextinformationen und Wortstatistiken zur Disambiguierung
Corpusstatistik w = 4
Corpusstatistik [#fraktur #finger] = 3 w = 4
Corpusstatistik [#fraktur #finger] = 3 [#finger #unterbrech] = 1
Corpusstatistik [#fraktur #finger] = 3 [#finger #unterbrech] = 1 [#unterbrech #kontin.] = 1 . . . . . . .
Disambiguierung • Ambiguität von „Bruch des Fingers“: • [{ #fraktur,#hernie} #finger] • [#fraktur #finger] = 3 • [#hernie #finger] = 0 • -> mit „Bruch“ ist „Fraktur“ gemeint…
Nutzung von Termhäufigkeiten bei der medizinischen Dokumentenrecherche • Kontext: Semantische Indexierung • Termhäufigkeiten zur lexikalischer Disambiguierung • Termhäufigkeiten zum Relevanz-Ranking • Termhäufigkeiten bei der Lexikonvalidierung
Termhäufigkeiten zum Relevanz-Ranking • Anfrage: „Statistik Todesursache“ Welches Dokument passt am besten zur Anfrage?
Termhäufigkeiten zum Relevanz-Ranking • TF/IDF: Term-Frequenz/Inverse Dokument-Frequenz • Prinzip: statistische Ermittlung der „Wichtigkeit“ von einzelnen Wörtern • Prämisse: Wörter, welche in einem Dokument häufig, in anderen aber sehr selten sind, sind gute Deskriptoren des Dokumenteninhalts
Termhäufigkeiten zum Relevanz-Ranking • Inverse Dokument-Frequenz anhand einer Kollektion von 1 Mio Dokumenten: • „Todesursache“ kommt in 100 Dokumenten vor. IDF(Todesursache)=: 100/1000000=0.0001 • „Statistik“ kommt in 1000 Dokumenten vor. IDF(Statistik) = 1000/1000000=0.001 • Termfrequenz anhand von Dokument 1 • „Todesursache kommt 3mal vor, „Statistik“ 1mal und insgesamt beinhaltet das Dokument 100 Wörter. • TF(Todesursache) = 3/100 = 0.03 • TF(Statistik) = 1/100 = 0.01 • Termfrequenz anhand von Dokument 2 • „Todesursache“ kommt 2mal vor, „Statistik“ 7mal und insgesamt hat das Dokument 300 Wörter. • TF(Todesursache) = 2/300 = 0.007 • TF(Statistik) = 7/300 = 0.023 • Das Ranking ergibt sich aus dem Verrechnen von TF und IDF: • Dokument 1: (0.03/0.0001) * (0.01/0.001) = 300 * 10 = 3000 • Dokument 2: (0.007/0.0001) * (0.023/0.001) = 70 * 23 = 1610 • Dokument 1 erhält ein besseres Ranking, obwohl Dokument 2 insgesamt mehr Treffer aufweist!
Nutzung von Termhäufigkeiten bei der medizinischen Dokumentenrecherche • Kontext: Semantische Indexierung • Termhäufigkeiten zur lexikalischer Disambiguierung • Termhäufigkeiten zum Relevanz-Ranking • Termhäufigkeiten bei der Lexikonvalidierung
Vergleichbare Korpora in unterschiedlichen Spachen Sprache 1 Sprache 2 Sprache 3 Diabetes mellitus tipo 1 (ya no debe usarse el término Diabetes Insulino dependiente) Característicamente se da en la época temprana de la vida y se debe a un deficit absoluto de insulina, dado por la destrucción de las células beta del páncreas por procesos autoinmunes ó idiopáticos. Sólo cerca de 1 entre cada 20 personas diabéticas tiene diabetes tipo 1, la cual se presenta más frecuentemente en jóvenes y niños. Este tipo de diabetes se conocía como diabetes mellitus insulinodependiente o diabetes juvenil. En ella, las células beta del páncreas no producen insulina o apenas producen. En los primeros años de la enfermedad suelen quedar reservas pancreáticas que permiten una secreción mínima de insulina (este período se denomina luna de miel). Diabetes Typ 1 Bei diesem Krankheitstyp zerstört das körpereigene Immunsystem selbst im Rahmen einer Entzündungsreaktion die insulinproduzierenden Betazellen in der Bauchspeicheldrüse. Diese Entzündungsreaktion setzt wahrscheinlich bereits in frühester Kindheit ein. Die daraus folgende Zerstörung der insulinproduzierenden Betazellen führt nach und nach zu einem zunehmenden Insulinmangel. Erst wenn ca. 80-90 Prozent der Beta-Zellen zerstört sind manifestiert sich ein Typ-1-Diabetes. In der Anfangsphase der Erkrankung ist also durchaus noch eine kleine Insulinrestproduktion vorhanden. Type 1 diabetes mellitus Type 1 diabetes mellitus — formerly known as insulin-dependent diabetes (IDDM), childhood diabetes, is characterized by loss of the insulin-producing beta cells of the islets of Langerhans of the pancreas leading to a deficiency of insulin. It should be noted that there is no known preventative measure that can be taken against type 1 diabetes. Most people affected by type 1 diabetes are otherwise healthy and of a healthy weight when onset occurs. Diet and exercise cannot reverse or prevent type 1 diabetes. Sensitivity and responsiveness to insulin are usually normal, especially in the early stages. kindiiqzyqa 1 diabetesiiiryxa candiwijixa kindiiqzyqa 1 diabetesiiiryxa candiwijixa — formeriiijyxa knowledgiiiprqa insuliniiqwrwa - {referriiiijqa,addictiiiiqka} diabetesiiiryxa ( iddm ) , childreniijxjza diabetesiiiryxa , featuriikqjra lostiiqpxka insuliniiqwrwa - productiiiyjya betaiiipxya cellulrijzyqa isletiijrjka langerhansiikirxa pancreatiiqxira {plumbiiiqjya,leaderijqirpa,ledijzjrka,deriviiirxka} deficriprzra insuliniiqwrwa . noted nooneiiirxqa knowledgiiiprqa precautiiipyya {activitiiiizpa,mensurationiixwika} {kannerikyik,couldiiiiiya,lataijwipz} {beveragiiipjia,extractiiiywra,gripiijkipa,genommiikryi,tomadikqypz} againstiiijyra kindiiqzyqa 1 diabetesiiiryxa . mostiizrpwa {nationiikzrya,someoneiijpyxa} {loveiikjwwa,infestatiiipqwa} kindiiqzyqa 1 diabetesiiiryxa healthiijjiwa diabetesiiiryxa {kindiiqzyqa,guyijwpkka,speciesippjxwa} 1 pathiiiyiia {kindiiqzyqa,guyijwpkka,speciesippjxwa} destriiprwqa somaliijxxza selfiijrria imunipyqpza systemiiqipra iniiiqija frameiijizqa phlogistiiixxka reactiizwrxa insuliniiqwrwa productiiiyjya betaiiipxya cellulrijzyqa iniiiqija pancreatiiqxira . phlogistiiixxka reactiizwrxa sitijwwkya likeliijrkjka iniiiqija precociijijra esteriiiykra childreniijxjza . {aftereffectiiizypa,followiiipqza} destriiprwqa insuliniiqwrwa productiiiyjya betaiiipxya cellulrijzyqa ledijzjrka reariiipjxa reariiipjxa highgrade_extent_or_weightrikxxka insuliniiqwrwa deficriprzra . primariiiyiya 80 - 90 percentipjwwka beta - cellulrijzyqa destriiprwqa manifestiikpixa {kindiiqzyqa,guyijwpkka,speciesippjxwa} - 1 - diabetesiiiryxa . iniiiqija incipientiiiwqwa phasiiiykwa . diabetesiiiryxa candiwijixa {kindiiqzyqa,guyijwpkka, speciesippjxwa} hum ( ya nooneiiirxqa debe usediiqkyxa el stoppiijqwpa diabetesiiiryxa insuliniiqwrwa {referriiiijqa,addictiiiiqka} ) featuriikqjra se da iniiiqija la epoca precociijijra la vida se debe a un deficit absolutiiiikpa insuliniiqwrwa , dado viaijpiwpa la nooneiiirxqa changiiiiwqa las cellulrijzyqa beta del pancreas viaijpiwpa {vorgangripiqx,techniqueiikqpja,decursipqyxp,lawsuitriqzqxa} selfiijrria imunipyqpza opippwqa idio pathiiiyiia os . justijqjjqa cerca hum entre cada dois zero someoneiijpyxa diabetesiiiryxa tiene diabetesiiiryxa {kindiiqzyqa,guyijwpkka,speciesippjxwa} hum , la cual se showijpiqqa morerijyqpa frequentriqjwia iniiiqija
Häufigkeit semantischer Deskriptoren kindiiqzyqa 1 diabetesiiiryxa candiwijixa kindiiqzyqa 1 diabetesiiiryxa candiwijixa — formeriiijyxa knowledgiiiprqa insuliniiqwrwa - {referriiiijqa,addictiiiiqka} diabetesiiiryxa ( iddm ) , childreniijxjza diabetesiiiryxa , featuriikqjra lostiiqpxka insuliniiqwrwa - productiiiyjya betaiiipxya cellulrijzyqa isletiijrjka langerhansiikirxa pancreatiiqxira {plumbiiiqjya,leaderijqirpa,ledijzjrka,deriviiirxka} deficriprzra insuliniiqwrwa . noted nooneiiirxqa knowledgiiiprqa precautiiipyya {activitiiiizpa,mensurationiixwika} {kannerikyik,couldiiiiiya,lataijwipz} {beveragiiipjia,extractiiiywra,gripiijkipa,genommiikryi,tomadikqypz} againstiiijyra kindiiqzyqa 1 diabetesiiiryxa . mostiizrpwa {nationiikzrya,someoneiijpyxa} {loveiikjwwa,infestatiiipqwa} kindiiqzyqa 1 diabetesiiiryxa healthiijjiwa diabetesiiiryxa {kindiiqzyqa,guyijwpkka,speciesippjxwa} 1 pathiiiyiia {kindiiqzyqa,guyijwpkka,speciesippjxwa} destriiprwqa somaliijxxza selfiijrria imunipyqpza systemiiqipra iniiiqija frameiijizqa phlogistiiixxka reactiizwrxa insuliniiqwrwa productiiiyjya betaiiipxya cellulrijzyqa iniiiqija pancreatiiqxira . phlogistiiixxka reactiizwrxa sitijwwkya likeliijrkjka iniiiqija precociijijra esteriiiykra childreniijxjza . {aftereffectiiizypa,followiiipqza} destriiprwqa insuliniiqwrwa productiiiyjya betaiiipxya cellulrijzyqa ledijzjrka reariiipjxa reariiipjxa highgrade_extent_or_weightrikxxka insuliniiqwrwa deficriprzra . primariiiyiya 80 - 90 percentipjwwka beta - cellulrijzyqa destriiprwqa manifestiikpixa {kindiiqzyqa,guyijwpkka,speciesippjxwa} - 1 - diabetesiiiryxa . iniiiqija incipientiiiwqwa phasiiiykwa . diabetesiiiryxa candiwijixa {kindiiqzyqa,guyijwpkka, speciesippjxwa} hum ( ya nooneiiirxqa debe usediiqkyxa el stoppiijqwpa diabetesiiiryxa insuliniiqwrwa {referriiiijqa,addictiiiiqka} ) featuriikqjra se da iniiiqija la epoca precociijijra la vida se debe a un deficit absolutiiiikpa insuliniiqwrwa , dado viaijpiwpa la nooneiiirxqa changiiiiwqa las cellulrijzyqa beta del pancreas viaijpiwpa {vorgangripiqx,techniqueiikqpja,decursipqyxp,lawsuitriqzqxa} selfiijrria imunipyqpza opippwqa idio pathiiiyiia os . justijqjjqa cerca hum entre cada dois zero someoneiijpyxa diabetesiiiryxa tiene diabetesiiiryxa {kindiiqzyqa,guyijwpkka,speciesippjxwa} hum , la cual se showijpiqqa morerijyqpa frequentriqjwia iniiiqija 1000 100 10 1
Portugiesisch/Englisch Deutsch / Englisch
Vielen Dank! Kontakt: stschulz@uni-freiburg.de Medizinische Informatik
Proof-of-Concepts I • Deutsche Zentralbibliothek für Medizin (ZBMed), Köln: • Bibliographische Suche über 300.000 einsprachige Dokumente • Deutsches Institut für Medizinische Dokumentation und Klassifikation (DIMDI), Köln: • Bibliographische Suche über 600.000 mehrsprachige Dokumente • Health on the Net Foundation (HON), Genf: • Studie mit 5,000 Dokumenten • Hautklinik Freiburg: • „Google“-Suche für patientenbezogene Daten (EPA)
Proof-of-Concepts II • Hautklinik Freiburg:
Proof-of-Concepts III • ICD Kodierbrowser: • Suche in 15,278 ICD-Codes
Evaluation • OHSUMED-Corpus (Hersh et al., 1994) • Untermenge von MEDLINE • ~300,000 englische Dokumente • 106 englische Benutzeranfragen, von Experten übersetzt ins Deutsche, Portugiesische, Spanische, Französische und Schwedische • Relevanz der Dokumente manuell markiert
Evaluation 121% 111% 99% 84% 79% 79%
Hermann-Paul-Centrum für Linguistik Probabilistische Methoden in der Anwendung und Pflege eines medizinischen DokumentenrecherchesystemsStefan Schulz, Kornél Markó, Rüdiger KlarUniversitätsklinikum FreiburgAbteilung Medizinische Informatik