Carrot 2

1. Carrot2 Search Results Clustering

2. Plan prezentacji: • Wprowadzenie • Definicje i podstawowe informacje; • Model wektorowy; • Podobieństwo dokumentów; • Podstawy; • Historia i dane techniczne; • Przykładowe algorytmy; • Bibliografia • System Carrot2 • Podsumowanie Wyszukiwanie Internetowe – Uniwersytet Śląski

3. Fraza - uporządkowany ciąg słów zaczerpnięty z tekstu. Słowo Kluczowe - słowo reprezentujące znaczenie pewnej dłuższej sekwencji słów, w szczególności całego dokumentu. Lematyzacja - sprowadzenie formy fleksyjnej do postaci słownikowej (lematu). Lematyzacja w kontekście odkrywania wiedzy - odróżnienie słów o innym znaczeniu od form jednego słowa, które przyjmuje inny zapis w zależności od funkcji w zdaniu. Search Results Clustering– efektywne utworzenie sensownych grup tematycznie powiązanych dokumentów, oraz ich zwięzłe opisanie w sposób zrozumiały dla człowieka. Wprowadzenie (Definicje i podstawowe informacje ) Wyszukiwanie Internetowe – Uniwersytet Śląski

4. Dokument tekstowy może być łatwo reprezentowany w wysoko-wymiarowej przestrzeni wektorowej, gdzie terminy w dokumencie (termy) są powiązane z elementami wektorów. Mówiąc dokładniej, dokument tekstowy d może być traktowany jako sekwencja termów: d=(ω(1), ω(2), ω(3),... ω(|d|)), gdzie: |d| jest długością dokumentu, oraz ω(t)V. Reprezentacja d w przestrzeni wektorowej jest wówczas zdefiniowana jakorzeczywisty wektor: x  R|v|,gdzie każdy element xj jest statystycznie powiązany zwystępowaniem j-tego wpisu słownikowego w dokumencie. Najprostsza reprezentacja wektorowa to reprezentacja boolowska tj. xj {0,1}, wskazuje obecność lub jej brak termu ωj w reprezentowanym dokumencie. Taka reprezentacja zwana jest często pojemnikiem słów (bag of words). Wprowadzenie (Model wektorowy ) Wyszukiwanie Internetowe – Uniwersytet Śląski

5. Zbiór unikalnych słów T=t1, t2, … tn ; Dokumenty (D=d1, d2, … dm) reprezentowane jako n-wymiarowe wektory:• di=[wi1, wi2, … win], gdzie wij jest wagą j-tego słowa w dokumencie i; • Wagi słów — jak dane słowo jest charakterystyczne dla dokumentu? • Wiele różnych form: binarna — wij=1 lub wij=0; częstość wystąpień - wij=tfij(tj); tfidf (Salton) – wij=tfij(tj)*log(N/dfij(tj)); Wprowadzenie (Model wektorowy ) Wyszukiwanie Internetowe – Uniwersytet Śląski

6. Rys. Reprezentacja w przestrzeniwektorowej. Dla każdego z dokumentów,lewy wektor szacuje liczbę pojawiającychsię termów, podczas gdy prawy wektorbazuje na wagach TF-IDF. Wprowadzenie ( Model wektorowy ) Wyszukiwanie Internetowe – Uniwersytet Śląski

7. The t=5 terms: T1: Information T2: Singular T3: Value T4: Computations T5: Retrieval The d=7 documents: D1: Large Scale Singular Value Computations D2: Software for the Sparse Singular ValueDecomposition D3: Introduction to Modern InformationRetrieval D4: Linear Algebra for Intelligent Information Retrieval D5: Matrix Computations D6: Singular Value Analysis of Cryptograms D7: Automatic Information Organization Wprowadzenie ( Model wektorowy ) Wyszukiwanie Internetowe – Uniwersytet Śląski

8. Możemy zdefiniować podobieństwo pomiędzy dwoma dokumentami d i d’ jako funkcję s(d,d’)R. Funkcja ta, pozwoli nam ustalić zakres klastrów, uzyskanych poprzez grupowanie, w odniesieniu do zadanego pytania (obliczając podobieństwo pomiędzy każdym dokumentem (lub grupami dokumentów), a kwerendą). Klasyczne podejście bazuje na reprezentacji przestrzeni wektorowej, oraz metryce zdefiniowanej jako współczynnik cosinusowy (cosine coefficient) (Salton i McGill – 1983). ,gdzie superskrypt (indeks górny) T symbolizuje operator transpozycji, a xTy efekt w postaci punktu, lub obszaru między dwoma wektorami x, y  R, zdefiniowany jako: Wprowadzenie (Podobieństwo dokumentów ) Wyszukiwanie Internetowe – Uniwersytet Śląski

9. Przykład: Wprowadzenie (Podobieństwo dokumentów ) Wyszukiwanie Internetowe – Uniwersytet Śląski

10. Przykład cd.: Zapytanie: Singular Value; Wprowadzenie (Podobieństwo dokumentów ) Wyszukiwanie Internetowe – Uniwersytet Śląski

11. Plan prezentacji: • Wprowadzenie • Definicje i podstawowe informacje; • Model wektorowy; • Podobieństwo dokumentów; • Podstawy; • Historia i dane techniczne; • Przykładowe algorytmy; • Bibliografia • System Carrot2 • Podsumowanie Wyszukiwanie Internetowe – Uniwersytet Śląski

12. bazujący na komponentach framework efektywnego przetwarzania danych; prosta dystrybucja (protokół HTTP POST, sterowany danymi); prosta integracja (nacisk na XML-owy format danych); problem „przeciążenia danych” (konieczność zgłębiania nieograniczonych bibliotek); podproblemy Search Results Clustering : Wyodrębnienie podobnych dokumentów; Opisanie utworzonych grup; Zweryfikowanie jakości wyników. System Carrot2 (Podstawy ) Wyszukiwanie Internetowe – Uniwersytet Śląski

13. Carrot operuje jedynie na snippetach, bez odczytywania dokumentów źródłowych. Wynika z tego fakt, iż jakość grupowania będzie silnie zależeć od siły opisowej snippetów – krótkich fragmentów tekstu zwróconych przez wyszukiwarkę. W tym aspekcie systemy typu Carrot, będą znacznie ograniczone przez zaimplementowane algorytmy samych wyszukiwarek (Google, Yahoo!, itp.) służące odnalezieniu zdań, które w sposób właściwy opisują temat strony. Daje to jednak pewne korzyści, w postaci krótkiego czasu wyszukiwania (wynikającego z faktu braku konieczności analizowania całych dokumentów). System Carrot2 ( Podstawy ) Wyszukiwanie Internetowe – Uniwersytet Śląski

14. Carrot daje olbrzymie możliwości analizy wyników zapytania względem tradycyjnych wyszukiwarek. Poprzez ekstrakcję fraz z pierwszych paruset odnośników i ich prezentację w skumulowanej formie uzyskujemy możliwość pobieżnego przeglądu o parę rzędów wielkości większej liczby dokumentów niż miałoby to miejsce przy klasycznym listowym widoku. System przekierowuje zapytanie do wyszukiwarki (Google, Yahoo!, itp.), pobiera od niej kilkaset początkowych odnośników, a następnie analizuje je poszukując wspólnych, opisowych fraz. Frazy te, o ile są wystarczająco częste, są traktowane jako reprezentanci grup tematycznych. System Carrot2 ( Podstawy ) Wyszukiwanie Internetowe – Uniwersytet Śląski

15. System Carrot2 ( Podstawy ) Wyszukiwanie Internetowe – Uniwersytet Śląski

16. Carrot nie był pierwszym systemem grupującym wyniki z wyszukiwarek – wcześniej powstały systemy Grouper, Vivisimo oraz inne, których funkcjonalność jednak nigdy nie wysunęła się poza obszar eksperymentu obliczeniowego. Grouper, jako projekt również typowo badawczy, został usunięty z sieci w roku 2001 (po zakończeniu badań). Co warte podkreślenia, Carrot jest jedynym systemem grupującym, działającym dla języków innych niż język angielski. Nazwa systemu odnosi się do wcześniejszych owocowych systemów wspomagających odkrywanie wiedzy z danych tekstowych (Lemon, Grape, Orange). System Carrot2 ( Historia ) Wyszukiwanie Internetowe – Uniwersytet Śląski

17. Jedyny otwarty system do eksperymentowania z algorytmami grupowania wyników Skrócenie czasu weryfikacji nowych pomysłów Umożliwienie porównania metod Ponowne użycie raz napisanych elementów Wiele istniejących modułów i narzędzi wspomagających Zaimplementowane algorytmy AHC, różne warianty STC Lingo Komponenty lingwistyczne: Lematyzator Portera Lematyzator (własny alg.) Inne System Carrot2 ( Dane techniczne ) Wyszukiwanie Internetowe – Uniwersytet Śląski

18. Ilość osób zaangażowanych w projekt: Ok. 5 - ( 3 studentów, 1 doktorant, 1 opiekun naukowy); Software: Budowanie systemu: junit, httpunit Zaawansowane technologie: XSLT,XSL:FO,XML data binding, STRUTS, gnuregexp. Projekt: Ogólny rozmiar projektu: 36 MB; Rozmiar kodu: 227 plików, 1MB, ok. 35000 linii. System Carrot2 ( Dane techniczne ) Wyszukiwanie Internetowe – Uniwersytet Śląski

19. LINGO – fazy: Przetwarzanie wstępne: Oczyszczanie tekstu; Identyfikacja języka; Stemming; Oznaczanie stop-words; Wybór cech: Identyfikacja częstych fraz, bazująca na tablicach przyrostkowych (suffix arrays); Wprowadzenie etykiet klastrów: Singular Value Decomposition (SVD) macierzy termin-dokument; Bazowe wektory wyprowadzone metodą SVD: pojęcia abstrakcyjne; Frazy: słowna reprezentacja abstrakcyjnych pojęć; Dopasowanie abstrakcyjnych pojęć i fraz: odległość cosinusowa = oznaczenie wyniku; Eliminacja powtórzeń; Oznaczenia klastrów: słownie określone pojęcia abstrakcyjne; Formowanie klastrów; Przetwarzanie końcowe: Oszacowanie wyników klastrów: WynikKlastra=OznaczenieWyniku*LiczbaElementów. System Carrot2 ( Przykładowe algorytmy ) Wyszukiwanie Internetowe – Uniwersytet Śląski

20. LINGO – mocne strony: Czytelne i różnorodne opisy klastrów; Pokrywające się klastry; Niezależność językowa; Łatwość strojenia; Budowa modułowa. LINGO – słabe strony: Stała liczba klastrów; Zbyt specjalistyczne oznaczenia grup; Wymagania obliczeniowe; Brak stopniowego przetwarzania. System Carrot2 ( Przykładowe algorytmy ) Wyszukiwanie Internetowe – Uniwersytet Śląski

21. System Carrot2 ( Przykładowe algorytmy ) Przykład działania LINGO: Wyszukiwanie Internetowe – Uniwersytet Śląski

22. Plan prezentacji: • Wprowadzenie • Definicje i podstawowe informacje; • Model wektorowy; • Podobieństwo dokumentów; • Podstawy; • Historia i dane techniczne; • Przykładowe algorytmy; • Bibliografia • System Carrot2 • Podsumowanie Wyszukiwanie Internetowe – Uniwersytet Śląski

23. http://demo.carrot2.org/stable/api/ - dokumentacja API systemu; http://demo.carrot-search.com/carrot2-webapp/main http://demo.carrot2.org/demo-stable/main - publiczne wersje projektu; „Search Results Clustering in Polish: Evaluation of Carrot” – Dawid Weiss, Jerzy Stefanowski; „Grupowanie wyników zapytań do wyszukiwarek internetowych” – Dawid Weiss; „The Carrot2 Project” – Paweł Kowalik, Stanisław Osiński, Jerzy Stefanowski, Dawid Weiss, Michał Wróblewski. Podsumowanie ( Bibliografia ) Wyszukiwanie Internetowe – Uniwersytet Śląski