Učenie v Image Retrieval

1. Učenie v Image Retrieval Miroslav Pich

2. Ako pracuje IR system s učením? • 1. Aplikácia poskytne počiatočný výsledok na dotaz pomocou • Kľúčového slová • Náčrtu • Vzoru • 2. Užívateľ ohodnotí výsledok • 3. Aplikácia sa poučí a vráti lepší výsledok

3. “Nájde podobne obrazy” CBIR Dotaz Výsledok Dotaz pomocou vzoru • Vyberie sa vzor, ktorý sa poskytne systému pre získanie podobných obrazov

4. Dotaz Feedback Feedback 2.Výsledok 1.Výsledok Relevance Feedback • Užívateľ ohodnotí obrázky z posledného dotazu • Systém si upraví svoje parametre tak, aby pri ďalšom dotaze vrátil lepšie výsledky Počiatočný vzor

5. Extrahovanie vlastností • Farba • Textúra • Štruktúra • Tvary • ...

6. Vizuálna podobnosť • Ako vyjadriť “podobnosť” pomocou týchto vlastností? • Podobnosť je subjektívna a závisí na kontexte vyhľadávania • Extrahované vlastností sú nízko úrovňové. • Nedokážu popísať, čo obraz zobrazuje • Medzera medzi sémantickým významom a extrahovanými vlastnosťami

7. Ktoré vlastností sú dôležité? • Ak budeme vyhľadávať auta, tak pre nás bude dôležitejší tvar ako farba • Naopak, ak budeme vyhľadávať západ slnka, tak pre nás bude dôležitejšia farba ako tvar • Váha jednotlivých vlastností sa bude meniť

8. Ako meniť váhu vlastností? • Manuálne • Užívateľ zadá špecifické hodnoty pre jednotlivé vlastností • 30% farba, 50% tvar ... • Veľmi ťažko sa určuje presná hodnota • Automatický • Program si “všimne” na ktoré vlastnosti kladie užívateľ dôraz.

9. CBIR spočítanieW dotaz výsledok Váhová matica • Z dotazu systém určí váhovú maticu W, pomocou ktorej sa počíta podobnosť.

10. Ako spočítať W? • Žiadne negatívne vzory (1-class) • Pozitívne a negatívne vzory (2-class) • Jedna pozitívna a veľa negatívnych tried (1+x)-class • Veľa pozitívnych a veľa negatívnych tried (x+y)-class

11. Dostupne iba relevantne obrazy • Chceme pridať väčšiu váhu vlastnostiam v ktorých jednotlivé vzory čo najmenej líšia. • Použijeme rozptyl • Vlastnosti s malým rozptylom • Základne vlastnosti • Zvýšime im váhu

12. One class Relevance Feedback • Spočíta sa rozptyl pre relevantné vzory • Inverzná hodnota rozptylu sa použije ako váha • Týmto spôsobom sa zvýši váha pre dôležité vlastnosti W je k x k diagonálna matica

13. Problém dvoch tried • Fisher’s Discriminant Analysis (FDA) • Nájde W ktoré... • Minimalizuje rozptyl pre každú triedu • Maximalizuje rozptyl medzi klastrami

14. Problém dvoch tried • Cieľová funkcia: • W je úplná matica

15. Problém dvoch tried • Problém je redukovaný na nájdenie vlastných čísel

16. Rozšírenie • Pozitívne vzory sú väčšinou z jednej triedy ako napríklad kvety • Negatívne vzory môžu byť z mnohých tried, ako napríklad auta, pomaranče, žirafy .... • Nieje vhodné predpokladať, že negatívne vzory sú z jednej triedy

17. (1+x)-Class problém • Biased Discriminant Analysis • Negatívnym vzorom môže byť akýkoľvek obraz • Každý negatívny obraz ma vlastnú skupinu pozitívne negatívne

18. (x+y)-Class problém • Group BDA algoritmus • Viacnásobné kladné triedy • Izolované negatívne triedy pozitívne negatívne

19. PicSOM • Je to systém založený na neurónových sieťach. • Využíva Samo-Organizujúce mapy. • Obrazy sú organizované do dvojrozmernej mriežky tak, že podobné obrazy sú blízko seba. • PicSOM využíva SOM so stromovou štruktúrou (TS-SOM) • TS-SOM je vytvorený pre každý príznakový vektor. • Tieto mapy sú paralelne použité pri vyhodnocovaní výsledku

20. PicSOM • V prvom kroku sú vybrané obrazy z najvrchnejšej vrstvy • Postupne sú vyberané z nižších vrstiev, tým sa dotaz spresňuje • Nakoniec by sa mal užívateľ dostať k tomu, čo hľadá.

21. Učenie v PicSOM • PicSOM reaguje na odozvu od užívateľa • Všíma si, či sú vybrané obrazy v samoorganizujucej mape blízko. • Ak áno, zvýši váhu príznaku, ktorý táto mapa reprezentuje

23. COSIMIR • COSIMIR = Cognitive SIMilarity Learning in Information Retrieval • Neurónová sieť so spätným šírením • Dokáže sa naučiť komplexné vzťahy medzi jednotlivými obrazmi • Vyžaduje veľa trénovacích vzorov • Dosiahli sa dobre výsledky s krátkymi vektormi

24. COSIMIR

25. Aké vzory poskytovať užívateľovi? • Stále tie najlepšie, tj. najbližšie k dotazu • Výhody: • užívateľ môže kedykoľvek ukončiť vyhľadávanie a dostane najlepší výsledok • Nevýhody: • Pomalé učenie sa IR systému • Veľa kladných vzorov a malo záporných

26. Aké vzory poskytovať užívateľovi? • Také z ktorých získa učiaci algoritmus najviac informácii • Výhody: • Rýchlejšia cesta k cieľu • Vhodné pre systémy, kde je užívateľ ochotný spolupracovať • Nevýhody: • Nieje priebežne poznať ako kvalitne výsledky je systém schopný poskytnúť

27. show-me-the-result ask-me-questions

28. Aké vzory poskytovať užívateľovi? • najviac informačné obrazysa vo všeobecnosti nezhodujú s najviac pozitívnymi • najviac pozitívne obrazy často už boli ohodnotené a zvyknú kolerovať s obrazmi ktoré už boli ohodnotené

29. SVM active learning algorithm • SVM (Support vector machine) • Jeden z typov učiaceho sa stroja • Pomocou trenovacích vzorov vytvára rozhodovacie pravidla • Tieto pravidla potom môžu byť použite na klasifikáciu neoznačených obrazov

30. SVM

31. SVM active learning algorithm • Cieľom je vybrať také vzory, aby sa čo najviac minimalizoval priestor, kde sa môžu nachádzať hľadané obrazy • Snahou je tento priestor pozitívnych obrazov pri každej iterácii zmenšiť na polovicu • Body na hranici klastrov vytvorených pomocou SVM dokážu výrazne redukovať tento priestor

32. SVM active learning algorithm

33. SVM active learning algorithm

34. SVM active learning algorithm

35. Aké vzory poskytovať užívateľovi? • Veľmi vhodné je preto kombinovať ako výsledok vyhľadávania pozitívne s informatívnymi obrázkami. • Užívateľ tým získa pocit, že aplikácia hľadá to čo má. • ...a zároveň sa urýchli proces učenia

36. Ďakujem za pozornosť Dotazy