OTKRIVANJE KONCEPATA I PRETRAŽIVANJE U VIDEO BAZI PODATAKA

1. OTKRIVANJE KONCEPATA I PRETRAŽIVANJE U VIDEO BAZI PODATAKA Mentor: Student: Prof. Dr Milorad K. Banjanin Mirko Stojčić 36/08

2. UVOD Izgradnja video pretraživača na Web-u je veoma izazovan problem. U poređenju sa Web pretragom stranica, video pretraga se suočava sa jedinstvenim izazovima (kao što je velikakoličina podataka za svaki video i postojanje multimodalnih informacija uključujući meta podatke, vizuelni sadržaj, audio, i zatvoreni naslov). KATEGORIZACIJA VIDEA ZAJEDNIČKA KATEGORIZACIJA Evaluacija razvijenog sistema i studija korisnika pokazuje da zajednička kategorizacija upita i video podataka pojačava značaj video pretrage i korisnikovog iskustva u pretrazi. KATEGORIZACIJA UPITA

3. Zadatak video pretraživača na Web-u je da pretražuje velike količine video klipova na Web-u za korisnikove upite Da bi se razvio uspešan video pretraživač, ključno je nekoliko faktora. pokrivenost video klipova koji se mogu pretraživati trebada bude ekstremno velika tako da se za većinu video klipova na Web-u mogu uputiti upiti. značaj rezultata pretrage treba da bude dovoljno veliki da budekoristan i da bude personalizovan za pojedinačne korisnike. sistem pretrage treba da bude veoma skalabilan, a vreme odgovora na korisnikov upit ne treba da zavisi od (bar ne linearno ne treba da zavisi) veličine video seta Jedna teškoća je što semantika videa na Web-u tipično nije eksplicitno etiketirana tako da je veoma teško da se precizno indeksuje. S druge strane, video je mnogo bogatiji sadržajem nego drugi mediji tako što sadrži dodatne informacije kao što su vizuelni, audio i zatvoreni naslov. Iako video pretraga i pretraga Web stranica dele mnogo osnovnih karakteristika pronalaženja informacija i pretraživanja podataka, postoji nekoliko jedinstvenih teškoća video pretrage (kao i multimedijalne pretrage).

4. Kod pronalaženja videa (multimedije) zasnovanog na sadržaju uspeh je prilično ograničen usled opštepoznatog semantičkog jaza. Pretraga i pronalaženje video podataka - paradigme pokazale su se veoma moćnim i pogodnim za korisnike za traženje sadržaja Upit tekstom paradigma upita-primerom ne pokazuje jasnu atraktivnost za opšte korisnike za scenario video pretrage Upit konceptom Upit primjerom Da bi se smanjio semantički jaz, predlaže se pretraživanje multimedijalnih podataka koristeći multimodalne informacije (npr, tekst, audio, video, i slike) Većina Web korisnika traži video klipove koji spadaju u određene kategorije (npr, vesti, filmovi, muzika) ali obično jednostavno unose veoma kratke reči upita (više od 90% upita sadrže manje od tri reči). Npr. korisnici koji traže „Madonna“ su verovatno zainteresovani za muzičke video klipove pop zvezde Madone, umesto nekih smešnih videa osobe čije je ime Madona Madonna Izvode se kategorije korisnikovih upita pronađeni video klipovi više odgovaraju potrebama korisnika Pored toga, video klipovi koji treba da se pretražuju se automatski kategorizuju

5. VIDEO KATEGORIZACIJA Arhitektura okvira zajedničke kategorizacije upita i video klipova Cilj je da se razvije okvir zajedničke kategorizacije upita i video klipova za Web-zasnovanu video pretragu pretraživanjem multimodaliteta video sadržaja na Web-u za otkrivanje koncepata. Za klasifikovanje videa, koristimo multimodalna svojstva (tj, svojstva teksta i svojstva video sadržaja) i primenjujemo višestruke modele klasifikacije za evaluaciju i poređenje Sakupljanje meta podataka i izvlačenjem svojstava video sadržaja iz video podataka za obuku, obučavamo dva klasifikatora, jednog za svaki modalitet, respektivno. Različiti modeli klasifikacije se primenjuju i uvode se modifikacije ovih modela da se prilagode specifičnom zadatku video pretrage.

6. Naive Bayes klasifikator gde je mc,dsrednja vrednost od vd, a σc,dje standardna devijacija od vd u kategoriji c, respektivno. Atraktivnosti ove thnike niskih obračunskih troškova relativno male upotrebe memorije nje veličina rečnika, aθcije verovatnoća da se reč i pojavljuje u toj kategoriji sa ograničenjem : mogućnosti da tretira heterogena svojstva i višestruke kategorije Kod video kategorizacije sa kolateralnim tekstualnim podacima, distribucija reči za svako tekstualno polje meta podataka videa se modeluje kao multinomska distribucija. Tekstualno polje se tretira kao sekvenca reči, i pretpostavlja se da se pozicija svake reči generiše nezavisno jedna od druge. Shodno tome, svaka kategorija ima fiksan set multinomskih parametara. Vektor parametra za kategoriju c je: Verovatnoća video prolaza je proizvod parametara reči koje se pojavljuju u prolazu: Kod video klasifikacije zasnovane navizuelnom sadržaju, svaka dimenzija svojstva se modeluje kao Gaussian u kategoriji c: gde je ti,kiznos frekvencije reči i u polju k, čiji ponder je , video objekta o

7. Klasifikator maksimalne entropije Predviđamo da naučena uslovna distribucija p(co) mora imati svojstvo: Glavni princip u maksimalnoj entropiji je da kada ništa nije poznato, distribucija treba da bude koliko je moguće uniformnija, odnosno, treba da ima maksimalnu entropiju Maksimalna entropija je opšta tehnika za procenu distribucije verovatnoće iz podataka. . gde je U broj video klipova obuke Maksimalna entropija dozvoljava nam da ograničimo distribuciju modela da imamo istu očekivanu vrednost za svojstvo fi(o,c) U generalizovanoj formi, svaki video objekt o u kategoriji c se predstavlja sa :

8. Klasifikator mašine vektorske podrške Klasična mašina vektorske podrške (Support Vector Machine-SVM) je metod binarne kategorizacije zasnovan na diskriminativnom modelu koji implementira princip minimizacije strukturalnog rizika (Structural Risk Minimization-SRM). U svojoj standardnoj formulaciji, SVM samo daje predviđanje +1 ili -1, bez ikakve povezane mere poverenja. Ovde se verovatnoća članstva u kategoriji daje sa: hiperravan težinski vektor nagib b parametar za određivanje nagiba sigmoid funkcije A

9. Kombinacija meta podataka i klasifikatora zasnovanih na sadržaju Klasifikatori zasnovani na meta podacima Klasifikatori zasnovani na svjstvima sadržaja Šema kombinacije Kombinujemo autpute kategorizacije iz ova dva modaliteta da pojačamo preciznost Za neke kategorije (npr, vesti, muzika), klasifikatori zasnovani na meta podacima imaju bolju preciznost nego klasifikatori zasnovani na svojstvima sadržaja, dok za druge kategorije (npr, video za odrasle), klasifikatori zasnovani na svojstvima sadržaja rade bolje. Video se dodeljuje kategoriji ci ako je veće od praga; reflektuje efektivnost modaliteta m na kategoriju ci, dok je pouzdanost dodeljivanja o kategoriji cisa klasifikatorom zasnovanim na modalitetu m. Primenjivanjem predložene kombinacione šemepreciznost kategorizacije se pojačava

10. Kategorizacija upita Kada isti upit postave različiti korisnici, tipični pretraživač daje isti rezultat, bez obzira ko je postavio upit. To možda neće biti pogodno za korisnike sa različitim potrebama za informacijama. Jedan način da se otkloni dvosmislenost u rečima u upitu je da se manuelno poveže mali set kategorija sa upitom Tačnije, daje se strategija za modeliranje i sakupljanje istorije pretrage korisnika i za konstruisanje profila upita. Matrica VT apple Na primer, kod upita „jabuka“ (apple), neki korisnici su zainteresovani za video klipove u kojima se radi o „uzgajanju jabuka“ kao „uzgajanju voća“, dok drugi korisnici mogu očekivati vesti ili finansijski video klip o Apple Computers. Svaka ćelija u VT označava značaj izraza u opisu relevantnog video klipa koga su izabrali korisnici Matrica VC Da bi se konstruisao profil korisnika, analiziramo logove upita korisnika u pretraživaču. Istorije upita korisnika i njihovi odgovarajući klikovi na rezultate videa se izvlače iz loga Iz loga generišemo dve matrice, VT i VC VC generišu Web surferi da se opiše odnos između kategorija i video klipova

11. Kategorizacija upita Ono što nastojimo da generišemo je matrica profila upita QP Da bismo naučili QP iz VT i VC, primenjujemo matod zasnovan na linearnom uklapanju najmanjih kvadrata (linear least square fitting-LLSF), u kom se QP obračunava tako da VT x QPT ≈ VC sa najmanjim zbirom kvadratnih grešaka. Rešavanjem problema upotrebom Singular Value Decomposition (SVD), dobijamo: QP = VCT x U x S-1 x VT gde SVD od VT jeste VT = U x S x VT; U i V su ortogonalne matrice, a S je dijagonalna matrica. Matrično predstavljanje profila upita QP Za svaki izrazupita, predviđamo njegove povezane kategorije koristeći QP i kategorizujući ga shodno tome.

12. Poređenje prosečnih preciznosti klasifikacije za tri klasifikatora zasnovana na Eksperimentii rezultati video kategorizacije Kategorizacija zasnovana na Poređenje prosečnih preciznosti klasifikacije za tri klasifikatora zasnovana na meta podacima Poređenje prosečnih preciznosti klasifikacije za tri klasifikatora zasnovana na svojstvima sadržaja meta podacima. svojstvima sadržaja Za kategorizaciju zasnovanu na svojstvima sadržaja, s druge strane, ne izvršavamo izbor svojstava jer domenzionalnost svojstava nije baš visoka • Za obuku klasifikatora zasnovanih na sadržaju, svi video klipovi u testiranju se segmentuju i jedan najreprezentativniji ključni frejm se izvlači za svaki video klip. • Iz njega se dalje izvlače: • prostorna kolor distribucija • svojstvo teksture Za kategorizaciju zasnovanu na meta podacima, broj svojstava je veoma veliki.Da bi se poboljšale vremenske/prostorne performanse i da bi se smanjio problem over-fittinga, izvršili smo izbor svojstava na osnovu uzajamnih informacija Za svojstva teksta, sakuplja se okružujući tekst u Web stranicama koje sadrže video klipove na Web-u zajedno sa pratećim meta podacima (npr, imena datoteka, naslovi, zatvoreni uvodi, i korisnički tegovi) koji anotiraju video klipove. Značajno veći broj video klipova koji imaju jednu pravu etiketu kategorizuju se do višestrukih etiketa (npr, vesto do vesti i muzike; film do filma i muzike; a film do filma, muzike i zabave) koristeći naive Bayes ili klasifikatore maksimalne entropije nego koristeći SVM klasifikatore. To pokazuje da je diskriminacijska sposobnost SVM-a bolja nego kod ostala dva. Performanse kategorizacije zasnovane na svojstvima sadržaja su lošije nego kod kategorizacije zasnovane na meta podacima. SVM klasifikator ima malo bolje performanse nego klasifikator maksimalne entropije Naive Bayes klasifikator Klasifikator maksimalne entropije Klasifikator mašine vektorske podrške

13. Eksperimentii rezultati video kategorizacije Poredjenje odziva/preciznosti SVM klasifikatora zasnovanog na meta podacima i SVM klasifikatora zasnovanog na svojstvima sadržaja za napadnu kategoriju videa.

14. Rezultati kategorizacije upita Za merenje preciznosti kategorizacije upita, sledeća mera performansi se koristi u eksperimentima: sc je skor povezane kategorije c koja je rangirana među top N dobijenih kategorija Primeri upita u test setu i njihovi rezultati klasifikacije gde je Trangc je najveći mogući rang za c T je broj povezanih kategorija sa upitom Prosečna vrednost QC za 100 upita pokazuje da su rezultati kategorizacije zadovoljavajući za većinu upita. QC za primere upita i 100 uzoraka upita u test setu rangc je rang od c

15. Procedura eksperimenta za procjenu odaziva pretrage ima tri koraka: Rezultati relevantnosti pretrage korisnik postavlja upit, a zatim se daju top tri povezane kategorije postignute kategorizacijom upita zajedno sa video rezultatima dobijenim bez upotrebe bilo kakve kategorizacije Ova slika pokazuje da zajednička kategorizacija upita i videa poboljšava značajno značaj pretrage (preciznost je povećana za 10%-20%). 1. zajednička kategorizacija upita i videa integriše korisnik bira kategoriju koja se uklapa u njegov/njen kontekst pretrage upita 2. nova pretraga se refinira do video kategorizacije do te kategorije i daju se rezultati online kategorizaciju upita 3. offline video kategorizaciju