Kompjuterska vizija u interakciji čoveka i kompjutera

1. Kompjuterska vizija u interakciji čoveka i kompjutera MENTOR: Prof. Dr Milorad Banjanin STUDENT: MarijanaĐoković S3946

2. Prepoznavanje radnje u emitovanju video snimka tenisa

3. Optički protok je prostornašema ometanog merenja umesto preciznog razmeštanja piksela • Detalji pokreta su mutni • Igrač se može pratiti kao tačka • Teško je odrediti odvojene pokrete Mašina podrške vektora se koristiza treniranje klasifikatora Istraživački izazovi Predstavljanje pokreta optičkim protokom Prepoznavanje akcija mašinom podrške vektora Prema stopi pojavljivanja terena u jednom frejmu, frejmove emitovanja video snimka tenisa delimo na: Lako obeležavanje i segmentiranje delova tela kao što su: glava, torzo, udovi Pogled iz daljine Pogled iz bliza Figura igrača uglavnom 30 piksela Figura igrača uglavnom 300 piksela

4. Izgled nije uvek očuvan Manje je pogodan za klasifikaciju Bazira se na periodičnosti i tako ograničen na periodične pokrete Snimci nisu bili za emitovanje Naučne predpostavke • Automatski sistem za objašnjavanje • teniskih pokreta, uključujući forhand, • backhand i udarac preko ramena • Zasnovan na promenama siluete Mijamori i Isaki • Razvili su opšti pristup za prepoznavanje • pokreta u “srednjem polju” Efros i drugi

5. Dijagram toka Izračunavanje optičkog protoka, ispravljanje, izglađivanje i predstavljanje pokreta Praćenje igrača i stabilizacija figure Metoda za analizu pokreta za prepoznavanje pokreta igrača izdaleka u emitovanim video snimcima Emitovanje video snimka Sekvenca centralizivane figure Opisivač pokreta Klasifikator radnji Baza podataka Nadgledano učenje Označavanje radnji

6. Praćenje igrača i stabilizacija Konstruisanjem prozora u svakom frejmu centriranom na oblasti igrača Praćenje oblasti igrača kandidata • Izdržljivo za bučne okolnosti, • tako da prati osobu određene • telesne konfiguracije do približno • iste stabilizovane slike • Prozor za praćenje igrača se uvećava • do određene skale u jedinici piksela • Koristi sofisticiranu strategiju –SVR filter čestica Koristi metodu izračunavanjacentroida oblasti igrača Koordinate centroida oblasti : R oblast zauzeta objektom u ravni slike i f(x, y) sivi nivo na lokaciji (x,y).

7. Različiti igrači mogu imati različite položaje za istu radnju i različiti položaji mogu biti snimljeni na različitim video snimcimačak i za istu radnju. pokret nastaje zbog relativnih pokreta izazvanih različitim delovima tela igrača, koji su različite oblasti koje se označavaju na ravni slike. opisivač nije izdržljiv niti možedarazdvajaprepoznavanje radnje i klasifikaciju. Izračunavanje opisivača pokreta Najintuitivnija tehnika za snimanje pokreta nezavisno od izgleda Izvođenje osobine o pikselima optičkog toka tretiranje polja optičkog toka kao prostornu šemu bučnih mera koje se prikupljaju korišćenjem našeg opisivača pokreta umesto preciznih pomeranja piksela po tačkama. ! Jedan od način za lokalizaciju pokreta je da se polje optičkog toka podeli na različite pod - oblasti nazvane komadi. !

8. Adaptivno izdvajanje pozadine Cilj: konačan kanal GMMs model rast oblasti Horn- Šunk algoritam Ima uticaj na izračunavanjeoptičkog protokaunutar ljudske oblasti Izračunavanje optičkog toka i eliminacija ometanja Izvođenje osobine optičkog toka ljudske centrične figure Algoritam za eliminisanje ometanja u polju toka Frejmovi uzoraka OFFx+ Stabilizivana sekvenca centrične figure Figura izdvojene pozadine OFFx- Gaussian izglađivanje izračunavanje polja optičkog toka polutalasno ispravljanje OFFy+ OFFy- Reforma polja optičkog toka Četiri ne- negativna kanala

9. Usvajamo jednostavan ali efektivan stil oblast koji se naziva komad Predstavljanje lokalnih pokreta Metode za predstavljanje pokreta globalne Uzima u obzir celu sliku ili sekvencu • Visina komada jednaka je visini figure, • a širina se može podesiti prema • prostornoj strukturi objekta lokalne Fokusiraju se na odredjene delove slike ili video podataka . • Pokret ljudsko centrične figure • nastaje zbog relativnog pokretanja • različitih delova tela koji se vide u • različitim oblastima figure. Metode zasnovane na histogramu

10. Uspešno primenjen na širok opseg prepoznavanja šema i probleme klasifikacije • brži • bolji za interpretaciju i odredjivanje • sposobnosti da tačno klasifikuje nevidjene podatke • pružanja boljih predvidjanja nevidjenih test podataka • pružanja jedinstvenih optimalnih rešenja za problem u treniranju • sadržavanje manje parametara u poredjenju sa drugim metodama Klasifikacija radnji SVM (podrška vektora mašine) Prednosti u odnosu na veštačke nervne mreže(ANNs) Prednost SVM nad drugim metodama

11. Eksperimenti : dve osnovne radnje: levi udarac i desni udarac Test podaci se izvode iz video snimaka zabeleženih iz uživo emitovane televizije jednog od mečeva turnira zauzimaju oko 90% ponašanja u teniskim mečevima. 56 radnji levog udarca i 49 radnji desnog udarca je uključeno u test sekvence. Rezolucija frejma od 352x288.5 sekvenci , izvlači se iz celog videa čiji ukupan broj frejmova je 6035 Video je kompresovan u MPEG-2 standard Implementirana su dva eksperimenta jedan za prepoznavanje radnje frejmova udaraca drugi za prepoznavanje klipova radnji udaraca Opoziv R P Ocena učinka : Preciznost A Tačnost

12. Zaključci: • Pristup prepoznavnja radnje je predstvljen za analizu pokreta teniskih igrača u emitovanom video snimku • Predložena je grupa histograma skraćenih na S-OFHs, • na osnovu izgladjivanja i prikupljanja mera optičkog toka • Bučni optički protok se tretira kao prostorna šema • ometanih mera umesto preciznog premeštanja piksela • S-OFHs se izvode kao šeme prostornog predstavljanja • Za prepoznavanje radnje koju obavlja ljudska figura • u jednom frejmu, koristimo mašinu podrške

13. LiceMiš: Ljudsko-kompjuterski interfejs za tetraplegične osobe

14. Implementirani algoritam je zasnovan na podudarnosti šablona za praćenje nosa korisnikai na medjusobnoj korelaciji za izračunavanje najboljeg podudaranja. Ko su tetraplegičari ? Ljudi sa hendikepom ! Ovi ljudi, zapravo, mogu da koriste samo svoju glavu (a i to uz teškoće) da vrše interakciju sa okolinom i zahtevaju specijalnu adaptaciju. Sistem LiceMiš Standardnu Web kameru Tehnike za praćenje nosa Koristi : Pokazivač miša

15. „tamo gde pogledam, tamo želim da idem“ „ono što pogledam to želim“ Podela interfejsa između ljudi i kompjutera: korisnik može da aktivira udaljene uredjaje birajući odredjenu ikonu 2D sinoptički interfejsi simuliraju navigaciju i interakciju sa stvarnim svetom 3D virtuelni svetski sistemi klasični grafički interfejs zasnovan na prozorima • praćenju oka • praćenju glave • kontroli gledanja (piljenja) praćenje određenih delova tela : Derivativna paradigma Koristi paradigmu pokazivača

16. Sistem LiceMiš koristi: Jeftinu Web kameru da snimi sliku • Tehnike kompjuterskog gledanja za • identifikaciju različitih delove lica korisnika • Iskoriste za pomeranje pokazivača miša • ili izvršavanje klika mišem Metoda praćenja zasnovana na podudaranju šablona razdaljina izmedju delova sadašnje slike ili šablona izračunata korišćenjem unakrsno-korelativne funkcije zasnovana na koeficijentu normalizovane korelacije poštopokreti ljudi sa Hendikepomne prate neki predvidljivi model kretanja

17. HCI koji se lako koristi • pokazati preciznu poziciju i održati je neko vreme ljudsko-kompjuterski interfejs REŠENJE Derivativna paradigma PROBLEMI • opseg pokreta udova i glave može biti ograničen • osobina se izvlači putem polu-automatske metode Korisnik je zamoljen da lice drži što mirnijim a operater (koji može da koristi standardne uredjaje miša) bira tačku na trenutnoj slici koja je usredsredjena na izabranu osobinu lica (na primer, centar nosa). Označava smer duž kog se miš treba pomerati interakciju čak i ako nema precizne kontrole glave, jer može da pravi samo male pokrete Omogućava • Kvadratni šablon centriran na ovoj tački • se koristi kao model i čuva za dalje podudaranje r1 r2 r3 • Ako je centar osobine detektovan unutar centralne oblasti (označen sa „SW klik“ gde SW znači „statični prozor“) to odgovara zahtevima ne pomeranja pokazivača miša. • I ako korisnik održi osobinu u toj oblasati • duže od definisanog vremena T click, • vrši se pritisak klika na dugme. r8 SW r4 click r7 r6 r5

18. Ako se korisnik pomera u drugom prozoru (rl.....r8) pokazivač miša se pomera u odgovarajućem smeru. ovaj pristup ne radi dobro za korisnike koji ne mogu tačno da pomeraju glavu u svim pravcima HCI koji se lako koristi Tri različita tipa dinamike miša : • dinamičnost uz konstatnu brzinu • dinamičnost sa konstatnim ubrzanjem • dinamičnost u kojoj je brzina funkcija • pomeranja iz centra mreže. NO spead variation SW click kada korisnik želi da klikne na tačkuna ekranu, mora da pozicionira pokazivač miša na željenu tačku,vrati se u statični prozor SW i ostane u toj oblasti Th1 alternativno rešenje: tokom faze podešavanja korisnk (uz pomoć operatera) bira skup tačaka koje predstavljaju pozicije koje korisnik može zauzeti a koje odgovaraju smerovima (gore, dole, levo, desno) i centralnu poziciju Th2 V= (0, 0)ako korisnik pokaže na „SW klik“ zonu f1 i f2 dve funkcije koje se sastoje od konstatnog ubrzanja počevši od prvog parametra V= (v.., v..)brzina pomeranja koja se treba odrediti za pokazivač miša,

19. Praćenje nosa Faza inicijalizacije jedini konveksni oblik na ljudskom licu koji je lako vidljiv je vrh nosa • operator će odabrati za hendikepiranog • korisnika „dobru“ osobinu na njegovom licu • mora biti nedvosmisleno detektujuća, i nepromenljiva • rotacija, interpretacija i promena skale svetlosni uslovi konstantni izmedju dva uzastopna frejma Predpostavke: normalizovana unakrsna korelacija može se koristiti da obavlja u vremenu t podudaranje šablona s obzirom na šablon Zadaci u vreme t – 1 normalizovana unakrsna korelacija zadržava samo „dovoljno dobre“ parove koji se podudaraju poboljšanja za povećanje pouzdanosti i izdržljivosti ovog sistema Da bi smanjili lažna podudaranja, prethodni šablonse ponovo poravnanva sa početnim šeblonom

20. Korisnik pomera prozor koji odgovara odabranom uredjaju i miruje neko vreme da bi izvršio klik i otvara novi interfejs sa specifičnim komandama za taj uredjaj. Vrata Telefon Prozor Svetlo Radio Klima uređaj Oni se mogu jednostavno otvarati ili zatvarati pritiskanjem odgovarajuće dugmadi, ili ručno otvarati donekle pomeranjem klizećih poluga. Tv Peć Mašina Alarm Aplikacije : • korišćenje sinoptičkih interfejsa za kontrolisanje kuće • primena za medjusobnu komunikaciju i pisanje • opšte Microsoft Windows aplikacije Tipovi Prednosti sistema LiceMiš : • nema potrebu za operatorom • upotrebljava interfejs lakši za korisnika • zasnovan na virtuelnoj tastaturi dva poboljšanja su uključena u sistem • ne zahteva od korisnika da se vrati u statični prozor • predlaganje sledećeg najverovatnijeg • karaktera, uz dati trenutno izabran karakter Virtuelna tastatura LiceMiš interfejsa za kontrolisanje kuće

21. testiranje sa deset tetraplegičnih osoba Eksperimentalni zaključci 1. Korišćenjem predloženog sistema, korisnici mogu da pišu više od dva puta (bez predvidjanja) ili više od tri puta (sa predvidjanjem) brže nego koristeći tradicionalni sistem 3. Sa sistemom predvidjanja korisnik može da ubrza proces pisanja (za 59% i za 25% za dinamičnost 1, odnosno 2) uzimajući u obzir slučaj bez predvidjanja. 2. Najbolji učinak može se postići korišćenjem predvidjanja i brzine u zavisnosti od pozicije pokazivača

22. Zaključci: Sistem LiceMiš - ljudsko-mašinski interfejs za pomoć tetraplegičarima - Sistem je zasnovan na tehnikama kompjuterskog vida, zato nije neophodno primeniti senzore na telo korisnika, - omogućava korisniku da piše više od tri puta brže nego sa tradicionalnim sistemima.

23. Povraćaj objekata putem ispitivanja sa osetljivošću zasnovanom na skali KANSEI-rečnika

24. na japanskom jeziku znači osetljivost, osećati, prisetiti se, želeti i misliti o lepoti u stvarima KANSEI izražava se uglavnom emotivnim rečima na primer: lepo, romantično, fantastično, udobno Koncept KANSEI- je usko povezan sa konceptom ličnosti i osećajnosti KANSEI informacija je polje koje cilja na obradu i razumevanje kako ljudska inteligencija obradjuje subjektivne informacije ili dvosmislenu osećajnosti i kako informacije mogu da se izvrše od strane kompjutera

25. povežemo vizuelne informacije sa osećanjimaljudskih bića preko skale relacionihuzoraka Vizulenih informacija ( boje, oblika ) kreiranje KANSEI skale rečnika zasnovane na vizuelnim informacijama kao što su boja, oblik, tekstura i šema KANSEI-rečnikom ljudi U fokusu je studija KANSEI-zasnovanih alata povraćaja slika je ograničena i zasnovana na sadržaju koristeći vizuelne osobine kao što su tekstura, oblik, šema i naročito boja za skalu smo sakupili i klasifikovali najuobičajenije oblike i definisali koji su najstandardniji oblici našli smo vezu izmedju oblika i KANSEI rečnika. najpopularniji izvori za eksperiment, ili zasnovani na osobinama kao i sistemi koji koriste prepoznavanje rezultat imaju teškoće u proveravanju i prepoznavanju slika koje odgovaraju svrhama ili ukusima korisnika u višem značenju KANSEI skala rečnika za oblike i povezani KANSEI rečnik. Konačna svrha skale relacionihuzoraka

26. Definicija oblika znači ravan dvodimenzionalnog obllika napravljen linijama koji pokazuje ili „siluetu“ ili „okvir“ Oblik dužina i širina dvodimenzionalan oblik stvari, njen izgled i držanje, ili telo i figura, i to je jedinstvo, ujedinjena celina, ili organizacija koja kreira delimični red za celo telo stvari. Forma je prirodna metafora ili prefinjena forma kreirana ideološkim mislima ljudi Geometrijska forma

27. Tri forme sadrži konceptualne elemente,vizuelne elemente relacione elemente i konstrukcione elemente Dizajn - konceptualna prirodna Vizuelne informacije geometrijska veštačka apstraktna forma promenjena kroz formu u jednostavnost nemaju definisan standard

28. oblik i forma se kreiraju ravnima ravni oblika se staljaju u glavne elemente

29. Tehnika aplikacije povraćaja objekta (GVF)i (TSR) GVF GVF Gradacijski Vektor toka, zmija za detekciju kontura oblika Tangentna preznetacija prostora za meru sličnosti oblika: Počinje kalkulacijom polja sila, GVF sile, nad domenom slika Alternativna prezentacija Digitalna kriva linija C je predstavljena u tangentnom prostoru grafikom funkcije koraka Izračunavaju se primenom opšte difuzijske jednačine na obe komponente gradacije mape ivica slike. Produžava „obim snimanja“ mogu da nadju objekte koji su dosta daleko od prvobitne pozicije zmije

30. Slika oblika KANSEI- Rečnik bogat, pun, slab, perfektan, relaksirajući, siguran, zadovoljan, topao Neprijatan, hladan, iskrivljen, vrtoglav, iritirajući, stran, neprijatan nejasan, zbunjen, nervozan, stran, jedinstven, nestabilan, neodređen, zabrinut Obilan, balansiran, udoban, fleksibilan, slobodouman, mekan, nežan nema razlike izmedju KANSEI stepena i date KANSEI reči Merenje KANSEI-rečnika skale prema obliku 1. korak 2. korak Standard je bio 5 intervala skale • Grupi subjekata sastavljene od 280 ljudi se pokažu slike oblika • da opišu svoja osećanja pridevima gledajući u svaku datu sliku • svi pridevi sakupljeni u koraku 1 su klasifikovani • prema njihovoj učestalosti korišćenja. Efekti veličine, boje, pratećeg efekta i spoljašnjeg okruženja su kontrolisani da izmere KANSEI skale za svaku sliku oblika ili linije • reči koje ne pokazuju osećanja ili nisu • demonstrativne reči se odstranjuju Druga grupa uzorka od 250 ljudi se koristi za merenje stepena KANSEI-a Deo prvog KANSEI-rečnika prema obliku raskošno analiziraodnose izmedju svih reči KANSEI rečnika i odnosa izmedju svakog oblika i njegovog odgovarajućeg KANSEI rečnika 100 75 50 25 0 Primer KANSEI-rečnika skale

31. osobine svakog oblika usko povezane sa osećajnošću ljudi i odlučuju o razdaljini dimenzija medju rečima KANSEI rečnika ljudi iz grupe uzorka osetljiviji na oble oblike nego na druge oblike i osetili su slična osećanja prema datim oblicima KANSEI rečnik skale prema obliku

32. Arhitektura i eksperimenti sistema povraćaja objekata Selektovana slika Ispitivanje (KANSEI rečnik) Interfejs Feedback u istraživanju Dokazni podaci KANSEI- rečnik skale oblika ispitivanje Agent istraživanja (Sličnost između oblika) Objekat otkrivanja Geometrijski oblik Slika postavljenog zadatka GVF zmija TSR

33. uredno vraćamo slike po minimumu vrednosti zbog niže vrednosti, i veće sličnosti Eksperiment: Ispitivanje KANSEI rečnika Levi prozor Desni prozor Pojam :UDOBAN Zadatak: Povraćaj objekta koji je “Udoban” slika objekta sličnost koja koristi TSR izmedju F i I Rezultat detekcije kontura Rezultat originalne slike Razdaljina između F i V slika geometrijskog oblika Slike detekcije kontura Stopa zadovoljstva Korisnika zavisi od drugih faktora Slika je formirana kao vizuelna informacija po boji, obliku, teksturi i šemi

34. Zaključci: • KANSEI rečnik skale se koristi za povraćaj slika prema nameri korisnika • Koristi se zaocenjivanje zadovoljstva korisnika prema obliku • U dizajnu proizvoda i proizvodnji proizvoda • U budućnosti : inteligentni povraćaj slika,znanja, informacija na osnovu ontologije osećajnosti

35. Hvala na pažnji

36. Sofisticirana strategija praćenja - SVR filter čestica SVR filtar čestica- poboljšani filter čestica

37. S- OFH Ubacuje se u okvir za učenje Za obezbeđivanje kompaktnog Predstavljanja prostorne šeme bučnog optičkog protoka 1. Optičko polje se izvodi • Post- obradom ispravljanjem plutalasa • Izglađivanjem metodom “Gaussian” 2. Optičko polje se deliu komade • na osnovu odnosa između • pokretačkih delova tela i oblasti figure

38. Osetljvost pratioca na buku, deformaciju igrača i pozadinsko zagušenje izazvano nejasnioblicima Podudaranje šablona SVR- filter čestica Postojeće metode Poboljšava učinak klasičnog Filtera čestica sa malim skupom uzoraka i dovoljno je izdržaljiv za ometanje u emitovanom snimku

39. Jednom kad se video sekvenca stabilizuje, pokret u video emitovanju izazvan ponašanjem kamere može se smatrati otklonjenim. Ovo odgovara veštom kretanju kamermana koji zadržava figuru u pokretu u centru gledišta. Svaki zaostali pokreti u okviru ljudske centrične figure postoje zbog relativnog pomeranja različitih delova tela kao što su udovi, glava, torzo, i reket kojim igrač igra.

40. Post obrada koja povezuje pozadinske piksele u oblasti Adaptivna metoda detekcije polja Detekcija piksela pozadine Rastuća tehnika oblasti Eliminiše buku i izglađuje graice Polje igre kao pozadina ljudske centrične figure

41. Metode zasnovane na histogramu Za prostorno prepoznavanje PREDNOST • pružaju mnogo informacija koristeći • veoma kompaktne opise ako su dimenzije • histograma male Motivisana centralnom procenom gustine za distribuciju boje Grupa histograma optičkog toka zasnovanih na komadu (S-OFH). zapolje optičkog toka skup indeksa histograma povezanog sa vektorom optičkog toka f na lokaciji p i figuru Fi i=1, ....N gde je N ukupni broj figura verovatnoća skupa u=1,...,m u histogramu OFF je pod- polje optičkog toka u j-tom komadu, j=1,.....L i ovde je L=3 δ- Kronekerova delta funkcija C je constantan normalizacije se definiše k je konveksni i monotoni opadajući centralni profil

42. tačnost prema iskustvu 1. Klasifikacija 2170 frejmova udaraca u dve katogorije radnje Eksperimentalni rezultati prepoznavanja u frejmovima 87.10 Netačno prepoznavanje ! Igrač objekat koji se deformiše i njegovi ekstremiteti se slobodno kreću tokom prikazivanja radnje. Ovo uznemirava regularnu distribuciju optičkog toka i učiniće da S- pogrešno obaveste o karakteristikama pokreta figure.

43. Okvir koji odgovara pojavljivanju udaranja 56 radnji levih udaraca klasifikovano u dve kategorije 49  desnih udaraca metod zasnovan na audio modalitetima detektujemo udaranje lopte da bi locirali klip radnje na video snimku hitting point – tačka udarca biranje grupe frejmova u susednom prozoru pre tačke udaranja Konačna prepoznata kategorija radnje se odredjuje kao: je i-ti frejm u video klipu V Dužina prozora se odredjuje na osnovu iskustvuna 25 frejmova u eksperimentu: je ljudska centrična figura Reg(.) se odnosi na naš pristup prepoznavanju radnje.