Jellemző pontok keresése

1. Jellemző pontok keresése S. Seitz (Uni. Washigton) előadása alapján

2. Kép illesztés (párosítás) by Diva Sian by swashford TexPoint fonts used in EMF. Read the TexPoint manual before you delete this box.: AAAAAA

3. Nehezebb eset by Diva Sian by scgbt

4. Még nehezebb eset “How the Afghan Girl was Identified by Her Iris Patterns” Read the story

5. Még bonyolultabb eset? NASA Mars Rover images

6. Válasz lent(tekintsük a színes jeleket …) NASA Mars Rover images with SIFT feature matchesFigure by Noah Snavely

7. Jellemzők All is Vanity, by C. Allan Gilbert, 1873-1929 • Readings • M. Brown et al. Multi-Image Matching using Multi-Scale Oriented Patches, CVPR 2005

8. Képillesztés (párosítás)

9. Képillesztés (párosítás)

10. Invariáns lokális jellemzők • Olyan jellemzők keresése, melyek invariánsak transzformációkra • Geometriai invariancia: eltolás, forgatás, skálázás • Fotometria invariancia: fényesség, expozíció, … Jellemző leírók

11. Lokális jellemzők előnyei • Helyzet • Lokális jellemzők robusztusak • Jellegzetesség • Objektumok nagy adathalmazát megkülönböztethetjük • Mennyiség • Képenként több száz, ezer is előfordulhat • Hatékonyság • Valós idejű működés biztosítható • Általánosság • Kihasználható a jellemzők különböző típusai a különböző szituációkban

12. További motiváció … • Jellemző pontokat használhatunk: • Képek igazítására (pl.mozaikozás) • 3D rekonstrukció • Mozgás követés • Objektum felismerés • Adatbázis indexelés és visszakeresés • Robot navigáció • …

13. Mitől lesz valami jó jellemző?

14. Egyértelműséget szeretnénk • Olyan régiót tekintsünk, ami „rendkívüli” • Egyértelmű képillesztéshez vezethet • Hogyan definiáljuk a „rendkívüliséget”?

15. Az egyértelműség lokális mértéke • A pixelek kis környezetét tételezzük fel • Mi határoz meg jó, vagy rossz jellemzőt? Slide adapted form Darya Frolova, Denis Simakov, Weizmann Institute.

16. Jellemző detektálás • Jellemző egyértelműségének lokális mértéke • Hogyan változik az ablak, amikor eltoljuk? • Ha bármely irányba toljuk el, nagy változást okoz “sarok”:szignifikáns változás minden irányban “sima”régió:nincs változás egy irányba sem “él”: Nincs változás az él irányában Slide adapted form Darya Frolova, Denis Simakov, Weizmann Institute.

17. Jellemző detektálás: matematikai modell • Tételezzük fel, hogy eltoljuk a Wablakot • (u,v) értékkel • hogyan változnak a pixelekW-ben? • hasonlítsuk össze az összes pixelt: négyzetes differenciákat adjuk össze (SSD) • Ez eredményezi az SSD “hibát”: W

18. Kis mozgást tételezünk fel • Taylor sorba fejtve a képen az elmozdulás: • Ha az (u,v) elmozdulás kicsi, akkor megközelítőleg: • Behelyettesítve az előző oldalon lévő kifejezésbe … magasabb rendű tagok Jelölés:

19. Jellemző detektálás: matematikai modell • Tételezzük fel, hogy eltoljuk a Wablakot • (u,v) értékkel • hogyan változnak a pixelekW-ben? • hasonlítsuk össze az összes pixelt: négyzetes differenciákat adjuk össze (SSD) • Ez eredményezi az SSD “hibát”: W

20. Jellemző detektálás: matematikai modell Tovább írható: • Például • A zöld ablak közepét bárhova mozgathatjuk az egység körre • Melyik irány eredményez legnagyobb, vagy legkisebb E értéket? • AHmátrix sajátvektorainak segítségével határozhatjuk ezt meg

21. Sajátérték/sajátvektor emlékeztető • Az Amátrix sajátvektora az azxvektor, melyre teljesül: • A  skalár a xsajátvektorhoz tartozó sajátérték • A sajátérték számolható a következőből: • Esetünkben, A = H 2x2 méretű mátrix, így • Megoldás: • Ha tudjuk értékét, akkor az xsajátvektor a következő megoldása

22. Jellemző detektálás: matematikai modell Így: x- x+ • A Hmátrix sajátértékei és sajátvektora • A legkisebb és legnagyobb eltolás változást definiálják (E) • x+ = Elegnagyobb változásának iránya • + = x+irányban a változás mértéke • x- = E legkisebb változásának iránya • - = x- irányban a változás mértéke

23. Jellemző detektálás: matematikai modell • How are +, x+, -,and x+ relevant for feature detection? • What’s our feature scoring function?

24. Jellemző detektálás: matematikai modell • Az +, x+, -ésx+mennyire relevánsan határozza meg a jellemző pontokat? • Hogyan értékeljük ki a jellemző detektálást? • Az E(u,v)értékétnagynakszeretnénk tetszőleges irányú kis elmozdulások esetén is • Az E(u,v)minimuma nagy kellene legyen minden egységnyi [u v]-re • Ez a minimum a Hmátrix kisebbik-sajátértékére adott

25. Jellemző detektálás: összefoglalás • A következő lépéseken kell végighaladni • A kép minden pontjában gradiens számítás • AHmátrix meghatározása a gradiens koordinátáiból • Sajátértékek kiszámítása • Azon pontok meghatározása, ahol erőteljes a válasz (-> threshold) • Azon pontok lesznek jellemzőek, ahol - lokális maximum

26. Jellemző detektálás: összefoglalás • A következő lépéseken kell végighaladni • A kép minden pontjában gradiens számítás • AHmátrix meghatározása a gradiens koordinátáiból • Sajátértékek kiszámítása • Azon pontok meghatározása, ahol erőteljes a válasz (-> threshold) • Azon pontok lesznek jellemzőek, ahol - lokális maximum

27. A Harris operátor • A „Harris operator”az előzőhöz hasonlóan a - értékét vizsgálja a jellemző meghatározása során • Mátrix nyomaa főátlóban lévő elemek összege, i.e., trace(H) = h11 + h22 • A kifejezés hasonló, mint az előző - meghatározásánál, de kevesebb művelet (nincs gyökvonás) • Az f kifejezés„Harris sarokpont detektor” vagy„Harris operátor” • Más detektorok is vannak (Lucas-Kanade)

28. A Harris operátor Harris operátor

29. Harris operátor példa

30. fértéke (vörös magas, kék alacsony)

31. Küszöbölve (f > threshold)

32. Az f értékek lokális maximuma

33. Harris jellemzők (vörössel jelölve)

34. Invariancia • Ha elforgatjuk a képet valahány fokkal • Ugyanazokat a jellemzőket kapjuk? • Mi van ha a fényesség változik? • Skálázás esetén?

35. Skálázás esetén invariáns jellemzők • Tegyük fel, hogy sarokpontot keresünk • Ötlet: keressünk olyan skálázást, amely f lokális maximumát adja • flokális maximum legyen mind a helyzetre, mind a skálázásra vonatkozóan

36. Jellemző leírók • Most már tudjuk, hogyan detektáljunk jellemző pontokat • Következő probléma: Hogyan párosítsuk azokat? ?

37. Jellemző leírók • Most már tudjuk, hogyan detektáljunk jellemző pontokat • Következő probléma: Hogyan párosítsuk azokat? • Rengeteg megközelítés (népszerű kutatási terület) • Egyszerű megközelítés: párosítás négyzetes ablakkal (SSD, stb.) a jellemző pont körül • „State of the art”megközelítés: SIFT • David Lowe, UBC http://www.cs.ubc.ca/~lowe/keypoints/ ?

38. Invariancia • Tegyük fel, hogy két kép (I1és I2)az összehasonlítandó • I2az I1transzformált verziója • Milyen transzformációkat vehetünk számításba a gyakorlatban?

39. Invariancia • Tegyük fel, hogy két kép (I1és I2)az összehasonlítandó • I2az I1transzformált verziója • Milyen transzformációkat vehetünk számításba a gyakorlatban? • Ugyanazokat a jellemzőket szeretnénk megtalálni a két képen tekintet nélkül, hogy miként transzformálódott a kép • A transzformációra invarianciának nevezik ezt • A legtöbb módszert olyanra tervezik, hogy invariáns legyen • Eltolásra, 2D forgatásra, skálázásra • Szintén kezelhetik • A korlátozott 3D forgatást (SIFT kb. 60 fokig működik helyesen) • A korlátozott affin transzformázót

40. Hogyan érhetünk el invarianciát? • Mindkét következő feltételnek teljesülnie kell: • A detektornak invariánsnak kell lennie • Harris invariáns eltolásra és forgatásra • Skálázás problémás, de • általános megközelítés, hogy sok szinten határozzuk meg a jellemző pontokat Gauss piramist használva (pl. MOPS) • A még kifinomultabb módszerek a „legjobb skálát”is megtalálják, amelyben minden jellemző reprezentálható (pl. SIFT) • 2. A jellemző leírónak is invariánsnak kell lennie • A leíró magában tartalmazza a detektált pont környezetéről az információt • Legegyszerűbb leíró: négyzetes ablak a jellemző körül • Mi lesz itt invariáns? • Nézzünk jobb módszereket …

41. Jellemző detektorok forgatási invarianciája • Határozzuk meg a képrész (patch) domináns irányultságát • Ez adott x+vektorral, ami Hmátrix +-hoz tartozó sajátvektora • + a nagyobb sajátérték • Forgassuk el a képrészt ezen irány szerint Matthew Brown ábrája

42. Multiscale Oriented PatcheS descriptor • Vegyünk egy 40x40 méretű négyzetes ablakot a jellemző körül • Skálázzuk át 1/5 méretűre (előszűrést használva) • Forgassuk be vízszintes irányba • 8x8 méretű, jellemző középpontú ablakunk van • Az intenzitást normalizáljuk az ablakba úgy, hogy az átlagot kivonjuk és elosztjuk a standard szórással 40 pixels 8 pixels CSE 576: Computer Vision Matthew Brown ábrája

43. Detektálás különböző skálákon

44. SIFT leíró • Teljes verzió • A16x16 méretű ablakot 4x4 méretű cellára kell osztani(2x2 szerepel az ábrán!) • Számítsuk ki minden cellának az él orientációs hisztogramját • 16 cella* 8 orientáció= 128 dimenziós jellemző Adapted from slide by David Lowe

45. A SIFT tulajdonságai • Rendkívüli módon robusztus • A nézőpontban történő változást képes kezelni • kb. 60 fokos síkbeli elfordulásig • A megvilágítás szignifikáns változását tuja kezelni • Néha éjjel és nappali fényeket is • Gyors, hatékony — válós idejű alkalmazhatóság • Renfeteg elérhető kód • http://people.csail.mit.edu/albert/ladypack/wiki/index.php/Known_implementations_of_SIFT

46. Jellemző párosítás • Adott egy jellemző az I1képen, hogyan találjuk meg párját az I2képen? • Határozzunk meg egy távolságfüggvényt, ami összehasonlít két leírót • Vizsgáljunk minden jellemzőt az I2képen, és a távolságfüggvény szerinti minimálist válasszuk

47. Jellemzők távolsága • Hogyan határozzuk meg két jellemző (f1, f2) közti differenciát? • Egyszerű megközelítés: SSD(f1, f2) • A négyzetes eltérések összegét használjuk • Jó értéket adhat nagyon rossz (kétértelmű) párosításnál is f1 f2 I1 I2

48. Jellemzők távolsága • Hogyan határozzuk meg két jellemző (f1, f2) közti differenciát? • Jobb megközelítés: távolságok aránya = SSD(f1, f2) / SSD(f1, f2’) • f2alegjobb SSD,amely az I2képen az f1-hez pár • f2’ a 2. legjobb SSD,amely az I2képen az f1-hez pár • a kétértelmű találatokra kis értéket ad f1 f2' f2 I1 I2

49. Eredmények kiértékelése • Hogyan mérhetjük a jellemző párosítás hatékonyságát? 50 75 200 Jellemző távolság

50. Igaz/Hamispozitívok (ROC) A távolság küszöb befolyásolja a hatékonyságot Igaz pozitívok = helyesen detektált párosítások száma Ha ezt szeretnénk maximalizálni — hogyan válasszunk threshold értéket? Hamis pozitívok = tévesen detektált párosítások száma Ha ezt szeretnénk minimalizálni — hogyan válasszunk threshold értéket? 50 true match 75 200 false match Jellemző távolság