630 likes | 883 Views
Iz vsebine. Osnovno o modeliranju kamere Direktna linearna transformacija (DLT) Kalibracija kamere (DLT, Tsai) Rekonstrukcija – “nazaj v prizor” Še nekaj pogledov na modeliranje kamere Distorzija leče. Geometrijski modeli kamer. Zanima nas, kako se točke v prostoru
E N D
Iz vsebine • Osnovno o modeliranju kamere • Direktna linearna transformacija (DLT) • Kalibracija kamere (DLT, Tsai) • Rekonstrukcija – “nazaj v prizor” • Še nekaj pogledov na modeliranje kamere • Distorzija leče
Geometrijski modeli kamer • Zanima nas, kako se točke v prostoru • preslikajo (projicirajo) v sliko. • Modeliramo preslikavo 3D prizora v 2D • slikovno ravnino.
Slikovna ravnina Y X o x O y p f Z Geometrijski modeli kamer Centralno projekcijski (perspektivni) model P=(X,Y,Z)
Geometrijski modeli kamer Centralno projekcijski (perspektivni) model X Y P p O y x o f Z Slikovna ravnina
Geometrijski modeli kamer Šibko perspektivni model (angl. Week Perspective) • Debelina predmeta majhna v primerjavi z razdaljo, Z << Z. • Tanki (planarni) predmeti in/ali na primerno veliki razdalji. • Ortografska (m=1) projekcija s skaliranjem (m < 1).
u v v u Geometrijski modeli kamer • (Digitalno) sliko sestavlja polje slikovnih elementov (pikslov). • Slikovne koordinate so diskretne, izražene v “pikslih”, (u, v). • Za veliko praktičnih primerov zadostuje, • da določimo u , v (oziroma fu , fv) ali mu, mv.
Geometrijski modeli kamer • Položaj točke P v prostoru (koordinate X, Y, Z ) • smo podajali glede na koordinatni sistem (k.s.) kamere. • Koordinatni sistem kamere pa ni direktno dosegljiv. P(X,Y,Z) p Y O Z X
Z X Y P(X,Y,Z) V p(u,v) O U Geometrijski modeli kamer • Položaj predmeta (P) raje definiramo v zunanjem – • “svetovnem” - referenčnem k.s., v katerem so koordinate • (direktno) merljive. • k.s. npr. definirajo stene/tla prostora, predmet pravilne • oblike (kvader), stroj, robot, ... • Preslikava 3D -> 2D: • Zasuk, premik v k.s. kamere • Projekcija v slikovno ravnino
Geometrijski modeli kamer • Parametri kamere: • Zunanji (angl. Extrinsic, External): • položaj in smer kamere (k.s. kamere) • glede na poznan zunanji koordinatni • sistem (referenčni k.s.) • Notranji (angl. Intrinsic, Internal): • parametri, ki povezujejo slikovne • koordinate pikslov s k.s. kamere. • Vsega skupaj 11 ali več parametrov: • premik (3), zasuk (3), • goriščna razdalja (1), optično središče slike (2), • velikost piksla (2). • K tem (po potrebi) dodamo še distorzijo leče: • odvisno od modela (1 – 5 parametrov).
Iz vsebine Direktna linearna transformacija (DLT)
Z Y X P(X,Y,Z) Direktna linearna transformacija Načeloma iščemo preslikavo T: 32 P p a V p(u,v,0) b o(u0,v0,0) O(X0,Y0,Z0) O(U0,V0,f) W U
P a V p b O(X0,Y0,Z0) o(U0,V0,f) W U Direktna linearna transformacija Kolinearnost vektorjev a in b: b= ca, c > 0 (skalar) b izrazimo v k.s. kamere, b(Ub,Vb,Wb) a izrazimo v zunanjem k.s.,a(Xa,Ya,Za) b= p(U,V,W=0) – o(U0,V0,W0=f) a=P(X,Y,Z) – O(X0,Y0,Z0) b (Ub,Vb,Wb) = c Ra(Xa,Ya,Za) R = rotacijska matrika p–o = c R (P–O)
Direktna linearna transformacija P(X,Y,Z) Zapišimo p–o = c R (P–O) v komponentni obliki: a V p(U,V,0) b O(X0,Y0,Z0) O(U0,V0,0) O(U0,V0,f) W U
Direktna linearna transformacija Vstavimo izraz za c v prvi dve enačbi: Diskretiziramo slikovni koordinati: (u0, v0 ) = točka, kjer optična os prebada slikovno ravnino Velikost piksla(u, v)- faktorja skaliranja – sta v horizontalni in v vertikalni smeri na splošno različna.
Direktna linearna transformacija Standardna in bolj pregledna oblika zapisa: Li (i = 1,2,...,11) so t.i. parametri DLT
DLT + distorzija leče (Pravzaprav bi morali pisati u = ud+ u) • u,v:Distorzija leče (odvisna od u,v) • (u,v) = (u(u,v),v(u,v)) • Modeliranje distorzije prinese 1,2, ali • celo več dodatnih parametrov in • nelinearnost.
Iz vsebine • Kalibracija kamere • Metoda 1 (DLT) • Določitev parametrov preslikave • Rekonstrukcija - določanje koordinat točk v • prostoru. • Metoda 2 (Po Tsai-u)
Iz vsebine Kalibracija - Metoda 1 (DLT)
Z Y X P(X,Y,Z) DLT enačbe (še enkrat) a V p(u,v,0) b o(u0,v0,0) O(X0,Y0,Z0) O(U0,V0,f) W U
DLT kalibracija Iščemo neznane vrednosti Li(i=1,2,....,11)
DLT kalibracija • Enačbi točke: poznamo koordinate točke v • prostoru in koordinati iste točke v slikovni • ravnini, iščemo neznane parametre modela. • Vsaka točka prispeva dve enačbi. • Neznanih parametrov je 11. • Potrebujemo vsaj 6 “kontrolnih” oziroma • “kalibracijskih” točk. • V praksi jih vzamemo (čim)več.
DLT kalibracija Vektor b Matrika A
DLT kalibracija • Iščemo rešitev predoločenega sistema • enačb (več enačb kot neznank). • Metoda najmanjših kvadratov.
DLT kalibracija, u0,v0 1 Zahtevamo ortogonalnost rotacijske matrike R Rotacijska matrika R = [rij] je ortogonalna matrika, RT R = I, (ohranja razdalje).
DLT kalibracija, u0,v0 Pogoji ortogonalnosti – računamo u0 0 1
DLT kalibracija, u0,v0 Pogoji ortogonalnosti – za v0 1 0
DLT kalibracija, u0,v0 Pogoji ortogonalnosti - u0,v0
DLT kalibracija, R=[rij] fu in fv še ne poznamo
DLT kalibracija, fu in fv Pogoji ortogonalnosti
DLT kalibracija, povzetek -Kalibracijski “vzorec” ->Xi,Yi,Zi,(i=1,...,N) Točke ne smejo biti koplanarne. Točke morajo dobro “pokriti” delovni prostor. -Slika vzorca, obdelava ->ui,vi,(i=1,...,N) -Xi,Yi,Zi,ui,vi,LS metoda ->L1,...,L11 -L1,...,L11->X0,Y0,Z0 -L1,...,L11, ortogonalnost ->u0,v0 -L1,...,L11,u0,v0,->fu,fv -L1,...,L11,u0,v0,fu,fv ->R=[rij]
Kalibracija,... • Na točnost kalibracije direktno vpliva točnost kalibracijskega vzorca. • Praktično pravilo: toleranca vzorca naj bo vsaj za velikostni razred • boljša od zahtevane merilne točnosti. • Kalibracijske točke naj bodo razporejene po vsem prostoru in take, • da jih je moč detektirati (v sliki) zanesljivo in točno. Tipičen • kalibracijski vzorec je kvader poslikan s šahovnico. • Posnamemo lahko tudi več slik. • Še enkrat povejmo: • ko je sistem kalibriran, ne smemo ničesar več spreminjati.
Kalibracija,... • Nekatere raziskave so šle tudi v smeri postopkov dinamične kalibracije. • Sistematično spreminjanje (nekaterih) parametrov sistema, kalibracije in • modeliranja sprememb (R. Wilson) “aktivni vid”. • Če nekatere od parametrov že poznamo, jih nima smisla kalibrirati. • Če je prizor 2D (Z=0), vzamemo 2D (npr. DLT) model. Ni treba, da bi • bili delovna površina in slikovna ravnina vzporedni. • Nekatere raziskave so šle tudi v smeri delne (šibke) kalibracije, • nekalibrirani sistemi pa so aktivno raziskovalno področje nasploh.
Kalibracija,... • Napako kalibracije se da ovrednotiti: • V slikovnem prostoru: enostavno preslikamo kontrolne točke v sliko • in izračunamo srednje kvadratično odstopanje izračunanih od • izmerjenih vrednosti. • Še bolje da uporabimo kontrolne točke, ki za kalibracijo • niso bile uporabljene. • V zunanjem prostoru: potrebna je rekonstrukcija.
Določanje X,Y,Z • Kamera je sedaj “kalibrirana” • Dokler ne spremenimo postavitve (obrnemo obroček na • objektivu, premaknemo kamero, ... • Določanje položaja predmeta: • Poznamo parametre modela L • Poznamo slikovne koordinate u,v • Iščemo koordinate točk v prizoru X,Y,Z • DLT model nam slika prostorske koordinate v slikovne. • Rabimo obratno preslikavo. • Kako?
Položaj predmeta X,Y,Z Ponovno obrnemo enačbi DLT
Položaj predmeta X,Y,Z V matrični obliki: Vsaka točka v sliki (u,v) prispeva dve enačbi, toda prinese tri neznanke (X,Y,Z)
Položaj predmeta X,Y,Z Potrebujemo dodatne omejitve ... ali več informacije
Položaj predmeta X,Y,Z Pomaga več slik, več (m > 1) kamer ene in iste točke v prostoru. Enačbe spet rešimo z metodo najmanjših kvadratov
Položaj predmeta X,Y,Z • “Postavimo” (kalibrirane) kamere • Potrebujemo vsaj dve sliki (dve kameri) • Posnamemo slike istega prizora • Sedaj imamo več slik istega prizora • Analiziramo slike (vsako zase) • Določimo koordinate “pomembnih” točk v slikah • Bistven problem: katere točke v teh slikah upodabljajo • isto točko prizora? • Problem korespondence – stereo ujemanja • Stereo primerjanje