3D Motion Estimation

1. Materiale di supporto all’insegnamento di ELABORAZIONI IMMAGINI 1 3D Motion Estimation Prof. Carlo Regazzoni

2. Indice • Stima del moto 3D • Stima basata su feature • Oggetti di forma nota in proiezione ortografica • Oggetti di forma nota in proiezione prospettica • Oggetti planari • Oggetti di forma ignota – uso della linea epipolare • Stima diretta • Modelli di segnale immagine e di moto • Oggetti di forma nota • Oggetti planari • Bibliografia

3. Stima del moto 3D • Permette di descrivere il moto di un oggetto nello spazio tridimensionale • Come per il moto 2D, anche in questo caso si tratta di un problema mal posto: sono necessarie ipotesi semplificative (oggetti rigidi, forme note…) • La proiezione ortografica o la proiezione prospettica possono essere utilizzate come modelli Campi di applicazione: guida automatica, robotica, codifica video orientata agli oggetti, ecc.

4. Stima del moto 3D La principale classificazione (presa come riferimento nel seguito) per distinguere i metodi di stima del moto 3D mette in evidenza • Metodi indiretti: si affidano alla ricerca di corrispondenze tra feature caratterizzanti gli oggetti (livello di feature); possono facilmente stimare ampi spostamenti se le feature sono affidabili • Metodi diretti: operano prendendo come input l’immagine completa (livello di segnale); non necessitano di corrispondenze di feature ma possono stimare sono piccoli spostamenti • Metodi iterativi: si basano sulla ripetizione di algoritmi diretti per arrivare alla stima di spostamenti più ampi

5. Stima del moto basata su feature • Ipotesi: in questo approccio si assume che feature identiche di uno stesso oggetto possano essere identificate in immagini successive • Le feature sono generalmente punti di riferimento fisici degli oggetti di cui si vuole stimare il moto

6. Stima del moto basata su feature Nel seguito vengono introdotti 4 algoritmi per la stima del moto basata su feature; tutti e 4 assumono oggetti 3D rigidi e le seguenti ipotesi: • Proiezione ortografica; forma dell’oggetto nota • Proiezione prospettica; forma nota • Ipotesi di oggetti approssimabili da superfici piane • Proiezione prospettica; nessuna conoscenza sulla forma

7. Oggetti di forma nota in proiezione ortografica Stima basata su feature Ipotesi di forma nota: per ogni punto conosciamo le coordinate 3D del punto associato ad x sulla superficie dell’oggetto. Si considera la proiezione ortografica come rappresentata in figura: Mentre l’equazione del moto è rappresentata da:

8. Oggetti di forma nota in proiezione ortografica Stima basata su feature Sotto le precedenti ipotesi la posizione di un punto nel piano immagine prima e dopo lo spostamento e definita da: con la matrice di rotazione associata:

9. Oggetti di forma nota in proiezione ortografica Stima basata su feature Secondo il vettore di traslazione e l’equazione le precedenti rappresentano il mappaggio affine del punto x dell’immagine knel punto x’ dell’immagine k+1 Ora, linearizzando secondo Otteniamo la relazione affine

10. Oggetti di forma nota in proiezione ortografica Stima basata su feature Date almeno 3 corrispondenze tra punti, l’equazione ottenuta permette la soluzione delle 5 variabili incognite del moto Per aumentare l’affidabilità della stima, comunque, si raccomanda l’uso di almeno 6 corrispondenze note

11. Oggetti di forma nota in proiezione prospettica Stima basata su feature Per stimare il moto arbitrario di oggetti 3D arbitrari (ma di forma nota) assumiamo che un punto noto X si muova fino alla posizione ignota X’. Se proiettiamo X’ sul piano immagine secondo la proiezione prospettica così definita: otteniamo:

12. Oggetti di forma nota in proiezione prospettica Stima basata su feature Se ora sostituiamo X’ con X usando l’equazione del moto arriviamo a: da risolvere rispetto ai parametri del moto: assumendo noti x, x’ e X Per risolvere usando n sistema di equazioni lineari, assumiamo rotazioni di piccoli angoli e usiamo la matrice di rotazione linearizzata , ottenendo

13. Oggetti di forma nota in proiezione prospettica Stima basata su feature Dopo ulteriori passaggi arriviamo a Dove sono noti x, x’ e X e ignoti i 6 parametri del moto. Ogni corrispondenza fra punti fornisce 2 equazioni, ma per evitare inaccuratezze dovute alla stima delle feature dei punti, dovremmo risolvere questa equazione per più di tre punti utilizzando un algoritmo ai minimi quadrati.

14. Oggetti planari Stima basata su feature La stima del moto arbitrario di un piano nello spazio è un problema particolarmente interessanteperchè spesso saremo in grado di approssimare la forma di un oggetto tridimensionale con uno o più piani. In questo caso l’algoritmo non ipotizza la xonoscenza dell’orientazione del piano nello spazio; quindi stimiamo 8 parametri per determinare la posizione del piano ed il suo moto. Riprendendo il modello di telecamera con proiezione prospettica, abbiamo Oggetti rigidi in moto in base a e l’equazione del piano

15. Oggetti planari Stima basata su feature Allora possiamo descrivere il mappaggio del punto x dall’immagine k a k+1 come la proiezione: con 8 incognite di moto e di struttura ( ), talvolta chiamati parametri puri Possiamo quindi risolvere rispetto ai parametri puri avendo almeno 4 corrispondenze tra punti non collineari a tre a tre. E’ comunque consigliabile utilizzare più di 8 corrispondenze e risolvere ai minimi quadrati.

16. Oggetti di forma ignota – uso della linea epipolare Stima basata su feature Nei seguenti lucidi descriviamo una tecnica che permette di stimare forma e moto 3D, senza alcuna conoscenza a priori della forma dell’oggetto. Senza perdita di generalità si considera F=1 e si assume oggetto rigido e proiezione prospettica. A partire da sostituiamo X con la sua proiezione nel piano immagine: Questa non cambia se moltiplichiamo T e Z per una costante; questo significa che possiamo trovare solo la direzione di T ma non la sua lunghezza assoluta, che dipende dalla dimensione dell’oggetto e dalla sua distanza dalla telecamera

17. Oggetti di forma ignota – uso della linea epipolare Stima basata su feature In questo caso non conosciamo la forma dell’oggetto e quindi dobbiamo utilizzare una matrice intermedia nota come E-matrix (matrice essenziale) con i suoi 9 parametri essenziali. Eliminando Z possiamo determinare la relazione tra x e x’ come con Dove:

18. Oggetti di forma ignota – uso della linea epipolare Stima basata su feature Moltiplicando per Z *Z’, otteniamo: Che può essere usata per la stima del moto nell’ipotesi che T≠0, cioè che ci sia anche moto traslazionale e non solo di rotazione

19. Oggetti di forma ignota – uso della linea epipolare Stima basata su feature LINEA EPIPOLARE (1/2) L’equazione definisce una dipendenza lineare tra punti immagine corrispondenti x e x’ Di conseguenza le possibili posizioni finali x’ di un punto x giacciono su di una linea retta. Questa linea è chiamata linea epipolare ed è definita dai parametri del moto secondo: con

20. Oggetti di forma ignota – uso della linea epipolare Stima basata su feature LINEA EPIPOLARE (2/2) La figura sotto mostra la linea epipolare nelle’immagine 2 per un punto x nell’immagine 1 Quindi la stima del moto è ottenuta in 2 passi: prima si stima la E-matrix poi si decompone quest’ultima in matrice di rotazione e vettore di traslazione

21. Oggetti di forma ignota – uso della linea epipolare Stima basata su feature STIMA E-MATRIX Attraverso definiamo una equazione per ogni corrispondenza tra punti. Poiché questa equazione è omogenea possiamo porre ad 1 uno dei parametri della e-matrix, ad es. Con questa condizione servono un minimo di 8 equazioni. Quindi per ogni corrispondenza tra x(j)e x’(j) possiamo scrivere con Tutte le corrispondenze tra punti porteranno ad un sistema del tipo con A questo punto si può risolvere il sistema sovradeterminato con una stima ai minimi quadrati, minimizzando

22. Oggetti di forma ignota – uso della linea epipolare Stima basata su feature STIMA DI ROTAZIONE E TRASLAZIONE (1/3) Visto che la e-matrix è definita per descrivere il moto 3D di un oggetto rigido, ha 5 gradi di libertà, considerando che possiamo ottenere solo l’orientazione del vettore si traslazione. Però, durante la stima della e-matrix, permettiamo 8 gradi di libertà; quindi per rotazione e traslazione dobbiamo risolvere un problema di ottimizzazione Con T definita così: abbiamo Quindi moltiplicando per T la seguente: Possiamo scrivere

23. Oggetti di forma ignota – uso della linea epipolare Stima basata su feature STIMA DI ROTAZIONE E TRASLAZIONE (2/3) Quindi stimiamo il vettore di traslazione con Ora è chiaro che il segno di T non può essere determinato. Analogamente la soluzione di [E] non è unica; quindi se abbiamo una stima sappiamo che anche è soluzione Il segno di T può essere determinato rispettando la seguente condizione per ogni x:

24. Oggetti di forma ignota – uso della linea epipolare Stima basata su feature STIMA DI ROTAZIONE E TRASLAZIONE (3/3) Per la stima di [R], partiamo scrivendo Da cui [R] può essere ottenuta grazie al seguente problema di ottimizzazione

25. Stima del moto diretta • Nella sezione precedente abbiamo sempre ipotizzato di avere un esiguo numero di accurate corrispondenze tra punti per feature visibili in frame successivi • Visto che queste accurate relazioni tra feature non sono sempre disponibili, affrontiamo ora il problema di stimare il moto attraverso algoritmi che utilizzino lo stesso segnale immagine ed il suo gradiente

26. Modelli di immagini e moto Stima del moto diretta Per operare una stima del moto diretta si assume che la differenza di luminanza tra due immagini consecutive e sia dovuta al solo moto dell’oggetto. Abbiamo bisogno di una descrizione analitica del segnale immagine. Per questo usiamo l’espansione di Taylor di primo ordine (valida solo per piccoli con gradiente

27. Modelli di immagini e moto Stima del moto diretta Considerando X punto all’istante k, X’ a k+1, proiettati rispettivamente in x e x’ nelle immagini e , abbiamo, assumendo intensità costante Ora, con possiamo scrivere: che diventa: con la condizione di modello di segnale lineare

28. Modelli di immagini e moto Stima del moto diretta Visto che l’ultima equazione è comunque basata su di una approssimazione lineare del segnale immagine, l’algoritmo di stima sarà utilizzato in uno schema iterativo. Per accelerare la convergenza della stima è desiderabile una approssimazione di ordine maggiore del segnale. E’ possibile approssimare il segnale immagine con una segnale immagine quadratico grazie all’espansione di Taylor senza calcolare esplicitamente le derivate di second’ordine. Approssimiamo cioè il gradiente di second’ordine dell’immagine con la media dei gradienti lineari per x nelle immagini e otteniamo

29. Oggetti di forma nota Stima del moto diretta Per operare una stima del moto diretta estendiamo l’algoritmo di stima visto nel caso di stima basata su features ed oggetti di forma nota, al caso in cui non si disponga di feature di riferimento, ma di un gran numero di punti osservati per rappresentare l’oggetto 3D Sostituendo le coordinate immagine x con coordinate mondo X ed utilizzando il modello di telecamera pinhole, nell’equazione Otteniamo

30. Oggetti di forma nota Stima del moto diretta Assumendo ora piccoli angoli di rotazione e rotazione dell’oggetto intorno al suo centro abbiamo Da cui: Dove e 6 parametri incogniti, punto sull’oggetto, x punto nel piano immagine in k, F distanza focale

31. Oggetti di forma nota Stima del moto diretta Per ottenere stime affidabili dei 6 parametri, la precedente equazione va condizionata con un elevato numero di punti sulla superficie dell’oggetto in movimento, risultando inun sistema sovracondizionato di equazioni lineari: con residuo , , Il sistema si risolve attraverso il seguente problema di ottimizzazione in cui i parametri del moto sono dati da

32. Oggetti di forma nota Stima del moto diretta A causa delle linearizzazioni dei sistemi, i parametri del moto devono essere stimati con una procedura iterativa: dopo ogni iterazione il modello dell’oggetto ed i suoi punti osservati vengono spostati in base all’equazione non-lineare del moto 3D, usando i parametri di moto Dopo di ciò si ottiene un nuovo sistema di equazioni del moto e fornisce nuovi aggiornamenti ai parametri del moto Durante le iterazioni le correzioni sui parametri del moto si riducono, idealmente convergendo a 0 e facendo quindi convergere a 0 anche l’errore dovuto alle linearizzazioni Il processo iterativo termina quando la riduzione del residuo ad ogni passo diventa trascurabile

33. Oggetti planari Stima del moto diretta Oggetti planari sono spesso utilizzati per approssimare oggetti reali di forma complessa (come già visto per la stima attraverso feature) Estendiamo qui il discorso fatto per le feature ad un sistema di stima diretto. A partire quindi da definendo il mappaggio A(x,y) del punto x con

34. Oggetti planari Stima del moto diretta Otteniamo allora Grazie all’espansione di Taylor, esprimiamo la funzione luminanza in un punto x rispetto ai parametri del moto ai

35. Oggetti planari Stima del moto diretta E l’ultima ci porta a: con e Questa definisce una equazione per ognuno dei punti di osservazione dell’oggetto con i suoi 8 parametri di moto ignoti. Per stimare il moto, quindi, riscriviamo l’equazione per J punti di osservazione x,e risolviamo il sistema di J equazioni lineari

36. Oggetti planari Stima del moto diretta Risolvendo il sistema ai minimi quadrati, abbiamo A causa delle approssimazioni sul modello del segnale dell’immagine, il processo di stima deve essere portato avanti iterativamente Dopo ogni iterazione usiamo i parametri del moto stimati per compensare il moto al frame k+1 utilizzando E la differenza tra i frame (Displaced Frame Difference DFD) diventa con

37. Bibliografia

38. Bibliografia

39. Bibliografia

40. Bibliografia