Υπολογιστική Όραση

Υπολογιστική Όραση ΤΜΗΥΠ ΕΡΓΑΣΤΗΡΙΟ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΗΜΑΤΩΝ & ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ

ΥπολογιστικήΌρασηΕπισκόπιση Μαθήματος Στερεοσκοπική Αντιστοίχιση • Ανασταλτικοί Παράγοντες • Βασικές Υποθέσεις • Μοντέλο κάμερας • Προβολική Γεωμετρία • Τεχνικές Στερεοσκοπικής Αντιστοίχισης

Χάρτης Ανομοιότητας Στερεοσκοπική Αντιστοίχιση(Stereo Correspondence) Αριστερή εικόναL(x,y) Δεξιά εικόναR(x,y) ΥπολογιστικήΌρασηΣτερεοσκοπική Αντιστοίχιση Γενικό πρόβλημα: Αντιστοίχισε το προφίλ αναφοράςI(x,y) με τo προφίλεισόδου J(x,y) J(x,y) Σκοπός I(x,y) Πρόβλημα

ΥπολογιστικήΌρασηΒασικό ερώτημα (Γενική Περίπτωση) • Δοθέντων δύο εικόνων, • ποια είναι τα αντίστοιχα σημεία τους; • Αντίστοιχα σημεία: προβολές του ίδιου σημείου της σκηνής στις εικόνες • ποιος είναι ο μετασχηματισμός, που εφαρμοζόμενος στη μία εικόνα, παρέχει την άλλη; • Η γεωμετρία του χώρου και ο προσανατολισμός του(ων) αισθητήρα(ων) όρασης δενείναι γνωστά • Μόνη πηγή πληροφορίας: η ένταση φωτεινότητας των εικόνων

Λαμπερτιανήεπιφάνεια Μη λαμπερτιανήεπιφάνεια Περιοχή pixel Τιμή Pixel ΥπολογιστικήΌρασηΑνασταλτικοί παράγοντες • Ψηφιακή Εικόνα • Θόρυβος καταγραφής • 1 εικονοστοιχείο αντιστοιχεί σε πολλά σημεία της σκηνής • Προοπτίκη Προβολή • Προβολή 3D σε 2D (απώλεια πληροφορίας) • Κίνηση Κάμερας/Σκηνής • Παραμόρφωση αντικειμένων • Μη ομοιόμορφος (φυσικός) φωτισμός • -Μη λαμπερτιανές επιφάνειες • Ασυνέχειες Βάθους • Ημι-αποκλεισμένες περιοχές • Παραμόρφωση φακού • Ευθείες μετατρέπονται σε καμπύλες

Δy Δx ΥπολογιστικήΌρασηΒασική Υπόθεση ROI • Σταθερή ένταση φωτεινότητας (Brightness Constancy Assumption) [Horn and Schunk ‘81] • Ένα σημείο της σκηνής απεικονίζεται με την ίδια ένταση φωτεινότητας σε όλες τις εικόνες • Αδυναμία ισχύος σε πρακτικές εφαρμογές • Καλή προσέγγιση αν • t2-t10 • Δx0 • Δy0 • Video με μεγάλο fps x0,y0

ΥπολογιστικήΌραση Μοντέλο Κάμερας

ΥπολογιστικήΌραση Προβολική Γεωμετρία ∏ f

O – Εστιακό Κέντρο • π – Επίπεδο Εικόνας • Z – Οπτικός Άξονας • f – Εστιακή Απόσταση ΥπολογιστικήΌραση Συμβολισμοί (Χ,Υ,Ζ) π

ΥπολογιστικήΌραση Προβολή y (Χ,Υ,Ζ) x f Y X Z

ΥπολογιστικήΌραση Συστήματα Δύο Αισθητήρων • Τυχαίος Προσανατολισμός Αισθητήρων Επιπολικές γραμμές

ΥπολογιστικήΌραση Κανονικό Στερεοσκοπικό Σύστημα • Παράλληλοι οπτικοί άξονες • Οι οριζόντιοι άξονες (x) τωνδύο συστημάτων ταυτίζονται Επιπολικές γραμμές Κανονικός Προσανατολισμός Οι επιπολικές γραμμές ταυτίζονται με τις γραμμές των εικόνων

ΥπολογιστικήΌραση Κανονική Διάταξη Αισθητήρων • Η Αρχή του Σ.Σ. στο μέσο του Ε.Τ. που ενώνει τα οπτικά κέντρα

ΥπολογιστικήΌραση Ανομοιότητα(Disparity) • Η διαφοράονομάζεται ανομοιότητα • Το dείναιαντιστρόφως ανάλογο του Ζ • Το dείναιανάλογο του b

ΥπολογιστικήΌραση Στερεοσκοπική Αντιστοίχιση • Υπολογισμός ανομοιότητας ως προς την εικόνα αναφοράς (π.χ. αριστερή) • Ανομοιότητα: η απόσταση σε εικονοστοιχεία συζυγών ζευγών όταν τοποθετήσουμε τη μία εικόνα πάνω από την άλλη • Αναζήτηση συζυγών ζευγών (αντιστοίχων σημείων) κατά μήκος των επιπολικών γραμμών • Επιλογή κανονικού συστήματος

(-) (+) (-) Ομαλότητα Ακρίβεια Πολυπλοκότητα (+) (-) (+) ΥπολογιστικήΌραση Μέθοδοι Στερεοσκοπικής Αντιστοίχισης Χάρτης Ανομοιότητας • Τοπικές μέθοδοι (pixel-wise) • Απαραίτητη χρήση παραθύρου (window-based) • Επιλογή αντίστοιχου σημείου από πολλά υποψήφια (winner takes all) • Ημι-ολικές μέθοδοι • Δυναμικός προγραμματισμός (row by row) • Αναζήτηση βέλτιστου μονοπατιού στο επίπεδο • Ολικές μέθοδοι • Αναζήτηση βέλτιστης επιφάνειας στο χώρο ανομοιότητας (disparity space image)

Ελάχιστοd(100,50)=4 ΥπολογιστικήΌραση Τοπικές μέθοδοι L 50 50 R 100 100 d(100,50)=4L(100,50)=R(96,50) E(d)

ΥπολογιστικήΌραση Στερεοσκοπική Αντιστοίχιση • Υπολογισμός ανομοιότητας ως προς την εικόνα αναφοράς (π.χ. αριστερή) • Ανομοιότητα: η απόσταση σε εικονοστοιχεία συζυγών ζευγών όταν τοποθετήσουμε τη μία εικόνα πάνω από την άλλη • Αναζήτηση συζυγών ζευγών (αντιστοίχων σημείων) κατά μήκος των επιπολικών γραμμών • Επιλογή κανονικού συστήματος

ΥπολογιστικήΌραση Περιορισμοί και Υποθέσεις • Περιορισμοί • Μοναδικότητα: κάθε σημείο της αριστερής εικόνας έχει μοναδικό αντίστοιχο στη δεξιά • Υποθέσεις • Σειρά προβολής: η σειρά εμφάνισης δύο σημείων στην αριστερή και δεξιά εικόνα δεν αλλάζει. • Η ανομοιότητα σε γειτονικά σημεία δεν μπορεί να ποικίλει έντονα μειώνει το χώρο αναζήτησης αντίστοιχων σημείων :-) Η υϊοθέτηση περιορισμών και υποθέσεων μπορεί να προκαλέσει διάδοση σφαλμάτων :-(

ΥπολογιστικήΌραση Περιορισμοί και Υποθέσεις Υπόθεση: Σειράς προβολής

ΥπολογιστικήΌραση Υπόθεση Σειρας Προβολής

ΥπολογιστικήΌραση Προβλήματα-Ανασταλτικοί Παράγοντες Περιοχές μη έντονης υφής Ασυνέχειες Βάθους Περιοδικότητες Φωτομετρικές Παραμορφώσεις

ΥπολογιστικήΌραση Ακρίβεια χάρτη ανομοιότητας Ακρίβεια Υπολογιστικό κόστος (-) (+) • Παρεμβολή στη συνάρτηση έντασης φωτεινότητας • Δημιουργία εικόνων υψηλότερης ανάλυσης • Αντιστοίχιση στο πεδίο συχνοτήτων • Χρήση πληροφορίας φάσης • Παρεμβολή στη συνάρτηση κόστους • Πολυωνυμική παρεμβολή • Διαφορική αντιστοίχηση • Χρήση πληροφορίας παραγώγου/κλίσης (+) (-)

ΥπολογιστικήΌραση Παρεμβολή και Διαφορική Αντιστοίχιση • Παρεμβολή της συνάρτηση κόστους [Anandan ’89] • π.χ. παρεμβολή 2ου βαθμού • Βέλτιστη ανομοιότητα: d0+t • Διαφορική αντιστοίχιση [Lucas-Kanade ’81] • Χρήση Taylor expansion • επαναληπτική διαδικασία C(d) t d0+1 d0 d0-1 θέση ελαχίστου Αρχικοποίηση:Εκτίμηση: ενημέρωση

ΥπολογιστικήΌραση Τροποποιημένος συντελεστής συσχέτισης-ECC W7x7 • Συντελεστής συσχέτισης • Ακρίβεια εικονοστοιχείου • Πυρήνας παρεμβολής • Ενσωμάτωση πυρήνα στο συντελεστή συσχέτισης • Ακρίβεια μικρότερη του εικονοστοιχείου • Ανεξαρτησία από γραμμικές φωτομετρικές παραμορφώσεις n m Πρόβλημα Βελτιστοποίησης

ΥπολογιστικήΌραση Βελτιστοποίηση ECC • Συνάρτηση κόστους: • όπου , • Δοθέντος d0, • Κλειστού τύπου λύση οδηγεί σε μηδαμινή αύξηση της πολυπλοκότητας

ΥπολογιστικήΌραση Υπολογισμός Βέλτιστης Λύσης Θεώρημα: Η συνάρτηση παρουσιάζει μοναδικό ακρότατο στη θέση Το ακρότατο αυτό αντιστοιχεί σε ολικό μέγιστο, αν και μόνο αν ο παρανομαστής του είναι αρνητικός. Στην περίπτωση αυτή, η μέγιστη τιμή της συνάρτησης είναι:

ΥπολογιστικήΌραση Αποτελέσματα Προσομοίωσης Τεχνητές εικόνες Form I Form II NCC ENCC ti=0.4333 ti=0.4333 Ολική Μετατόπιση Εικόνων

ΥπολογιστικήΌραση Στερεοσκοπικές Εικόνες Ασυνέχειες Αποκλεισμοί Αριστερή εικόνα Δεξιά εικόνα Χάρτης Ανομοιότητας Venus Map Sawtooth

ΥπολογιστικήΌραση Αποτελέσματα Προσομοίωσης : εκτίμηση ανομοιότητας • Τύπος μέτρησης σφάλματος • Περιοχή ενδιαφέροντος: : πραγματική ανομοιότητα : μέγεθος περιοχής ενδιαφέροντος : περιοχή ασυνεχειών : περιοχή αποκλεισμών NCC Λανθασμένες αντιστοιχίσεις (δ=1) χωρίς τη διόρθωση τ Αρχικές Εικόνες ENCC Φωτομετρικά παραμορφωμένες εικόνες

ΥπολογιστικήΌραση Αποτελέσματα Προσομοίωσης • Pixel locking effect (Shimizu-Okutomi ’01) • Η τάση της κατανομής εκτιμήσεων να δημιουργεί λοβούς γύρω από ακέραιες τιμές • Μερική ακύρωση του φαινομένου με πρωθύστερη δράση Ground NCC Κατανομή εκτιμήσεων ανομοιότητας στην περιοχή [15-,17+]για την εικόνα Sawtooth ENCC SOM SOM: Shimizu-Okutomi Modification

ΥπολογιστικήΌραση Συμπεράσματα • Εύρωστη σε φωτομετρικές παραμορφώσεις • Παροχή ανομοιοτήτων με ακρίβεια μικρότερη του εικονοστοιχείου • Μικρό υπολογιστικό κόστος • Κλειστού τύπου λύση • Απαλλαγή από το pixel locking effect • Χρήση της βέλτιστης λύσης ως ανιχνευτή προβληματικών σημείων (ημι-αποκλεισμένες περιοχές)

ΥπολογιστικήΌραση Παραμετρικές Τεχνικές • Area-based (direct) τεχνικές • Αντιστοίχιση βασισμένη στην ένταση φωτεινότητας όλωντων εικονοστοιχείων της ROI • Απευθείας αναζήτηση παραμετρικού μοντέλου • Featured-based τεχνικές • Αντιστοίχιση βασισμένη σε επιλεγμένα χαρακτηριστικά (γωνίες, ακμές) της ROI • Χρήση τελεστή αναγνώρισης χαρακτηριστικών • Αντιστοίχιση κοινών χαρακτηριστικών • Χρήση παραμετρικού μοντέλου για τη συνολική αντιστοίχιση δοθείσης της αντιστοίχισης χαρακτηριστικών Παραμετρικό μοντέλο Αντιστοίχιση Αντιστοίχιση Παραμετρικόμοντέλο

ΥπολογιστικήΌραση Area-based παραμετρικέςτεχνικές Παράδειγμα • Ορισμός παραμετρικού μοντέλου • Βάσει της φύσης και των απαιτήσεων του προβλήματος • Ορισμός συνάρτησης κόστους • Βελτιστοποίηση συνάρτησης κόστους • Υπολογισμός των παραμέτρων που βελτιστοποιούν τη συνάρτηση κόστους

ΥπολογιστικήΌραση Τεχνικές Βελτιστοποίησης • Μέθοδοι πλήρους αναζήτησης (full search) • Αναλυτική αναζήτηση των Ν παραμέτρων στον Ν-D χώρο • (-) Υψηλό υπολογιστικό κόστος • (-) Πεπερασμένη ακρίβεια • (+) Αντιστάθμιση μεγάλων μετατοπίσεων • Μέθοδοι βασισμένες στην κλίση της έντασης των εικόνων (gradient-based) • (+) Μεγαλύτερη ακρίβεια (θεωρητικά ίση με το eps της μηχανής) • (+) Μικρό υπολογιστικό κόστος • (+) Δυνατότητα χρήσης επαναληπτικού σχήματος • εγκλωβισμός • (-) Αδυναμία διαχείρισης μεγάλων μετατοπίσεων • Χρήση πυραμιδικού σχήματος • Υβριδικές μέθοδοι

ΥπολογιστικήΌραση Γενικό πρόβλημα Ευθυγράμμισης εικόνων • Ορισμός παραμετρικού μοντέλουW(x;p) • x=[x,y]t, p=[p1,p2,…,pn]t • Ορισμός μέτρου ομοιότητας μεταξύ εικόνας αναφοράς IR(reference image) και γεωμετρικά παραμορφωμένηςεικόναςIW (warped image) • Αντιστάθμιση φωτομετρικών παραμορφώσεων

ΥπολογιστικήΌραση Αντιστάθμιση φωτομετρικών παραμορφώσεων (contrast-brightness) Lucas – Kanade ‘81 Επαναληπτικός αλγόριθμος Fuh – Maragos ‘91 Αναλυτική Αναζήτηση ECC ‘08 Επαναληπτικός αλγόριθμος

ΥπολογιστικήΌραση Σχέση μεταξύ αλγορίθμων • Ελαχιστοποίηση ως προς τις φωτομετρικές παραμορφώσεις(separable variables) • LK: • FM: Μόνη περίπτωση ισοδυναμίας: Κανένα από τα δύο προβλήματα δεν είναι ισοδύναμο με το

ΥπολογιστικήΌραση Αλγόριθμος ECC – Βασική ιδέα • Κανόνας ενημέρωσης: • Προσέγγιση • η Ιακωβιανή μήτρα του ως προς τις παραμέτρους • Ακολουθία υποδεέστερων μη γραμμικών προβλημάτων βελτιστοποίησης

ΥπολογιστικήΌραση Υπολογισμός βέλτιστης λύσης ΘΕΩΡΗΜΑ • Η συνάρτηση μεγιστοποιείται για • Αν τότε το είναι ολικό μέγιστο για • όπου • Αν τότε το είναι το άκρο ενός διαστήματος και • το μπορεί να πάρει οποιαδήποτε τιμή ικανοποιεί τους • περιορισμούς

ΥπολογιστικήΌραση Υπολογισμός βέλτιστης λύσης ΛΗΜΜΑ Μια ικανή συνθήκη για να ισχύουν οι περιορισμοί είναι: όπου ,

ΥπολογιστικήΌραση Βήματα Αλγορίθμου FA-ECC • Αρχικοποίηση p0 • j=1 • Επαναληπτική διαδικασία • Υπολόγισε την εικόνα Iw(W(x;pj-1)) • Υπολόγισε την Ιακωβιανή μήτρα G(pj-1) • Υπολόγισε τη βέλτιστη λύση Δpjσύμφωνα με το θεώρημα και το λήμμα • Ενημέρωσε τις παραμέτρους pj=pj-1+Δpj • Αν ||Δpj||>ε, τότε j++ και πήγαινε στο 1. Διαφορετικά σταμάτα.

ΥπολογιστικήΌραση Αντίστροφο πρόβλημα – Σύνθεση μετασχηματισμών • Αντίστροφο πρόβλημα [Hager-Belhumeur ’98] • Υπολόγισε πως πρέπει να μετασχηματίσεις την IRγια να αντιστοιχιστεί με την IW • Εφάρμοσε τον αντίστροφο μετασχηματισμό στην IW • Σύνθεση μετασχηματισμών [Shum-Szeliski ’00] • Κανόνας ενημέρωσης • W(x;pj)=W(x;pj-1)oW(x;Δpj) H Hessian μήτρατης βέλτιστης λύσηςγίνεται ανεξάρτητητων παραμέτρων H Ιακωβιανή του μετασχηματισμούγίνεται ανεξάρτητητων παραμέτρων

ΥπολογιστικήΌραση Βήματα Αλγορίθμου IC-ECC • Αρχικοποίηση p0 • j=1 • Υπολόγισε την Ιακωβιανή μήτρα Gr(pj-1) και τον αντίστροφο (GrTGr)-1 • Επαναληπτική διαδικασία • Υπολόγισε την εικόνα Iw(W(x;pj-1) • Υπολόγισε τη βέλτιστη λύση Δpjσύμφωνα με το θεώρημα και το λήμμα • Ενημέρωσε τo μοντέλο W(x;pj)=W(x;pj-1)oW(x;Δpj)-1 • Αν ||Δpj||>ε, τότε j++ και πήγαινε στο 1. Διαφορετικά σταμάτα.

ΥπολογιστικήΌραση Επαναληπτικοί Αλγόριθμοι-Σύγκριση

Υπολογιστική Όραση

Υπολογιστική Όραση

Presentation Transcript