Shape from Shading

1. Shape from Shading Hauptseminar Computer Vision Thema 7 Vortrag von Jakob Thomsen

2. Inhalt I Einführung II Propagationsverfahren III Globale Verfahren IV Lokale Verfahren Shape from Shading (J. Thomsen)

3. I. Was ist Shape from Shading? • - Shape from Shading bedeutet etwa „Form aus Schattierung“ • - Ziel: aus Irradianzen die Objekt-Oberfläche rekonstruieren • - schlecht gestelltes Problem, nur eingeschränkt verwendbar • - Anwendungsgebiete, bei denen SFS (trotzdem) sinnvoll ist: • - einzelne Bilder • - weit entfernte Objekte • - allgemeine Vorraussetzung: • durchsichtiges Medium, undurchsichtige Körper • => nur Oberfläche sichtbar Shape from Shading (J. Thomsen)

4. I.1 allgemeine Vorgehensweise • aus den Irradianzwerten mittels Umkehrung der Reflektanzfunktion auf die Orientierung der Oberfläche schließen • die Gradienten integrieren um die Höhe der Oberflächenpunkte zu berechnen (siehe Abschnitt 3), z.B. mit dem R.T. Frankot und R. Chellapa Algorithmus Shape from Shading (J. Thomsen)

5. I.2 Problem: Mehrdeutigkeit Die Freiheitsgrade der Irradianzwerte (eindimensional) bzw. Gradientenvektoren (zweidimensional) passen nicht zusammen! =>nur die Beziehung zwischen p und q ist direkt aus der Irradianz berechenbar, genaue Werte der Gradienten können nur mit zusätzlichen Informationen rekonstruiert werden. Je nach Verfahren gibt es unterschiedliche Möglichkeiten, diese Mehrdeutigkeit aufzulösen. Shape from Shading (J. Thomsen)

6. Shape from Shading (J. Thomsen)

7. I.3 weitere Einschränkungen • Beleuchtung • - keine Intra-oder Interobjektreflexionen • - i.a. paralleles Licht gleicher Stärke E0 • - konstante und bekannte Beleuchtungsrichtung • - möglichst Beleuchtungs- gleich Betrachterrichtung • Reflexion • - bekanntes lambertsches Reflexionsverhalten • - Annahme einer bekannten und konstanten Albedo • Geometrie • - stetige, stetig differenzierbare Oberfläche • - Orientierungen / Höhen in einigen Punkten bekannt Shape from Shading (J. Thomsen)

8. I.4 verschiedene Verfahren Propagationsverfahren entwickeln Objekt-Oberfläche ausgehend von Punkten bekannter Orientierung bzw. Höhe Globale Minimierungsverfahren optimieren bestimmte Funktionen um die Bildinformation insgesamt auszuwerten Lokale Methoden berechnen die Oberflächenorientierungen jeweils nur anhand einer kleinen Nachbarschaft des Punktes Sonderfall direkte 3d-Interpretation von Bildirradianzen Shape from Shading (J. Thomsen)

9. I.5 Sonderfall • direkte Interpretation: unter folgenden Bedingungen • - rotationssymmetrische Reflektanzfunktion • - Betrachterrichtung senkrecht auf Projektionsebene • - Objektfläche perfekt diffus mit uniformer Albedo • sind die Bildirradianzen direkt als Höhenwerte interpretierbar Shape from Shading (J. Thomsen)

10. Shape from Shading (J. Thomsen)

11. Shape from Shading (J. Thomsen)

12. I.6 Grundlagen • gegeben: ein Bild, d.h. eine Funktion E(x,y) von Irradianzen • gesucht: die Objektoberfläche, d.h. die Höhenwerte Z(x,y) • weitere Funktionen: • (p,q) sind die Gradienten (partielle Ableitungen von Z(x,y)) in x-bzw. y-Richtung (geben die Steigung in Z(x,y) an) • R(p,q) ist die Reflektanzfunktion, die in Abhängigkeit von den Gradienten der Oberfläche die Irridianzen bestimmt • Vektoren: • s zeigt in Richtung der Lichtquelle, v in Betrachterrichtung • n ist die Normale der Oberfläche in (x,y) Shape from Shading (J. Thomsen)

13. II. Propagationsverfahren • Propagationsverfahren breiten Oberfläche ausgehend von Punkten bekannter Orientierung auf das ganze Objekt aus • Der Wachstumsprozess erfolgt • - iterativ • - entlang bestimmter Pfade • Alle Propagationsverfahren setzen (orthografische) Parallelprojektion voraus Shape from Shading (J. Thomsen)

14. II.1 lineare Reflektanzfunktionen Definition: Eigenschaft: Punkte gleicher Irradianz liegen im Gradientenraum auf Graden, parallel zur Ursprungsgraden Flächen mit gleicher Irradianz sind in eine Richtung gleich und senkrecht dazu beliebig geneigt (z.B.Kugelgroßkreise) Vorgehensweise: Richtungsableitung aus Irradianzen bestimmen Entlang charakteristischer Kurve integrieren Shape from Shading (J. Thomsen)

15. Shape from Shading (J. Thomsen)

16. Richtungsableitung (Berechnung) Shape from Shading (J. Thomsen)

17. lineare Reflektanzkarte Shape from Shading (J. Thomsen)

18. Integration d. Richtungsableitung Shape from Shading (J. Thomsen)

19. Mars Global Surveyor Orbiter PIA01046, Quelle: http://photojournal.jpl.nasa.gov/ Shape from Shading (J. Thomsen)

20. Shape from Shading (J. Thomsen)

21. Shape from Shading (J. Thomsen)

22. Rekonstruktion 1 Shape from Shading (J. Thomsen)

23. Rekonstruktion 2 Shape from Shading (J. Thomsen)

24. II.2 rotationssymmetrische R. Definition: Zusätzlich muss h(p,q) differenzierbar sein Die Irradianz hängt von der Deklination zwischen dem Beleuchtungsvektor s und der Oberflächennormalen n ab. Vorgehensweise: Gradientenlänge durch Umkehrung der Irradianz bestimmen orthogonal zu Isohöhenkurven integrieren Shape from Shading (J. Thomsen)

25. Shape from Shading (J. Thomsen)

26. Steigung & Richtung des Gradienten Shape from Shading (J. Thomsen)

27. Steigung in Gradienten-Richtung Shape from Shading (J. Thomsen)

28. Richtung des Gradienten Veränderungen bei einem Schritt in Richtung des Gradienten mit Schrittlänge lineare Abschätzung der Änderungen in p und q mit Hilfe der ersten partiellen Ableitungen der Bildirradianzfunktion Shape from Shading (J. Thomsen)

29. Diffgls Mit ergeben sich fünf Differentialgleichungen, die mit Hilfe bekannter Startwerte numerisch lösbar sind. Die Kurven, entlang derer integriert wird, verlaufen orthogonal zu den Isohöhenlinien. Shape from Shading (J. Thomsen)

30. II.3 allgemeine Reflektanzf. Es ergeben sich fünf gewöhnliche Differentialgleichungen, die numerisch lösbar sind wenn Startwerte vorliegen. Ansatz der Cauchyschen Streifen von B.K.P. Horn (1986) Shape from Shading (J. Thomsen)

31. II.4 Robustere Verfahren bisher vorgestellte Verfahren rekonstruieren Oberfläche entlang charakteristischer Kurven Problem: Fehler in Z-Werten pflanzen sich ungehindert fort Lösung: alle unmittelbaren Nachbarn einbeziehen Shape from Shading (J. Thomsen)

32. Verfahren von Bichsel & Pentland • Initialisierung: • bekannte Z-Werte in Höhenkarte eintragen • Vorverarbeitungsschritt: • für jeden Punkt Oberflächensteigungen in Richtung seiner Nachbarn bestimmen (8-Nachbarschaft) • Iteration: • Z-Wert jedes Punktes mit bester Richtungsableitung inkrementieren Shape from Shading (J. Thomsen)

33. Bestimmung der Steigungen • Anhand der Bildirradianz wird jedem Punkt eine Menge von Oberflächen-Orientierungen zugeordnet... • ...diese entsprechen einer Schar von Steigungen in eine vorgegebene Richtung... • ...aus der die beiden Extremwerte bestimmt werden... • ...von denen die Steigung gewählt wird, bei der die Oberfläche sich in Richtung -s entwickelt. Shape from Shading (J. Thomsen)

34. mögliche Oberflächenorientierungen Shape from Shading (J. Thomsen)

35. Iteration • für jeden Punkt: • testen, mit welcher der acht Steigungen die Oberfläche am besten der Beleuchtung entspricht • die maximale Steigung zu Z-Wert summieren (maximal wegen Konvergenz) Shape from Shading (J. Thomsen)

36. Beispiel Shape from Shading (J. Thomsen)

37. III. globale Verfahren Oberfläche wird als (unbekannte) Funktion Z(x,y) betrachtet, die gewisse Eigenschaften erfüllt Messung der Abweichung der rekonstruierten Funktion von den Zielwerten durch Aufsummierung der Fehler in jedem Punkt Rekonstruktion der Oberfläche durch Minimierung des Fehlers Shape from Shading (J. Thomsen)

38. Fehlerfunktionen • Die (wichtigsten) Bedingungen • Irradianzbedingung • Glattheitsbedingung • Integrabilitätsbedingung • beschreiben die erwünschten Eigenschaften der rekonstruierten Bildfunktion • Allgemein: • Die Fehler in jedem einzelnen Punkt werden über die gesamte Bildfläche integriert (bzw. aufsummiert) Shape from Shading (J. Thomsen)

39. Irradianzbedingung Ziel: rekonstruierte Irradianz soll ursprünglicher I. entsprechen Shape from Shading (J. Thomsen)

40. Glattheitsbedingung Ziel: Auflösung der Mehrdeutigkeit der rekonstruierten Ober-flächenorientierungen durch Annahme einer glatten Oberfläche Die Argumente geben die Änderung der Gradienten an, die bei einer glatten Oberfläche minimal sind. Shape from Shading (J. Thomsen)

41. Glattheitsbedingung (Beispiel) Shape from Shading (J. Thomsen)

42. Integrabilitätsbedingung Ziel: Integration über verschiedene Wege soll gleiche Z-Werte ergeben Folgende Funktion sollte minimal sein Shape from Shading (J. Thomsen)

43. Integrabilitätsbedingung Shape from Shading (J. Thomsen)

44. Minimierung der Integrale • Die Integrale können entweder • mittels Variationsrechnung • oder • diskretisiert und danach mit anderen Optimierungsmethoden • minimiert werden Shape from Shading (J. Thomsen)

45. Stereographische Projektion Shape from Shading (J. Thomsen)

46. Variationsrechnung Ziel: Funktion minimieren notwendige Bedingung: Ableitung im Optimum ist Null Shape from Shading (J. Thomsen)

47. die Fehlerfunktion e e misst die Qualität der rekonstruierten Oberfläche Shape from Shading (J. Thomsen)

48. Ableitung der Fehlerfunktion e e hängt von f ,g und deren partiellen Ableitungen ab => bei der Ableitung ergeben sich die Eulergleichungen Shape from Shading (J. Thomsen)

49. Anwendung der Eulergleichungen Shape from Shading (J. Thomsen)

50. Algorithmus von Ikeuchi & Horn • Vorgehensweise: • Bedingungen diskretisieren • für jeden Punkt • Fehler (lokal) berechnen • Werte korrigieren • wiederholen bis akzeptable Lösung erreicht Shape from Shading (J. Thomsen)