Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien

1. Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien Alex Reche, Ignacio Martin und George Drettakis

2. Einführung Ziel: • Erfassen von real existierenden Bäumen anhand von Fotografien. • Erstellen eines Modells mit niedriger Polygonzahl.

3. Einführung Zentrale Beobachtung: • Pixel ist Projektion einer best. Anzahl von Blättern und Ästen auf den Hintergrund. • Transparenz-Effekt: Pixel eine Mischung aus Vordergrundfarbe (Blätter/Äste) und Hintergrundfarbe (Himmel).

4. Inhalt • Aufnahme der Fotografien

5. Inhalt • Aufnahme der Fotografien • Berechnung der Transparenzkanäle

6. Inhalt • Aufnahme der Fotografien • Berechnung der Transparenzkanäle • Rekonstruktion eines 3D-Gitters

7. Inhalt • Aufnahme der Fotografien • Berechnung der Transparenzkanäle • Rekonstruktion eines 3D-Gitters • Texturgenerierung durch Billboards

8. Inhalt •  Fotografien •  Transparenzkanäle der Fotografien •  Zellkomplex mit Alphawerten für jede Zelle •  M xM -Textur pro Foto für jede Zelle

9. Bildaufnahme • 20-30 Fotos/Baum • Alle Richtungen • Gleiche Entfernung • Uniformer Hintergrund • Kalibrierung anhand von Marken im Bild

10. Berechnung der Alphakanäle Algorithmus von Ruzon und Tomasi • Anwender definiert Bereiche • Vorder-, Hintergrund, transparent, ignorieren • Algorithmus berechnet Transparenzwerte

11. Berechnung der Alphakanäle • Transformation in den Lab-Farbraum • Clusterbildung in der ab-Ebene (F/B) • Lineare Interpolation der transparenten Werte:

12. Rekonstruktion der Gitterzellen Überblick: • Rekursives 3x3x3-Gitter in der Bounding-Box

13. Rekonstruktion der Gitterzellen Überblick: • Rekursives 3x3x3-Gitter in der Bounding-Box • Bestimmung der Alphawerte der Zellen  Rekonstruktion des Bildaufnahmevorgages

14. Rekonstruktion der Gitterzellen Überblick: • Rekursives 3x3x3-Gitter in der Bounding-Box • Bestimmung der Alphawerte der Zellen  Rekonstruktion des Bildaufnahmevorgages • Hier keine Betrachtung der Farbwerte!

15. Rekonstruktion der Gitterzellen Modell für die Bildentstehung: • Strahl durch Zelle:

16. Rekonstruktion der Gitterzellen Modell für die Bildentstehung: • Strahl durch Zelle: • Bei mehreren Zellen:

17. Rekonstruktion der Gitterzellen Modell für die Bildentstehung: • Strahl durch Zelle: • Bei mehreren Zellen: • Verwendung eines absortion only Modells • Nur Absorption, keine Emission, Schatten... • Nur Transparenzen, keine farbigen Zellen

18. Rekonstruktion der Gitterzellen • Ermittlung aller Zellen, die für Pixel relevant waren. • Initialisierung der Pixelopazitäten kleinste Opazität der sichtbaren Pixel • Optimierung der Opazitäten, so dass die Gleichungen für alle Pixel erfüllt sind.

19. Rekonstruktion der Gitterzellen • Formel:

20. Rekonstruktion der Gitterzellen • Formel: • Rekursiv definiert:

21. Rekonstruktion der Gitterzellen • Formel: • Rekursiv definiert: • Induktion:

22. Rekonstruktion der Gitterzellen • Formel: • Rekursiv definiert: • Induktion: • Darstellung mit Transparenzen und Logarithmieren:

23. Rekonstruktion der Gitterzellen • Ebenengleichung:

24. Rekonstruktion der Gitterzellen • Ebenengleichung: • Formel ist n-dimensionale Ebene!

25. Rekonstruktion der Gitterzellen • Pro Pixel: Projektion ist „Optimierungvorschlag“ für betroffene Zellen • Wichtung mit der Bedeutung der Zelle • Entfernung zum Bild, Strecke des Schnittes mit dem Strahl • Aktualisierung der Transparenzen mit Mittel der Optimierungsvorschläge

26. Rekonstruktion der Gitterzellen • transparency cutoff threshold • Ignorieren der Pixel ab bestimmter Transparenz • Wert wischen 0.9 und 0.96 • Starker Einfluss auf Geschwindigkeit des Verfahrens

27. Rekonstruktion der Gitterzellen Resultat: Gitternetz mit Transparenzwert für jede Zelle

28. Texturgenerierung Überblick: • Anhängen von blickpunktabhängigen Billboards an jede Zelle • Interpolation zwischen den n dichtesten Kameras

29. Texturgenerierung Erste Idee: Projizieren des Billboards in die Fotografie Problem: Blurring-Effekt

30. Texturgenerierung • Optimales Verfahren Möglich, wenn alle Informationen vorhanden wären

31. Texturgenerierung • Für jedes Bild: Ordnen der Zellen von vorne nach hinten • Projektion der Zelle in das Bild  Region R • Resamplen der Textur T des Billboards • Bewerten der Pixel von T • Auswahl der Wahrscheinlichsten Pixel • Löschen der Pixel im Bild • Rekonstruktion der gelöschten Pixel im Bild

32. Texturgenerierung

33. Texturgenerierung • Zelltransparenz: gewichtet:

34. Texturgenerierung • Zelltransparenz: gewichtet: • Aktuelle Transparenz der Pixel: Aktualisierung, wenn Pixel verwendet:

35. Texturgenerierung • Bedeutung: • Zusätzlich Alter für jedes Pixel Inkrement, wenn Pixel für Billboard verwendet

36. Texturgenerierung • Sortieren der Pixel von T nach Alter und Bedeutung • Auswahl der ersten Pixel • Billboard erhält Farbwerte der ausgewählten Pixel und Alphawert der Zelle

37. Texturgenerierung

38. 18 Fotografien 110.000 Zellen 58 MB Texturen (4x4) 15+15 Minuten 22 Fotografien 51.000 Zellen 150 MB Texturen (8x8) 15+30 Minuten Ergebnisse Pinie Eiche

39. Ausblick und Probleme • Aufnahme vor neutralem Hintergrund • Anderer Algorithmus? • Keine Berücksichtigung der Beleuchtung bei der Bildaufnahme • Beleuchtung vor der Texturierung entfernen? • Nicht zufriedenstellend, wenn Baum aus der Nähe betrachtet wird • Hohes Datenaufkommen der Texturen