1 / 20

Schneller hybrider Disparitätsschätzer für ein 3D-Echtzeit-Videokonferenzsystem

Schneller hybrider Disparitätsschätzer für ein 3D-Echtzeit-Videokonferenzsystem. Heinrich Hertz Institut für Nachrichtentechnik Berlin. Nicole Brandenburg and Serap Askar. Überblick. 3D-Echtzeit-Videokonferenzsystem Konzept der Disparitätsschätzung

jack
Download Presentation

Schneller hybrider Disparitätsschätzer für ein 3D-Echtzeit-Videokonferenzsystem

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Schneller hybrider Disparitätsschätzer für ein 3D-Echtzeit-Videokonferenzsystem Heinrich Hertz Institut für Nachrichtentechnik Berlin Nicole Brandenburg and Serap Askar

  2. Überblick • 3D-Echtzeit-Videokonferenzsystem • Konzept der Disparitätsschätzung • Struktur des schnellen hybriden Disparitätsschätzers • Nachverarbeitung • Ergebnisse • Zusammenfassung

  3. Virtuelle Kamera Virtual Scene Bewegungs-Parallaxe Steuerung der virtuellen Kamerabewegung durch Head Tracking 3D Echtzeit-Videokonferenzsystem • Konferenzteilnehmer an verschiedenen Orten Display

  4. ? 3D Echtzeit-Videokonferenzsystem Synthese einer virtuellen Ansicht

  5. Hautfarben-Segmentierung Hautfarben-Segmentierung Konzept der Disparitätsschätzung linkes Bild rechtes Bild Rektifikation Rektifikation Hybrider rekusiver Disparitätschätzer Konsistenztest Segmentgestützte Nachverarbeitung Segmentgestützte Nachverarbeitung Segmentgestützte Interpolation Segmentgestützte Interpolation L -> R Disparität R -> L Disparität

  6. Struktur des hybriden Disparitätsschätzers Update- Vektor Pixel-rekursion Auswahl der besten Disparität Disparitäts-vektor Start-Vektor linkes Bild Block-rekursion Disparitäts-speicher rechtes Bild 3 Kandidaten

  7. Block-Rekursion zeitlich • 3 Kandidaten werden getestet vertikal horizontal Vorgängerbild aktuelles Bild • Keine Definition eines Suchbereichs um die Kandidaten • Auswahl des besten Kandidaten mittels DBD

  8. Struktur des hybriden Disparitätsschätzers Update- Vektor Pixel-rekursion Auswahl der besten Disparität Disparitäts-vektor Start-Vektor linkes Bild Block-rekursion Disparitäts-speicher rechtes Bild 3 Kandidaten

  9. incremental update initial vector d update vector d Pixel-Rekursion • Initialisierung von zwei pixel-rekursiven Prozessen • Berechnung der Update-Vektorenmit Hilfe des optischen Flusses • Auswahl des besten Update-Vektors anhand der DPD Start-Vektor

  10. Struktur des hybriden Disparitätsschätzers Update- Vektor Pixel-rekursion Auswahl der besten Disparität Disparitäts-vektor Start-Vektor linkes Bild Block-rekursion Disparitäts-speicher rechtes Bild 3 Kandidaten

  11. L->R R->L Falsche Disparitäten ! Ergebnisse des HRM L R Große Verdeckungen ! Originalbilder Disparitäten

  12. Konsistenztest • Vergleich der L->R und R->L Disparitäten D • Ersetzen der unzuverlässigen Disparitäten

  13. Hautfarbensegmentierung mit Region Growing Bounding Boxen Segmentierung der Hände mittels Hautfarbe Segmentierung innerhalb der Bounding Boxen Tracking der Bounding Boxen Unterabtastung Tracken derBounding Boxen

  14. Handmaske Disparitäten Segmentgestützte Nachverarbeitung • Verwendung von Disparitäten des gleichen Objekts Handmaske Disparitäten • Disparitätssprünge bleiben erhalten

  15. sparse field 4x4 dense field Dense Field Interpolation • Segmentgestütztes Interpolieren der Disparitäten

  16. Experimentelle Ergebnisse ohne Nachverarbeitung Einfache Nachverarbeitung SegmentgestützteNachverarbeitung

  17. Experimentelle Ergebnisse einfache Nachverarbeitung ohne Nachverarbeitung segmentgestützteNachverarbeitung

  18. Rechenzeiten für ITU-Rec. 601, 25 Hz, 1:1 Zeiten enthalten: a) unabhängige L  R and R  L Schätzung b) Konsistenztest c) Interpolation der unzuverlässigen Disparitäten Pentium III, 700 MHz Rastergröße aktuell Ziel 4x4 87 ms < 40 ms 8x8 22 ms ----

  19. Zusammenfassung • Schneller hybrider Disparitätsschätzer • Blockrekursion : Auswahl aus drei Kandidaten • Pixelrekursion : Nutzung des optischen Flusses • Nachverarbeitung • Verwerfen unzuverlässiger Disparitäten • Segmentgestütztes Füllen der Löcher • Segmentgestützte Dense Field Berechnung • Echtzeitfähigkeit • Echtzeitfähig für ein 8x8 Grid, optimierbar für 4x4

  20. Ende

More Related