1 / 83

Image-based Measurement Bildgestützte Messverfahren

Image-based Measurement Bildgestützte Messverfahren. Axel Pinz. 2 VO WS 438.020 1 LU SS 438.021. Image-based Measurement. Color, Illumination Image Acquisition Projective geometry Camera models Calibration Reconstruction 3D Scene structure (from stereo, from motion, ...)

bevan
Download Presentation

Image-based Measurement Bildgestützte Messverfahren

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Image-based MeasurementBildgestützte Messverfahren Axel Pinz 2 VO WS 438.020 1 LU SS 438.021

  2. Image-based Measurement • Color, Illumination • Image Acquisition • Projective geometry • Camera models • Calibration • Reconstruction • 3D Scene structure (from stereo, from motion, ...) • Tracking (motion trajectories, 4D, camera+object pose, ...) • Structure and Motion • Fundamental algorithms • State of the art technology

  3. Was kann ich optisch messen ? • Radiometrische Größen • Strahlung (Wärme) • UV • Lichttechnische Größen • Beleuchtungsstärke • Leuchtdichte • Lichtstrom, … • Farbe, spektrale Komponenten

  4. Was kann ich optisch messen ? • Geometrische Größen • Lage • Länge • Winkel • Entfernung • Fläche

  5. Was kann ich optisch messen ? • „abgeleitete“ Größen • Spektrale Albedo (Farbe der Objektoberfläche) • 3D Position und Orientierung (Objekte / Kamera) • Identifikation von Objekten / Marken • Mustererkennung • Computer Vision • Image Understanding

  6. „Optisch“ vs. „Bildgestützt“ • 0- oder 1-D • Fotodiode • Laser-Triangulierung • Längen- / Winkel-Codierung • … • 2-D Rasterbilder • Kenngrößen • Abgeleitete Größen • 3-D • Stereo • „direkte“ Verfahren

  7. Examples (“optical” - 1)

  8. Examples (“optical” - 2) [Hoffmann, Taschenbuch d. Messtechnik]

  9. Examples (“optical” - 3) [Jähne, Handbook of Computer Vision and Applications]

  10. Example (image-based)

  11. Tracking von 3D Modellen

  12. Augmented Reality als Anwendung

  13. Augmented Reality als Anwendung Der Standard 28.11.2006:

  14. Augmented Reality als Anwendung EMT Prototypen

  15. Bildgestützte Messverfahren • Menschliches und maschinelles Sehen, Grundlagen der digitalen Bildverarbeitung • Beleuchtung – “Illumination and Image Formation” • Farbe, Farbmodelle • Farbwahrnehmung, Farbkonstanz • Bildaufnahme – “Solid-State Image Sensing” • Kamera • Modell, projektive Geometrie, Kalibrierung • Pose, PnP • Stereo Rekonstruktion • Punktkorrespondenzen (‘corners+descriptors’) • Tracking

  16. Menschliches visuelles System • Auge, Retina • Stäbchen, Zapfen, Farbsehen • Neurophysiologie • Reizleitung Retina visueller Cortex • Rezeptive Felder • Bedeutung von Kanten / Linien, Orientierung

  17. Grundlagen Digitale BV • Kenngrößen eines dig. Rasterbildes • Räumliche Auflösung • Radiometrische Auflösung • Nachbarschaft • Farbe • Histogramm • Operationen E(x,y)  A(x,y) • Punkt-Op. • Lokale Fenster-Op., Faltung, Rangordnung • Globale Op., Transformationen, Fourier • Segmentation (Bild  Bildbeschreibung) • Regionen- oder kantenbasiert

  18. Bildgestützte Messverfahren • Menschliches und maschinelles Sehen, Grundlagen der digitalen Bildverarbeitung • Beleuchtung – “Illumination and Image Formation” • Farbe, Farbmodelle • Farbwahrnehmung, Farbkonstanz • Bildaufnahme – “Solid-State Image Sensing” • Kamera • Modell, projektive Geometrie, Kalibrierung • Pose, PnP • Stereo Rekonstruktion • Punktkorrespondenzen (‘corners+descriptors’) • Tracking

  19. Beleuchtung, Farbe, Farbwahrnehmung • Strahlungsphysikalische Größen • Lichtquellen, Spektren • Menschliche Farbwahrnehmung • Farbmodelle, Farbmetrik • CIE XYZ • RGB • HSV • CIE u‘ v‘ , CIE Lab • Farbe im Bild  Farbe einer Oberfläche

  20. Strahlungsphysikalisches (“physical”) u. lichttechn. (“photometric”) Maßsystem (1) • Strahlungsphysikalische Größen (“physical”) • Index e – energetisch • Strahlungsfluss (-leistung) e[W] • Bestrahlungsstärke (Irradiance) Ee [W m-2] • Strahlstärke Ie [W sr-1] • Strahldichte (Radiance)Le [W m-2 sr-1] • Spezifische Ausstrahlung (Radiosity) Be[W m-2] • Strahlungsmenge Qe [W s] • Farbe: Alle Größen je Wellenlänge, z.B. L

  21. Strahlungsphysikalisches u. lichttechn. Maßsystem (2) • Lichttechnische Größen (“photometric”) • Index vis – visible ( = 380-780nm) • Bezogen auf den spektralen Hellempfindlichkeitsgrad für Tagsehen V() • Lichtstrom vis[lm] • Beleuchtungsstärke Evis [lx] • Lichtstärke Ivis [cd] • Leuchtdichte Lvis [cd m-2] • Spezifische Lichtausstrahlung Bvis[lm m-2] • Lichtmenge Qvis [lm s]

  22. Strahlungsphysikalisches u. lichttechn. Maßsystem (3) • ``Relative sensitivity´´= spektraler Hellempfindlichkeitsgrad für Tagsehen V() • Commission International de l‘Eclairage (CIE) • max. bei 555nm

  23. Lichtquellen, Spektren • Schwarzkörper (ausgehöhlt, kleines Loch), schwarzer Strahler • „Farbtemperatur“, spektrale Energieverteilung h ... Planck‘sches Wirkungsquant k ... Boltzmannkonstante T ... Absolute Temperatur [K]

  24. Licht – elektromagn. Strahlung 1014 106 Schall Infrarot Funkwellen rot orange gelb grün blau violett 770 Millimeterwellen Sichtbares Licht Wellenlänge  [m] Wellenlänge  [nm] Licht 390 Röntgenstrahlung Gammastrahlung Ultraviolett Kosmische Strahlung 10 10-10

  25. Tageslicht Relative Spektrale Energie Tageslicht- Spektrum zu verschiedenen Tages- und Jahreszeiten Wellenlänge λ

  26. Lichtquellen (1) A ... 100W Glühbirne D65 Modelliert Tageslicht

  27. Lichtquellen (2)

  28. Farbe von Oberflächen • Reflexion – Absorption • Spektraler Reflexionsgrad – “spectral reflectance”, “spectral albedo” • Albedo 0  perfekt schwarzer Körper • “BRDF” – bidirectional reflectance distribution function

  29. Spektrale Albedos • verschieden • glatt • gleiche Wahr- • nehmung bei • verschiedenen • Albedos möglich !! • [Forsyth, Ponce]

  30. Menschliche Farbwahrnehmung (1) • Kontext! • Beleuchtung, Erinnerung • Objekt-Identität, Emotion • Welche spektrale Strahldichte erzeugt die selbe Farbwahrnehmung bei verschiedenen Versuchspersonen ? • Lineare Theorie ! • Testlicht T, Primärfarben Pi T = w1P1 + w2P2 + ...

  31. Menschliche Farbwahrnehmung (2) • „Norm-Beobachter“ • 2 Grad = Fovea • 10 Grad > Fovea (Zapfen + Stäbchen) • „Trichromatizität“ • 3 Primärfarben reichen aus für Korrespondenz zu Testlicht / Testfarbe

  32. Additiv - Subtrakitv • Matching von Farben • Primärfarben A, B, C, Match M • Additiv (a,b,c) • M = aA + bB + cC • Subtraktiv (-a,b,c) • M + aA = bB + cC • Wie baut man einen Monitor, wählt man A,B,C, sodass möglichst viele Farben dargestellt werden können?

  33. Grassmann-Gesetze: Linearität 1. Ta = wa1P1 + wa2P2 + wa3P3 Tb = wb1P1 + wb2P2 + wb3P3  Ta+ Tb = (wa1+wb1)P1 + (wa2+wb2)P2 + (wa3+wb3)P3 2. Ta = w1P1 + w2P2 + w3P3 Tb = w1P1 + w2P2 + w3P3  Ta = Tb 3. Ta = w1P1 + w2P2 + w3P3  kTa = kw1P1 + kw2P2 + kw3P3

  34. Menschliche Farbwahrnehmung (3) • Bei geg. Testfarbe, und 3 Primärfarben: • Die meisten Menschen wählen die selben Gewichte • Trichromatizität und Grassman gilt • Farben können über diese Gewichte benannt werden • Ausnahmen: • Tw. oder vollst. Farbenblindheit • Alte Menschen mit Pigmentveränderungen • Sehr helle oder sehr dunkle Lichter

  35. Menschliche Farbwahrnehmung (4) • Zapfen (3 oder ?mehr? Arten) • Univarianz • Nur eine Aktivität eines Rezeptors • Stark / schwach • Keine Codierung der Wellenlänge ! • Zwei Farben werden als identisch wahr-genommen, wenn sie die selbe Antwort bei den Rezeptoren erzeugen, unabhängig von der spektralen Verteilung !

  36. Empfindlichkeit der Zapfen B,G,R  Besser S,M,L

  37. Relative spektrale Empfindlichkeit d. menschl. Auges • L-cones, M-cones, S-cones – Empf.d. Zapfen (R,G,B) • Empfindlichkeit der Stäbchen Dowling, John E. (1987); The Retina : An Approachable Part of the BrainBelknap Pr; ISBN: 0674766806

  38. Repräsentation von Farbe • Lineare Farbräume • RGB, CMY • CIE XYZ • Nichtlineare Farbräume • HSV, HLS • CIE u’v’, CIE LAB

  39. Lineares Farb - Matching • Primärfarben Pi • RGB • XYZ • “Color matching functions” CMF • f1(), f2(), f3() • “Source” S(), “Primaries” Pi

  40. RGB – XYZ (1) • CIE 1931 (2º field of view) • RGB: • R = 700.0 nm, G = 546.1 nm, B = 435.8nm • “chromaticity coordinates” r,g,b = (1,0,0), (0,1,0), (0,0,1) • “color matching functions” r(λ), g(λ), b(λ) • XYZ: • “color matching functions” x(λ), y(λ), z(λ)

  41. RGB – XYZ (2) • RGB: • Reale Primär-Lichtquellen • Subtraktives Matching nötig ! • XYZ: • Additives Matching immer möglich • „imaginäre“ Primär-Lichtquellen mit negativer Strahldichte in manchen Wellenlängenbereichen

  42. RGB Color Matching Functions

  43. XYZ Color Matching Functions

  44. RGB-XYZ [Foley et al.]

  45. CIE XYZ Farbraum Y X+Y+Z=1 y “chromaticity diagram” X x Z

  46. CIE XYZ Farbraum Sichtbare Farben innerhalb des „Hufeisens“. (x,y)-Werte außerhalb stellen keine gültigen Farben dar. Y X+Y+Z=1 y X x Z

  47. CIE XYZ Lichtquellen Monochromes Licht (R, G, B). Schwarzkörper bei verschiedenen Temperaturen. Y X+Y+Z=1 y X x Z

  48. “Gamut” – darstellbarer Bereich

  49. Gamut

  50. Komplementärfarben

More Related