Modul: B-CG Grundlagen der Computergraphik

1. Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische Datenverarbeitung Institut für Informatik Fachbereich Informatik und Mathematik (12)

2. Bildrepräsentationen

3. Das Ziel der heutigen Vorlesung Charakteristika der drei Bildrepräsentationen Bildfunktionen Digitales Bild Geometrie- und Merkmalsbild verstehen und die Zusammenhänge erkennen! Schwerpunkt: Das Digitales Bild

4. Übersicht Die Plenoptische Funktion – kontinuierliche Bildfunktionen Das Digitale Bild - Charakterisierung Austauschformate und Programmierschnittstellen Das „Computergraphik-Bild“ Austauschformate und Programmierschnittstellen Abtastung / Rendering ?? Anzeige (Rekonstruktion) Das Abtasttheorem: Die Theorie Ideale Abtastung und Rekonstruktion Reale Abtastung und Rekonstruktion Aliasing: Eine erste Charakterisierung der unvermeidbaren Fehler Zusammenfassung Ausblick – Nächste Schritte

5. Die Plenoptische Funktion “Der Mensch ist ein Augentier.” Die plenoptische Funktion beschreibt die für einen (menschlichen) Beobachter visuell erfassbaren Informationen an jedem Ort und zu jeder Zeit Idealisierung des potentiell Sichtbaren Modell des potentiell Sichtbaren

6. Die plenoptische Funktion P [Adelson, Bergen] P = f (q, f, I(l), t, Pb) q, f Raumwinkel I (l) Lichtintensität als Funktion der Wellenlänge t Zeit Pb Position und  Blickrichtung des Beobachters 6 Freiheitsgrade!

7. Exkurs: Sehwinkel abstrahiert von Objektgröße und –abstand für ein Bild auf der Retina

8. Grundgrößen der visuellen Wahrnehmnung q, f durch die flächige Anordnung von Rezeptoren in der Retina ? I(l) drei Abtastungen durch unterschiedliche Rezeptoren ? t Zeit ? Pb 2 Abtastungen zusätzlich sukzessiv durch ? Augen-, Kopf- und Körperbewegung

9. Spezialisierungen der plenoptischen Funktion? technisch realisierbare Bilder Pb: eine Abtastung ? (Monokulares) Bild zwei Abtastungen ? Stereobild geführte Bewegung ? Film / Video freie Bewegung ? Virtual Reality t: wenige Abtastungen ? Bewegtbild eine Abtastung ? Festbild I(?):3 Abtastungen, z.B. RGB ? Farbbild 1 Abtastung ? Grauwertbild extrem quantisiert ? schwarz/weiß Bild Erkenntnis: Reize lassen sich stark reduzieren ? wir müssen uns mit den Wahrnehmungsfähigkeiten beschäftigen:  in der nächsten Vorlesung

10. Bildmodelle: Herleitung aus der plenoptischen Funktion

11. Beispiel: kontinuierliche 2D-Bildfunktion G(x,y)

12. Bildfunktion (auch Bildsignal) Ein einkanaliges Bild G (z.B. Grauwertbild) wird als reelle Funktion mit 2-dimensionalen Definitionsbereich modelliert. x,y i.d.R kartesische Ortskoordinaten manchmal auch Winkel, dann (x,y) ? (q,f) (q Theta f Phi) f(x,y) nennt man (kontinuierliche) Bildfunktion.

13. Bildfunktionen (Bildsignale) Oft haben wir es mit endlichen Bildern zu tun, d.h. es gilt zusätzlich: Auch der Wertebereich ist oft beschränkt: Für Grauwertbilder gilt dann i.d.R. folgende Entsprechung: 0: schwarz Gmax: weiß

14. Bildfunktionen Multispektrale Bilder Farbbilder als werden als Vektor dreidimensionaler repräsentiert, mit Vektor, z.B. mit

15. Weitere Bildmodellierungen funktionales Bildmodell ? Theorie der linearen Systeme kontinuierliche Funktionen und lineare Transformationen Ortsbereich f (x,y) kann man transformieren in einen Frequenzbereich f (?,?) z.B. zur Analyse durch Fouriertransformation, Cosinustransformation, etc. (?,?) nennt man Ortsfrequenzen alternative Beschreibungsformen sind: fraktale Bildmodelle -- nichtlineare Systeme stochastische (statistische) Bildmodelle auch Erweiterungen sind möglich: Volumenbilder

16. Zusammenfassung: Bildfunktionen Bilder können durch (partielle) kontinuierliche Funktionen (Signale) mit reellen Variablen (Ortskoordinaten und Bildwerte) beschrieben werden beschreibt Bilder als optisches (auch elektrisches) Signal Damit steht uns die Theorie der Funktionen als „Handwerkszeug“ zur Verfügung: ? insbesondere die lineare Signaltheorie Alternative Beschreibungen sind möglich Frequenztransformationen ? Ortsfrequenzen fraktale Bildbeschreibungen (nichtlineare Signaltheorie) stochastische Bildbeschreibungen

17. Aus der letzten Vorlesung

18. Das Digitale Bild Bei der Aufnahme wird ein kontinuierliches Bild (Bildfunktionen) diskretisiert (abgetastet) (Ortskoordinaten x,y) quantisieren (Signalamplitude G(x,y)) Sonderfall: analoges Videosignal Vertikal abgetastet, d.h. in Bildzeilen zerlegt; horizontal nur in elektrische Signale gewandelt

19. Charakterisierung des Digitalen Bildes am Beispiel „Lena“

20. Abtasten, was heißt das genauer? Betrachten wir einen Ausschnitt aus „Lena“

21. Die Gewichtung der Bild-Funktionswerte im Pixel muss bei der realen Abtastung nicht einheitlich sein, ist aber oft symmetrisch zum Pixelmittelpunkte Rechteck ? Box CCD-Abtaster Dreieck ? Tent Glockenkurve ? GaussianFlying Spot-Abtaster, Kameraröhre u.v.a.m. aber kann ein Nadelimpuls sein„ideale“ Abtastung

22. Beispiel: diskretes Bild

23. Beispiel: quantisiertes diskretes BildDigitales Bild (Rasterbild, „Pixelbild“)

24. Die wichtigsten Parameter (Metadaten) eines Digitalen Bildes Pixelzahl und (horizontal und vertikal), z.B. 512x512 Achtung: manche Autoren nennen das Auflösung: FALSCH! Auflösung wäre etwas wie Pixel/mm, dots/inch, Linien /mm, ... Interpretation der Indexwerte: Wo ist G(0,0)?, üblich oben links und z.B. 72 Index-Incremente entsprechen 1 inch: 72 dots/inch Auflösung Wertebereich und Interpretation , z.B. 0 = schwarz ... 255 = weiß weitere Parameter zur Interpretation: Gamma, Abtastparameter, was ist schwarz?, was ist weiß, kommt später. Codierung, meist Integer (1 Byte = 8 Bit pro Pixel) Grauwertbild oder 3 Byte pro Pixel RGB für ein Farbbild

25. Speicher- und Austauschformate für Digitale Bilder Kompression und Kodierung

26. Beispiele für Austausch- und Speicherformate Digitale Bilder (Rasterfiles) BMP Windows Bitmap Format Microsoft Fax Group 3 oder Fax Group 4 CCITT (ITU) GIF Graphics Interchange Format JFIF JPEG File Interchange Format ISO/IEC PBM Portable Bitmap PNG Portable Network Graphics TGA Targa File Format TIFF Tag Image File format u.v.a.m. , insbesondere proprietäre Produktformate

27. Beispiele für Austausch- und Speicherformate Digitalvideo CCIR 601 Basis des Digitalfernsehen (CCIR) ITU H.261 Videokonferenzstandard (CCITT) ITU M-JPEG Motion JPEG ISO/IEC/ITU MPEG Motion Picture Expert Group ISO/IEC/ITU QT Quicktime Apple AVI Microsoft Details in Multimedia und Animation oder

28. Beispiele zur Bildkompression, hier JPEG

29. Weitere Informationen zu Fileformaten Übersicht zu Graphics File Formats http://www.faqs.org/faqs/graphics/fileformats-faq/ Mehr als 100 verschiedene Formate werden vorgestellt. Links zu Format-Spezifikationen.Viele praktische Hinweise zur Formatwandlung und Problemlösungen. Leider seit 1997 nicht mehr aktualisiert. aktuellere Infos unter : http://www.wotsit.org/default.asp “Wotsit's Format, the complete programmer's resource on the net”

30. Probleme und FragenWie hängen kontinuierliche Bilder und Digitale Bilder zusammen? Abtastung (Diskretisierung) <==> Rekonstruktion Das Abtasttheorem: Die Theorie Ideale Abtastung und Rekonstruktion Reale Abtastung und Rekonstruktion Charakterisierung und Bewertung der unvermeidbaren Fehler ... später, noch in dieser Vorlesung Quantisierung

31. Beschreibt ein Bild (2D) oder eine Szene (3D) durch Ensemble von geometrischen Objekten (Punkte, Linien, Flächen, Körper) in einem Koordinatensystem Erscheinungsattribute der Objekte (Farbe, Struktur, Textur, Parametern von Beleuchtungsmodellen, Betrachtungsbedingungen (Ausschnittsbildung, Skalierung in 2D oder Virtuelle Kamera und Beleuchtung in 3D) Geometrie und Merkmalsebene

32. Wichtige Unterscheidung Koordinatensystem: 2D oder 3D 2D: ggf Ausschnitt darstellen: streng: Window (Teilmenge des Definitionsbereichs) Viewport (Teil des Bildschirms) Window-Viewport Transformation 3D: Szene wird durch virtuelle Kamera (Viewing Transformationen, perspektivische Transformation) auf 2D abgebildet Geometrie und Merkmalsebene

33. Beispiele für Austauschformate Geometrie und Merkmalsebene 2D Vector Files „Zeichnungen“, CAD HPGL HP Graphics Language (Plottersprache) Hewlett-Packard DXF Drawing eXchange Format Autodesk (original 2D später auf 3D erweitert) Metafiles (Raster & Vektorgraphik) CGM Computer Graphic Metafile ISO/IEC Page Description Language (Seitenbeschreibungssprachen) PS (EPS) (Encapsulated) PostScript PDF Portable Document Format Adobe

34. Beispiele für Austauschformate Geometrie und Merkmalsebene 3D CAD Formate IGES Initial Graphics Exchange Specification STEP Standard for the Exchange of Product Data Szenen- und Objektbeschreibungssprachen VRML Virtual Reality Modeling Language ISO/IEC RIB Renderman Interface Bytestream ? Animation FLT MultiGen Flight OBJ Wavefront Object Alias (Wavefront) MAX 3D Studio Max Kinetix

35. Programmierschnittstellen API: Application Programmers Interface

36. Übersicht Die Plenoptische Funktion – kontinuierliche Bildfunktionen Das Digitale Bild - Charakterisierung Austauschformate und Programmierschnittstellen Das „Computergraphik-Bild“ Austauschformate und Programmierschnittstellen Abtastung / Rendering ?? Anzeige (Rekonstruktion) Das Abtasttheorem: Die Theorie Ideale Abtastung und Rekonstruktion Reale Abtastung und Rekonstruktion Aliasing: Eine erste Charakterisierung der unvermeidbaren Fehler Zusammenfassung Ausblick – Nächste Schritte

37. Aus der letzten Vorlesung plus neue Terminologie, insbesondere aus der Signal- und Abtasttheorie

38. Ein kleiner Ausflug in die Systemtheorie Ziel: Wir wollen das Abtasten mathematisch fassen, um so den Vorgang zu verstehen und um die optimalen Abtast-Bedingungen zu erkennen zu erkennen, wann wir keine Fehler machen ggf. auftretende Fehler qualitativ und quantitativ beschreiben zu können Ideen zur Minimierung dieser Fehler zu bekommen unsere Lösungen zu bewerten Vollständig geht das in dieser Vorlesung leider nicht! – Aber: Wir wollen die Grundzüge verstehen, dann ist ggf. ein Selbststudium möglich!

39. Eine spezielle „Funktion“: Der Diracsche Deltaimpuls nach Paul Dirac 1930 wird über seine Haupteigenschaften definiert: Streng: Es gibt keine klassische Funktion d mit diesen Eigenschaften. d ist streng genommen eine Distribution (verallgemeinerte Funktion). andere Namen Diracfunktion, Deltafunktion, Nadelimpuls

40. Der Diracsche Deltaimpuls Die Deltafunktion läßt sich als Grenzwert einer Familie von Funktionen definieren, z.B: anschaulich: eine Rechteckfunktion mit unendlich kleiner Impulsbreite und unendlicher Impulshöhe im Ursprung ? Nadelimpuls

41. Die Ausblendeigenschaft (Siebeigenschaft,sifting property) der Deltalfunktion: Dieses Integral blendet an der Stelle x0 den Funktionswert f(x0) aus:

42. Ideale Abtastung eines Bildes erfolgt durch

43. Ideale Abtastung Wir definieren als abgetastetes Bild fs:

44. Beispiel: Abtastung der Funktion f(x,y)

45. Ein bandbegrenztes Bild f(x,y), das orthogonal mit Abtastintervallen ideal abgetastet wird, kann fehlerfrei rekonstruiert werden, wenn die Abtastfrequenzen größer als die Nyquist-Frequenzen 2bu und 2bv sind. Abtasttheorem nach Shannon (1): Abtastung

46. Abtasttheorem (2): Rekonstruktion Ein diskretes Bild lässt sich mit Hilfe eines (idealen) Tiefpasses mit der Übertragungsfunktion rekonstruieren, so dass dieses mit dem ursprünglichen Signal identisch ist. Das rekonstruierte Bild ist dann

47. Eine wunderschöne Theorie! Aber Erfüllung des Abtasttheorems: ein bandbegrenztes Bildsignal ist Voraussetzung! – in der Praxis oft nicht gegeben! einen idealen Abtaster (Nadelimpuls) gibt es nicht! Rekonstruktion auch nicht ideal möglich (sinc-Funktion ? negatives Licht!) unvermeidbare Fehler können nur minimiert werden (dann bestenfalls unsichtbar): Diese sind Aliasing 1. Art: Abtastfehler: Moiree, Scintillation,... Aliasing 2. Art: Rekonstruktionsfehler: Treppenstufen,...

48. Aliasing 1. Art: Veranschaulichung im 1D

49. Aliasing 1. Art: Unterabtastung

50. Aliasing 1. Art: Veranschaulichung im 1D

51. Moiree

52. VeranschaulichungSzintilation

53. Aliasing 1. Art - Maßnahmen Bandbegrenzung des abzutastenden Bildes durch z.B. bei der Aufnahme durch optische Unschärfe einfach, adhoc einsetzbar wenig effektiv, weil Filterflanken nicht steil genug erfordert Abtastraten deutlich über Nyquistfrequenz deutlich sichtbare Unschärfe endliche Abtastapertur hat Tiefpaßwirkung beim Rendering sehen wir später!

54. Reale Bildrekonstruktion - Anzeige Ideale Rekonstruktion mit sinc-Funktion ist praktisch nicht realisierbar praktische Lösungen: Rechteckausgaben (zero-order hold) Artifakte: Treppenstufen Ameisenkrabbeln (ant crawling) nur im Bewegtbild in der Praxis auf CRT teilweise gemildert durch: horizontal: Tiefpaßwirkung des Videoverstärkers vertikal: Gaußfunktion des Elektronenstrahls hochfrequentes “Rauschen” durch Lochrastermaske auf LCDs deutlich sichtbar!

55. Das Rekonstruktionsdilemma

56. Rekonstruktion auf LCD-Displays= Rechteck! Auflösungsverlust: minimal !!! Interpolationsfehler: maximal !!! Treppenstufen Ameisenkrabbeln Theoretisch ist Verbesserung möglich durch eine entsprechende optische Filterung (Mattscheibe – kein idealer TP!) Glücklicherweise ist das Visuelle System auch ein wirksamer Tiefpaß

57. Rekonstruktion auf CRT-Displays Vergleichsweise gute Annäherung an Sinc-Funktion im Zentralimpuls = Rechteck in der Fouriertransformierten ? Auflösungsverlust fast so gering wie bei LCD-Display ? Interpolationsfehler geringer ? „friedlich“ Notwendig: korrekte Strahlfokussierung

58. Fragen und (hoffentlich) Antworten

59. Ausblick ... am nächsten Donnerstag Wir wenden uns unserem Hauptthema, der Graphikebene, zu und untersuchen zunächst, wie die Geometrie der Objekte repräsentiert werden kann. ... und, danke für Ihre Aufmerksamkeit!