Spazi dei colori, Bayer pattern e robotica umanoide

1. Spazi dei colori, Bayer pattern e robotica umanoide Lezione del 14 marzo 2006 Anno Accademico 2005/2006 Tommaso Guseo http://robotics.dei.unipd.it/~tommy Tommaso Guseo Lezione: 14 marzo 2006

2. Sommario della lezione • Il sistema visivo umano • Modelli per gli spazi dei colori. • L’interpolazione del Bayer Pattern. • Il robot umanoide Leonardo. Tommaso Guseo Lezione: 14 marzo 2006

3. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Il sistema visivo umano La tricromia Il sistema visivo umano • Le cellule visive sono formate da coni e bastoncelli. • I bastoncelli sono attivi al buio e in condizioni di bassa luminosità. • Alla luce del giorno solo i coni sono responsabili della visione. • I coni sono sensibili a 3 differenti lunghezze d’onda. Tommaso Guseo Lezione: 14 marzo 2006

4. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Il sistema visivo umano La tricromia La Tricromia • Esperimenti hanno dimostrato la necessità di tre componenti cromatiche per poter ricostruire un colore. • L’occhio umano è più sensibile alla componente verde rispetto alla rossa e alla blu. • I tre stimoli CIE hanno valore X,Y,Z. Tommaso Guseo Lezione: 14 marzo 2006

5. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Modelli per gli spazi dei colori Esempio tratto dal dizionario Webster: Rosso Tiziano: “Un arancione tendente al bruno che appare un po’ più giallo e chiaro del marrone spezia, come pure del marrone prateria e del marrone di Windsor, ma un po’ più rosso e scuro del colore ambra o del fagiano dorato” (“Luce colore visione”, Editori Riuniti) Tiziano, Flora (1515), Firenze Uffizi Tommaso Guseo Lezione: 14 marzo 2006

6. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) • Necessità di un modello per definire i colori in maniera standard, condivisa e comunicabile. • Standard Hardware: • RGB (Red, Green, Blue): monitor e telecamere; • CMYK (Cyan, Magenta, Yellow, blacK): stampanti; • YCbCr, YUV: nelle trasmissioni per la televisione. • Standard Software per l’elaborazione: • RGB (Red, Green, Blue): monitor e telecamere; • YUV (luminance, chrominance); • HSI/HSV (Hue, Saturation, Intensity/Value). Tommaso Guseo Lezione: 14 marzo 2006

7. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Sintesi additiva Somma di onde luminose di diversa frequenza che raggiungono il nostro occhio (monitor e TV) • La somma di due colori primari produce un colore Es.: R+G= giallo, R+B=magenta, B+G=ciano. • Ciano (C), magenta (M) e giallo (Y) sono colori secondari o complementari. • Miscelando i tre primari o un secondario con il suo primario opposto, nella giusta intensità, produce bianco. Tommaso Guseo Lezione: 14 marzo 2006

8. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Sintesi sottrattiva La luce bianca (emessa dal una sorgente luminosa) colpisce il pigmento e ne viene selettivamente riflessa (ovvero selettivamente assorbita). • Si parte dalla luce bianca sottraendo, per assorbimento alcune componenti dello spettro, fino ad arrivare al nero. • Ciano (C), magenta (M) e giallo (Y) sono colori primari di questo spazio, spesso assieme al nero (K). Tommaso Guseo Lezione: 14 marzo 2006

9. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Tinta, saturazione e brillantezza Le caratteristiche che si usano per distinguere un colore da un altro sono tinta, saturazione e brillantezza. • Tinta (Hue): • legata alla lunghezza d’onda dominante; • la tinta è l’attributo fondamentale di un colore: quando chiamiamo un colore arancio, rosso o giallo stiamo specificando la tinta. Tommaso Guseo Lezione: 14 marzo 2006

10. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) • Saturazione (Saturation): • si riferisce alla purezza relativa del colore ovvero alla quantità di bianco aggiunto al colore puro; • rosa è meno saturo del rosso; • i colori puri sono pienamente saturati; • Brillantezza (Brightness): • è legato alla nozione acromatica di intensità; • è un attributo soggettivo e difficile da misurare; • alcune tinte sono implicitamente più luminose (brillanti) di altre. Tommaso Guseo Lezione: 14 marzo 2006

11. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) • Hue e saturation assieme si chiamano cromaticità; • Un colore è descritto dalla sua luminosità e cromaticità. • Un modo di specificare i colori è il diagramma di cromaticità CIE. • CIE: Commission Internationale de l'Eclairage, è l’istituzione che regola la definizione dei sistemi di colore. Tommaso Guseo Lezione: 14 marzo 2006

12. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Lo spazio XYZ Normalizzando i coefficienti X,Y,Z si hanno i cosiddetti coefficienti tricromatici: Si noti che x + y + z = 1, quindi z = 1 - x – y ; Tommaso Guseo Lezione: 14 marzo 2006

13. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) • Sono coefficienti (positivi) che dipendono solo dal valore di tinta e saturazione (croma) e sono indipendenti dalla brillantezza. • La componente del rosso e del verde variano rispettivamente lungo l’asse x e y. • L’asse del blu (z) è perpendicolare al piano. • Il diagramma rappresenta tutti i valori cromatici visibili, ma NON la brillantezza. • I colori corrispondenti a punti interni sono misture di colori puri. • Il diagramma è utile nella miscela di colori, poiché una linea retta tra due punti rappresenta tutti i diversi colori che si possono ottenere dalla combinazione additiva dei due. Tommaso Guseo Lezione: 14 marzo 2006

14. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) • Legge di Grassman • La combinazione di tre colori è definita dal triangolo che ha i tre punti per vertici. Tommaso Guseo Lezione: 14 marzo 2006

15. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Lo spazio RGB • Il classico spazio dei computer; • 3 canali differenti in relazione ai tre stimoli; R G B Tommaso Guseo Lezione: 14 marzo 2006

16. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) • Nel modello RGB, un colore è definito da 3 componenti che rappresentano i colori primari. • Per convenienza, si normalizzano le componenti in modo da avere un cubo con componenti RGB appartenenti all’intervallo [0,1]. • Tutti i colori che giacciono all’interno del cubo possono essere riprodotti da un sistema di riproduzione che si basa sui colori primari (monitor). Tommaso Guseo Lezione: 14 marzo 2006

17. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) R-Component Original Image G-Component B-Component Tommaso Guseo Lezione: 14 marzo 2006

18. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Lo spazio YUV • Modello usato per lo standard di trasmissione televisivo PAL. • La componente Y è la luminanza ed è la sola che serve per la visualizzazione in bianco e nero. • La crominanza è rappresentata da UV Piano UV per Y=0.5 Tommaso Guseo Lezione: 14 marzo 2006

19. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) RGB->YUV in forma ANALOGICA Y U V YUV->RGB in forma DIGITALE con saturazioni [16,240] Tommaso Guseo Lezione: 14 marzo 2006

20. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) • YCbCr usato in JPEG ed MPEG, YIQ usato in NTSC. • La componente Y (luminanza) e le compoenti UV (crominanza) sono ortogonali. • Una variazione della luminosità influisce esclusivamente sulla luminanza e non sulle componenti di crominanza. • Il nostro sistema visivo è più sensibile ai cambi di luminanza che di crominanza: si assegna più risoluzione alla componente Y e meno alle altre 2 Tommaso Guseo Lezione: 14 marzo 2006

21. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Intensity Original Image U-Component V-Component Tommaso Guseo Lezione: 14 marzo 2006

22. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Gli spazi HSx (HSI / HSV / HSL) • Richiamo: • Hue è l’attributo che descrive il colore puro; • Saturation è una misura del grado di purezza con cui il colore puro è diluito con la luce bianca; • La componente Intensity (I), o Value (V), Lightness (L) è ortogonale alle componenti cromatiche (HS). • L’ortogonalità permette di ottenere l’informazione cromatica indipendentemente dall’illuminazione. Tommaso Guseo Lezione: 14 marzo 2006

23. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) • Hue (H) è definita come angolo fra 0 e 2: • “red” at angle of 0; • “green” at 2/3; • “blue” at 4/3. • Saturation (S) modella la purezza del colore: • S=1 for a completely pure or saturated color; • S=0 for a shade of “gray”. Tommaso Guseo Lezione: 14 marzo 2006

24. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) H S I,V,L • Lo spazio HSI o i suoi simili, risultano essere molto utili nella scelta dei colori e molto impiegati ad esempio nei programmi di fotoritocco per la ortogonalità delle componenti. Tommaso Guseo Lezione: 14 marzo 2006

25. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Hue Original Image Saturation Intensity Tommaso Guseo Lezione: 14 marzo 2006

26. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Lo spazio CYMK • Il modello CMY (Cyan, Magenta, Yellow), è usato nella stampa a colori. • Cyan, Magenta, Yellow sono i colori primari dei pigmenti (secondari nella luce). • A differenza di tutti quelli visti finora si basa sulla sintesi sottrattiva del colore. • La stampa del colore viene invece fatta sovrapponendo inchiostro colorato sulla carta bianca, che non emette ma riflette la luce incidente. Tommaso Guseo Lezione: 14 marzo 2006

27. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo Lo spazio XYZ Lo spazio CYMK Lo spazio RGB Lo spazio YUV Gli spazi HSx (HSI/HSV/HSL) Lo spazio CYMK • In generale, il pigmento assorbe (sottrae) dalla luce (bianca) i colori complementari al suo e riflette il resto. • Per vedere il nero basterebbe miscelare in parti ugyuali i tre pigmenti. In realtà si ottiene un colore marrone, quindi si preferisce aggiungere il nero direttamente (blacK)  CMYK. Ad esempio che il ciano puro assorbe il rosso… Tommaso Guseo Lezione: 14 marzo 2006

28. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione L’interpolazione del Bayer Pattern • Come più volte evidenziato per ricostruire un colore sono necessarie tre componenti. • Due metodi per ottenere le tre componenti necessarie: • 3-CCD, 3-CMOS sensor; • Color Filter Array (CFA) come il Bayer pattern. Tommaso Guseo Lezione: 14 marzo 2006

29. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione • Il Bayer pattern, rispetto alla tecnologia 3-CCD presenta alcuni vantaggi: • Necessità di un solo sensore; • Non sono necessari prismi; • Non è necessario l’allineamento; • Costo e dimensioni inferiori; • Peso inferiore: dispositivi portatili. • In compenso l’informazione del Bayer pattern è campionata. In ogni pixel è necessario ricostruire le componenti mancanti, si parla di DEMOSAICING. Tommaso Guseo Lezione: 14 marzo 2006

30. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione L’interpolazione del VGA Bayer Pattern • Il VGA Bayer pattern è il CFA attualmente più diffuso nei dispositivi fotografici. • In letteratura sono presenti numerosi metodi di interpolazione, ne analizzeremo 3. • Nearest Neighbor Replication (NNR) • Bilinear Interpolation (BI) • Linear Interpolation with Laplacian Second-order Correction Terms (LIL2) Tommaso Guseo Lezione: 14 marzo 2006

31. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Nearest Neighbor Replication • Le componenti mancanti vengono interpolate con i valori dei pixel vicini. • Il più vicino può essere in qualsiasi delle quattro direzioni fondamentali, sopra, sotto, sinistra o destra. Tommaso Guseo Lezione: 14 marzo 2006

32. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Nearest Neighbor Replication (cont.) • PREGI: • L’interpolazione computazionalmente più veloce. • DIFETTI: • Propagazione alcune componenti cromatiche. • Creazione di molti falsi colori che possono creare problemi a livello di image processing. • Zipper effect:transizioni a gradiente elevato risultano essere molto frastagliate. • L'immagine interpolata tende ad essere rumorosa. Tommaso Guseo Lezione: 14 marzo 2006

33. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Bilinear Interpolation • Le componenti mancanti vengono interpolate con un’interpolazione bilineare dei pixel vicini. • Le componenti possono essere interpolate contemporaneamente. Tommaso Guseo Lezione: 14 marzo 2006

34. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Bilinear Interpolation (cont.) • Verde (b): • Blu (c): • Rosso (d): • Rosso (e): • Blu (f): Tommaso Guseo Lezione: 14 marzo 2006

35. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Bilinear Interpolation (cont.) • PREGI: • Questo algoritmo risulta molto efficiente e spesso costituisce la base per altri migliori. • DIFETTI: • Il colore “puro” di pixel adiacenti può cambiare in maniera brusca. • Effetto di blur: l'intera immagine è soggetta ad un filtraggio di tipo passa basso. • Zipper effect ridotto ma non eliminato. Tommaso Guseo Lezione: 14 marzo 2006

36. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Linear Interpolation w. Laplacian 2° Correction • Le componenti mancanti vengono interpolate in maniera adattativa, seguendo i gradienti cromatici. • Massime performance nel caso di immagini con edge verticali o orizzontali. • Prioritaria l'interpolazione dei pixel verdi. Adattativo = opera in modo differente adattandosi alla variabilità tipica dell’immagine in esame. Tommaso Guseo Lezione: 14 marzo 2006

37. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Linear Interpolation with Laplacian… (cont.) • VERDE: si definiscono i gradienti orizontale e verticale, • L’interpolazione segue l’algoritmo Tommaso Guseo Lezione: 14 marzo 2006

38. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Linear Interpolation with Laplacian… (cont.) • ROSSO/BLU: vi sono 3 possibili casi • I due pixel più vicini dello stesso colore della componente mancante si trovano nella stessa colonna: • I due pixel più vicini dello stesso colore della componente mancante si trovano nella stessa colonna: R1 R4 R7 R1 R2 R3 Tommaso Guseo Lezione: 14 marzo 2006

39. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Linear Interpolation with Laplacian… (cont.) • ROSSO/BLU: Si definiscono i gradienti orizontale e verticale, • L’interpolazione segue l’algoritmo Tommaso Guseo Lezione: 14 marzo 2006

40. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Comparison VGA Interpolation Original Nearest Bilinear Laplace Tommaso Guseo Lezione: 14 marzo 2006

41. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Comparison VGA Interpolation (cont.) Original Nearest Bilinear Laplace Tommaso Guseo Lezione: 14 marzo 2006

42. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione QVGA Bayer pattern • Accanto al funzionamento VGA con risoluzione (640x480) la maggior parte delle telecamere ne fornisce uno a risoluzione ridotta QVGA (320x240). • Questa risoluzione è ottenuta campionando il Bayer pattern classico eliminando due colonne ogni quattro. • L’interpolazione di questo tipo di Bayer pattern non è trattata in letteratura. Tommaso Guseo Lezione: 14 marzo 2006

43. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Demosaicing QVGA Bayer pattern • Nel funzionamento a risoluzione ridotta non si vuole ricostruire tutta l’immagine in alta risoluzione. • Si considerano come unità base le celle in giallo centrate nei pallini. • Si ricostruisce quindi la struttura a tre componenti all’interno di ogni cella. • I primi due metodi di interpolazione presentati sono la naturale estensione dei precedenti al QVGA. Tommaso Guseo Lezione: 14 marzo 2006

44. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Nearest Neighbor Replication • La componente verde non viene interpolata. • Le componenti rosse e blu mancanti vengono interpolate con i valori dei pixel vicini. • Il più vicino può essere in qualsiasi delle due direzioni fondamentali: sinistra o destra. Tommaso Guseo Lezione: 14 marzo 2006

45. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Bilinear Interpolation • La componente verde non viene interpolata. • Le componenti rosse e blu mancanti vengono interpolate con una bilineare. Tommaso Guseo Lezione: 14 marzo 2006

46. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Periodic Reconstruction Interpolation • Necessità di ricostruire una struttura periodica. • Componente verde viene interpolata, per prima. • Nella strutture precedenti la distanza fra due pixel verdi non è costante all'interno della matrice. • Scelta di algoritmo adattativo. Tommaso Guseo Lezione: 14 marzo 2006

47. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Periodic Reconstruction Interpolation • VERDE: • Si considera un interpolazione che approssimi una bilineare su un dominio non regolare: • Si pesano i pixel inversamente in funzione della distanza. Tommaso Guseo Lezione: 14 marzo 2006

48. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Periodic Reconstruction Interpolation ROSSO e BLU: • Si definiscono i gradienti nelle direzioni negativa, positiva e orizzontale. • Opera l’algoritmo seguente: Tommaso Guseo Lezione: 14 marzo 2006

49. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Comparison QVGA Interpolation Original Nearest Bilinear Periodic Tommaso Guseo Lezione: 14 marzo 2006

50. Il sistema visivo umano Modelli per gli spazi dei colori L’interpolazione del Bayer Pattern Il robot umanoide Leonardo VGA Bayer pattern QVGA Bayer pattern Periodic Reconstruction Interpolation Stima dell’efficacia dei metodi di interpolazione Stima dell’efficacia dei metodi di interpolazione • Il confronto non può svolgersi solo visivamente: • palese soggettività; • assenza di riproducibilità • necessità di lavorare ad alta risoluzione; • impossibilità di creare metodi automatici. • ESEMPI DI FUNZIONI DI STIMA • Mean Square Error (MSE) • Peak Signal to Noise Ratio (PSNR) • Normalized Difference Criterion (NCD) Tommaso Guseo Lezione: 14 marzo 2006