Codage des images

1. Cours #11 - GPA787 Codage des images Images télés Format JPEG Format MPEG

2. Les images télés • Largeur de bande requise pour la télé: • Résolution de l ’image: • National Television Systems Committee – NTSC (Canada, U.S.A, Mexique, Pérou, Japon) • 484 x 427 pixels, fréquence de trame de 29.94 Hz • Phase Alternating Line – PAL (U.K, Allemagne, Espagne, Italie, Inde, Australie…) • 580 x 425 pixels, fréquence de trame de 25 Hz • Séquentiel Couleur À Mémoire – SECAM (France, URSS)

3. Les images télés • Largeur de bande requise pour la télé: • L’écran à un rapport largeur-hauteur de 4:3. • Les trames sont entrelacées.

4. Les images télés • Largeur de bande requise pour la télé: • Largeur de bande en noir et blanc: • NTSC: • PAL: • Deux pixels par sinus

5. Les fréquences utilisées (VHF) • Largeur de bande d’un canal de télé (noir et blanc):

6. Les images télés couleurs • Image couleur: • 3 couleurs de base sont requises pour obtenir une reproduction acceptable à l’œil. • Les trois couleurs sont: • Le rouge; • Le bleu; • Le vert. • D’où le standard RGB. • Les autres couleurs sont obtenues par combinaison de couleurs: • Jaune = Rouge + Vert.

7. Problème de bande passante • L’arrivée de la télévision en couleur soulève des problèmes techniques (1er octobre 1967). • 1) On a trois fois plus d’information à passer dans la même bande de 6 MHz. • Car 3 couleurs • 2) Il faut que les télés en noir et blanc continuent à fonctionner, donc le signal doit rester accessible à ces télés.

8. Description de la couleur en télé • La luminance: • Correspond à la vivacité de la couleur; • C’est en fait l’intensité de la couleur; • Désigné en anglais par le mot : brightness;

9. Description de la couleur en télé • La chrominance: • Est constituée de deux parties: • La nuance et la saturation. • Désigne la couleur de l’image. Une des composantes est la différence entre le bleu et la luminance. L’autre désigne la différence entre le rouge et la luminance. • Cet espace représente mieux ce qui se passe au niveau de l’œil humain.

10. Les images télés couleurs • Espace des couleurs: Luminance = hauteur (Z).

11. L’œil humain, un capteur imparfait • Réponse du capteur de couleur (œil): • En théorie : le blanc = 33.3% de chaque couleur. • En réalité : le blanc = 59% vert + 30 % rouge + 11 % bleu

12. Les images télés couleurs • Relation avec le R-G-B : • Luminance Y: (vivacité de la couleur(brightness)) • Contient toute l’information pour les télés monochromes. • Chrominance: (Nuance + saturation) • Transmission de ER-EY et de EB-EY.

13. Autre représentation • Luminance Y, Chrominance U et V.

14. Autre représentation • Luminance Y, Chrominance U et V.

15. Les images télés couleurs • Largeur de bande de la télé couleur :

16. Les images télés couleurs • Représentation vectorielle de la couleur :

17. Les images télés couleurs • Luminance: (vivacité de la couleur « Z ») (brightness) • 64 128 192 • Axes x et y : Chrominance.

18. Les images télés couleurs • Par toutes ces astuces, on réussi à maintenir une largeur de bande de 3.1 MHz plutôt de 9.3 MHz. • Donc en tenant compte de Nyquist, on reste à 6 MHz de largeur de bande réelle.

19. Les images télés numériques • Quelles seraient les conséquences de traiter les mêmes images numériquement ? • Si image noire et blanc sans gris: • Si image avec couleur (niveau de gris : on divise par 3): • 8 bits par couleur • Qualité supérieure au NTSC si on ne compresse pas.

20. Quantités de données élevées • Largeur de bande requise sans compression est très élevée. • Quantités de données pour une image élevée: • À mettre à jour 30 x par seconde. • Imaginez avec les TV HD actuelles…

21. Nécessité de compresser les données • De par les limites des bandes de fréquences allouées, on ne peut transmettre d’aussi grandes quantités d’information. • Il faut trouver un moyen de réduire la tailles des données.

22. Nécessité de compresser les données • Première idée: • Le contenu fréquentiel d’une image est principalement dans les basses fréquences. • Au lieu de transmettre l’image elle-même pourquoi ne pas transmettre son spectre fréquentiel en 2D. • A première vue, pas de gain, car une image 8 x 8 aura un spectre en fréquence de taille 8 x 8. • Solution: sacrifier les hautes fréquences par une quantification des données. • Un grand nombre de 0 apparait dans le spectre.

23. Nécessité de compresser les données • Deuxième idée: • On peut sacrifier de l’information du coté de la chrominance, mais pas du coté de la luminance.

24. Nécessité de compresser les données • Deuxième idée: • On peut sacrifier de l’information du coté de la chrominance, mais pas du coté de la luminance. • Le standard YUV a été établi sur cette observation. • Du point de vue de l’œil humain, la chrominance à moins d’impact que la luminance. • Solution: Le spectre de l’image qui sera transmit peut être basé sur l’espace YUV plutôt que le RGB. • On sous échantillonne la chrominance (moyenne de 4 pixels adjacents).

25. Nécessité de compresser les données • Troisième idée: • Il y a beaucoup de 0 dans le spectre en fréquence. • Ainsi, si on code la séquence suivante: • … 0 0 0 0 0 0 0 12 … • …qui exige 8x8=64 bits avec: • (7,4) 0x1100 • …qui n’exige que 1x8+4 = 12 bits. • Solution: Utilisation du codage entropique pour réduire la taille des données.

26. Nécessité de compresser les données • Quatrième idée: • Une fois le codage entropique fait, il y aura beaucoup de symboles (x,y) identiques. • Par exemple on peut coder la séquence suivante: • … anticonstitutionnellement … • …qui exige 25x8=200 bits avec la séquence binaire: • … 0x0011111100110011000101100000110011100000001 00110010111101000010001010000010101110 … • …qui n’exige que 81bits. • Solution: Utilisation du codage de Huffman pour réduire encore plus la taille des données. (inventé en 1952).

27. Codage de transformation • La plupart de l’information d ’une image est à basse fréquence. • Les codeurs de transformation préservent les informations à basse fréquence. • On ignore les petits coefficients dans la plage des fréquences. • But: • Réduire la largeur de bande; • Ne dégrade pas trop la qualité de l’image.

28. Codage de transformation • La transformée de Fourier pourrait être un bon codage de transformation, mais elle génère des composantes imaginaires. • La transformée cosinusoïdale directe discrète 2D (DCT) est très populaire en imagerie. • Plus de composantes imaginaires à traiter. • Est appliquée sur des blocs d’image de 8 x 8.

29. La DCT 2D - (transmission) • Équation: • x,y: position du pixel; • u,v: position de la composante du spectre; • de 0 à 7. • f(x,y): amplitude du pixel.

30. La IDCT 2D - (réception) • Équation: • x,y: position du pixel; • u,v: position de la composante du spectre; • de 0 à 7. • F(u,v): amplitude de la composante.

31. Les standards de compression • Images fixes: • Joint Photographic Expert Group - JPEG • Images dynamiques: • H.261 • Moving Picture Expert Group - MPEG

32. Le standard JPEG • Schéma de traitement - compression : DCT Quantificateur Image Plus de bits à base fréquence Séparée en blocs de 8 x 8 Image encodée Codeur de Huffman Codeur de coefficient Compression de l’image

33. Exemple sur une image 16 x 16 Examinons le processus sur un exemple simple

34. Le standard JPEG • Image RGB initiale de 16 X 16: 8 x 8 8 x 8 8 x 8 8 x 8

35. Le standard JPEG – DCT 2D • Transformée DCT (degré de rouge, coin supérieur gauche) Basses fréquences hautes fréquences -128.4966 662.5000

36. Le standard JPEG – DCT 2D • Transformée DCT (degré de rouge, coin supérieur gauche), version numérique:

37. Le standard JPEG – DCT 2D • Transformée DCT (degré de vert, coin supérieur gauche) Basses fréquences hautes fréquences -83.1492 980.0000

38. Le standard JPEG – DCT 2D • Transformée DCT (degré de bleu, coin supérieur gauche) Basses fréquences hautes fréquences -69.3520 65.3281

39. Le standard JPEG – DCT 2D • Pour la luminance: -58.5426 339.1378

40. Le standard JPEG – DCT 2D • Pour la chrominance (composante U): -94.6848 278.7808

41. Le standard JPEG – DCT 2D • Pour la chrominance (composante V): -51.3097 419.1565

42. Le standard JPEG – DCT 2D • Pour la chrominance (composante V – sous échantillonnée): -71.0785 369.1446

43. Le standard JPEG - Quantification • Calcul de la quantification: • Matrice de quantification: • Il en existe plusieurs versions. • Exemple utilisé sur notre image: Q = 6 9 12 15 18 21 24 27 9 12 15 18 21 24 27 30 12 15 18 21 24 27 30 33 15 18 21 24 27 30 33 36 18 21 24 27 30 33 36 39 21 24 27 30 33 36 39 42 24 27 30 33 36 39 42 45 27 30 33 36 39 42 45 48

44. Le standard JPEG - Quantification • Variantes de la matrice de quantification: • Q(i,j) = 1 + (i+j+1)*qualite • Avec qualite ajustant la compression possible de l’image. • Si qualite = 0, il n’y a pas de quantification. • Pas de perte d’information due à la quantification. • Matrices de quantification pour luminance et chrominance.

45. Le standard JPEG - Quantification • Matrice de quantification luminance: Source : http://www.w3.org/Graphics/JPEG/itu-t81.pdf

46. Le standard JPEG - Quantification • Matrice de quantification chrominance:

47. Le standard JPEG • Quantification (rouge) : Plein de 0

48. Étape de compression Maintenant que l’image a été transformée avec la DCT et qu’elle a été quantifiée, on passe à l’étape de compression. Cela implique: - Codage des coefficients; - Codage entropique; - Codage de Huffman.

49. Standard JPEG – codage entropique • Codeur de coefficients (codage entropique): • Cette approche de codage prend l’amplitude de chaque composante de l’espace des fréquences et la code de façon à comprimer les données. • Puisque les 0 sont fréquents en haute fréquence, on met les composantes fréquences en ordre pour augmenter la compressibilité des données.

50. Standard JPEG – codage entropique • Mise en ordre des composantes: • Elle est faite selon un zigzag comme montré ci-dessous: