ESE22 : Formation, capture et restitution des images

1. Contenu du cours ESE22 :Formation, capture et restitution des images ESE22 :Formation, capture et restitution des images • mardi 07 avril 2009(8h30 - 12h15) • Caractérisation des images dans le visible • Contraste en fonction de la bande spectrale et des conditions atmosphériques : annulation, inversion de contraste. • Paramètres de performance MRC: Optique, Détecteur, Stabilisation, Visualisation, Observateur... • Introduction au bilan de portée • mardi 21 avril 2009(8h30 - 12h15) •  Acquisition et restitution dans le visible • système de télévision • Photographie numérique • caractéristiques et défauts des différents capteurs : tubes de prises de vue, caméras CCD, caméras CMOS, intensificateurs, EBCCD/CMOS • En annexe: Bases de la caractérisation d’un détecteur

2. Systèmes d’imagerie ESE22 :Formation, capture et restitution des images ESE22 :Formation, capture et restitution des images Bilans de Portées

3. Objectifs imagerie passive Détection, Reconnaissance, Identification visuelle observation en temps réel via une visualisation Applicable à toutesbandesspectrales (visible, PIR, IR2, IR3)‏ ESE22 :Formation, capture et restitution des images Dimensionnerun équipement d’imagerie Estimerles performances opérationnelles (portées) d’un équipementd’imagerie

4. Chaine Image ESE22 :Formation, capture et restitution des images S o u r c e observateur visuel scène capteur • Optique Collectrice de flux • Détecteur Absorbe les photons et génère des électrons puis les convertit en tension • Unités de traitement et de mise en forme de l’image • Système de visualisation

5. Contenu Modélisation d’une scène réflexion des sources naturelles de rayonnement lien entre réflexion et rayonnement solaire propagation atmosphérique bilan photométrique Modélisation d’un capteur sensibilité et résolution stabilisation optique détecteur visualisation observateur notion de fréquence spatiale notion de FTM ESE22 :Formation, capture et restitution des images

6. Contenu Dimensionnement d’un capteur repliement de spectre allocation sensibilité – résolution dimensionnementde l’optique et du détecteur Évaluation des performances (« bilan de portée »)‏ bilanphotométrique de la scène figures de mérite d’un équipement bilan de portée ESE22 :Formation, capture et restitution des images

7. 1. Modélisation d’une scène ESE22 :Formation, capture et restitution des images D’ou vient la luminance d’un objet ? Quelle est l’énergie perçue par le capteur ? sources naturelles éclairement du soleil ou lune éclairement du ciel et nuages objet albédo émissivité x transmission luminance réfléchie x transmission + luminance thermique capteur + luminance de l’atmosphère température atmosphère termes réflectifs termes thermiques termes atmosphériques

8. 1.2 Réflexion des sources naturelles de rayonnement ESE22 :Formation, capture et restitution des images X LR()‏ Li()Ei()‏ E: Eclairement (W/m² ou Lux) Li , LR : Luminances incidente et réfléchie (W/(sr . m²) ou Cd/m²) BRDF: Bidirectionnalreflectance distribution function Modèle lambertien Modèle spéculaire Modèle générique coef.de Fresnel albédo BRDF   surfacediffusante surfacequelconque surfacepolie

9. ESE22 :Formation, capture et restitution des images Albedo (coefficient de réflexion) et longueur d’onde Albedo varie avec: matériau, état surface, orientation, ….

10. Albedo (coefficient de réflexion) et longueur d’onde Changements rapides des Valeurs d’albédos de nombreux corps entre 700 et 750 nm pouvant entraîner des inversions de contrastes ESE22 :Formation, capture et restitution des images

11. ESE22 :Formation, capture et restitution des images Albedo (coefficient de réflexion) et longueur d’onde Image visible (450nm <  < 700nm Image proche-infrarouge (PIR:  > 700nm )

12. Visible couleur Visible SWIR:1-1.7 µm Albedo (coefficient de réflexion) et longueur d’onde

13. 1.4 Propagation atmosphérique ESE22 :Formation, capture et restitution des images atmosphère diffusion rayonnement thermique absorption atténuation du rayonnement de la scène (Tatm)‏ superposition à la scène d’un flux parasite (Latm)‏ rayonnement scène (cible/fond)‏ gains par diffusion atmosphère T° gains par rayonnement scène pertes par absorption capteur pertes par diffusion

14. 1.4 Propagation atmosphérique ESE22 :Formation, capture et restitution des images Soleil Atmosphère Lumière solaire diffusée Sources de bruit électrique Réflexion solaire Émission propre de l’atmosphère Détecteur Fond Électronique Rayonnement atteignant le système Rayonnement diffusé Pupille d’entrée optique de focalisation Rayonnement absorbé Source Rayonnement non collecté par le système Éléments atténuant ou déformant le signal

15. 1.4 Propagation atmosphérique ESE22 :Formation, capture et restitution des images La lumière est diffusée et absorbée par les molécules de l’air. • Auxquelles s’ajoutent, dans les basses couches de l’atmosphère: • fumées • pollution • poussières • gouttelettesd’eau • brouillard

16. 1.4 Propagation atmosphérique ESE22 :Formation, capture et restitution des images L’absorptiondépent de: humidité, température, concentration en aerosols Influence de l’humidité wavelength (µm)‏ wavelength (µm)‏

17. 1.4 Propagation atmosphérique ESE22 :Formation, capture et restitution des images Influence de la temperature

18. 1.4 Propagation atmosphérique ESE22 :Formation, capture et restitution des images Influence de la visibilité (aérosols)‏

19. 1.5 Bilan photométrique ESE22 :Formation, capture et restitution des images Calcul de l’énergie (luminance) arrivant en entrée pupille du capteur : Propagation atmospherique Reflexion solaire (fonction de la distance)‏

20. 2. Modélisation d’un capteur Notion de sensibilité et résolution Optique Détecteur Stabilisation Visualisation Observateur Notion de fréquence spatiale Notion de FTM FTM des sous-ensembles de la chaîne image ESE22 :Formation, capture et restitution des images

21. Sensibilité et résolution Avec l’éloignement, les deux points ci-dessusapparaîtrontconfondus à partir d ’unecertaine distance, mêmeen augmentantle contraste des points par rapport au fond. La limiteestfixéepar la résolution de l’œil, sacapacité à séparer les objets. ESE22 :Formation, capture et restitution des images Avec l’éloignement, le point ci-dessus ne sera plus visible à partir d ’unecertaine distance. En augmentant son contraste par rapport au fond, ilréapparaîtra. La limiteestfixée par la sensibilité de l’œil, sacapacitéà distinguer un contraste entre un objet et le fond.

22. Sensibilité et résolution ESE22 :Formation, capture et restitution des images Résolution typique de l’oeil • Pouvoir de résolution : env.1min d’arc • Champ de visibilité à bonne résolution <2° (120min d’arc) • Vue de 10/10ème R  1’ d’arc • Vue de 14/10ème R  0.7’ d’arc

23. Facteurs de Sensibilitéet résolution ESE22 :Formation, capture et restitution des images performance / qualité image sensibilité résolution détecteur réponse bruits surface pixel temps d ’intégration numérisation échantillonnage réponse impulsionnelle détecteur pas (pitch)‏ optique ouverture transmission température stabilisation optique focale optique pupille aberrations bande spectrale bande spectrale détecteur dimension zone sensible ifov

24. Sensibilité et résolution ESE22 :Formation, capture et restitution des images capteur bien dimensionné problème d ’échantillonnage problème de réponse impulsionnelle problème de sensibilité

25. Optique ESE22 :Formation, capture et restitution des images Le système optique focalise le flux de la scène sur le détecteur (sur le plan focal). Il contribue à la résolution et à la sensibilité d’un imageur. optique sensibilité résolution introduction d’un flux indésirable collection et focalisation du flux de scène réponse impulsionnelle longueur d’onde diamètre pupille ouverture transmission transmission imparfaite aberrations

26. Optique – Contribution à la sensibilité ESE22 :Formation, capture et restitution des images Collection et focalisation du flux de scène : pupille d’entrée plan focal (emplacement du détecteur)‏ luminance transmise (LxTopt)‏ luminance de la scène (L)‏ éclairement sur le détecteur E = L x Topt x   focale Principales caractéristiques : • Diamètre de la pupille (Dpup)‏ • Transmission du système optique (Topt)‏ • Focale (f ')‏ • Ouverture (N = f ' / Dpup)‏ • Aberrations optiques

27. Optique – Contribution à la sensibilité Ouverture du système optique et sensibilité ESE22 :Formation, capture et restitution des images   ouverture angle solide l’éclairement est 16 fois plus faible N = 1 (f/1) (f‘ = Dpup)optique ouverte N = 4 (f/4) (f‘ = 4Dpup)optique fermée

28. Optique – Contribution à la sensibilité ESE22 :Formation, capture et restitution des images Eclairement détecteur à maximiser Topt grand N petit (système ouvert)‏ • Contribution à l’augmentation du contraste cible/ fond: (Ecible – Efond)‏

29. Optique – Contribution à la résolution ESE22 :Formation, capture et restitution des images Quelle que soit la qualité d’un système optique, l’image d’un point est toujours une tâche L’origine physique de ce phénomène est : la diffraction Plan image Optique circulaire diamètre de la tâche Onde lumineuse incidence monochromatique plane tache d’Airy Image diffraction Lentille focalisation

30. Optique – Contribution à la résolution Propriétés de la tache d’Airy ESE22 :Formation, capture et restitution des images  N exemples de diamètre en fonction de la longueur d’onde : diamètre dans le plan focal (Airy)‏ 84% de l’énergie à l’intérieur du premier anneau

31. Optique – Contribution à la résolution ESE22 :Formation, capture et restitution des images scène optique imagesde chaqueobjet planfocal éclairementtotal les deux objets sont résolus limite de résolutiondes objets objets non résolus

32. Détecteur ESE22 :Formation, capture et restitution des images Le détecteur capture l’éclairement sur le plan focal, le transforme en courant et l ’intègre dans le temps. détecteur sensibilité résolution conversionde la lumière en courant sources debruits réponse impulsionnelle surface sensibleréponse temps d ’intégration bruit photonique bruit de lecture courant d ’obscurité... pas d ’échantillonnage (pitch)‏

33. 2.3 Détecteur – Contribution à la sensibilité ESE22 :Formation, capture et restitution des images Conversion de la lumière en courant électrique pitch surface totale du pixel (pitch²)‏ en bleu, surface sensible du pixel (Ad)‏ Fill Factor (FF) : pixel éclairement (W/m²)‏ E courant (A)‏ I = F x R(A/W) = E x Ad x R(A/W) flux (W)‏ F = E x Ad

34. Détecteur – Contribution à la sensibilité Intégration temporelle du courant ESE22 :Formation, capture et restitution des images Le courant électrique généré par un pixel charge une capacité pendant une durée appelée temps d ’intégration (ou durée d ’exposition)‏ A la fin de l ’intégration, la capacité contient un nombre d ’électrons proportionnel au temps d ’intégration (Ti)‏ proportionnel à l ’éclairement sur le plan focal capacité courant électrique (A)‏ I nombre d ’électrons N = I x Ti / q q = charge d ’un électrons (q = 1.6•10-19 C)‏

35. Détecteur – Contribution à la sensibilité ESE22 :Formation, capture et restitution des images Conversion des photons en électrons 2e méthode flux lumineux (W)‏ électrons Cette fois, la capacité de conversion de la lumière du détecteur est caractérisée par un rendement quantique ()‏ L’énergie d ’un photon dépend de sa longueur d ’onde : (joules)‏ « les photons du visible ont plus d’énergie que les photons de l ’infrarouge »

36. Détecteur – Contribution à la sensibilité Conversion des photons en électrons 2e méthode (suite)‏ ESE22 :Formation, capture et restitution des images Un flux lumineux F, en Watts (Joules/s), à la longueur d ’onde , dépose chaque seconde le nombre d ’électrons suivant : (nombre de photons par seconde)‏ Le nombre d ’électrons en sortie d ’un pixel recevant le flux F est donc : (nombre d ’électrons par seconde)‏

37. Détecteur – Contribution à la sensibilité Conversion des photons en électrons synthèse ESE22 :Formation, capture et restitution des images ou Lien entre réponse électrique et rendement quantique :

38. Détecteur - Contribution à la sensibilité Le courant sortant d ’un détecteur est bruité : par le bruit photonique par le bruit du courant d ’obscurité par le bruit de lecture de la capacité d ’intégration autres... ESE22 :Formation, capture et restitution des images détecteur bruits dépendants - du flux lumineux - du temps d’intégration bruits constants intrinsèques au détecteur bruits dépendants du temps d’intégration bruit photonique bruit courant d ’obscurité bruit de lecture

39. Détecteur – Contribution à la résolution Le détecteur contribue à la résolution d ’un capteur de part la dimension de ses pixels. Soit un capteur réalisant l’image de deux points proches. On suppose que l’optique permet de résoudre les deux points (la pupille est assez grande). ESE22 :Formation, capture et restitution des images 3 matrices différentes font l ’acquisition de l ’éclairement dans le plan focal. les résultats sont les suivants : limite de résolution objets non résolus objets bien résolus

40. Stabilisation La ligne de visée d’un imageur est généralement stabilisé. Sur des porteurs aéroportés ou terrestres en mouvement, il subsiste malgré tout des résidus de vibrations composés d’un spectre de fréquences variés (vibrations basses, moyennes et hautes fréquences). Pendant les temps d’intégration typiques des détecteurs (quelques ms), on considère que les vibrations ont un spectre gaussien autour d’une valeur moyenne, caractérisé par un écart-type de vibration exprimé en µrad. Selon leurs amplitudes, les résidus de vibrations peuvent dégrader la résolution en étalant la PSF du capteur. ESE22 :Formation, capture et restitution des images

41. Visualisation Les moniteurs, afficheurs à cristaux liquides ou OLED intervenant dans la chaîne image ont un impact sur la résolution et la sensibilité. sur la sensibilité : le contraste et la luminosité d’un afficheur ne sont pas toujours réglés de façon optimale en conditions opérationnelles (dans un avion, le pilote ne peut pas prendre le temps d’optimiser les réglages)‏ en conditions opérationnelles, il n’est pas rare que le soleil éclaire le moniteur et dégrade fortement les contrastes sur la résolution échantillonnage : la résolution des moniteurs n’est pas toujours adaptée à la taille des images générées par le capteur : des ré-échantillonnage (mise au format vidéo…) sont nécessaires et dégradent la qualité des images PSF : le spot des écrans à tube cathodique a un certain étalement qui peut contribuer à gommer certains détails initialement contenus dans l’image. ESE22 :Formation, capture et restitution des images

42. Observateur L’observateur est l’élément finale de chaîne image. Situé à quelques dizaines de centimètres du moniteur, ses yeux observent l’image présentée et contribuent à la sensibilité et à la résolution de la chaîne image : sur la résolution : l’œil humain a une certaine résolution (dépendante des conditions d’illumination), typiquement 1’ d’arc, qui peut empêcher la discrimination des détails les plus fins si la distance écran-œil est trop grande ou si l’écran est trop petit. pour limiter ces pertes, il faut maximiser la dimension des moniteurs, ou encore utiliser des zooms électroniques pour agrandir l’image présentée à l’œil. sur la sensibilité : l’œil humain (et le cerveau) intègre temporellement et spatialementles informations qui lui sont présentées afin d’améliorer sa sensibilité. ESE22 :Formation, capture et restitution des images

43. Observateur Intégration temporelle Le temps d’intégration de l’oeil peut être approximé entre 0.1 et 0.2 seconde La video issue du senseur est présentée à l’opérateur à une fréquence de 50Hz Durant l’observation, le cerveau de l’opérateur intègre jusqu’à 10 images La sensibilité de la vidéo est ainsi améliorée d’un facteur sqrt(N)‏ ESE22 :Formation, capture et restitution des images

44. Observateur ESE22 :Formation, capture et restitution des images • Intégration spatiale • Le cerveau de l’opérateur peut combiner des pixels adjacents et ainsi améliorer le rapport signal/bruit perçu • Un modèle pour prendre en compte cet effet subjectif: • Le nombre d’échantillons moyennés par le cerveau = le nombre de pixels contenus dans une barre de la mire équivalente à la cible (f in cy/rad)‏ Nombre de pixels par barre décroissant Mais signal et bruit inchangés: -> seule la perception change !

45. Observateur Coefficient global (oeil-cerveau) Integration spatiale et temporelle ESE22 :Formation, capture et restitution des images eye : constante d’intégration de l’oeil Fimage : Fréquence image Ncy nombre de cycles sur la cible

46. Notion de fréquence spatiale FOURIER a démontré que toute forme peut se décomposer comme une somme de sinusoïdes de périodes et amplitudes différentes. En modélisation optique, on remplace un objet par les sinusoïdes qui le composent. La fréquence d ’une sinusoïde est appelée fréquence spatiale. Une grande fréquence spatiale représente des variations spatiales très franche (sur une courte longueur) et une faible fréquence spatiale représente des variations spatiales étendues (sur une grande longueur). On représente la performance d ’un capteur par sa capacité à imager des sinusoïdes, en fonction de leur fréquence. ESE22 :Formation, capture et restitution des images

47. Notion de fréquence spatiale Espaces objet et plan focal Lorsqu’ondécrit la fréquencespatiale d’un objet vu depuis le capteur, on l’exprime en nombre de cycles (périodes) par unitéd’angle (cycles/radou cycles/mrad)‏ ESE22 :Formation, capture et restitution des images 1 rad 3 cycles/rad Lorsqu’ondécrit la fréquencespatiale de l’image d’un objet sur le plan focal, on l’exprime en nombre de cycles (périodes) par unité de longueur (cycles/m ou cycles/ mm oupaire de lignes/mm)‏

48. Notion de FTM Fonction de Transfert de Modulation (FTM)‏ Un imageur filtre les fréquences spatiales. Puisque l ’image d’un point est une tache, plus une fréquence spatiale est élevée, plus un capteur en fait une image dégradée. La FTM est une fonction de la fréquence spatiale, qui indique la dégradation introduite par le capteur lorsqu ’il image une sinusoïde. ESE22 :Formation, capture et restitution des images

49. Notion de FTM Si les variations de la sinusoïdesonttrop fines par rapport à la PSF, ses variations sontatténuées par la PSF. ESE22 :Formation, capture et restitution des images valeur max valeur min A Convolution par la PSF * B

50. Notion de FTM Forme typique de FTM ESE22 :Formation, capture et restitution des images Image d ’un créneau avec cette FTM A B fréquencede la mire A fréquencede la mire B