PROBLEMES INVERSES DECONVOLUTION ET AUTRES H.Lantéri LUAN

1. PROBLEMES INVERSES DECONVOLUTION ET AUTRES H.Lantéri LUAN Plan * Généralités et difficultés des problèmes inverses * Maximisation de la Vraisemblance * Autres divergences *Régularisation classique * Méthodes

2. Les grandeurs en présence Dans ce type de problèmes, 3 grandeurs interviennent *La grandeur d’entrée « x » *La grandeur de sortie *Le modèle (traduit la transformation entrée/sortie)«H» - S’il n’y a pas de bruit : - Si le modèle est linéaire:

3. Une question de vocabulaire • L’entrée « x » est connue, la transformation (H) est connue, on sait calculer (non bruité). C’est le problème direct. • On connaît « x », on connaît « y » (une version bruitée de ), on cherche à décrire « H » par un ensemble de paramètres. Parfois « x » et « H » ne sont pas clairement distincts. C’est un « ajustement de modèle ». • On connaît « y », on connaît « H », on cherche à retrouver « x » C’est de la « restauration de données ».

4. Quelles difficultés ? Les problèmes inverses sont en général des problèmes mal-posés au sens de Hadamard: * La solution peut « ne pas exister » * La solution peut « ne pas être unique » * La solution peut « ne pas être stable » vis-à-vis des erreurs de mesure. Si aucune de ces difficultés n’existe, le problème est « bien posé ».

5. Le problème est en général formulé dans l’espace des fonctions continues Une étape inévitable est la discrétisation du problème. Cette étape ne supprime pas les difficultés car la solution du problème discrétisé n’est pas stable vis-à-vis des erreurs de mesure Dans le cas d’un modèle linéaire (Ex. convolution), on doit résoudre en « x », un problème de la forme y = Hx Mais la matrice H est mal conditionnée (i.e. elle est proche de la singularité) Comment se traduit ce mauvais conditionnement ?

6. Illustration du cas non-bruité: 2 inconnues 2 équations Solution unique 1 équation, infinité de solutions; on prend p.ex. celle de norme minimale ou encore celle d’entropie maximale 3 équations pas de solution au sens classique du terme; on peut chercher p.ex. , en guise de solution le couple qui minimise

18. Un autre petit exemple simple (en apparence) x = La solution est:

19. On perturbe (un peu) les données, c.à.d. le second membre = + La solution est alors

20. Une perturbation (en valeur relative) du second membre de: 3 10-4 A pour conséquence: Une perturbation (en valeur relative) de la solution de: 0.8 L’erreur a été amplifiée d’un facteur………. 2500……Ho là Surprenant ??...........Non, pas vraiment Parce que le nombre de condition de la matrice est de 3000 env.

35. Modèle simulé Spectre simulé Non – bruité {m(x)}i Modèle Physique Effet instrumental Paramètres inconnus Processus expérimental Processus Physique Effet instrumental Spectre bruité yi Bruit L’effet instrumental est connu, le bruit n’est pas nécessairement additif. Pour trouver les paramètres inconnus du modèle physique, on compare yi et m{x)}i , pour tout « i »

36. On doit disposer d’une fonction (scalaire) permettant de chiffrer l’écart entre 2 champs de données « pi » et « qi»: D(p,q) D(p,q) doit être positive si p différent de q D(p,p)=0 D(p,q) doit être convexe en « p » et en « q » On parle alors de « Divergence » Si, en plus, D(p,q) respecte l’inégalité triangulaire, c’est une distance, mais pour notre usage, ce n’est pas indispensable. Ce sera donc une fonction d’écart entre mesures et modèle:

37. Solution correspondant au Maximum de Vraisemblance: Dans ce cas, on fait intervenir les propriétés statistiques du bruit de mesure, c’est-à-dire qu’on connaît l’expression de p(y/x), et on cherche la valeur de « x » qui correspond au Maximum de p(y/x); dans chaque pixel, la mesure bruitée « yi » est reliée au modèle « {m(x)}i » qui est la moyenne du processus. De plus, *Bruit Gaussien additif, indépendant entre les pixels Remarquons que J(x) est définie pour tout « x », ce ne sera pas toujours le cas

38. Cas d’une insuffisance statistique - Bruit de POISSON - indépendant entre les pixels Du point de vue de la solution, minimiser J(x) est équivalent à minimiser: C’est une I-Divergence de Csiszäradaptée à des champs de données qui ne sont pas des lois de probabilités. J(x) bien que convexe, n’est plus quadratique, il reste donc à chercher « x », mais alors là, il faut le faire avec prudence car J(x) n’est pas définie pour tout « x ».

39. Les 2 « fonctions objectifs » qui apparaissent dans la maximisation de la vraisemblance sont des distances ou des divergences; Il en existe beaucoup d’autres; elles sont toutes fondées sur les propriétés de fonctions convexes f(u). Divergences de Csiszär: convexe éventuellement s’appuie sur Ex:

40. Divergences de Jensen: fondées sur l’inégalité de Jensen pour les fonctions convexes On doit avoir 0 < α <1; le cas classique est α = 1/2 Symétrique, convexe sous certaines conditions pour « f »

41. Divergences de Bregman: fondées sur l’inégalité Toujours convexe par rapport à « p » (le 1° argument), mais pas nécessairement par rapport à « q » (le 2° argument) Ex: l’écart quadratique moyen basé sur f(u) = u2

42. Cette classification est artificielle, en effet, une divergence de Jensen ou de Bregman peut être aussi une divergence de Csiszär. L’important est de se rendre compte qu’il y a beaucoup de façons de chiffrer l’écart entre deux champs de données. Mais alors, laquelle choisir ? Arguments ??? Ex de réponse: On prend la même que les autres (comme ça on ne risque rien)…………………………Prudent ou timide On choisit la plus jolie………………………..Esthète On pense que tout ça conduira au même résultat et on prend la plus simple à calculer…. Pas idiot du tout On essaie de s’appuyer sur les principes de la théorie de l’information…….....Raisonnable mais pas simple

43. ----------------Vraisemblance ---------- Probabilité « a posteriori » -------------- Probabilité « a priori » -------------- Constante de normalisation REGULARISATION EXPLICITE Elle permet de restreindre l’espace des solutions à une classe particulière Point de vue Bayesien Théorème de Bayes

44. La classe des solutions acceptables est décrite par l’expression de P(x). P(x) permet d’introduire toutes les informations connues sur la solution, i.e. toutes celles qui n’apparaissent pas dans la vraisemblance Après quoi, il faudra maximiser en « x », la loi « a posteriori », ou bien minimiser l’opposé de son Log, Point de vue énergétique : Terme d’attache aux données # Vraisemblance Pénalité # loi “a priori “ Facteur de régularisation; traduit le poids relatif de J1 par rapport à J2

45. Dans ce dernier contexte, dans le terme J2(x) on doit dire « ce qu’on ne veut pas », puis, « μ » permettra de dire « jusqu’à quel point on n’en veut pas ». Ex: Dans le cas de la restauration d’image (déconvolution, tomographie), et de façon générale dans toutes les situations ou l’inconnue est une fonction possédant des propriétés connues de douceur * Méthode de Tikhonov: on ne veut pas de solution instable, ce qui fait dire « on veut des solutions douces » Le terme de pénalité peut s’écrire: ici, p = Cte, c’est la solution « a priori », ou solution par défaut

46. Dans ce dernier cas, Δx correspond à la convolution de « x » par le masque Laplacien , Ax est la solution par défaut, c’est une version de la solution lissée par le masque MA L’important est de comprendre qu’il y a toujours une « solution a priori » et que J2 chiffre un écart entre la solution « x » et la solution « a priori ». Ici, cet écart est exprimé par une norme Euclidienne, mais il y a d’autres possibilités, à la fois: dans la façon d’exprimer cet écart dans la solution « a priori »elle-même, bien sûr.

47. *Une autre possibilité : la divergence de Kullback (entropie croisée) Ici, la solution « a priori » est à nouveau une constante : p (différente de 0, sinon…), mais on peut aussi bien utiliser le « Ax » vu précédemment, ou tout autre « a priori » qui aurait la même signification (une version lissée de « x »). Il est bien clair, que toutes les divergences envisagées précédemment peuvent être utilisées. Il s’agit de chiffrer un écart entre la solution proposée et une solution « a priori ». Sans mésestimer l’importance de cet aspect du problème, on peut penser que le point le plus important est sans doute dans la formalisation du « prior »

48. En ce qui concerne le facteur de régularisation « μ » Dans le cas de la reconstruction d’image, les différentes méthodes proposées pour déterminer « μ », par exemple la validation croisée « ordinaire » ou la validation croisée généralisée, conduisent à des valeurs trop fortes, la solution est trop lisse. En général, on procède par essais successifs…….

49. METHODES Toutes les méthodes sont fondées sur le même schéma: 1 - on propose des « candidates » solutions convenablement contraintes 2 - on teste leur qualité en évaluant la fonction objectif I - Méthodes de descente (ce sont des méthodes locales) • Utilisables seulement • - Si la « fonction objectif » est convexe vis à vis des paramètres inconnus • Si on sait calculer le gradient de la « fonction objectif » • Si on sait prendre en compte le problème des contraintes • Ici, on a une « méthode simple » (une stratégie) pour proposer des « candidates » solutions

50. II – Méthodes par essais successifs Ex: Recuit simulé, algorithmes génétiques • Ce sont des méthodes globales, elles sont toujours utilisables, mais particulièrement adaptées si: • La fonction objectif est : • * Non convexe • *Non différentiable • *Non continue • Le problème est compliqué ou impossible à résoudre analytiquement Simples à mettre en œuvre En général coûteuses en temps calcul car elles exigent pour chaque solution proposée, une simulation et une évaluation de la « fonction de coût »