760 likes | 1.35k Views
Michel Narozny Équipe Systèmes de Traitement des Signaux, Supélec, campus de Metz. Soutenance de thèse. ANALYSE EN COMPOSANTES IND ÉPENDANTES (ACI) ET COMPRESSION DE DONNÉES. Deux domaines de recherche…. Un sujet de thèse à la charnière entre deux domaines de recherche:.
E N D
Michel Narozny Équipe Systèmes de Traitement des Signaux, Supélec, campus de Metz Soutenance de thèse ANALYSE EN COMPOSANTES INDÉPENDANTES (ACI) ET COMPRESSION DE DONNÉES Soutenance de thèse de Michel Narozny
Deux domaines de recherche… • Un sujet de thèse à la charnière entre deux domaines de recherche: • Analyse en composantes indépendantes • Séparation aveugle de sources, • Analyse de données (images, bourses), • Modélisation du cortex visuel, • Astronomie,… • Compression de données • Photos numériques, • Vidéos, • Images médicales, • Musique,… Mon sujet de thèse Soutenance de thèse de Michel Narozny
BUT: réduire la complexité des codeurs ACI: outil pour réduire la redondance dans les données Pourquoi associer ACI et compression? Réduction de redondance dans les données Compression de données: on cherche à réduire/éliminer la redondance dans les données Soutenance de thèse de Michel Narozny
Redondance résiduelle exploitée par les codeurs SPIHT Exploite la redondance entre des coefficients d’ondelettes situés au même endroit dans des sous-bandes différentes ● ● EBCOT (JPEG2000) Exploite la redondance entre des coefficients d’ondelettes situés dans une même sous-bande ● ● ● Soutenance de thèse de Michel Narozny
L’ACI diminue la redondance • Images de la galaxie 3C120 prises avec 4 filtres différents • Images obtenues après ACI (algorithme FastICA) Référence: D. Nuzillard and A. Bijaoui. Blind source separation and analysis of multispectral astronomical images. Astron. Astrophys. Suppl. Ser. 147, 129-138 Soutenance de thèse de Michel Narozny
Travaux précédents (1/2) • Principe de réduction de redondance pour expliquer la stratégie de codage de l’information visuelle dans le cortex visuel primaire (V1) • L’ACI modélise bien les champs récepteurs des cellules simples de V1 Localisation dans l’espace et en fréquence + orientation Olshausen BA. Principles of Image Representation in Visual Cortex. In: The Visual Neurosciences, L.M. Chalupa, J.S. Werner, Eds. MIT Press, pp. 1603-15, 2003 Soutenance de thèse de Michel Narozny
Travaux précédents (2/2) • Codage par transformée classique1 (Puga et Alves, 98) • l’ACI est moins performante que la transformée de Karhunen-Loève en codage à bas débit d’images en niveaux de gris • Codage prédictif2 (Marusic et Deng, 99) • Les performances de l’ACI varient selon la méthode de quantification utilisée • Matching pursuit3 (Ferreira et Figueiredo, 03) • Publié au milieu de ma thèse • Gain de la méthode par rapport à JPEG de 2,3 dB à 0.62 bpp 1) A. T. Puga and A. P. Alves. An experiment on comparing PCA and ICA in classical transform image coding. ICA’98 2) S. Marusic and G. Deng. ICA-FIR based image redundancy reduction. ICA’99 3) A. J. Ferreira and M. A. T. Figueiredo. Class-adapted image compression using independent component analysis. ICIP’03 Soutenance de thèse de Michel Narozny
Objectif et contributions • Objectif: • Comprendre le lien qui existe entre les performances en compression et la réduction de redondance dans les données • Contributions • Évaluation des performances de l’ACI “standard” en codage par transformée (codage par blocs) • Nouveau point de vue en codage par transformée: le problème de la recherche de la transformation linéaire optimale peut se ramener à un problème d’ACI modifié • Proposition de deux nouveaux algorithmes d’ACI modifiés: • GCGsup: calcul de la transformation linéaire optimale • ICAorth: calcul de la transformation orthogonale optimale Soutenance de thèse de Michel Narozny
Plan de la présentation • Introduction • Présentation du schéma de codage étudié • Évaluation des performances de l’ACI en compression • Proposition de transformations optimales obtenues à partir d’algorithmes d’ACI modifiés • Conclusion et perspectives Soutenance de thèse de Michel Narozny
Présentation du schéma de codage étudié • Plan • Introduction • Présentation du schéma de codage étudié • Performances de l’ACI en compression • Transformations optimales obtenues à partir d’ algorithmes d’ACI modifiés • Conclusion et perspectives • Choix du type de transformation • Choix des quantificateurs • Choix du codeur entropique • Choix des mesures de distorsion et de débit • Choix de la méthode d’allocation de débit Soutenance de thèse de Michel Narozny
Structure d’un codeur par transformée Soutenance de thèse de Michel Narozny
Structure d’un décodeur Inverse mathématique Soutenance de thèse de Michel Narozny
Choix du type de transformation Q1 Transformation linéaire (matrice de dimension 64×64) Q2 Q64 Découpage de l’image en blocs de 8×8 pixels Balayage de chaque bloc de haut en bas et de gauche à droite Vecteur de 64 composantes Quantification Soutenance de thèse de Michel Narozny
Choix des quantificateurs • Différents types de quantificateurs: scalaires, vectoriels • Notre choix: quantificateur scalaire uniforme infini • simplicité, souvent utilisé, • caractérisé seulement par son pas de quantification: q • optimal pour une source sans mémoire, sous l’hypothèse haute résolution et à condition d’être suivi par un codeur entropique • Rappel: hypothèse haute résolution • Le nombre de niveaux de quantification est élevé • La ddp des données à quantifier est constante dans chaque intervalle de quantification • Les représentants sont pris au milieu des intervalles Soutenance de thèse de Michel Narozny
Choix du codeur entropique • Dernière étape de la chaîne de codage (sans perte) • But: exploiter la redondance résiduelle présente dans les coefficients après quantification • Idée: représenter un coefficient quantifié (ou un ensemble de coefficients quantifiés) à l’aide d’un mot de code dont la longueur dépend de sa probabilité d’occurrence • Exemples: codeurs de huffman, arithmétique, mais aussi… EBCOT • Notre choix: ne pas utiliser de codeur entropique Soutenance de thèse de Michel Narozny
Choix des mesures de distorsion et de débit • Mesure de distorsion • Erreur quadratique moyenne (EQM) entre le signal d’entrée et le signal reconstruit • Pic du rapport signal sur bruit en compression d’images (PRSB) • Mesure de débit • Débit de compression (bpp) • Ri = débit de la ième composante • Compression à haut et moyen débits:entropie d’ordre 1 des coefficients quantifiés lorsque l’hypothèse haute résolution est vérifiée • Compression à bas débit: entropies d’ordres 2, 4 et 9 dyn = 8 pour une image codée sur 8 bits Soutenance de thèse de Michel Narozny
L’allocation de débit (1/2) • Présentation du problème • Trouver les pas de quantification des N quantificateurs qui minimisent la distorsion D sous la contrainte d’un débit cible Rcible • ou, d’une manière équivalente, qui minimisent le débit R sous la contrainte d’une distorsion cible Dcible • Approximation de la distorsion • Validité de l’approximation (1) • lorsque l’hypothèse haute résolution est bien vérifiée • ou, lorsque les vecteurs colonnes de la transformation inverse sont orthogonaux ou quasi-orthogonaux • ou, lorsque les composantes transformées sont deux à deux indépendantes wi: carré de la norme de la ième colonne de la transformation inverse Soutenance de thèse de Michel Narozny
L’allocation de débit (2/2) • Méthode analytique • optimale lorsque l’hypothèse haute résolution est bien vérifiée (compression à haut et moyen débits) • Formule d’allocation de débit: • Algorithme de Shoham et Gersho • Méthode d’optimisation numérique utilisant des couples débits-distorsions obtenus expérimentalement (voir rapport de thèse) • optimal quelque soit le débit, utilisé à bas débit dans nos tests (1) et où Soutenance de thèse de Michel Narozny
Conclusion de la première partie • Proposition d’un dispositif expérimental simple pour évaluer les performances d’une transformation linéaire à haut, moyen et bas débits • Partie suivante: évaluation des performances de l’ACI Soutenance de thèse de Michel Narozny
Performances de l’ACI en compression • Plan • Introduction • Présentation du schéma de codage étudié • Performances de l’ACI en compression • Transformations optimales obtenues à partir d’ algorithmes d’ACI modifiés • Conclusion et perspectives • Algorithmes d’ACI testés • Signaux testés • Réduction de redondance obtenue avec l’ACI • Performances à haut, moyen et bas débits Soutenance de thèse de Michel Narozny
Définition du modèle d’ACI Sources indépendantes (au plus une source gaussienne) S1 S2 S3 S4 Mélange linéaire instantané: X = AS Observations X1 X2 X3 X4 Séparation Y=BS, B=DPA-1 Sources estimées Y1 Y2 Y3 Y4 Soutenance de thèse de Michel Narozny
Trois approches théoriques célèbres • Approche du maximum de vraisemblance • Les ddp des sources sont supposées a priori connues • On peut relâcher cette hypothèse en choisissant des ddp a priori quelconques (on ne recouvre pas toujours les sources d’origine) • Minimisation de l’information mutuelle • Connaissance a priori des ddp des sources n’est pas nécessaire • Les algorithmes sont plus lourds à mettre en œuvre • Infomax (approche de type réseaux de neurones) • Équivalent au maximum de vraisemblance Soutenance de thèse de Michel Narozny
Algorithmes d’ACI testés • Minimisation d’une approximation de l’information mutuelle • ACI, FastICA, jadeR, SANG • Minimisation directe de l’information mutuelle • ICAinf • Exploitation des statistiques d’ordres 2 et 4 des données • EVD24 • Algorithmes de séparation aveugle de sources qui exploitent les statistiques d’ordre 2 des données • SOBI, AMUSE, EVD2 Soutenance de thèse de Michel Narozny
Signaux testés • Image Lena (composante rouge), image médicale, signal musical • Résolution et taille des signaux testés Soutenance de thèse de Michel Narozny
Réduction de redondance obtenue avec l’ACI Coefficient de corrélation Information mutuelle Soutenance de thèse de Michel Narozny
Coefficients de corrélation avant transformation • Les valeurs des coefficients de corrélation sont élevées avant transformation (ex: Identité, image médicale, N = 64) Soutenance de thèse de Michel Narozny
Coefficients de corrélation après transformation • Hormis ICAinf, tous les autres algorithmes d’ACI testés décorrèlent les composantes (exemple: jadeR, image médicale, N = 64) Coefficient de corrélation Soutenance de thèse de Michel Narozny
Coefficients de corrélation après transformation • ICAinf, image médicale, N = 64 Soutenance de thèse de Michel Narozny
Réduction d’information mutuelle • Définition de la réduction d’information mutuelle • Exemple: image médicale, N = 64 (bpp) Précision: ±0,01 bpp I (bpp) Soutenance de thèse de Michel Narozny
Performances à haut, moyen et bas débits Soutenance de thèse de Michel Narozny
Performances à haut et moyen débits • Pour l’image médicale et N=64, les performances de la TKL sont meilleures d’environ 1,5 dB par rapport à celles de la meilleure transformation d’ACI (sur cet exemple, ICAinf) ICAinf TKL Soutenance de thèse de Michel Narozny
Performances à bas débit • Image médicale, N=64, débit = entropie d’ordre 4 Soutenance de thèse de Michel Narozny
Performances à haut et moyen débits (signaux synthétiques) • Signaux synthétiques Gain(ICAinf/TKL) 2,72 dB Soutenance de thèse de Michel Narozny
Conclusion de la deuxième partie • Les performances de la TKL sont meilleures que celles de l’ACI sur des signaux réels • Cependant il existe des signaux synthétiques (non gaussiens) pour lesquels les performances de l’ACI sont meilleures que celles de la TKL • Par conséquent, ni l’ACI ni la TKL ne sont optimales pour compresser des signaux non gaussiens • Les critères d’optimalité de l’ACI et de la TKL ne sont pas adaptés au problème de la compression il faut reformuler le problème Soutenance de thèse de Michel Narozny
Transformations optimales obtenues à partir d’algorithmes d’ACI modifiés • Plan • Introduction • Présentation du schéma de codage étudié • Performances de l’ACI en compression • Transformations optimales obtenues à partir d’ algorithmes d’ACI modifiés • Conclusion et perspectives • Présentation du problème d’optimisation • Lien avec l’ACI • Algorithmes GCGsup et ICAorth • Résultats expérimentaux Soutenance de thèse de Michel Narozny
Hypothèses • Cadre de l’étude • Aucune hypothèse sur le caractère gaussien ou non des signaux • L’hypothèse haute résolution est vérifiée • Allocation de débit optimale entre les composantes • Distorsion asymptotique en fonction du débit cible: • Débit asymptotique en fonction de la distorsion cible: (1) (2) Soutenance de thèse de Michel Narozny
Gain de codage généralisé • Gain de codage généralisé • Réduction de débit généralisée (1) (2) (3) Soutenance de thèse de Michel Narozny
Transformation optimale • Critère d’optimisation proposé Nouveau point de vue: Le problème de la recherche de la transformation linéaire optimale en codage par transformée peut se ramener à un problème d’ACI modifié Critère utilisé en ACI Mesure de distance à l’orthogonalité de A Soutenance de thèse de Michel Narozny
Algorithme GCGsup • Version modifiée de l’algorithme ICAinf de D.-T. Pham pour calculer la transformation linéaire A qui minimise C(A) • L’algorithme (de type quasi-Newton) consiste à calculer à chaque itération une matrice ε par la résolution de (M = A-tA-1): (i,j=1,…,N), puis à déplacer le point courant en A+εA. • Hypothèses simplificatrices: • Les composantes transformées sont proches de l’indépendance • La solution du problème est une matrice proche d’une matrice dont les colonnes sont deux à deux orthogonales Soutenance de thèse de Michel Narozny
Algorithme ICAorth • Autre version modifiée de l’algorithme ICAinf de D.-T. Pham pour calculer la transformation orthogonale A qui minimise C(A) • L’algorithme (de type quasi-Newton) consiste à calculer les éléments de la matrice ε de la manière suivante: (i,j=1,…,N), puis à déplacer le point courant en A+εA. • lorsqueε est antisymmétrique A+εA coïncide au second ordre avec la matrice eεA qui est orthogonale. Soutenance de thèse de Michel Narozny
Réduction de redondance obtenue avec GCGsup et ICAorth Coefficient de corrélation Réduction d’information mutuelle Soutenance de thèse de Michel Narozny
Coefficients de corrélation après transformation • Les nouvelles transformations décorrèlent moins bien que la TKL (ex: GCGsup, image médicale, N=64) Corrélations résiduelles Soutenance de thèse de Michel Narozny
Réduction d’information mutuelle • GCGsup et ICAorth permettent d’obtenir des composantes transformées plus indépendantes que celles obtenues avec la TKL Lena Image médicale Résultats proches de ceux obtenus avec ICAinf Soutenance de thèse de Michel Narozny
Performances à haut, moyen et bas débits Soutenance de thèse de Michel Narozny
Performances à haut et moyen débits Lena Image médicale Gain (GCGsup/TKL) 0,43 dB Gain (ICAorth/TKL) 0,37 dB Gain (GCGsup/TKL) 0,8 dB Gain (ICAorth/TKL) 0,9 dB Soutenance de thèse de Michel Narozny
Performances à bas débit PRSB = PRSB(GCGsup/ICAorth) – PRSB TKL Lena Image médicale Soutenance de thèse de Michel Narozny
Lien entre indépendance, orthogonalité et performances en compression Soutenance de thèse de Michel Narozny
Rappel: réduction de débit généralisée Réduction d’information mutuelle Distance à l’orthogonalité Réduction de débit généralisée Soutenance de thèse de Michel Narozny
Indépendance et orthogonalité TKL Soutenance de thèse de Michel Narozny
Vecteurs de base (Lena, N=64) TKL GCGsup Soutenance de thèse de Michel Narozny