Concepts avancés en mathématiques et informatique appliquées

1. Concepts avancés en mathématiques et informatique appliquées MAP-6014

2. Appproches statistiques de la classification • Introduction • Théorème de Bayes • Frontières de décisions • Caractéristiques multiples • Frontière de décision multidimensionnelles • Frontières de décision d-dimensionnelle en notation matricielle • Estimation des taux d’erreurs

3. Introduction • Beaucoup d’applications en reconnaissance de formes (RF) utilisent des techniques de classifi-cation basées sur des modèles statistiques • Ces modèles requièrent l’utilisation de paramè-tres descriptifs devant être estimés à partir des données disponibles • En RF automatique, l’apprentissage supervisé (supervised learning) permet le design d’un classificateur

4. Introduction • De plus, l’entraînement du classificateur est basé sur un ensemble (training set) de caractéristi-ques descriptives de chaque classe connue per-mettant la création des critères de discrimination • Les critères de discrimination servent par la suite pour classer des observations (sample) dont nous voulons connaître la classe d’apparte-nance

5. Introduction • Lorsque nous ne connaissons pas la forme des densités de probabilité (pdf) nous devons utiliser des techniques non-paramétriques (nonparametric classification) (ex: estimation de densité) • D’autres méthodes permettent de regrouper des ensembles d’objets (clusters) en fonction de mesures de similarité et ce sans connaissance à priori des classes d’appartenance (unsupervised learning)

6. Introduction • Avec la classification paramétrique (parametric classification) nous connaissons la forme géné-rale des pdf de chaque classe • Les paramètres des pdf (moyenne et variance) ne sont pas connus • Avant d’utiliser les pdf, il faut d’abord estimer les valeurs de ces paramètres

7. Introduction • Généralement, le but des procédures de classifi-cation est d’estimer les probabilités qu’une observation (sample) à classer appartienne aux diverses classes • Le classificateur choisi alors la classe la plus vraisemblable

8. Théorème de Bayes • Un classificateur basé sur le théorème de Bayes choisi la classe d’appartenance la plus vraisem-blable d’une observation à classer • La probabilité d’appartenance à une classe est calculée à partir du théorème de Bayes • La probabilité jointe qu’une observation provienne d’une classe C avec comme valeur caractéristique x est donnée par

9. Théorème de Bayes • Le théorème de Bayes s’écrit alors

10. Théorème de Bayes • Lorsque les classes d’appartenance C1, C2, …..,Ck sont indépendantes au sens statistique (évènements mutuellement exclusifs) • Le théorème de Bayes pour la classe C=Ci devient

11. Frontières de décision • Nous pouvons aussi faire le design du classifica-teur en créant des régions ceinturées par des frontières • Chaque région représente l’intervalle des valeurs de x associé à chaque classe • Pour une observation x donnée, le classificateur détermine à quelle région Ri appartient l’obser-vation et associe x à la classe correspondant à la région Ri

12. Frontières de décision • Le positionnement optimal des frontières permet de subdiviser l’espace des caractéristiques en régions R1, …,Rk de telle façon que le choix de la classe Ci est plus vraisemblable pour les valeurs x dans la région Ri que dans toute autre région

13. Frontières de décision • Calculer la frontière de décision entre 2 classes A et B

14. Frontières de décision • Pour calculer la frontière de décision entre 2 classes A et B nous supposons au préalable que les pdf sont continues et se chevauchent donnant

15. Frontières de décision • Si les valeurs des caractéristiques x pour chaque classe A et B suivent une loi normale

16. Frontières de décision • En simplifiant nous obtenons • Nous pouvons alors déduire une fonction discri- minante de la forme

17. Frontières de décision • Les règles de décision (classification) devien-nent • SI D = 0 classer x dans A ou B • SI D > 0 classer x dans B • SI D < 0 classer x dans A

18. Frontières de décision • La dernière égalité est quadratique selon x et peut avoir 1 racine réelle, 2 racines réelles ou aucune racine • Lorsque les variances sont égales (A=B), l’expression quadratique devient linéaire avec alors une seule racine réelle

19. Caractéristiques multiples • Lorsque nous supposons l’indépendance des carac-téristiques pour une même classe Cj, la probabilité d’occurrence du vecteur x est déduite par

20. Caractéristiques multiples • Le théorème de Bayes multidimentionnel donne

21. Caractéristiques multiples • Avec des distributions normales multivariées la probabilité d’occurrence conditionnelle du vecteur x devient

22. Frontières de décision multidimentionnelles • Si nous avons 2 caractéristiques x1 et x2, la frontière de décision optimale entre 2 classes Ci et Cj est donnée par

23. Frontières de décision multidimentionnelles • La frontière optimale entre 2 classes normales bivariées en supposant l’indépendance des valeurs des caractéristiques est déduite par

24. Frontières de décision multidimentionnelles • La frontière optimale entre 2 classes normales bivariées en supposant l’indépendance des valeurs des caractéristiques

25. Frontières de décision multidimentionnelles • Après simplification nous obtenons la frontière donnée par x2 C1 C2 x1

26. Frontières de décision multidimentionnelles • Sur la frontière • La fonction discriminante est donnée par

27. Frontières de décision multidimentionnelles • Les règles de décision (classification) devien-nent • SI D = 0 classer l’observation dans C1 ou C2 • SI D > 0 classer l’observation dans C1 • SI D < 0 classer l’observation dans C2

28. Frontières de décision multidimentionnelles • La frontière optimale entre 2 classes normales bivariées avec des valeurs des caractéristiques corrélées est déduite par

29. Frontières de décision multidimentionnelles • La pdf jointe bivariée associée à chaque classe prend la forme

30. Frontières de décision multidimentionnelles • Nous pouvons alors déduire les probabilités conditionnelles • Sachant que sur la frontière • En prenant le logarithme naturel de chaque côté

31. Frontières de décision multidimentionnelles • Après simplifications nous obtenons la frontière donnée par Classes avec la même variance et corrélation

32. Frontières de décision multidimentionnelles • La fonction discriminante devient dans ce cas • Les règles de décision (classification) deviennent

33. Frontières de décision d-dimensionnelle en notation matricielle • Si nous avons k classes et d caractéristiques, nous pouvons représenter les moyennes des caractéristiques de chaque classe Ci par un vecteur de moyennes

34. Frontières de décision d-dimensionnelle en notation matricielle • Les variances et covariances des caractéristi-ques de chaque classe Ci sont représentées par une matrice • Cette matrice est symétrique • La variance de chaque caracté- • ristique est sur la diagonale

35. Frontières de décision d-dimensionnelle en notation matricielle • Le théorème de Bayes stipule qu’une observa-tion x ou x est un vecteur de caractériatiques est classée dans Ci qui maximise

36. Frontières de décision d-dimensionnelle en notation matricielle • Le numérateur de l’expression précédente peut s’écrire • En prenant le logarithme et multipliant par -2 nous pou- vont choisir la classe qui minimise

37. Frontières de décision d-dimensionnelle en notation matricielle • Nous pouvons alors déduire une distance géné-ralisée • Pour trouver la frontière entre 2 classes Ci et Cj nous devons trouver l’intersection par

38. Frontières de décision d-dimensionnelle en notation matricielle • Sachant que • La frontière entre les classes Ci et Cj devient

39. Frontières de décision d-dimensionnelle en notation matricielle • De plus, si les matrices de covariances sont égales pour chaque classe

40. Frontières de décision d-dimensionnelle en notation matricielle • L’hyperplan bTx = c est une frontière de décision linéaire qui peut aussi prendre la forme d: nombre de caractéristiques

41. Frontières de décision d-dimensionnelle en notation matricielle • Une somme pondérée des matrices de covariance (pooled) donne une estimation non biaisée de la vraie covariance lorsqu’elles sont supposées égales pour toutes les classes ni: nombre d’observations de Ci N: nombre total d’observations k: nombre de classes i: Estimation non biaisée de la covariance de Ci

42. Frontières de décision d-dimensionnelle en notation matricielle • i est estimée à partir des données d’entraînement par S est un estimateur non biaisé de 

43. Frontières de décision d-dimensionnelle en notation matricielle • Si nous considérons un cas bidimensionnel avec 3 classes (k=3) avec une probabilité a priori uni-forme de 1/3

44. Frontières de décision d-dimensionnelle en notation matricielle • Les pdf de P(Ci)p(x|Ci) de chaque classe

45. Frontières de décision d-dimensionnelle en notation matricielle • Les fonctions discriminantes (Bayes rules) sont

46. Frontières de décision d-dimensionnelle en notation matricielle • Les frontières de décisions sont

47. Frontières de décision d-dimensionnelle en notation matricielle • Diagramme de dispersion de 1000 observa-tions

48. Frontières de décision d-dimensionnelle en notation matricielle • Autre exemple de classification d-dimensionnelle IR R G B

49. Frontières de décision d-dimensionnelle en notation matricielle • Autre exemple de classification d-dimensionnelle 1: Végétation 2: Rivière 3: Haie 4: Tributaire 5: Étang

50. Frontières de décision d-dimensionnelle en notation matricielle • Autre exemple de classification d-dimensionnelle (résultat) Zones importantes: Sols nus Végétation Eau