DEA instrumentation et commande

1. DEA instrumentation et commande Reconnaissance des formes Erreurs et coûts des algorithmes S. Canu http://psichaud.insa-rouen.fr/~scanu/RdF

2. Buts de la RdF D : Algorithme de Reconnaissance des Formes C’est la forme « y=D(x) » Une forme x (vecteur forme des caractéristiques) Nous voulons un algorithme de RdF performant

3. 1 RdF et apprentissage Les problèmes Ensemble d’apprentissage (échantillon) 3 A priori sur la nature de la solution 2 A : Algorithme d’apprentissage D : Algorithme de Reconnaissance des Formes C’est la forme « y=D(x) » Une forme x (vecteur forme des caractéristiques)

4. Grandes déviations La moyenne n’est pas l’espérance prise en compte de l’enchantillonnage précisionconfiance FréquenceProbabilité d’erreurd’erreur

5. Grandes déviationsBienaimé Tchebitchev • pour tout P • Démonstration précisionconfiance

6. Grande déviation   0 -6 -4 -2 0 2 4 6 p : probabilité d’erreur Xi = 1 si on c’est trompé, = 0 sinon confiance  = (4n)-1/2 précision

7. Application :comparaison d’algorithmes Algorithme 1 (adaline) m exemples pour le test Algorithme 2 (perceptron) Donc l’algorithme 1 est meilleur que l’algorithme 2

8. Application :comparaison d’algorithmes Algorithme 1 (adaline) m exemples pour le test Algorithme 2 (perceptron) Donc l’algorithme 1 est meilleur que l’algorithme 2 ssi

9. Application :Choix de la taille de l’ensemble test Algorithme 1 (adaline) m exemples pour le test Comment choisir m pour que probabilité d’erreur = ? m 0,05 0,1 500 0,01 50.000 Comment améliorer cette borne ?

10. Comment améliorer cette borne ? • Améliorer l’inégalité des grandes déviations. • Inégalité de markov • Hoeffding erreur bornée • Chernov Classification • Bernstein • Bennet

11. Grandes déviationsgénéralisation deBienaimé Tchebitchev • pour tout P • Démonstration Fonction positive h(x)>0

12. Lemme de Markov • soit (A,,D) un espace probabilisé • soit X une v.a. sur (A,) • soit  > 0 • Alors : • Démonstration • comme Bienaymé Tchébychev

13. Comment choisir h(x) ? Hoeffding Bennett Bernstein

14. Récapitulons Approximation normale Hoeffding (1963) Bernstein (1946) Bennett (1962)

15. Taille de l’échantillon pour une précision

16. Exemples

17. Exemples 3200 1800 1000 600 500

18. Estimation de l’erreur d’un classifieur • Avec un ensemble de test • Avec des exemples • validation croisée • bootstrap • Indépendamment des exemples • il faut une borne

19. Estimation de l’erreur facture • Beaucoup d’exemples : ensemble test DONNEES • Peu d’exemples : le rééchantillonnage TEMPS • Validation croisée • Jackknife • Bootstrap • Analyse théorique : PRECISION

20. Ensemble test • grandes déviations

21. Rééchantillonnage • Validation croisée • Jackknife • Bootstrap

22. Bootstrap Quelle est la loi de ? (comment estimer le biais et la variance d’un estimateur ?) Idée : « observer » la distribution de on tire plusieurs échantillons on calcule plusieurs réalisations de nouvelle idée : créer des échantillons « fictifs » principe Tirage de n points AVEC REMISE X*1 X*2 X*3 … X*i … X*n X1 X2 X3 . Xi . Xn X*1 X*2 X*3 … X*i … X*n Échantillon initial X*1 X*2 X*3 … X*i … X*n X*1 X*2 X*3 … X*i … X*n Young G.A. (1994) Bootstrap: More than a stab in the Dark, Statistical Science 9 pp 382-415

23. Bootstrap Tirage de n points AVEC REMISE X*1 X*2 X*3 … X*i … X*n X1 X2 X3 . Xi . Xn X*1 X*2 X*3 … X*i … X*n Échantillon initial X*1 X*2 X*3 … X*i … X*n X*1 X*2 X*3 … X*i … X*n Biais : Variance :

24. Exemple de Bootstrap n = 20; xi=rand(n,1); m = mean(xi); % 0.528 B=200; for b=1:B ind = round(n*rand(n,1)+1/2); mb(b)=mean(xi(ind)); end hist(mb); std(mb) % 0.0676 sqrt(1/12/n) % 0.0645 ind = 13 17 13 8 9 11 5 8 14 19 2 20 4 8 3 1 19 4 16 6 (Fractiles)

25. Validation par Bootstrap ^ r(x) estimateur P.M.C. + I. B sur l’échantillon initial (x ) Innovation équivalente :  = x - r(x ) t ^ t t+1 t ( ( (b   (B  (x*1  ... (x*b (x* B  r*1(x) ... r*b(x) ... r*B(x) Erreur initiale Erreur BS 1 Echantillon BS 2 P.M.C. t t t t t t t ^ ^ ^

26. T-1 1 T-1 t=1 Validation par Bootstrap • Faire B fois (B ­ 50) • 1 : Générer un nouvel échantillon : x*b(t) ; t = 1:T x*b(t+1) = r(x*b(t)) + b(t) • 2 : Apprendre ce nouvel échantillon : r*b(x) • Biais b :  (x(t+1) - r*b(x(t))) -  (x*b(t+1) - r*b(x*b(t))) ^ ^ 2 ^ 2 1 T-1 ^ t=1

27. Exemple de bootstrap

28. Théorie des bornes • Avec une probabilité (1 - a), pour tous les : EP(w) <Cemp(w) + (VCdim(B), Cemp(w), n,  ) erreur <coût visible + complexité, nb d’exemples, précision • mesure de complexité : • Taille de B ? • Nombre de paramètres ? • dimension de Vapnik - Chervonenkis (pire des cas) • e.g. Dim VC d'un ensemble de fonctions à seuil = taille du plus grand ensemble S pour lequel le système peut implémenter les 2|S| dichotomies sur S.

29. Un exemplede grande déviation • T une v.a. de bernouilli

30. Convergence uniforme

31. Borne sur l’erreur d’apprentissage Théorème (Vapnik & Chervonenkis, 1974)