Les analyses statistiques de données textuelles 7. Validation des résultats Ludovic Lebart

1. Les analyses statistiques de données textuelles 7. Validation des résultats Ludovic Lebart CNRS - ENST

2. Validation interne : Bootstrap, opportunité de la méthode • Raisons d’utiliser le “bootstrap” : • Complexité de l’approche analytique • Se libérer des hypothèses sur les distributions • S’adapter à toutes les situations

3. Cas des analyses des correspondances simples et mumtiples Gifi (1981), Meulman (1982), Greenacre (1984) furent les premiers à proposer l’approche bootstrap dans ce cadre. Il reste cependant très difficile de procéder à des tests sur les valeurs propres. Il existe également plusieurs modalités d ’applications selon les contextes.

4. Rappel sur le Bootstrap Exemple : Zones de confiances sur les visualisations. • Exemple de table de contingence (CESP Multi-Media Survey, 1993). • Dans chaque case: nombre de medias contactés la veille. • Colonnes : Media [Radio, TV, National & Regional Daily N., Magazines]. • Lignes : Catégories socio-professionnelles. • Radio Tele Nat. Reg. Maga TV_Mag • Farmer 96. 118. 2. 71. 50. 17. • Small Business 122. 136. 11. 76. 49. 41. • Executive 193. 184. 74. 63. 103. 79. • Intermediate 360. 365. 63. 145. 141. 184. • Employee511. 593. 57. 217. 172. 306. • Skilled worker 385. 457. 42. 174. 104. 220. • Unskilled worker 156. 185. 8. 69. 42. 85. • Housewives, Ret. 1474. 1931. 181. 852. 642. 782.

5. Visualisation des associations entre profession et contacts medias[A. des correspondances]

6. (Rappel sur le Bootstrap) Exemple : Zones de confiances sur les visualisations • Exemple de table répliquée • Radio Tele Nat. Reg. Maga TV_M • Farmer 109. 120. 1. 78. 48. 20. • Small Business 126. 142. 8. 76. 53. 30. • Executive 196. 181. 80. 77. 109. 72. • Intermediate 384. 365. 60. 133. 138. 203. • Employee 514. 596. 59. 228. 172. 316. • Skilled worker 378. 467. 33. 171. 100. 223. • Unskilled worker 169. 188. 8. 79. 38. 81. • Housewives, Ret. 1519. 1961. 158. 893. 632. 764.

7. Zones de confiance Bootstrap : “ellipses de replications”

8. Zones de confiance Bootstrap : “enveloppess convexes de replications”

9. exemple (textes anglais) Question ouverte : "What is the single most important thing in life for you?" Suivie par la relance : "What other things are very important to you?". Question incluses dans une enquête internationale auprès de sept pays (Japon, France, Allemagne, Italie, Hollande, U K, USA) vers 1990 (Hayashi et al., 1992). L ’exemple concerne le volet anglais de l ’enquête (taille d ’échantillon : 1043).

10. Exemple 1, suite Le bilan de la première phase de codage numérique est : Pour 1043 réponses, il y a 13 669 occurrences (tokens), avec 1 413 mots distincts (types). Si l ’on ne retient que les mots apparaissant au moins 16 fois, il reste 10 357occurrences de ces mots (tokens), avec 135 mots distincts (types).

11. Exemple d ’une table lexicale

12. Les deux diapositives suivantes montrent le plan principal de l ’analyse des correspondances de la table lexicale • précédente. • La proximité entre 2 points- categorie (colonnes) signifie similarité des profils lexicaux des 2 catégories. • La proximité entre 2 points- mots (lignes) signifie similarité des profils lexicaux de ces mots. • Ellipses et enveloppes convexes décrivent l ’incertitude. • 9 points categories, en rouge (toutes les categories, en fait) • 6 points mots , en bleu.

13. Zones de confiance pour 4 catégories (en rouge) et 3 mots (en bleu)

14. Zones de confiance pour 4 catégories (en rouge)

15. Zones de confiance pour 3 mots (en bleu)

16. Zones de confiance pour 4 catégories (en rouge) et 3 mots (en bleu)

17. Zones de confiance pour 4 catégories (en rouge) et 3 mots (en bleu)

18. Application DTM:  Petit exemple dit pédagogique  Shakespeare  Poèmes sur l ’automne Fin de la section 7

19. Both example data and software (DTM) can be freely downloaded from www.lebart.org