Illusion du nombre dans les sciences humaines : mesures d’opinion et sondages

1. Illusion du nombre dans les sciences humaines : mesures d’opinion et sondages • Thierry Foucart, UMR 6086, Département Mathématiques, SP2MI, Université de  Poitiers « Il n’est pas bon que le pouvoir d’observer se développe plus vite que l’art d’interpréter » (Alain)

2. Sciences de la nature et sciences humaines • «les sciences humaines en France ont longtemps vécu avec un modèle en surplomb, celui de la physique mécanique, qui, par ses lois et son usage de la causalité, semblait représenter la quintessence de la scientificité, en réalisant une coupure radicale avec les humanités classiques.» (F. Dosse) • «[Auguste Comte et Emile Durkheim] ont admis ce que Spencer a toujours refusé : l’existence dans la société d’un organe comparable au cerveau, d’une conscience collective bâtie sur le modèle de la conscience individuelle » (M. Dubois)

3. Evolution • « en tout cas, le fossé se creuse dans les années 1970 entre deux formes de science sociale. La première remet en question de plus en plus profondément ses catégories, ses outils et ses fondements, tandis que la seconde évolue au contraire vers l'empirisme de plus en plus radical de l'analyse des données. La première adopte donc de plus en plus nettement une attitude critique vis à vis du pouvoir d’état, tandis que la seconde est au contraire de plus en plus associée aux demandes des administrations.... » (H. Le Bras)

4. La démarche scientifique dans les sciences de l’homme et de la société

5. La démarche scientifique dans les sciences de l’homme et de la société (I) Cheval blanc (Gauguin) http://www.artyst.net/G/Gauguin19/GauguinChevalblancG.htm Reproduction fidèle par les techniques des sciences de la nature Aucune interprétation de l’oeuvre

6. La démarche scientifique dans les sciences de l’homme et de la société(II) Cheval blanc (Gauguin) http://www.artyst.net/G/Gauguin19/GauguinChevalblancG.htm Cheval vert = objectivisme Cheval blanc = subjectivisme

7. Quantification et sciences sociales

8. Quantification et sciences sociales (I) • Quantification de l’ensemble des activités humaines = perte de l’aspect relationnel, affectif • Objectivité apparente du chiffre = pauvreté de l’information limitée à la valeur faciale du fait observé • Classification = subjectivité collective.

9. Quantification et sciences sociales (II) • « L’anxiété que suscitent les chiffres chez les commentateurs non scientifiques » (S.J. Gould) • Les chiffres ne sont finalement que des indications produites par la société sur elle-même.

10. L’interprétation des résultats statistiques

11. L’interprétation des résultats statistiques (I) • Dans une enquête, l’interprétation d’un pourcentage nécessite une connaissance de la société dans laquelle il a été établi et de la position sociale et culturelle des personnes qui ont répondu. • La plupart des statistiques économiques et sociales ne sont comparables aux valeurs des années précédentes que si les conditions dans lesquelles elles sont établies n’ont pas changé, ce qui n’est pas le cas en général.

12. L’interprétation des résultats statistiques (II) • Le chercheur est lui-même impliqué dans le fait observé et doit l’« objectiver ». L’interprétation repose sur son aptitude à comprendre sans juger. • « Les mots sont, on l’a dit, autant les objets que les instruments des conflits idéologiques et politiques. C’est pourquoi ils sont, volontairement ou non, utilisés de manière équivoque.» (Dominique Schnapper). • Théorème de Hume : on ne peut inférer des conclusions normatives à partir de prémisses descriptives.

13. L’interprétation des graphiques

14. L’interprétation des graphiques (I) • Nombre de tués sur les routes et mesures de sécurité routières

15. L’interprétation des graphiques (II) • Les graphiques ne sont pas construits pour expliquer et convaincre, mais pour illustrer et persuader. • Une relation statistique reste une coïncidence tant qu’elle n’est pas expliquée indépendamment des chiffres. • Cette explication relève du champ scientifique dans lequel se trouve le fait observé.

16. Modélisation mathématique

17. Modèles (I) Modèle de Spearman • (1) j = f(g,s) (l’activité cognitive j dépend d’un facteur général g et d’un facteur spécifique s) • (2) r= 0 (indépendance des facteurs) • (3)z = a g + b s( mesure de l’activité cognitive j) Modèle linéaire • Vote = a + b x sexe + c x âge + d x sitfam + e x conj

18. Modèles (II) • Hypothèses concernant la réalité observée. Exemples : facteurs général g et spécifique s, toutes choses égales par ailleurs • Hypothèses mathématiques d’autant plus fortes et nécessaires qu’on ignore la réalité. • Un modèle n’est jamais vrai, seulement acceptable et toujours faux. • Il sert à simplifier la réalité pour la rendre intelligible.

19. L’analyse empirique des données

20. L’analyse empirique des données (I) • Des données nombreuses donnent une meilleure approximation de la réalité qu’un modèle • « La pléthore d’informations peut étouffer la pensée » (Edgar Morin) : complexité de la réalité humaine et sociale. • Représenter un fait social le plus exactement possible risque de le rendre inintelligible et d’en faire perdre le sens

21. L’analyse empirique des données (II) • L’absence apparente de modèle n’empêche pas la subjectivité. • « Cette suprématie de la statistique va trop souvent conduire à privilégier l’instrument par rapport à l’objet. C’est alors la technologie qui commande la problématique : on fera une analyse factorielle sur tel ensemble de données plutôt que d’étudier tel problème en utilisant l’analyse factorielle. » (Daniel Derivry) • Voir dans l’analyse empirique des données une évaluation objective et complète des données observées est une illusion scientiste favorisée par la nature de la démarche.

22. Les limites des méthodes

23. Les limites des méthodes (I) • La statistique ne donne jamais de réponse sûre. • Un dépouillement d’enquête peut indiquer une liaison qui n’existe pas ou cacher une liaison qui existe. • Le modèle linéaire n’est pas neutre dans la recherche d’un effet propre.Vote = a + b x sexe + c x âge + d x sitfam + e x conj

24. Les limites des méthodes (II) • Limitation des résultats d’une enquête à la population dont est issu l’échantillon. • Réfutation difficile d’une théorie en sciences de l’homme et de la société. Seule validation possible : rationalité du raisonnement et des procédures statistiques. • L’incertitude dans les résultats et la subjectivité dans les interprétations et les idées de départ sont la règle, même lorsque les études sont menées correctement.

25. Quelques réflexions • La mesure rend possibles deux types de comparaisons : 1) une même activité pratiquée par deux personnes2) deux activités pratiquées par une même personne. • La mesure quantitative permet toujours de mener ces comparaisons : dès que l’une n’a pas de sens, les mesures quantitatives non plus. • Multiplication des caractères inutile et illusoire.

26. Trois analyses

27. Adoption par des couples homosexuels • « Nous avons abordé ce sujet encore tabou en France comme des explorateurs, en dehors de tout a priori scientifique, social ou culturel, avec la plus grande rigueur méthodologique possible » (Bouvard) • Échantillon très petit : 58 couples • Totalement biaisé : tous membres d’une association impliquée et de bon niveau socio-économique. • Aucune évaluation qualitative : les médecins n’ont pas vu les enfants.

28. ENVEFF • Questionnaire très long administré par téléphone. • Échantillon constitué uniquement de femmes. • Victimisation des femmes et criminalisation des hommes. • Commanditaire officiel impliqué.

29. The bell curve • Murray et Herrnstein prétendent apporter une preuve scientifique de l’infériorité de certaines races humaines sur d’autres « toutes choses égales par ailleurs ». • Le raisonnement peut être inversé : cette hiérarchie « toutes choses égales par ailleurs » n’est-elle pas la preuve d’une société raciste, de la même façon qu’on peut la considérer comme sexiste ? • Les statistiques ne donnent aucune indication sur le raisonnement à tenir, dont la conclusion dépend des idées de départ.

30. Ministère de l’éducation nationale

31. Ministère de l’éducation nationale (I) • Les objectifs quantitatifs dissocient la mesure quantitative et l’évaluation qualitative (dictées des brevets).

32. Dictée du brevet Paris 1973 • “Pendant toute la durée du spectacle, Svétlana douta de ses yeux et de son intelligence. Il y avait trop de merveilles à voir, et elles se succédaient à un rythme trop accéléré pour qu’il fût possible de les apprécier au passage. Des pitres au museau enfariné et aux tuniques éclaboussées d’étoiles déchaînaient le rire énorme de la foule par une explosion de claques, de coups de pied au derrière et de cabrioles élastiques. Puis c’étaient des rugissements de fauves, et un ours savant se tenait en équilibre sur une boule, tandis qu’autour de lui les fouets claquaient comme des pétards. Des ballerines en paillettes bleues chevauchaient de nobles coursiers aux crinières de soie, des adolescents aux maillots roses construisaient une pyramide de bras et de jambes qui s’écroulaient soudain, et ils se retrouvaient au complet, l’un à côté de l’autre, souriants, moustachus, avec des joues de porcelaine et des yeux de diamants. Et, de nouveau, accouraient les clowns dans leurs habits trop larges. • Henri Troyat, Tant que la terre durera. • Écrire au tableau : Svétlana. ”

33. Dictée du brevet des collèges 2000 • “Pourtant, il avait un père et une mère. Mais son père ne pensait pas à lui et sa mère ne l'aimait point. C'était un de ces enfants dignes de pitié entre tous qui ont un père et une mère et qui sont orphelins. Il n'avait pas de gîte, pas de pain, pas de feu, pas d'amour : mais il était joyeux parce qu'il était libre.Victor Hugo, Les Misérables”

34. barème officiel • 13,5 sur 20 à la copie suivante : • « Pour temps il avais un paire est une mer. Mais son pair ne pensé pas à lui et sa maire ne l'aimait poing. c'étaient un de ses enfants dinieux de pitié antre tous ki on perd et mêre ait qui sont orphelins. Ils n'avaie pas deux gîte, pas de pin, pas de feus, pas d'amoure ; mais ile était joiieu parce qu'il été libres. »

35. Ministère de l’éducation nationale (II) • L’observation de cohortes revient à considérer les élèves comme des objets tous identiques et à évaluer l’efficacité d’une mesure pédagogique comme celle d’un engrais.

36. Ministère de l’éducation nationale (III) • « Plus on redouble tôt, moins on a de chances de faire des études longues » : plus on est faible, moins on est fort. • « Toutes les études montrent qu’un redoublement au CP équivaut à une véritable condamnation. En effet, neuf redoublants du cours préparatoire sur 10 n’atteignent pas le niveau du bac, et quatre d’entre eux subissent un nouvel échec, avant même l’entrée en sixième. » Faisons redoubler les meilleurs !

37. Ministère de l’éducation nationale (IV) • 103 binômes (redoublant, non redoublant) • Contradiction dans l’hypothèse toutes choses égales par ailleurs. • « dans 90 cas sur 103, les performances des élèves faibles promus en CE1 étaient significativement meilleures que celles de leurs camarades maintenus en CP » • Il est vain de chercher par la statistique à contrôler la validité de décisions individuelles.

38. Alors, statistique ou pas statistique?

39. Alors, statistique ou pas statistique ? (I) • « Quand la statistique n’est pas fondée sur des calculs rigoureusement vrais, elle égare au lieu de diriger. L’esprit se laisse prendre aisément aux faux airs d’exactitude qu’elle conserve jusque dans ses écarts, et il se repose sans trouble sur des erreurs qu’on revêt à ses yeux des formes mathématiques de la vérité. Abandonnons donc les chiffres, et tâchons de trouver nos preuves ailleurs. ». (Tocqueville )

40. Alors, statistique ou pas statistique? (II) • Les chiffres, les modèles et l’analyse empirique des données sont des outils puissants pour décrire les sociétés modernes • les « formes mathématiques » utilisées dans les sciences sociales sont un langage commode pour exprimer des relations et propriétés difficles à expiciter en français. • L’usage de méthodes quantitatives puissantes augmente le besoin d’une réflexion préalable et critique sur la réalité observée et sur le sens de la quantification des faits que ces méthodes nécessitent.

41. Paradoxe de l’informatisation de la société • La force mécanique a remplacé la force humaine, mais il est plus difficile de conduire un tracteur que de manier une bêche. • L’informatique produit des résultats chiffrés sans effort, mais cette facilité est contraire au développement de l’esprit critique nécessaire à leur interprétation.

42. Merci de m’avoir écouté Retrouvez Un résumé de la conférence La bibliographie La présentation powerpoint http://iut86-fad.univ-poitiers.fr/StatPC/conference/conf.htm