Heuristique du questionnaire

1. Heuristique du questionnaire Méthodologie de l'enquête statistique (2) Joachim Dornbusch, Groupe d'Expérimentation Pédagogique en Sciences Economiques et Sociales, Académie de Versailles

2. A quoi sert le questionnaire (rappel) Que veut-on savoir, vérifier sur ce thème ? 2. Hypothèses (questions, problématique...) 1. Thème de l'enquête De quelles données a-t-on besoin ? Comment les obtenir ? Le questionnaire est donc un... instrument, outil qui sert à... 3. Questionnaire collecter, obtenir des données

3. Art ou science ? • Formuler des hypothèses pour les valider ou les invalider relève-t-il... • de la science ? • de l'art ? • Fabriquer un outil pour collecter ces données relève-t-il... • de la science ? • de l'art ?

4. Des règles heuristiques • Il n'y a pas de questionnaire parfait... • ...mais il y en a de bons et de mauvais • Règles heuristiques : • permettent l'obtention d'une solution satisfaisante • permettent d'identifier / de résoudre le plus de problèmes possible • Dans chacun des exemples qui suit, trouvez le principal défaut de la question posée, essayez de la corriger et déduisez-en une règle plus générale.

5. Exemple 1 • Faut-il facturer l'intervention des secours aux personnes qui se trouvent en difficulté en montagne à cause de leur comportement irresponsable qui entraîne un coût élevé pour la collectivité ? • Oui • Non

6. Règle n°1 : faire preuve de neutralité • La question est dite chargée ou orientée. • Elle contient un argument implicite en faveur d'une des modalités • Le vocabulaire connoté, péjoratif, critique ou au contraire laudatif suffit à charger une question.

7. Correction possible • Vocabulaire plus neutre • Pensez -vous que l'intervention des secours en montagne puisse être facturée aux personnes secourues dans certains cas ?

8. Solution alternative • Rééquilibrer la question en la chargeant dans les deux sens... • Selon vous, la facturation des secours en montagne... • est possible lorsque la responsabilité des personnes secourues est engagée • est à écarter car la gratuité des secours doit rester la règle

9. Exemple n°2 • Pensez-vous que le mariage soit un gage de stabilité pour le couple ? • oui • non

10. Règle n°2 : tenir compte du conformisme • Une partie des répondants n'a pas d'opinion tranchée. • Ils auront tendance à se reporter sur l'opinion dominante ou l'opinion suggérée par l'enquêteur. • Notamment quand on leur soumet : • un slogan • une maxime • une formule marquée au coin du bon sens...

11. Correction possible • Equilibrer les modalités • Avec laquelle de ces deux phrases êtes-vous le plus d'accord ? • Le mariage, c'est un gage de stabilité dans le couple • Le mariage, c'est la corde au cou

12. Exemple n°3 • Selon vous, l'introduction de l'euro : • a fait considérablement augmenter les prix • a fait un peu augmenter les prix • n'a pas eu d'effet sur les prix • a fait diminuer les prix

13. Règle n°3 : équilibrer les modalités • Ici l'idée de la hausse apparaît plus plausible car elle correspond à 2 modalités. • Les modalités positives et négatives doivent être équilibrées ou symétriques.

14. Correction possible • Selon vous, l'introduction de l'euro : • a fait augmenter les prix • n'a pas eu d'effet sur les prix • a fait diminuer les prix

15. Autre correction possible • Selon vous: • l'introduction de l'euro a entraîné une augmentation des prix • la hausse des prix n'est pas due à l'euro mais à d'autres facteurs

16. Exemple n°4 (à des personnes qui ont des enfants) • Aidez-vous vos enfants à faire leurs devoirs ? • oui • non

17. Règle n°4 : prendre en compte les normes sociales • Ici une réponse est socialement préférable à l'autre • Les résultats reflèteront moins la réalité des comportements que l'adhésion à une norme. • De nombreux répondants optent pour le "oui" pour se conformer à un ... • stéréotypeparental

18. Correction possible • Question indirecte (et ouverte) • Citez deux thèmes étudiés cette année en histoire-géographie par votre fils / fille.

19. Exemple n°5 • Concernant le fonctionnement de la Politique Agricole Commune, pouvez-vous me dire si vous êtes : • entièrement d'accord • plutôt d'accord • plutôt pas d'accord • pas du tout d'accord

20. Règle n°5 : ne pas provoquer des positionnements artificiels • Ici, les personnes sans opinion sur la PAC devraient se voir proposer une modalité : "sans opinion". • Lorsqu'on ne veut pas susciter des positionnement artificiels : • introduire une modalité neutre / inciter les indécis à ne pas se prononcer • Pour forcer la prise de position (tout le monde a un avis) : • retirer le "sans opinion" et mettre des "plutôt oui"/"plutôt non" • Exemple, dans une question sur la pertinence de l'éducation sexuelle dans les programmes scolaires, ne pas proposer de modalité "Je ne souhaite pas répondre"

21. Correction possible • Au sujet du fonctionnement de la Politique Agricole Commune, pouvez-vous me dire si vous êtes : • d'accord • pas d'accord • sans opinion

22. Exemple n°6 • Vous arrive-t-il d'avoir peur lorsque vous empruntez les transports en commun ? • oui / non

23. Règle n°6 : dépersonnaliser les questions sensibles ou intimes • Le sujet abordé est sensible (avouer sa peur) surtout chez les hommes (introduction d'un biais dans les réponses). • La question doit être dépersonnalisée. • Si ce n'est pas possible, introduire : • une modalité "ne souhaite pas répondre" • un rappel de l'anonymat, de la finalité purement statistique de la collecte des données • une formule de précaution...

24. Correction possible • Dépersonnalisation • Selon vous, les transports en communs sont-ils des lieux potentiellement dangereux ? • oui • non

25. Exemple n°7 • Vous allez au cinéma en moyenne : • jamais • rarement • souvent • très souvent

26. Règle n°7 : éviter les termes ambigus ou subjectifs • "souvent " peut avoir une signification variable d'un individu à l'autre

27. Exemple n°8 • Corrigé de l'exemple 7... mais toujours pas satisfaisant • Vous allez au cinéma en moyenne : • jamais ou moins d'une fois par mois • une fois par mois • plus d'une fois par mois

28. Règle n°8 : indiquer une période de référence • Toute question de comportement doit comporter une période de référence : • depuis le début de l'année civile... • au cours de la semaine écoulée... • au cours des dernières 24 heures... • Le choix de celle-ci dépend du comportement étudié

29. Correction possible • Au cours des 30 jours écoulés, c'est à dire depuis le 14 mai, vous vous êtes rendu au cinéma : • jamais • une seule fois • deux fois ou plus

30. Exemple n°9 • Au cours du mois écoulé, vous avez navigué sur des sites internet, en moyenne... • 30 minutes par jour • 1 heure par jour • 2 heures par jour • plus de 2 heures par jour

31. Règle n°9 : ne pas demander d'opération complexe • Il est très difficile d'estimer correctement le temps passé à telle ou telle activité au cours d'une journée... • et plus encore de faire une moyenne. • Proscrire les opérations complexes comme : • se classer soi-même dans la grille des PCS • estimer un budget moyen • se souvenir de la date d'un évènement personnel...

32. Correction possible • Fournir une assistance • Aujourd'hui, pouvez-vous me dire combien de temps vous avez navigué sur des sites Internet : • la première fois ? • la deuxième fois ? • ...

33. Exemple n°10 • Faut-il prendre des mesures pour limiter la consommation de médicaments psychotropes ? • oui • non

34. Règle n°10 : utiliser le vocabulaire du répondant, pas celui de l'enquêteur • Le vocabulaire utilisé doit être le plus naturel possible pour le répondant, compte tenu de son milieu socioculturel, etc. • Penser aussi aux unités de mesure : la consommation d'une boisson s'exprime en verres, pas en centilitres.

35. Correction possible • Faut-il prendre des mesures pour limiter la consommation de médicaments qui agissent sur le système nerveux tels que les anxiolytiques ou les antidépresseurs ? • oui • non • La question n'est pas encore satisfaisante.

36. Correction possible • Les médicaments qui agissent sur le système nerveux tels que les anxiolytiques ou les antidépresseurs sont aujourd'hui délivrés sur ordonnance. Faut-il prendre des mesures supplémentaires pour en limiter la consommation ? • oui • non

37. Exemple n°11 • Depuis un an, avez-vous consulté votre médecin généraliste et votre dentiste à titre préventif, c'est à dire sans présenter de symptômes particuliers ? • oui • non

38. Règle n°11 : demander une chose à la fois • Certains répondants opteront pour la modalité "oui" uniquement s'ils ont consulté les 2 praticiens. • D'autres répondront "oui" pour avoir consulté l'un des deux. • Les questions doivent avoir un objet unique. • Ici : il vaudrait mieux poser deux questions.

39. Exemple n°12 • Au cours de l'année écoulée, avez-vous voyagé à plus de 100km de votre domicile ? • jamais • une seule fois • deux fois • plus de cinq fois

40. Règle n°12 : fournir une liste exhaustive de modalités • Ici les personnes qui ont voyagé 3 ou 4 fois ne peuvent pas se classer. • La liste des modalités proposées doit être exhaustive afin de permettre à tous les répondants de se classer.

41. Exemple n°12 • Au cours de l'année écoulée, avez-vous voyagé à plus de 100km de votre domicile ? • jamais • une seule fois • deux fois à quatre fois • plus de cinq fois

42. Exemple n°13 • Question d. Pensez-vous que le téléchargement illégal de musique et de films sur Internet... • met en danger la création artistique • ne met pas en danger la création artistique • Question e. Approuvez vous la récente loi "Hadopi" permettant l'interruption de la connexion à Internet des personnes pratiquant le téléchargement illégal de musique et de films ? • oui • non

43. Règle n°13 : prendre en compte l'influence entre questions • La question d influence les réponses à la question e en suggérant un argument en faveur de la loi. • Il serait judicieux d'inverser les deux questions.

44. Exemple n°14 • Actuellement, que consommez-vous au petit déjeuner ? ________________________________________________________________________________________________________________________________________________________

45. Règle n°14 : économiser les moyens • Les questions fermées doivent être préférées pour réduire le travail de codage / saisie. • Préférer : • fermé à semi-ouvert • semi-ouvert à ouvert • La règle d'économie s'applique aussi à la longueur du questionnaire (facteur de rejet)

46. Correction possible • Pouvez vous me dire si, au cours des sept derniers jours, vous avez consommé au moins une fois l'un des aliments suivants au petit déjeuner : • pain • biscottes • céréales • (liste...) • Autres : • Je ne prends pas de petit déjeuner

47. Le choix du type de question... • Qu'est-ce qui justifie le recours à une forme ouverte dans certains cas ? • Lorsqu'une modalité est socialement plus valorisée qu'une autre, proposer un choix prédéfini oriente les réponses. • Lorsque le choix d'une modalité est une opération complexe (PCS)

48. Exemple n°15 • Répondez honêtement aux questions qui suivent.

49. Règle n°15 : faire preuve de courtoisie et de sérieux • Eviter les injonctions, les formules soupçonneuses • Eviter les fautes d'orthographe (décrédibilise l'enquête) • Donner des raisons de collaborer • ...sans pour autant révéler forcément l'objet précis de l'enquête • ...et encore moins les hypothèses

50. Correction possible • Le questionnaire qui suit nous permettra de mieux connaître... • Nous vous remercions de bien vouloir y consacrer quelques minutes.