Introduction aux méthodes de recherche en administration publique

1. Module M2 Introduction aux méthodes de recherche en administration publique

2. Module M2: objectifs • Encourager les participants à poursuivre la réflexion méthodologique sur la base d’une ou plusieurs questions de recherche • Discuter de certains problèmes méthodologiques, en particulier en relation avec la recherche qualitative • Se familiariser avec quelques techniques d’enquête qualitative

3. Comment choisir une méthode • Type de question • Compétences • Audience souhaitée • Ressources disponibles • Critères d’évaluation appliqués par l’audience recherchée

4. Exemple: étude réalisée par Pro Infirmis, sur les trajectoires des personnes frappées par un refus de rente AI • 69 personnes ayant reçu un refus à une demande de rente AI • Méthode d’échantillonnage n’est pas spécifiée (à travers des contacts avec des assistants sociaux ?) • Résultats: • 35% sont à la charge de la famille • 39% sont à l’aide sociale • 26% travaillent à temps partiel ou ont d’autres sources de revenu

5. Réactions: • OFAS:   « L'OFAS réfute les résultats. … ce travail qualitatif ne permet pas de tirer des conclusions ou, en tout cas pas de conclusions statistiques » (Le Temps, 20.04.06). • Beat Kappeler: Le mot «qualitatif» … veut marquer la différence avec les méthodes dites quantitatives. Par la pauvreté de la démarche cependant, certaines de ces études n'ont aucun sérieux. Au mieux, elles pourraient déblayer le terrain, esquisser une étude ultérieure à faire, mais de là à en faire une branche reconnue de la science sociale, il y a un pas que je ne franchirai pas (Le Temps, 22.04.06).

6. Pourquoi choisir des méthodes… • … quantitatives: • Représentativité statistique • Test d’hypothèses mesurables • Recherche de corrélations • … qualitatives: • Développement d’hypothèses • Identification de mécanismes (relation de cause à effet) • Etudes de la motivation des acteurs

7. Exercice 1: Choisir une méthode • Point de départ: une question de recherche • Traitement quantitatif ou qualitatif? • Comment allez vous répondre à cette question? • Quels sont vos doutes, incertitudes? Quels obstacles voyez-vous?

8. Le research design qualitatif • Quatre stratégies (liste non exauhstive): • Etude de cas • Méthode comparative • Enquête par échantillonnage orienté • Triangulation • Elle peuvent être combinées

9. Etude de cas • Reconstitution de manière fiable et précise d’une situation, d’une trajectoire. • Le cas peut être: • Une personne: biographie • Une organisation: entreprise, ONG • Une unité politique: commune, canton, pays • Un processus: réforme, modernisation, déclin • Reconstitution: complète, factuelle, suivre une structure logique (souvent chronologique) Quinn Patton, M. (2002). Qualitative Research and evaluationmethods. ThousandOaks, Sage Publ.

10. Méthode comparative • Comparaison de plusieurs cas (ev. études de cas). • Choix des cas à comparer guidé par les hypothèses • En principe: les cas devraient présenter toute les combinaisons possible de variables indépendantes • Des research design plus sophistiqués existent aussi (voir notamment les travaux de Charles Ragin) Kriesi, H. (1994). Les Démocraties occidentales. Une approche comparée. Paris, Economica. Ragin, C. The Comparative Method: MovingBeyond Qualitative and Quantitative Strategies. Berkeley. University of CaliforniaPress 1987

11. Hypothèse: Religion et degré de modernisation économique expliquent le degré d’égalité homme-femme dans un canton • Religion: canton catholique – protestant • Degré de modernisation: canton agricole et canton tertiaire Agricole Tertiaire AR, TG GE,BS Protestant AI, FR, VS,JU TI Catholique

12. La méthode qualitative ne permet en principe pas de tester des hypothèse, mais: • Elle peut permettre de les élaborer • Par exemple, en identifiant quels aspects de la religion ont un impact sur l’égalité H-F • Si les résultats sont compatibles avec l’hypothèse: alors celle-ci est plus « robuste »

13. Enquête par échantillonnage orienté • Dans les enquêtes statistique: échantillonnage par tirage au sort (chaque cas a la même probabilité d’être sélectionné) • Dans les enquête qualitative, l’échantillonnage par tirage au sort ne fait pas beaucoup de sens (pas de possibilité d’exploiter les lois des grands nombres) • D’autre stratégies d’échantillonnage doivent être utilisées Quinn Patton, M. (2002). Qualitative Research and evaluationmethods. ThousandOaks, Sage Publ.

14. Stratégies d’échantillonnage orienté • Choix de cas extrêmes, déviants: ex. enfants prodige, criminels violents • Choix de cas typiques: identification de plusieurs catégories et analyse d’un ou plusieurs cas de chaque catégorie. • Echantillon homogène: choix de cas très similaires. Permet l’approfondissement (ex. personnes frappés par une maladie). • Maximum variation sampling: maximisation de la variation sur quelques dimensions qui semblent pertinentes par rapport l’objet d’étude

15. Stratégies d’échantillonnage orienté • Echantillonnage par « boule de neige ». Un premier cas signale d’autres cas qui remplissent certaines caractéristiques. Utile pour thèmes sensibles. (ex. les sans papiers) • Echantillonnage théorique: les cas sont sélectionnés de façon à représenter toute les combinaison possibles (ou pertinentes) de variables indépendante • Echantillonnage dans le temps (entretiens tous les x mois)

16. Combien de cas? • Pas de règle fixe • Dépend de la stratégie choisie • Arbitrage entre nombre et profondeur de l’analyse • Idée de saturation: l’analyse de nouveaux cas n’apporte plus d’informations nouvelles

17. Essentiel pour tout échantillonnage: • Motivation du choix. Présentation et discussion du raisonnement fait. Avantages et inconvénients, év. Par rapport à des alternatives. • Présentation précise de la procédure. Comment avez-vous sélectionné vos cas? • Objectif: montrer que l’échantillon n’a pas été constitué de manière arbitraire, et que des biais systématiques sont peu probables.

18. Triangulation • Expression reprise de jargon militaire. • Le monde social est complexe. Pour obtenir des réponses plus fiables, il convient de croiser plusieurs points de vue. • Les résultats sur lesquels on observe une convergence seront plus robustes Bussman, W., U. Klötiand P. Knöpfel (1997). Einführung in die Politikevaluation. Basel, Helbing & Lichtenhahn. Quinn Patton, M. (2002). Qualitative Research and evaluationmethods. ThousandOaks, Sage Publ.

19. Différents types de triangulation • Triangulation des données. Utilisation de sources différentes (indépendantes) • Triangulation des enquêteurs • Triangulation des théories • Triangulation des méthodes

20. Exemple de triangulation: évaluation d’un programme de réinsertion professionnelle • Identification des mesures plus efficaces sur la base de la littérature scientifique • Analyse statistique des sorties du chômage en relation avec la participation aux mesures • Entretiens avec les responsables de la mise en œuvre du dispositif • Entretiens avec les bénéficiaires • Entretiens avec les employeurs qui ont engagé des anciens bénéficiaires

21. Combiner plusieurs stratégies de recherche • Les quatre stratégies présentées peuvent être combinées • Elle devront vraisemblablement être adaptées à vos sujets • Plus que les prescriptions au sens strict, retenir l’esprit

22. Obtention de données en recherche qualitative • Analyse de documents (presse, rapports officiels, lois,…). • Perspective historique: archives • Observation participante • L’entretien

23. Types d’entretien: questions de base • Distinction en fonction de l’objectif: • Obtention d’informations sur un thème • Obtention de matériau empirique • Arbitrage entre ouverture et comparabilité des réponses • Entretien individuel ou entretien de groupe Blanchet, A. and A. Gotman (2005). L'entretien. Paris, Armand Colin. Quinn Patton, M. (2002). Qualitative Research and evaluation methods. Thousand Oaks, Sage Publ.

24. Entretiens individuels • Entretien ouvert: seul quelques thèmes sont lancés. La personne interviewée dispose d’un maximum de liberté. Peut être couplé avec des relances • Entretien semi-directif: un certain nombre de questions (p.ex. 5 à 10) à l’intérieur desquelles l’interviewé dispose d’une certaine liberté • L’entretien structuré: questions plus nombreuses, relativement précises. Peu de liberté.

25. Types de question • Expérience/comportement • Opinion, valeurs • Emotions • Connaissances • Expériences sensorielles • Caractéristiques socio-démographiques  Dimension temporelle: les questions peuvent se rapporter au présent, au passé, à l’avenir

26. L’ordre des questions • Pas de règle universelle • Démarrer par des questions simples, peu chargées, factuelles • Opinions et émotions sont traitées dans un deuxième temps • Question sociodémographiques: ennuyeuses. Mieux pas au début. Soit à la fin, soit à plusieurs endroits.

27. La formulation des question • Des questions ouvertes doivent être vraiment ouvertes: • Quelle-est votre opinion sur le programme XY? • Que pensez vous du service XY? • Plutôt que: • Pensez vous que le dispositif XY est efficace? • Etes-vous satisfait du service XY?

28. Les questions doivent être univoques et claires • Une question doit contenir une seule question: • Etes vous favorable au subventionnement des énergies alternatives et à l’abandon du nucléaire? • La formulation de la question doit être adaptée à la personne interviewé • La compréhension de termes ou concepts peu communs doit être testée au début

29. Les questions et l’attitude de l’intervieweur doivent être neutres • Les questions ne doivent pas indiquer une préférence pour une réponse plutôt qu’une autre: • Que pensez-vous de l’acharnement du système fiscal suisse sur la classe moyenne? • Aucun jugement de valeur sur les opinions exprimées par la personne interviewé (ni positif ni négatif) • Respect pour la personne et sa disponibilité à partager ses opinions/expériences

30. Pas que des questions… • Description d’une situation. La question porte sur comment agirait la personne. • Imaginons qu’on vous demande d’être candidat au Grand Conseil. Quelle serait votre réaction? • Vignettes avec des personnages fictifs. La question porte sur ce que devrait faire tel ou tel autre personnage. • Utiles pour traiter de thèmes sensibles

31. Relances • Liste de points préparés à l’avance • Nouveau points intéressants qui émergent durant l’entretien • Demandes d’approfondissement • Pourquoi? • Pouvez-vous développer? • Dernière question: souhaitez-vous ajouter quelque chose?

32. Quel support? • Enregistrement ou notes? • l’enregistrement permet de se concentrer sur les questions à poser. Il garantit en plus un restitution complète de l’entretien (mais n’oubliez pas de tester le matériel) • Retranscription complète ou synthèse? • Cela dépend si on s’intéresse à ce qui a été di ou à comment cela a été dit • Compromis: synthèse + citations

33. L’entretien de groupe (focus group) + Efficient: permet de récolter plusieurs points de vue avec un seul entretien + Permet de reproduire certaines dynamiques de groupe qui existent dans la réalité - Moins de questions peuvent être posées • Peu adapté pour des thèmes sensibles ou controversés • Demande une certaine expertise Duchesne, S. and F. Haegel (2005). L'entretien collectif. Paris, Armand Colin Morgan, D. and R. Krueger (2006). The focus group kit. ThousandsOaks, Sage.

34. L’entretien de groupe (focus group) • Le focus group est idéal lorsque: • L’objectif est l’identification de quelques thèmes plutôt que leur approfondissement • Les participant occupent des positions similaires me ne se connaissent pas • Doit être bien ciblé. Le modérateur doit s’assurer que la discussion reste sur le thème

35. Exercice 2: Préparer une grille d’entretien • Point de départ: une question de recherche • Quel(s) type(s) d’entretien? • Quelles questions? • Quels sont vos doutes, incertitudes? Quels obstacles voyez-vous?

36. Techniques d’analyse de données qualitatives • Enjeu: transformer des données en résultats • Pas de règle absolue • Point de départ: objectifs de la recherche • Identification de thèmes (anciens et nouveaux) • Analyse du contenu (aussi par ordinateur)

37. Techniques de synthèse: classification • Classification (taxonomie): l’ensemble des cas est divisé en catégories et sous-catégorie • Les catégories sont mutuellement exclusives • Modèle: les sciences naturelles, p.ex. botanique ou zoologie

38. Techniques de synthèse: typologie • Typologie: sur la base des information obtenues, sont identifiés des types-idéaux, qui combinent de manière cohérente certaines caractéristiques considérées comme essentielles • Les types-idéaux peuvent être vus comme des caricatures. Il n’existent pas forcement dans la réalité. • Les cas concrets peuvent être plus ou moins proches de chaque type-idéal

39. Techniques de synthèse: concepts • Application de concepts tirés de la littérature • Les cas observés sont interprétés en fonction de concepts élaborés sur la base de recherches précédentes. • Des concepts nouveaux peuvent être développés également par le chercheur (exemple: pauvreté – exclusion sociale)

40. Techniques de synthèse: séquences • Séquences: même logique, que la typologie mais dans le temps (phases). • Utile lorsque les unité d’analyse sont des processus ou des trajectoires • Exemple: exclusion sociale - désaffiliation

41. Conclusion: quelques conseils pour la suite • Peu de prescriptions méthodologiques générales dans les méthodes qualitatives • Application de l’intuition et du bon sens • Gardez à l’esprit les objectif fondamentaux: • Répondre à une question • Convaincre votre audience que votre réponse est la bonne