GISEH 2010

1. L’évaluation multicritère en pratique GISEH 2010 Jean-Claude VANSNICK Université de Mons vansnick@umons.ac.be 2, 3 et 4 septembre 2010 Clermont-Ferrand

2. Dans une situation de décision, on parle d’évaluation multicritère lorsqu’une personne ou un groupe de personnes doit déterminer l’attractivité (la désirabilité)) de certains éléments (parmi lesquels il convient souvent de faire un choix) compte tenu de plusieurs aspects (qui représentent les préoccupations des décideurs).

3. Exemple (Hôpital de Ciudad Real, Espagne) Éléments à évaluer : politiques de maintenance pour une salle d’opération Aspects à prendre en compte :  Disponibilité de la salle  Probabilité de suspension d’une opération en cours  Moment de détection d’un défaut  Sécurité du personnel  Sécurité des patients  Coût

4. Autre exemple : achats hospitaliers De manière assez générale, lors d’achats hospitaliers, de nombreux aspects doivent souvent être pris en compte pour déterminer l’attractivité des différentes possibilités d’achat.

5. L’objet de cet exposé est de présenter le type de procédures que l’on peut utiliser, en pratique, pour aider une personne ou un groupe de personnes à réaliser une évaluation multicritère. A noter que ces procédures n’ont rien à voir avec celles qu’on rencontre dans le cas d’une prise de décision monocritère car les préoccupations y sont très différentes.

6. Alors que le monde du « monocritère » privilégie un seul aspect (souvent l’aspect financier) et est d’ordre essentiellement technique (détermination d’une action optimale), le monde du « multicritère » concerne avant tout l’explicitation des préoccupations des décideurs et l’évaluation des actions potentielles en tenant compte de tous les aspects (qualitatifs et/ou quantitatifs) qui représentent ces préoccupations.

7. Les enjeux de l’évaluation multicritère sont non pas l’optimisation mais l’aide  à la réflexion  à l’expression de jugements d’appréciation consistants  à l’utilisation de mathématiques simples mais signifiantes, le but final étant d’assurer que le résultat obtenu soit conforme au système de valeurs des décideurs.

8. Plan de l’exposé  Présentation du cas que nous utiliserons pour illustrer comment aider à réaliser une évaluation multicritère  Évaluation multicritère  Notion d’évaluation Évaluation sur un aspect particulier - Tri - Rangement - Évaluation numérique (procédure MACBETH) Agrégation d’évaluations « locales » en une évaluation « globale »

9. I.- Présentation du cas que nous utiliserons pour illustrer comment aider à réaliser une évaluation multicritère

10. En 2008, le ministère de la Santé et des Services sociaux du Gouvernement du Québec a désigné la Corporation d’approvisionnement Laurentides-Lanaudière pour exécuter un programme d’achat en commun visant l’acquisition d’équipements d’imagerie par résonance magnétique pour divers centres hospitaliers du Québec.

11. Suite à un appel d’offres lancé par la Corporation d’approvisionnement Laurentides-Lanaudière, quatre équipements susceptibles de répondre aux besoins recensés des établissements participants ont été mis en évidence : nous les noterons ci-dessous W, X, Y et Z.

12. Ces quatre équipements ont ensuite fait l’objet d’une évaluation de leurs performances sur le plan clinique, sur le plan technique mais aussi en ce qui concerne les garanties offertes, les programmes de formation et le service après-vente.

13. En ce qui concerne l’évaluation clinique, il avait été annoncé qu’elle porterait sur trois points mais en grande partie sur la qualité des images et que, pour ce point, la détermination de l’attractivité des équipements se ferait sur base d’images acquises en usine et relatives à des examens prédéterminés.

14. En ce qui concerne l’évaluation clinique, il avait été annoncé qu’elle porterait sur trois points mais surtout sur la qualité des images et que, pour ce point, la détermination de l’attractivité des équipements se ferait sur base d’images acquises en usine et relatives à des examens prédéterminés.

15. En ce qui concerne l’évaluation clinique, il avait été annoncé qu’elle porterait sur trois points mais surtout sur la qualité des images et que, pour ce point, la détermination de l’attractivité des équipements se ferait sur base d’images acquises en usine et relatives à des examens prédéterminés.

16. En ce qui concerne l’évaluation clinique, il avait été annoncé qu’elle porterait sur trois points mais surtout sur la qualité des images et que, pour ce point, la détermination de l’attractivité des équipements se ferait sur base d’images acquises en usine et relatives à des examens prédéterminés.

17. Ces examens prédéterminés portaient sur 5 régions anatomiques

18. Ces examens prédéterminés portaient sur 5 régions anatomiques

19. 1 2 3 4 5 6 7 8 9 10 11 12 Ces examens prédéterminés portaient sur 5 régions anatomiques et comportaient 12 séquences.

20. 1 2 3 4 5 6 7 8 9 10 11 12 L’évaluation des équipements quant à la qualité des images devait dont se faire en tenant compte de 12 aspects. C’est cette partie de l’étude que nous allons prendre comme cas pratique pour illustrer nos propos sur l’évaluation multicritère.

21. Dans l’appel d’offres, il avait été mentionné que :  « Des visites en usine d’un groupe d’évaluateurs devront être organisées par les soumissionnaires pour, entre autre, procéder à l’acquisition d’images sur un sujet volontaire selon des protocoles prédéfinis. »

22. Ces visites ont été organisées à la fin de l’année 2008 et des images ont été acquises avec les mêmes protocoles et les mêmes sujets volontaires pour tous les équipements visés par l’évaluation.

23. Après avoir subi une procédure d’anonymisation, chaque séquence acquise sur les 4 équipements W, X, Y et Z a été présentée, sur 4 moniteurs placés côte à côte (*), à un comité d’évaluation composé de radiologues et de technologues représentant les établissements clients. (*) Pour chaque séquence, l’ordre d’apparition sur les moniteurs était différent.

25. Avec, sur le plan méthodologique, l’aide de Serge Bourgouin et Nathalie Chartier, qui dirigent chacun un centre d’approvisionnement au Québec et qui utilisent l’analyse multicritère pour leurs achats hospitaliers, le comité d’évaluation a déterminé l’attractivité des équipements (quant à la qualité des images) dans le cas de chaque aspect puis ces attractivités « locales » ont été agrégées afin d’obtenir l’attractivité « globale » des équipements (quant à la qualité des images).

26. 1 2 3 4 5 Agrégation évaluation « globale » 6 7 8 9 10 11 12 12 évaluations « locales »

27. II.- Évaluation multicritère

28. Plan de l’exposé  Présentation du cas que nous utiliserons pour illustrer comment aider à réaliser une évaluation multicritère  Évaluation multicritère  Notion d’évaluation Évaluation sur un aspect particulier - Tri - Rangement - Évaluation numérique (procédure MACBETH) Agrégation d’évaluations « locales » en une évaluation « globale »

29. Plan de l’exposé  Présentation du cas que nous utiliserons pour illustrer comment aider à réaliser une évaluation multicritère  Évaluation multicritère  Notion d’évaluation Évaluation sur un aspect particulier - Tri - Rangement - Évaluation numérique (procédure MACBETH) Agrégation d’évaluations « locales » en une évaluation « globale »

30. Plan de l’exposé  Présentation du cas que nous utiliserons pour illustrer comment aider à réaliser une évaluation multicritère  Évaluation multicritère  Notion d’évaluation Évaluation sur un aspect particulier - Tri - Rangement - Évaluation numérique (procédure MACBETH) Agrégation d’évaluations « locales » en une évaluation « globale »

31. Plan de l’exposé  Présentation du cas que nous utiliserons pour illustrer comment aider à réaliser une évaluation multicritère  Évaluation multicritère  Notion d’évaluation Évaluation sur un aspect particulier - Tri - Rangement - Évaluation numérique (procédure MACBETH) Agrégation d’évaluations « locales » en une évaluation « globale »

32. Plan de l’exposé  Présentation du cas que nous utiliserons pour illustrer comment aider à réaliser une évaluation multicritère  Évaluation multicritère Notion d’évaluation Évaluation sur un aspect particulier - Tri - Rangement - Évaluation numérique (procédure MACBETH) Agrégation d’évaluations « locales » en une évaluation « globale »

33. II1.- Notion d’évaluation Comment aider à déterminer l’attractivité des éléments à évaluer sur un aspect particulier ? Évaluer des éléments, c’est déterminer leur attractivité c’est-à-dire associer à chacun d’eux un nombre « mesurant » son attractivité. Comme on ne peut pas « mesurer » sans disposer d’une« unité de mesure », la première question à se poser quand on désire évaluer des éléments est celle de l’unité de mesure. 2°) Comment agréger les évaluations « locales » en une évaluation « globale » ? Comment construire une unité de mesure ?

34. Chaleur croissante Réf.(+) (eau bouillante) Réf.() (glace fondante) Construction d’une unité de mesure Cas de la propriété de chaleur 1°) Spécifier deux éléments dont l’un [noté Réf.(+)] est clairement plus chaud que l’autre [noté Réf.()]. Exemple (Celsius, 1742) : Réf.(+) = eau bouillante Réf.() = glace fondante. 2°) Prendre la différence de chaleur entre Réf.(+) et Réf.() (ou une partie bien spécifiée de cette différence) comme unité de mesure pour la différence de chaleur. Exemple : le degré Celsius est défini comme étant la centième partie de la différence de chaleur entre l’eau bouillante et la glace fondante.

35. Attractivité croissante Réf.(+) Réf.() Construction d’une unité de mesure Cas de la propriété d’attractivité 1°) Décrire deux éléments dont l’un [noté Réf.(+)] est clairement plus attractif que l’autre [noté Réf.()]. 2°) Prendre la différence d’attractivité entre Réf.(+) et Réf.() (ou une partie bien spécifiée de cette différence) comme unité de mesure pour la différence d’attractivité.

36. Réf.(+) est un équipement dont les images non seulement permettent de voir une anomalie dans 100% des cas mais encore sont suffisamment nettes et claires que pour permettre à un clinicien de bien définir l’anomalie et d’établir un diagnostic précis sans demander d’autres examens. Un tel équipement qui correspond aux aspirations des radiologues quant à la qualité des images sera noté ci-dessous « Bon ». Construction d’une unité de mesure Cas de la propriété d’attractivité des équipements quant à la qualité des images.

37. Réf.() est un équipement dont la qualité des images permet de détecter une anomalie dans 100% des cas mais sans plus. Un tel équipement qui correspond à la qualité minimale recherchée par un radiologue en ce qui concerne les images acquises avec un équipement d’IRM sera noté ci-dessous « Neutre ». Construction d’une unité de mesure Cas de la propriété d’attractivité des équipements quant à la qualité des images.

38. (*)  TRI  RANGEMENT  ÉVALUATION NUMÉRIQUE (*) Nous illustrerons cette partie de l’exposé sur base de la détermination de l’attractivité des équipements d’IRM (W, X, Y et Z) quant à la qualité des images pour l’aspect « colonne cervicale, axial T2 »  II2.- Évaluation sur un aspect particulier TROIS ÉTAPES :

39. A noter que les éléments sur lesquels on va demander au comité d’évaluation de porter des jugements d’appréciation ne sont pas les équipements X, Y, Z et W eux-mêmes mais les moniteurs M.1, M.2, M.3, M.4 étant donné que l’évaluation se fait « à l’aveugle »

40. Zone 1 Zone 2 Bon M.1 Zone 3 M.2 M.3 M.4 Neutre Zone 4 Zone 5  TRI Exemple

41. Zone 1 Zone 2 Bon Zone 3 Neutre Zone 4 Zone 5  TRI Exemple M.1 M.1 M.2 M.3 M.4

42. Zone 1 Zone 2 Bon Zone 3 Neutre Zone 4 Zone 5  TRI Exemple M.1 M.1 M.2 M.3 M.4 M.2

43. Zone 1 Zone 2 Bon Zone 3 Neutre Zone 4 Zone 5  TRI Exemple M.3 M.1 M.1 M.2 M.3 M.4 M.2

44. Zone 1 Zone 2 Bon Zone 3 Neutre Zone 4 Zone 5  TRI Exemple M.3 M.1 M.4 M.1 M.2 M.3 M.4 M.2

45. Zone 1 Zone 2 Bon M.1 Zone 3 M.2 M.3 M.4 Neutre Zone 4 Zone 5  TRI Aspect « colonne cervicale, axial T2 »

46. Zone 1 Zone 2 Bon Zone 3 Neutre Zone 4 Zone 5  TRI Aspect « colonne cervicale, axial T2 » M.1 M.4 M.3 M.2 M.1 M.2 M.3 M.4

47. Zone 1 Zone 2 Bon Zone 3 Neutre Zone 4 Zone 5  RANGEMENT Dans cette situation, la phase de rangement consiste à aider le comité d’évaluation à ranger les moniteurs M.1, M.2, M.3 et M.4 par ordre d’attractivité décroissante de la qualité des images M.4 M.3 M.2 M.1

48. Aide au rangement des moniteurs Comparaison des images deux à deux

49. Aide au rangement des moniteurs Comparaison des images deux à deux

50. Aide au rangement des moniteurs Comparaison des images deux à deux