Colloque SWEP-SFE 23 mars 2007 – Indicateurs et politiques. Le syndrome du tournesol

1. Colloque SWEP-SFE 23 mars 2007 – Indicateurs et politiques. Le syndrome du tournesol Indicateurs dans le cadres des contrats d’administration : expériences de l’INAMI, du SPF Sécurité sociale et de la Cellule stratégique du Ministre Demotte

2. Introduction

3. Historique • 1990 : 1er Memorandum AG • 1991 : Introduction progressive des tableaux de bord • 1993 : 2è Memorandum AG • 1995 : Charte de l’Assuré social • 1997 : AR de responsabilisation • 2002 : 10 contrats d’administration • 2003 : 5 contrats d’administration • 2004 : évaluation SPF Sécurité sociale • 2005 : Audit de la Cour des Comptes • 2006 : 14 contrats d’administration

4. Définition des indicateurs

5. Nature des indicateurs & aperçu général • Tableaux de bord vs. Contrats d’administration • Indicateurs négociés • Nature des indicateurs : politique vs. gestion interne • Évolutions : qualité & politique

6. CS Affaires sociales

7. INAMI : organigramme

8. PLAN STRATEGIQUE : Mission, vision et objectifs stratégiques + CONTRAT D’ADMINISTRATION (INAMI/Ministre) PLAN OPERATIONNEL: objectifs opérationnels pour tous les services FICHES DE SUIVI par objectif opérationnel IMPLEMENTATION et EXECUTION des ACTIONS CERCLES DE DEVELOPPEMENT: objectifs individuels RESULTATS: mesurer et évaluer(indicateurs de performance) + CORRIGER INAMI : processus de mgt stratégique

9. Niveau stratégique Niveau opérationnel Niveau individuel INAMI : de la stratégie à l’individuel INAMI Quel est l’objectif? Service Comment l’atteindre? Individu Comment y contribuer? Cercles de développement PLANIFIER - AGIR - ÉVALUER - CORRIGER

10. INAMI : remarques préliminaires • Contrat d’administration (2002) = opportunité pour l’introduction des tableaux de bord • Depuis 2003, d’autres tableaux de bord en cours dans le cadre de notre Plan stratégique (restructuration de services, informatisation de dossiers, suivi ICT, BSC RH,…)

11. INAMI : éléments essentiels • Aussi bien en interne qu’en externe, manifester notre bon fonctionnement : démontrer les résultats de nos activités (transparence, objectivité) : Objectiver notre performance • Corriger à temps par le management (système d’alerte pour prendre décisions par le management ) • Suivre les effets d’un projet ou d’une politique publique

12. INAMI : définition des indicateurs • Importance d’une définition précise de chaque indicateur des tableaux de bord (être d’accord dès le départ sur ce qu’on mesure de manière à notamment éviter de ‘comparer des pommes et des poires’): • définition des notions reprises dans l’indicateur • mode de calcul • méthode de collecte • personne responsable de la collecte • périodicité de collecte • personne resposable du controle de qualité • … • Méthode intuitive pour l’essentiel mais s’orientant vers le déductif (plus grande réflexion sur la finalité, sur la nécessité de valeurs de départ et de valeurs-cible = normes) • Penser en termes d’objectifs SMART (évaluable, mesurable) et normés : pex, x % de dossiers qui doivent être préparés dans les x jours ouvrables, augmentation de médicaments génériques prescrits de x % d’ici 2008, de y % d’ici 2010 etc ..

13. INAMI : définition des indicateurs • Elaboration des indicateurs : • proposition du chef de projet et son équipe • contrôle qualité (Cellule modernisation) • validation par hiérarchie • validation et proposition d’amélioration possible par le Commissaire du gouvernement • Indicateurs quantitatifs (ex. délais) mais aussi qualitatifs (ex. erreurs)

14. INAMI : définition des indicateurs • Indicateurs autour d’axes stratégiques précis : • Maîtrise des dépenses • Amélioration du service rendu aux usagers • Simplification administrative (pex procédures) • Meilleure application uniforme de la réglementation SSI • Points de discussion : • surtout sur la faisabilité de l’indicateur et les risques de dépendance (ex: OA, OT, firmes phamaceutiques,..) • sur les moyens à libérer par le management pour un investissement IT ou un renfort en personnel éventuel,… • et aussi surtout sur le niveau d’ambition de la valeur-cible de l’indicateur (norme, standard) • …

15. INAMI : exemple des tableaux de bord Contrat d’administration Suivre et mesurer par indicateurs les: • Actions • Résultats effectifs - engagements • Résultats - hors engagements (résultats attendus / effets escomptés) : Impact/Outcomes • Facteurs d’environnement qui peuvent influencer la réalisation des actions et résultats

16. INAMI : typologie des tableaux de bord • Mesurer et suivre les délais et/ou la qualité de traitement de dossiers • Exemples concrets : Conseil Médical de l’Invalidité, Commission de Remboursement du Médicament, Fonds spécial de solidarité, .. • Mesurer et suivre les délais et/ou la qualité de validation de données • Exemples concrets : Pharmanet, Séjours hospitaliers anonymes, .. • Mesurer et suivre l’efficacité de politiques publiques ou de projets initiés par l’Inami • Exemples concrets : Nouvelle règle en incapacité de travail, Call-center SdSS, ..

17. INAMI : typologie – exemple CRM

18. INAMI : typologie – exemple Pharmanet

19. INAMI : typologie – exemple CRM

20. INAMI : typologie – exemple Callcenter SdSS

21. SPF : rôle quant à la définition des indicateurs des IPSS • Aucun jugement sur l’opportunité des objectifs et indicateurs : responsabilité des parties contractantes • Critères de qualité • Contrat : opérationnalisation, normes, indicateurs (précision, validité, fiabilité), SMART, analyse de risques • Rapport : lisibilité, consistance, fiabilité • Analyse technique • Analyse après deux années + rapport sur proposition • Check-up qualité : SMART – degré d’opérationnalisation Objectifs Résultats • Présence d’indicateurs : ops • Clarté des objectifs • Clarté des résultats • Adéquation résultats - objectifs

22. SPF : indicateurs de processus Rapport IPSS Réaction CGo Concer-tation IPSS-CGo Envoi dossier au Ministre • La phase a-t-elle eu lieu ? • S’est-elle déroulée dans les délais prescrits ? • Remarques ?

23. Collecte & exploitation de l’information

24. INAMI : collecte et exploitation Richesse mais aussi difficulté et risque (dépendance) dans la multiplicité des sources de données • Données internes, ex. : • Données sur le traitement administratif de dossiers à l’INAMI (e.a. dossiers d’invalidité, d’admission au remboursement des médicaments, d’octroi du FSS) • Données externes, ex. : • OA (e.a. données diverses, délais de paiement aux assurés sociaux,) • Offices de tarification (e.a. consommation pharmaceutique en ambulatoire) • Dispensateurs de soins (e.a. via questionnaires) • Coût de la collecte (application ICT, renforts RH, dépendance acteurs extérieurs,…)

25. INAMI : collecte et exploitation • Importance de l’informatique dans la collecte des données de l’indicateur : • Dorénavant, lorsqu’une nouvelle application informatique est envisagée ou un projet développé, la nécessité ou l’utilité éventuelle d’intégrer un tableau de bord (statistiques, délais etc ..) est envisagée (ex : informatisation des dossiers contentieux) • Datawarehouse et système de flux de données intégré (lien entre différents indicateurs et objectifs) • Plus grande fiabilité des données si calcul automatique plutôt que manuel (ex : évolution dans le calcul des délais de traitement des dossiers du FSS) • …. • Importance de la qualité des données transmises : même si vérification par Cellule modernisation, la fiabilité doit passer par la mise en place d’une analyse systématique des processus (BPM) et d’un système de gestion des risques et de contrôle interne (+ création d’une cellule d’audit interne) : en cours de développement

26. INAMI : collecte et exploitation • Précautions actuelles au niveau de la qualité et fiabilité des données transmises : • Importance de définitions claires et précises des indicateurs et des objectifs • Importance d’un accord négocié entre toutes les parties concernées par ces définitions • Clairement identifier les responsabilités de chacun en interne dans le processus de production, collecte et exploitation (qui fait quoi) • Rôle de la Cellule modernisation et identification des points de contrôle existants dans les services • Rôle du Commissaire du gouvernement actif dans ce domaine

27. INAMI : collecte et exploitation • Reporting trimestriel au Comité de direction • Objectif : Information + action • Reporting aux Commissaires du gouvernement • Tableaux de bord actualisés (trimestriel) • Informations tirées des indicateurs des tableaux de bord fournies dans un rapport analytique sur l’avancement des projets et objectifs (semestriel) = commentaires des indicateurs et conclusions à en tirer • Reporting au Comité général de gestion (partenaires sociaux, OA, …) • Pas trop d’indicateurs pour que le reporting soit efficace • Réel dialogue et return/feedback : INAMI  Commissaire  CGG  Cabinet Ministre  Commissaire  INAMI

28. INAMI : collecte et exploitation En résumé : • Calculs et analyses valeur/qualité de l’information tirée de l’indicateur • Regrouper ou ventiler les données/informations en fonction du groupe-cible (interne au Service, Comité de direction, Commissaires du gouvernement,…)

29. CS Affaire sociales

30. SPF : suivi général des résultats Conseil des Ministres Ministre de Tutelle / Ministre du Budget Rapport du 27è mois Rapport commun SPF Sécurité sociale Commissaires du Gouvernement Proposition de consolidation & analyse générale Concertation annuelle Remarques Remarques Proposition de rapport annuel Collège Institution

31. 100% 90% Qualité de l’info OK 80% 70,4% 70% Inadéquation entre la norme et les résultats Objectifs 60% 5,3 % opérationnels avec un problème d’info 50% 29,6% 40% Pas d’info sur les résultats Norme peu claire & 12,2 % 30% Pas d’info sur les résultats Pourcentage d’objectifs 3,3 % 20% Norme peu claire 8,7% 10% 0% SPF : check up qualité

32. SPF : analyse générale

33. SPF : analyse – homogénéité Nombre d’objectifs Degré de réalisation Qualité de l’info Opérationnalisation

34. SPF : soutien indirect à la collecte et l’exploitation • Le SPF mets à la disposition des IPSS des instruments de gestion • Recherches IAU : mesures des résultats, budgets orientés résultats et gestion des risques • Recherche SPP Pol Scient : gestion des réseaux secondaires

35. Effets en fonction des indicateurs

36. SPF: fonctions des indicateurs Manques : efficacité / risques

37. Constatations du SPF • Le comportement de l’État s’adapte aux résultats • Résultats pris en compte lors des négociations • Indicateurs du contrat = indicateur sur la situation de l’IPSS • Le suivi et la concertation deviennent une obligation • Début d’évaluation : structurelle, pas encore financière • Indicateurs négociés = stimulus pour l’innovation au sein de certaines IPSS • Pour le SPF • Rôle de soutien • Consolidation requiert des commissaires professionnels

38. CS Affaires sociales

39. INAMI : effets de l’information • Rappel : Objectif/projet (planning)  Tableau de bord (délimitation objet de mesure) Indicateurs (définition) Données (collecte, analyse et contrôle qualité)  information (rapportage)  décision !! Outil d’aide à la prise de décision et de dialogue périodique ! • Au regard de cette ligne du temps et d’actions et outre l’importance de la qualité des indicateurs élaborés, la qualité de l’information et de la décision dépend souvent de la qualité de l’objectif déterminé ! • En concertation avec le Cabinet et le Commissaire du gouvernement, le “focus” via un suivi par tableaux de bord est réalisé : • sur nos points faibles en termes de traitement de données ou de dossiers • sur les parties du secteur soins de santé et indemnités considérés comme stratégiques (médicaments pex) • … Autrement, il est essentiel de d’abord avoir un accord sur ce qu’on veut avoir comme information pour ensuite se poser la question de savoir ce qu’il importe de mesurer exactement et si nous disposons des moyens internes et externes pour le faire !

40. INAMI : effets de l’information • Le focus sur certains secteurs à suivre en particulier par le biais d’indicateurs ne signifie pas et n’a pas pour effet non plus que les autres secteurs qui ne feraient pas l’objet de ce suivi dysfonctionneraient : Mais vu qu’il n’y a pas d’indicateurs dans ces domaines, comment le démontrer !?! • Constatation d’une meilleure qualité du processus décisionnel. Les indicateurs ont permis : • de clairement et rapidement faire le point sur la situation et prendre les décisions-actions correctrices en interne (pex. renfort IT ou RH, réorganisation d’un service, analyse des processus,…) ou en externe (pex. contacts avec le Cabinet, les OA etc ..) • d’objectiver notre ‘fonctionnement’ en externe et ainsi de renforcer notre image de marque (outil de reddition des comptes, de marketing public via une communication externe active,..) • d’aider d’autres acteurs (Ministre, OA, OCM,) à prendre les décisions adéquates

41. INAMI : syndrôme du tornesol ? • S’orienter que sur le quantitatif : non (aussi qualitatif) • S’orienter que sur ce qu’on sait mesurer : non (d’où identification de facteurs d’environnement) • S’orienter que sur ce qu’on fait bien : non (nos points faibles aussi visés) • On s’oriente, après concertation et négociation, sur les objectifs (quels domaines à suivre) et indicateurs (quel niveau d’exigeance, de performance à atteindre) cummunément approuvés par les deux parties (INAMI et Politique) • Tout ne figure pas que dans le contrat, il y aussi notre plan stratégique davantage orienté vers le suivi de notre mode de gestion interne (pas d’obligation légale ni de lien ‘évaluation-sanction’)

42. INAMI : fonctions des indicateurs • Essentiellement : indicateurs de réalisation, de résultat, d’impact et de contexte. • Pas encore d’indicateurs d’activité (problème pour négociation du contrat, lien comptabilité analytique) mais cette information, via BSC, sur le fonctionnement interne (données RH, information ICT, suivi des frais d’administration) est en cours de réalisation • Pertinence des indicateurs par rapport à leurs fonctions : • Ceux qui objectivent clairement une situation (ex : CRM pour clarifier responsabilités entre Inami et Cabinet) • Ceux dont les données sont utilisées par d’autres organismes à des fins décisionnelles (ex : FSS pour responsabilisation financière des OA) • Ceux dont les données sont utiles au Ministre pour évaluer sa politique publique (ex : nouvelle règle de cumul en incapacité travail) • Ceux dont les données sont utiles à l’Inami pour évaluer son projet (ex : nouveau call-center pour certains dispensateurs de soins) • …

43. INAMI : fonctions des indicateurs • Non pertinence de certains indicateurs : • Ceux dont les données ne sont pas ou peu utilisées par l’Inami, le Ministre ou d’autres organismes,…, autrement dit dont il est impossible de tirer des informations ou dont les informations à en tirer sont de faible qualité, pauvres ou peu fiables • Ceux qui sont redondants ou trop complexes/détaillés et qui n’ont pas nécessairement une grande plus-value • … Attention : • Indicateurs reformulés pour mieux coller à la réalité (organisation ‘apprenante’) • Un indicateur dont la collecte des données pourrait par exemple poser problème (relations de dépendance avec partenaires, problèmes informatiques,…) n’est pas pour autant un indicateur non pertinent !!

44. Conclusions

45. Conclusions pour le SPF • Qualité minimale présente partout • Cellule commissaires • Développement de nouveaux indicateurs : efficacité & risques • Développement de l’audit interne • Flexibilité du système de concertation • Évaluation

46. Conclusions pour l’INAMI • Expérience très positive mais pour une introduction progessive des indicateurs (nombre de tableaux de bord plus élevé dans le 2ème contrat par rapport au 1er) • Opter, au regard de valeur actuelle qui servira de valeur départ, pour une évolution également progressive de l’objectif à atteindre ou de la valeur-cible de l’indicateur (norme, standard) : ambiteux mais réaliste ! • Efforts à fournir pour une extension des indicateurs relatifs à nos missions (administratives, financières,…) tout en gardant nos indicateurs d’objectifs/de projets. A noter que des indicateurs de missions existent déjà (pex traitement de dossiers ou de données, paiement des dispensateurs de soins, communication des montants et tarifs,…)

47. Conclusions pour l’INAMI • Les indicateurs ne couvrent et ne couvriront jamais toutes les missions (multiples et complexes) de l’Inami ! Ce n’est ni souhaité, ni souhaitable ! Notre volonté n’est pas de tout mesurer ! Tout ne se mesure pas ou ne s’y prête pas ! • Même si le sentiment est moins présent, parfois encore inquiétude par rapport aux indicateurs : • quant à la lourdeur (rapport coûts/bénéfices) • l’intérêt, l’utilité et l’usage (pourquoi, pour qui ?) • ou encore le risque d’utilisation des données à un niveau individuel (crainte de la sanction) …. Importance donc de bien communiquer sur la valeur ajoutée et l’usage qui en sera fait !!

48. Conclusions pour l’INAMI • Dès qu’on planifie un projet ou une application IT, adoption d’un “réflexe tableau de bord” (quelles données, comment collecter, comment traiter, quel reporting, ..) • Faire preuve de souplesse dans la possibilité d’adaptation des indicateurs (pouvoir adapter les indicateurs avec l’expérience)…mais attention veiller au contrôle qualité pour vérifier la motivation de cette modification et l’impact pour le suivi du projet ou objectif (risque de comparer des éléments différents ou calculés différemment) …

49. Conclusions pour l’INAMI • Outre la problématique de l’accès aux sources de données, aux partenariats et accords à conclure en la matière…, nous sommes très attentifs au rapport coûts (charge de travail) - bénéfices (informations à tirer) du tableau de bord • En définitive, toujours se poser les mêmes questions essentielles à avoir : quoi mesurer, pourquoi, rapport coûts/bénéfices, comment mesurer, reporting de l’information + à qui + périodicité + mode de reporting,…

50. Conclusion pour la CS Affaires sociales