150 likes | 338 Views
Kvalitetsindikatorer for enhver pris?. Hvor velegnet er dagens norske og utenlandske indikatorer for kommuner og sentrale myndigheter? Einar Bowitz. Innhold. Hva er en kvalitetsindikator? Kvalitetsindikatorer for Skole og for Pleie- og omsorgstjenester i Norge og utlandet
E N D
Kvalitetsindikatorer for enhver pris? Hvor velegnet er dagens norske og utenlandske indikatorer for kommuner og sentrale myndigheter? Einar Bowitz
Innhold Hva er en kvalitetsindikator? Kvalitetsindikatorer for Skole og for Pleie- og omsorgstjenester i Norge og utlandet Hvordan brukes indikatorene Hva er en god indikator? Hvor egnet er de norske indikatorsettene? Hva bør skje? 2 7. juni 2014
Kvalitet og kvantitet Kvalitet defineres ulikt Generell definisjon: Hvor godt er tjenesten egnet til å tilfredsstille målet med tjenesten brukernes behov tekniske og faglige krav Mange kvalitetselementer mange indikatorer Struktur Prosess Produkt/tjeneste Resultat Struktur Prosess Resultat Også ”gamle” KOSTRA-indikatorer måler kvalitet (strukturkvalitet) Skillet mellom kvalitet og kvantitet er ofte mer til bry enn til nytte 3 7. juni 2014
Internasjonalt-Pleie og omsorg (PO) Objektive indikatorer vanlig i den norske spesialisthelsetjenesten Lite fokus på PO i internasjonale sammenligninger av indikatorer. OECD-landene fokuserer indikatorarbeidet i PO på objektive medisinske indikatorer Begrenset materiale på internasjonalt nivå Man henviser til arbeidet med indikatorer innenfor rammen av Residential Assessment Instrument (RAI) Individdata for funksjonsevne, medisinsk tilstand og behandlingstiltak Jf IPLOS 4 7. juni 2014
Et svensk eksempel Sveriges Kommuner och Landsting (2007) Kvalitetsindikatorer for eldreomsorgen på kommunenivå God behandling 5 medisinske indikatorer (fallskader, ++) Service Andel enerom med dusj Personellet Andel med pleierutdanning, turnover Kostnad Avvik fra standardkostnad,++ Innhold Andel 80+ som mottar hjemmetjeneste, særskilt bolig. • Brukerundersøkelser gjøres, men er ikke standardiserte 5 7. juni 2014
Norge-P&O KOSTRA Mye strukturindikatorer. Andel enerom, andel med tidsbegrenset opphold i institusjon, personaldata, lege/fysioterapitimer per person i sykehjem. Ressursindikatorer er der fra før Effektiviseringsnettverkene (KS) Frivillig (ca 50 i pleie og omsorg) Mål å gi et helhetlig bilde av sektoren i kommunen Brukerundersøkelser Objektive/administrative data (saksbehandlingstid, innvilgelsesandel, mm) Benchmarking Kommunehelseprofiler Mye Kostra-data og annen SSB-statistikk TNS-Gallup – nasjonale brukertilfredshetsundersøkelser (utvalg) IPLOS – men indikatorer må defineres Oslo Kommune – eksempel på objektive indikatorer 6 7. juni 2014
Krav til tjenesteindikatorer Validitet – måler det den skal måle Enkel å tolke Målingspålitelighet Påvirkbar – og at ikke utenforliggende forhold påvirker indikatoren Tidlig varsel Billig å lage Helhetlig indikatorsett 7 7. juni 2014
Vurdering P&O KOSTRA Ikke helhetlig siden det ikke er resultatmål der Mangler en del strukturinformasjon som ventetid, tilgjengelighet mm Dekker alle kommuner – nasjonale data Effektiviseringsnettverk Helhetlig. Balanse mellom brukerundersøkelser, adm data og KOSTRA-data Analytisk gjennomtenkt mht struktur, prosess og resultat. Gode veiledere til brukerundersøkelser MEN: Frivillig og gir ikke nasjonal styringsinformasjon TNS-Gallups tilnærming Utvalgsundersøkelse Litt uryddig mht bruker/pårørende/borger. Bare for nasjonale data 8 7. juni 2014
Internasjonalt - Utdanning Stor politisk oppmerksomhet på OECD/EU-nivå og nasjonalt nivå Mye indikatorbruk Knyttes direkte opp mot politiske mål Ikke skille mellom kvalitetsindikatorer og andre indikatorer Indikatorene presenteres i en grundig faglig og politisk sammenheng Education at a glance er på mer enn 400 sider. PISA – også omfattende og grundig. OECD har mål og drøfting av mål som er mer generelle og allmenne enn det som er tilfelle i EU EU-arbeidet nært knyttet opp mot politiske prosesser og politiske mål En del av målene i EUs opplegg man ønsker indikatorer for er så vage at virker lite meningsfullt å lage indikatorer. 9 7. juni 2014
Norge – utdanning: Skoleporten Skoleporten synes å jobbe langs lignende linjer som OECD og EU. Indikatorer: Ressursbruk Strukturdata Mye resultatdata Karakterer Nasjonale prøver Grunnskolepoeng Gjennomføring Ikke skolebidragsindikatorer Elevundersøkelsen Ikke foreldreundersøkelsen (som er frivilling, men som mange skoler gjennomfører) Ikke alle svar fra elevundersøkelsen Tekniske begrensninger på portalen Godt dekkende indikatorsett for ressurser, strukturkvalitet, prosesskvalitet og resultater (læring). Utdanningsspeilet er et hjelpemiddel Samlet mye positivt 10 7. juni 2014
Norge-Utdanning-Øvrig PISA m fl. Treårig analyserapport Belyser endring i gjennomsnittlig prestasjon over tid Gyldige sammenligninger med andre land Bare form av en rapport Dette er analyse, til forskjell fra statistikk/indikatorer KOSTRA Mye overlapp med Skoleporten Behov for klar arbeidsdeling KOSTRA/Skoleporten Mange flere skoleindikatorer i KOSTRA kan være kvalitetsindikatorer Men igjen – ikke noe behov for skarpt skille GSI/VIGO I hovedsak leverandør til andre portaler. 11 7. juni 2014
Utdanning-vurdering • Skoleporten: Helhetlig og bredt dekkende. Hjelp til tolkningen gjennom en årlig situasjonsrapport. • Obligatorisk gjennomføring og sentraliserte prosedyrer for spørreundersøkelser er positivt • Savner: • Metodisk drøfting av hvilke mål indikatorene kan si noe om og hvilke mål de ikke kan si noe om. • Spredningsdata • Data for sammenhenger med bakgrunnskjennetegn • Lesetest • Skolebidragsindikatorer • Foreldreundersøkelsen/mer info fra elevundersøkelsen 12 7. juni 2014
KOSTRA-1 KOSTRA har et analytisk opplegg som ikke følges Struktur – prosess – produkt – resultat Det er stort sett de første som benyttes Feil å kalle dette kvalitet mens det andre er noe annet Heller: Tjenesteindikatorer Hvor godt dagens KOSTRA uttrykker hvor gode tjenestene er, varierer: Tekniske tjenester: Mye bra, men kan gjøre mer Skole: Mye bra, men vurder grenseflaten mot Skoleporten Pleie og omsorg: Mer brukerundersøkelser. IPLOS lovende. Barnehage: Mer brukerundersøkelser. Sos & Barnevern – for vanskelig med resultatindikatorer? Kirke, kultur, planlegging: Vanskelig – stopp her? Samferdsel: En del bra objektive indikatorer. Databank – ingen kvalitetsportal 13 7. juni 2014
Sentrale myndigheter Nasjonale portaler for P&O og barnehager også, på samme måte som Skoleporten? Behov for standardiserte brukerundersøkelser og nasjonale tall Behov for tilstandsrapport på flere felt? Staten må ta styringen Videreutvikling: Mer bruk av objektive indikatorer Utvikle indikatorer basert på IPLOS Mer sofistikerte indikatorer (spredningsmål, korrelasjoner) basert på eksisterende data 14 7. juni 2014
Kommunen Tjenesteindikator – Glem skillet kvalitet – kvantitet Knytte indikatorene opp mot politiske eller andre mål for tjenesten Helhetlige indikatorsett kan man få i bedrekommune.no Skole og PO peker seg ut I mange sektorer bør man ikke forsøke en gang Pga frivillighet Vanskelig å benchmark’e? Er gjennomføringen av brukerundersøkelser og datainnsamling enhetlig? Tolkning av indikatorsett – mer ressurser på det? Videreutvikling: Som for staten Samarbeide mer med staten? 15 7. juni 2014