FLANKEREND ONDERWIJSBELEID DINSDAG 21 OKTOBER 2008

1. FLANKEREND ONDERWIJSBELEIDDINSDAG 21 OKTOBER 2008

2. VOLGENS VAN DALE Indicator:- Verschijnsel dat op iets wijst, factor die iets aangeeft (vb het personeelsverloop is de indicator dat het bedrijf slecht wordt bestuurd- (getals)waarde die aanwijzingen geeft voor een redelijk betrouwbare schatting van (onbekende) waarde of gegevens van een groter geheel Maat:- eenheid waarmee grootheden van een andere soort gemeten worden, - afmeting of grootte Maatstaf- normering, datgene waarnaar men iets beoordeelt of bepaalt Variabele:- grootheid die in waarde kan veranderen- iedere eigenschap of ieder kenmerk van een persoon, omgeving of experimentele situatie die kan variëren van persoon, situatie of omgeving Parameter:- naast de eigenlijke variabelen optredende, onbepaald gelaten of constant gehouden grootheid waarvan een wiskundige of natuurkundige functie afhangt- grootheid waarmee het verloop van technische processen wordt getoetst of het vermogen van een machine kan worden bepaald, - veranderlijke grootheid zoals tijd, materiaalkosten, …

3. VOLGENS VAN DALE (vervolg) Grootheid : iedere zaak in zoverre die voor vermeerdering of vermindering vatbaar is (positieve en negatieve grootheid, grootte)Cijfer: uitgedrukt getal, vast teken om een aantal voor te stellenIN TEKSTENALLERHANDE meetgegeven, meetnorm, richtwaarde, meetsysteem, meetonderwerp, indicatorenstelsel, nulmeting, meetinstrument, meetschalen, meeteenheid, kwalitatieve en kwantitatieve indicator, enkelvoudige en samengestelde variabele (indicator), absolute en relatieve grootheden,Hoe begrijpen ? - een indicator is een kwantitatieve expressie van de activiteiten en/of resultaten van de organisatie en de effecten ervan- een indicator is een meeteenheid die onrechtstreeks een benadering geeft van een bepaalde grootheid (bv effectiviteit, zuinigheid, efficiëntie)

4. BEHOEFTE _ PROBLEEM EXTERNE DOELSTELLINGEN FORMULEREN/KIEZEN/UITWERKEN INTERNE DOELSTELLINGEN BEPALEN/KIEZEN/DOCUMENTEREN METEN, TOETSEN, EVALUEREN VAN BELEIDS -EFFECTEN ( bijv.via INDICATOREN) OPVOLGEN via INDICATOREN ACTIES/INSTRUMENTEN BEPALEN/KIEZEN DOKUMENTEREN ACTIES UITVOEREN

5. Basisschema productie goederen/dienstverlening BEHOEFTE _ PROBLEEM impact KT LT M A P E INPUT - THROUHGPUT - OUTPUT - OUTCOME personeel processen gedragswijziging geld activiteiten produkten wijziging in omgeving organisatie instrumenten diensten kennis I N T E R N KLANT RELEVANTE EXTERNE OMGEVING

6. Wat leert dit schema in vergelijking met het voorgaande Strategische doelstellingen beleidscyclus Operationele doelstellingen beheerscyclus input proces output impact effect organisatiegrens omgeving

7. Indicatoren moeten gekoppeld zijnaan de beheer (opvolging) en beleid (strategie) BEHOEFTE _ PROBLEEM Omgevingsfactoren Strategie Doelstellingen Duurzame Effectiviteit (LT) Projecten Input Throughput Output Outcome Programma-effect (KT-Direct) zuinigheid efficiency doelbereiking

10. OEFENING MAPE ‘DIENST HUISVESTING’ Middelen Activiteiten Prestaties Effecten - personeel - intake - gesprek - klanten vinden weg naar aanbod - geld - fin hulp - - er is voldoend aanvullend aanbod - organisatie - bemiddeling - sociale woningen - infrastructuur - begeleiding - - - creatie aanbod - groter aanbod - - renovatie won - gerenoveerde won - - - samenw verhuurkantoren - samenwerking - - - sociaal beheersrecht - - - - participeren CPSH - participatie - betere toegankelijkheid - - participatie RvB HMy - participatie van bestaande sociale - - samenwerking HMy - samenwerking woongelegenheden - - analyse behoeften - document - kwetsbare en zorgbehoevende klanten - - signaalfunctie dienst W&W beschikken over kwa/beta/aang/toeg - - - woning - - enz - enz - sociale leefbaarheid in buurten is verhoogd (“buurten voor iedereen”)

11. Voorbeeld Organisatie: Lagere school Input - leraars, directie, ander personeel, - schoolgebouwen + logistiek + financiën + traditie + ouders - cultuur+structuur van de school - organisatie+aantal uren les Throughput - methodes en technieken van lesgeven, - extra activiteiten, klassfeer, schoolsfeer, Output -leesvaardigheid van de 12-jarigen, kennispeil, houdingen, groepsverbondenheid van de lln, …. Outcome - de mate waarin de lln de kennis, attitudes, verder ontwikkelen, vorm geven, etc.

12. RELATIE INDICATOR-CSF-DOELSTELLING -MISSIE/OPDRACHT Missie/Opdracht Het plaatselijk jeugdwerk ondersteunen Doel / effect Stemmen winnen volgende verkiezingen Het ledenaantal vergroten De financiële leefbaarheid ondersteunen Belang rijk Steun op het gepaste moment aan de grootste groepen Goede afspraken, bijv waarvoor en hoelang een extra-ondersteuning, en waarvoor ze kan aangewend worden Kennis van motieven van niet-deelname aan het jeugdwerk Stand in de verhouding eigen middelen/subsidies op einde van periode Indicator effect Verkiezingsuitslag Groeicijfers Resultaten studie Wekelijkse aanwezigheid op … Tussentijdse stand via rapporten Indicator proces

13. Pawson: stelt vanuit de beleidstheorie de vraag onder welke omstandigheid voor wie het beleid zou kunnen werken. • Beleidstheorie: relatie tussen de inzet van middelen en beoogde doelstellingen

19. Smart Growth City Council Focus Areas Community Safety City Within a City Restructuring Government Economic Development Transportation Corporate Scorecard Customer Perspective Reduce Crime Increase Perception of Safety Strengthen Neighborhoods Enhance Service Delivery Maintain Competitive Tax Rate Provide Safe, Convenient Transportation Promote Economic Opportunity Secure Funding/Service Partners Maximize Benefit/Cost Grow the Tax Base Maintain AAA Rating Financial Perspective Promote Community-Based Problem Solving Increase Positive Contacts Increase Infrastructure Capacity Streamline Customer Interactions Improve Productivity Internal Process Perspective Learning & Growth Perspective Enhance Information Management Achieve Positive Employee Climate Close Skills Gap

20. City Council Focus Areas Corporate/Balanced Scorecard Business Plans Incentive Targets Individual Employee Performance Plans City of Charlotte Performance Management System Linkage

21. Wat is een indicator ? • een indicator is een meeteenheid die onrechtstreeks een benadering geeft van een bepaalde grootheid/fenomeen vaak ook gebruikt in de zin van een maatstaf : deze meet/telt een fenomeen precies en ondubbelzinnig dus: opvolgen via indicatoren, maatstaven (variabelen, parameters, ….)

22. Indicatoren als stuurgetallen en/of kengetallen • Stuurgetallen: • sluiten aan bij de strategie (beleid) • ondersteunen het beheer (control, opvolging) • Kengetallen: • beschrijven de normale karakteristieke kenmerken • van welkdanig aspect ook van de organisatie (input, throughput, output, …)

23. Indicatoren moeten gekoppeld zijnaan de beheer (opvolging) en beleid (strategie) BEHOEFTE _ PROBLEEM Strategie Achtergrondgegevens Kengetallen Doelstellingen Beleidsindicatoren Projecten Input Throughput Output Outcome Beheersindicatoren

24. TENNIS SPELEN Missie relatie Doel winnen fysische conditie met baas concentratie achter elke Belangrijk op een goede baas laten winnen bal lopen terugslagbal opslag Indicator uitslag hartslag einde jaar RELATIE INDICATOR-CSF-DOELSTELLING -MISSIE/OPDRACHT

25. Soorten indicatoren • Beheersmatig: • Input of ingezette middelen (budget, personeel, ICT, …) • Through put of proces (werking) • Output of prestaties • Beleidsmatig: • Impact - outcome

26. Soorten indicatoren volgens gezichtspunt ((perspectief) Gebied Financieel, niet-financieel Transformatieproces Middelen, proces-, prestaties, effect, Efficiency, Effectiviteit, Economy, Equity Besturingsniveau Strategisch, taktisch, operationeel Objectiviteit/meetbaarheid Kwantitatief, kwalitatief Tijdshorizon Verleden (lagging), toekomst (leading) Managementcyclus Beleids-, beheers- Duidingsachtergrond Omgevingsindicatoren

27. Onderdelen van een indicator 1. ONDERWERP VAN DE METING: moet relevant zijn vb tevredenheid bewoner sociale woning 2. MAATSTAF OM ONDERWERP TE KUNNEN METEN. In functie van wat we willen meten. 3. NORM WAARMEE HET MEETRESULTAAT VERGELEKEN WORDT - score gemiddeld bij alle inwoners al dan niet van zelfde karakteristieken

28. Indicatoren definiëren • Belang voor de kwaliteit van het monitoringsysteem • voorbeeld ‘% langdurig jonge werklozen’ • wat is jong, langdurig en werkloos (nww, uvw) ??? • meerdere actoren met eigen definities • Daarom: opmaken van indicatorfiche Voor elke indicator afspraken maken over gebruikte terminologie, dimensies en aggregatieniveaus, meetfrequentie, verantwoordelijke dienst / persoon...

29. Indicatoren selecteren: Praktijkvoorbeeld Doelstelling “ De kwaliteit van de OCMW-dienstverlening voor jongeren verbeteren” • Prestatie: meer jongeren worden succesvol begeleid door het OCMW Indicator : % succesvolle begeleidingen (in maatzorg..) • Prestatie : meer jongeren zijn tevreden over dienstverlening Indicator: % afhakers

30. Indicatoren selecteren: Praktijkvoorbeeld Strategische doelstelling De bestaansafhankelijkheid van jongeren tot een aanvaardbaar niveau reduceren tegen 2001 • Effect 1 : aandeel langdurig jonge werklozen neemt af Indicator : % langdurig werkloze jongeren (-25) • Effect 2: aandeel jongeren in OCMW-cliënteel neemt af Indicator: % jongeren in OCMW-cliënteel Indicator: % jonge BM-gerechtigden tov het aantal jongeren

31. INDICATORFICHE Indicator : aantal klachten per 100 inwoners Verzamelinstantie: gemeente, dienst wijkontwikkeling Verzamelmethode: telling Bron: politie,wijkmanagers, buurttoezichters Definitie: klacht: bericht waarbij de klant meedeelt dat hij een subjectief nadeel ondervindt van door een handeling of het uitstellen van een handeling door de gemeente Dimensie: [Dim.] Soort klacht [Agg.] verloedering, soc. overlast,verkeer [Dim.] Wijk [Agg.] wijk1,wijk2… Begin tijdreeks: 1997 Update: jaarlijks

32. Criteria voor goede indicatoren • kwantiteit en kwaliteit • niet manipuleerbaar • valide en betrouwbaar • relevant • meetbaar • acties mogelijk maken

33. AANTAL AANBEVELINGEN - niet teveel indicatoren: hou het ‘balanced’ naar gezichtspunt, soort, … - focus best op effecten voor klant, my, omgeving (evt ook output) en bekijk van daaruit de interne key performances indicators (PKI’s) - hou ook relevante omgevingsindicatoren bij: voor interpretatie en duiding - kijk naar de verschillende stakeholders-belangen - zoek naar integrerende doelstellingen en integrerende indicatoren

34. AANTAL AANBEVELINGEN - betrek velen bij ontwikkeling (participatief, ook personeel) - maak het systeem flexibel, soepel - kwantificeer doelstellingen - meet klanttevredenheid - laat deskundigen de meetgegevens interpreteren - beoordeel de meetgegevens zorgvuldig - ontwikkel goede referentiepunten

35. AANTAL VALKUILEN - methodologisch pluralisme: wie meet, wat meen men, in welke omstandigheden ? - ziekte van de tijdsverkorting : voldoende lange perspectief houden - atrofieziekte: meting met indicatoren leidt tot daling van de kwaliteit van de prestaties (cfr simpele deelhandelingen worden geteld als volwaardige handelingen) - hypertrofie ziekte: door te meten groeit het aantal zo benoemde prestaties - verkeerde weergave en/of interpretatie - verstarring, bureaucratisering

36. Soorten normen Een norm kan betrekking hebben op de kwantiteit of de kwaliteit (vb de te volgen procedures, omgang met de doelgroep, toegangsmodaliteiten. Politieke of ideologische normen Vroegere metingen (historische vergelijking, in de tijd) Vgl met andere organisaties in dezelfde sector Vgl met andere organisaties buiten de eigen sector Vgl met buitenlandse organisaties ( andere regio’s) Vgl met wetenschappelijke standaarden Resultaat van onderhandeling, afspraken

37. Kwaliteitsvereisten voor normen • Beleidsmatig relevant en flexibel • Systematisch • Consensus over hoogte en inhoud • Beheersbaar • Rekening houden met beschikbare middelen • 1-1 relatie met een indicator • Efficiënt

38. Indicatoren moeten gekoppeld zijnaan de beheer (opvolging) en beleid (strategie) BEHOEFTE _ PROBLEEM Strategie Achtergrondgegevens Kengetallen Doelstellingen Beleidsindicatoren Projecten Input Throughput Output Outcome Beheersindicatoren

39. Het proces van meting tellen, registreren, schatten, enquêteren, meetinstrumenten: - betrouwbaarheid - validiteit (geldigheid) statistische validiteit: interne validiteit: construct validiteit externe validiteit

40. Meetproblemen Meten is niet nodig-syndroom (Pangloss-stelling) (Candide-Voltaire) Meten is onmogelijk Performance en publieke sector gaan niet samen Convex/concaaf : onterecht hogere of lagere waarden meten Output of effect stijgen abnormaal door het meten Output of effect dalen abnormaal door het meten Meer registraties door het meten Geen duidelijk onderscheid tss output en effect Inflatie van indicatoren Korte termijnfocus Het waanbeeld Door het meten wordt de beleidsfocus (ten onrechte) verlegd

41. Stap in het meetproces Functionaliteit Betrouwbaarheid en validiteit Legitimiteit informatieplan Geeft men aan op welke vraag naar informatie de meting inspeelt? Wordt er een afweging gemaakt tussen kosten en baten van een bepaald niveau van validiteit en betrouwbaarheid? Worden de ‘metende‘ actoren betrokken bij de planning? afbakening meetobject wordt het meetobject afgebakend op basis van de vraag naar informatie? indicatoren ontwikkeling Meten de indicatoren wel wat ze moeten meten? Worden medewerkers betrokken bij de ontwikkeling van indicatoren over het eigen werk? dataverzameling Wat is de omvang van de (eventuele) steekproef? analyse van de data Maken de analyses de data meer inzichtelijk en bruikbaar om aan de vraag naar informatie te voldoen? Wordt de betrouwbaarheid en de validiteit gecontroleerd (b.v. door statistisch onderzoek)? Wordt de toegevoegde waarde van de analyses duidelijk gemaakt en gecommuniceerd? rapportage Is de rapportage aangepast aan de specifieke gebruikswijze (vraag) van de informatie? Wordt er teruggekoppeld naar de betrokkenen in het meetsysteem? Mogelijke kwaliteitsvragen voor een meetsysteem

42. het meetsysteem als proces • doelstellingen van het meetsysteem (waarom meten?) (zie artikel R.D. Behn Why Measure Performance • afbakening van het meetobject (wat gaan we meten?) • indicatorenontwikkeling (welke? wie? hoe?) • dataverzameling (wie? hoe? kosten/baten?) • analyse van de data? (van data naar informatie) • rapportage (aangepast aan doelgroep?)  resultaat; informatie geschikt voor gebruik