Eerlijk onderwijskwaliteit vergelijken: De aanpak van de Keuzegids

1. Eerlijk onderwijskwaliteit vergelijken: De aanpak van de Keuzegids Inleiding voor de conferentie: “Onderwijskwaliteit zichtbaar maken” Rotterdam, 13 april 2010 Frank Steenkamp (hoofdredacteur Keuzegids)

2. Opbouw A. Intro B. Onze aanpak C. Eisen aan informatie Eerlijk kwaliteit vergelijken

3. A. Intro, de Keuzegids Al 19 jaar onafhankelijke consumentengids, voor studiekiezers, decanen, ouders Want: te veel foute keuzes te veel des-informatie te weinig focus op kwaliteit Daarom: Kritisch opleidingen vergelijken, nu al voor 5 deelpublieken (Mbo-MA) Eerlijk kwaliteit vergelijken

4. Intro: drie kernbegrippen Opleiding staat centraal = studiebij instelling Kwaliteit van het onderwijs: inhoud / proces / organisatie / faciliteiten Vergelijken - een vak apart Eerlijk kwaliteit vergelijken

5. B. Aanpak: vergelijken, WAT? WAT vergelijken? =>Studies(op inhoud, arbeidsmarkt, toelating) =>Verwante opleidingen (op inhoud, kwaliteit, organisatie, prijs) Eerlijk kwaliteit vergelijken

6. Aanpak: vergelijken, HOE? (2) Gestructureerd: - Vaste stappenvolgorde - Kwaliteit: Rankingop vaste set criteria - Systematische toelichting Dus tamelijk ‘sturend’ Tegenpool / complement van Studiekeuze123 Eerlijk kwaliteit vergelijken

7. Aanpak: Waarom verwante studies? Redenen: 1. Zelfde type opleiding, student (‘cultuur’) 2. Relevantie voor studiekiezer 3. (Tot nu toe:) gelijktijdig onderzocht Eerlijkste aanpak: appelen met appelen Eerlijk kwaliteit vergelijken

8. Aanpak: “verwante studies” Maar: Verwantschap niet altijd zonneklaar. Modieuze studies, profilering Voorbeeld: wo economie / wo bedrijfseconomie / wo economie en bedrijfseconomie / wo economie en bedrijfskunde / wo economie en beleid. Eerlijk kwaliteit vergelijken

9. 100 ‘unieke’ studies in sector economie 6 apart geregistreerde typen ba-studies hotelmanagement Deze profileringsdrang behoeft nuchter enkritisch tegenspel.

10. Aanpak, hoe ranken? “Kies je eigen criteria” heeft beperkingen: =>Scholier: geen ervaren consument, =>Criteria:overlap en statistisch verband =>Presentatie:goede web-ranking heel moeilijk Daarom in Keuzegids: geïntegreerde ranking Eerlijk kwaliteit vergelijken

11. Aanpak: geïntegreerde ranking Tot 2008 per studie 4 tabellen/grafieken: - feiten, inhoudsvergelijking - studentenoordelen(10 hoofdpunten + totaal) - studietempo(‘rendement’) - deskundigenoordelenuit visitaties Sinds 2009: alles inéén compacte tabel, incl prijs Criteria gebaseerd op veel onderzoek. Evenwichtige mix. Eerlijk kwaliteit vergelijken

12. RANKING: Informatiereductie! * 10 rappcijfers -> 5 +/- kolommen Van 300 naar 35 ‘toestanden’. Isfactor 9 reductie!

13. Waarom zo sterke reductie? 1. EENVOUD, overzicht ‘at a glance’ 2. SCHIJNPRECISIE overboord 3. Ruimte voor MEER CRITERIA: groepsgrootte, uitval, rendement, accreditatiescore. NB: de essentie van sterkste/ zwakste ongewijzigd. [NB2: deels uit nood geboren…] Informatiereductie: Waarom?

14. Eenvouden transparantie Voor iedereen na te rekenen: TOTAALSCORE OPLEIDING: 10 criteria, elk telt voor 10% mee. Tien maal ‘o’ is 60 punten. Elke ‘+’ is 2 punt extra, elke ‘-’ 2 punt verlies. Dus RANKING: Hoe berekend?

15. C. Kwaliteitseisen aan informatie 1. Objectief, onafhankelijk & transparant 2. Volledig en dekkend op detailniveau 3. Uniform & evenwichtig 4. Relevant, valide & actueel 5. Betrouwbaar en stabiel Eerlijk kwaliteit vergelijken

16. Eisen,1: Objectief, onafhankelijk Onafhankelijk = GEEN invloed van opleidingen. Nu wèl flinke invloedop Studenten Enquête NSE Vragen contacturen, groepsgrootte, extra kosten geskipt. Want: “die gegevens hebben we zelf.” Denkfout: cijfers plandocument vervangen niet monitoring van praktijk! (5-jarenplannen Sovjetunie). Keuzegidsredactie spant zich in: vragen terug in NSE Eerlijk kwaliteit vergelijken

17. Eis 2+4: Volledig, gedetailleerd, actueel HBO-raad en VSNU: cijfers rendement en alumnisucces. Verschil in inzet: VSNU: geen cijfers masterrendement (hbo wel) geen actuele cijfers uitval 1e jaar (hbo wel) snijdt in enquête alumni (juist nu!?) berekent géén stafstudentratio’s (hbo wel) HBO meet meer, èn biedt veel meer openheid Eerlijk kwaliteit vergelijken

18. Voorbeeld: Slaagpercentage bachelor HBO-raad: op publieke site DRAAITABEL met: - cijfers per jaargang, per instelling/opleiding - uitsplitsing vooropl, vt/dt, leeftijd, etniciteit DUS Volledig, gedetailleerd, objectief, transparant VSNU biedt aan Studiekeuze123 PLATTE TABEL: - cijfers laatste jaargang, zonder uitsplitsing - gebaseerd op ideale cohort: alléén VWO’ers voltijd Koers VSNU dient niet belang Studiekiezeren doet de branche tekort. Keuzegids speelt dan luis in de pels. Eerlijk kwaliteit vergelijken

19. Eis 3: Evenwichtig Nu over ONZE ROL bij “Opleidingen vergelijken” Plicht: Zorgvuldig en evenwichtig presenteren: - bekostigd vgl met particulier - arme en rijke sectoren, instellingen (Vgl studiekeuzesite Qompas: 7e sector “Luchtvaart” Lokt scholieren naar opl met 100.000 euro cursusgeld…. ) Eerlijk kwaliteit vergelijken

20. Eis 2b: Opnieuw volledigheid Bij elke opleiding hoort informatie over o.a.: - Collegegeld (m.n. bij niet-bekostigde opl.) - Titel na afstuderen - Accreditatiestatus (incl scores uit visitatie) In landelijke database ontbreekt 50% van deze data… Keuzegids mag hier geen lege plekken bevatten. Dus grote inzet redactie voor aanvullen. En druk op SK123 Eerlijk kwaliteit vergelijken

21. Eis 5a: Betrouwbaarheid BELANGRIJKE EISEN aan gepubliceerde cijfers: - Representatief - Statisch betrouwbaar Alle cijfers Keuzegids hierop regelmatig getoetst en geijkt. => ingrepen, zoals: bij kleine N schrappen of meerjarig. . Maar soms afhankelijk van gezaghebbende bron, die toch steken laat vallen. Twee voorbeelden. Eerlijk kwaliteit vergelijken

22. Eis 5b: Stabiliteit, fluctuaties en trends Speciale interesse in variaties in de TIJD: - wat is ‘ruis’, wat is èchte verandering, TREND? Voorbeeld: WO Geneeskunde Zien we consistente patronen? Eerlijk kwaliteit vergelijken

23. TRENDS: Voorbeeld Geneeskunde (2) Maastricht was top, maar lijkt structureel ingehaald door navolger Groningen. Nijmegen was rond 2000 bijna top, maar boert langzaam wat achteruit. Het verschil met Groningen groeit Eerlijk kwaliteit vergelijken

24. Hoe verder? 1. De Keuzegids blijft, zolang hij niet overbodig wordt gemaakt 2. Studiekiezer is de eerste en belangrijkste doelgroep 3. Aanpak en combi met historie ook bruikbaar voor benchmarking . Eerlijk kwaliteit vergelijken