EVC- kennisnetwerk 17 juni 2014

1. EVC-kennisnetwerk 17 juni 2014 Het gebruik van standaarden en de kwaliteit van assessmentinstrumenten

3. Principes en uitgangspunten EVC-standaarden INGRID VANHOREN AKOV

4. 1. Inleiding Vaststellingen EVC-praktijk • Bronnen • IDEA Consult studie 2011: EVC in het volwassenenonderwijs • IDEA Consult studie 2014: EVC vanuit bedrijfsperspectief • Jaarrapport Ervaringsbewijzen 2013 • Vaststellingen • Gescheiden EVC-praktijken onderwijs en arbeidsmarkt • Beperkt civiel effect en uitwisselbaarheid • Beperkte bekendheid en gebruik van ervaringsbewijs bij ondernemingen • Nood aan formalisering en standaardisatie van EVC-procedures en instrumenten binnen onderwijs • Ontbreken van kwaliteitsborging: competentiegerichte standaarden, betrouwbaarheid en validiteit van instrumenten, deskundigheid begeleiders en beoordelaars

5. 1. Inleiding Antwoorden op vaststellingen • Ontbreken van competentiegerichte standaarden met civiel effect • VKS als uniek referentiekader • Nood aan formalisering en standaardisatie van EVC- procedures in onderwijs • Gemeenschappelijke modulaire trajecten • Ontbreken van kwaliteitsborging  EVC-standaarden

6. 1. Inleiding Relatie VKS en EVC • VKS (beroeps- en onderwijskwalificaties) = referentiekader voor opleidingen en voor EVC • Ontwikkeling van gemeenschappelijk modulaire opleidingstrajecten • Ontwikkeling van EVC-standaarden • Leidt tot twee vormen van EVC • Onderwijs: in functie van vrijstellingen • Arbeidsmarkt: in functie van certificering en kwalificering

7. 2. Modulaire trajecten: Doelstelling en meerwaarde • Vlaamse kwalificatiestructuur als nieuw referentiekader = uniek moment voor afstemming tussen opleidingsverstrekkers in aanbod van beroepsgerichte opleidingen • Meerwaarde voor lerende • Transparant aanbod • Flexibele trajecten • Uitwisselbaar • Methode succesvol gehanteerd voor opleidingsprofiel/-structuren secundair volwassenenonderwijs en leren en werken (hout en bakkerij)

8. 2. Modulaire trajecten: Proces • Modulariseringop basis van erkende beroepskwalificatie(s) • Hanteren van algemene methode • Inbreng van alle partners in de ontwikkeling van modulaire opleidingstrajecten • Instellingsoverschrijdend en onderwijsniveauoverschrijdendopleidingsprofiel • Uitwisselbaarheid modules

9. 2.Modulaire trajecten:Beroepenclusters Logistiek (magazijn) Hout Bakkerij Ruwbouw Kleding en confectie Slagerij Koeling en warmte

10. BeroepenclusterhoutHoutbewerking - Schrijnwerk - Interieur

11. BeroepskwalificatiedossierHoutbewerking - Schrijnwerk - Interieur

12. Opbouw beroepskwalificatiedossier Houtbewerking - Schrijnwerk - Interieur

13. BeroepskwalificatiedossierHoutbewerking - Schrijnwerk - Interieur

14. 2. Modulairetrajecten:Cluster: hout

15. 2. ModulairetrajectenCluster: hout

16. 2. ModulairetrajectenCluster: hout

17. 2. Modulaire trajecten: Consequenties voor EVC • EVC in functie van vrijstellingen en verkorte opleidingstrajecten • Automatische vrijstellingen op basis van reeds gevolgde (modules van) opleidingen • Bij opleidingsverstrekkers met gemeenschappelijke modulaire opleidingstrajecten in formeel onderwijs: volwassenenonderwijs, leren en werken (DBSO), BuSOOV3 • Uitbreiding naar VDAB en Syntra Vlaanderen (leertijd)

18. 3. EVC-standaarden:Inhoud • Omschrijving van beroep, vereiste competenties en context • Vaardigheden als concreet oberveerbare gedragscriteria • Kennis als concrete kennis, specifiek voor de beroepen waar de standaard voor beschreven is • Omschrijving van hanteerbare mix van assessmentmethoden (per standaard of per module) • Omschrijving van richtlijnen voor het afnemen van assessment (context van het beroep, locatie en voorzieningen)

19. 3. EVC-standaarden: Doelstelling en meerwaarde • Kwaliteitskader voor het toepassen en ontwikkelen van assessmentmethoden en –instrumenten • Standaardisering van format en methodologie voor EVC-standaarden • Voorwaarden voor kwaliteitsborging • Basis voor professionalisering • Meerwaarde voor de EVC-aanbieder • Transparant EVC-kader • Vereenvoudiging van procedures • Handvaten voor EVC-praktijk

20. 3. EVC-standaarden: Proces • Op basis van erkende beroepskwalificaties en opleidingsprofielen • Hanteren van algemene methode • Inbreng van alle partners in de ontwikkeling van EVC-standaarden • Beleidsdomein- en onderwijsniveauoverschrijdend

21. 3. EVC-standaarden: Consequenties • Certificering van competenties BK: kwalificatiebewijs • Certificering van competenties modules OP: delen van kwalificatiebewijzen? • Certificering van competenties activiteitenblokken BK: bewijzen van competenties?

22. ?

23. Overzicht van assessmentmethodes en de methodologie van standaarden ROBIN VANDERELST AKOV

24. Een kleine test… • Uit hoeveel vragen moet een meerkeuzetoets minstens bestaan om voldoende betrouwbaar te zijn? • 30 • 40 • 50 • 60 • Wanneer je minstens 3 van de 40 antwoorden niet weet bij een meerkeuzetoets, vanaf wanneer kan je statistisch gezien dan best gokken? • Altijd • Wanneer je één antwoord kan uitsluiten • Wanneer je twee antwoorden kan uitsluiten • Nooit

25. Project ‘Ontwikkelen standaarden’ Achtergrond • Nood aan formalisering en standaardisatie van EVC-procedures en instrumenten binnen onderwijs • Ontbreken van kwaliteitsborging: competentiegerichte standaarden, betrouwbaarheid en validiteit van instrumenten, deskundigheid begeleiders en beoordelaars Waarom dit project? • Besparing van tijd en middelen • Vergemakkelijken van de uitwisselbaarheid van modules tussen de verschillende partners door vertrouwen te scheppen

26. Project ‘Ontwikkelen standaarden’ • Mogelijkheid om expertise te verhogen en de kwaliteit van instrumenten te verhogen • Vergroten van civiel effect door vertrouwen tussen partners en door samenwerking met sectoren Verloop • Vergelijkende landenanalyse • Inhoud en format standaard • Richtlijnen • Assessmentmethodes • Ontwikkelen kwaliteitskit

27. 1. Vergelijkende landenanalyse • Finland • Lange traditie in erkennen van ervaring • Studieloopbaan en arbeidsmarktloopbaan lopen door elkaar • Aansturing vanuit ministerie van onderwijs is sterk aanwezig • Schotland • Initiatief, ontwerp en opstellen gebeurt door sectoren • Centrale coördinatie verzekerd door centrale ScottishQualificationAuthority

28. 1. Vergelijkende landenanalyse • Frankrijk • Lange traditie in erkenning • Sterke aansturing en specifieke aanpak per beleidsdomein • Nederland • Traditioneel vertrekt initiatief vanuit sectoren • Vanaf 2005 met kwaliteitscode EVC gecoördineerd door overheid • Grote vrijheid qua initiatief, format en invulling van standaarden

29. 1. Vergelijkende landenanalyseInhoud standaarden buitenland • Minimum opgenomen: omschrijving van het beroep, kennis, vaardigheden, context • Vaardigheden en kennis worden concreet omschreven: • Vaardigheden als concreet oberveerbare gedragscriteria • Kennis als concrete kennis, specifiek voor de beroepen waar de standaard voor beschreven is • Finland en Schotland, net als Vlaanderen (ervaringsbewijs), nemen concrete richtlijnen op rond het afnemen van assessment betreffende locatie, voorzieningen en context van het beroep. Dit is niet het geval in Nederland

30. 1. Vergelijkende landenanalyse: Inhoud standaarden buitenland • Finland en Schotland: concrete instrumenten opgenomen in standaard: • Omschrijven welk instrument voor welke activiteit/module gebruikt wordt • Omschrijven context, locatie, voorzieningen voor de test • Beoordelingshandleiding voorzien voor assessor in de standaard • Nederland en Frankrijk: concrete instrumenten worden niet opgenomen in standaarden • Wel methodes per activiteit omschreven • Vb. praktijkonderzoek, portfolio, …

31. 2. Inhoud en format standaard: Vlaanderen • Wenselijk om een format te voorzien om duidelijkheid, vergelijkbaarheid en uitwisselbaarheid te garanderen • Activiteiten uit de BK’sovernemen in standaarden • Vaardigheden letterlijk overnemen. Wel bewaken dat ze steeds concreet observeerbaarzijn • Kennis expliciet apart opnemen in de standaarden

32. 3. Richtlijnen: Methodologische vragen • Hoe wordt cesuur bepaald? Moet er een voldoende zijn voor alle activiteiten om te slagen? Moeten er per activiteit voldaan zijn aan alle beoordelingscriteria? • Concrete richtlijnen rond locatie, voorzieningen en context bij het afnemen van een assessment opnemen? • Standaarden geven per activiteitenblok aan welke assessmentmethode gehanteerd wordt? Of in het geheel van de standaard?

33. 4. Assessmentmethodes: Overzicht • Observatie in authentieke setting • Observatie in gesimuleerde setting • Rollenspel • Productproef • Interview: semigestructureerd, gesloten, criteriumgericht • Portfolio • Kennistoets: essayvragen, meerkeuzevragen

34. 4. Assessmentmethodes: Inhoud • Uitleg instrument • Toepassingsgebied • Aandachtspunten in de ontwikkeling van het instrument • Aandachtspunten in het gebruik van het instrument • Gevolgen voor een standaard

35. 4. AssessmentmethodesRollenspel • Een simulatie van een interpersoonlijkeberoepssituatie • Met een van tevoren vastgestelde rol, volgens een bepaald scenario en met standaardreacties • De kandidaat dient gepaste acties tentoon te spreiden • Veelal een specifieke beroepsgerelateerde casus: een specifiek probleem, exemplarisch voor het beroep, wordt omschreven. Vbbegeleider buitenschoolse kinderopvang

36. 4. Assessmentmethodes:Rollenspel Toepassingsgebied • Afhankelijk van het probleem of de situatie die in de specifieke casus omschreven wordt • Afhankelijk van de rol die de kandidaat in de casus dient aan te nemen • Nadruk op beslissingen nemen, analyse en probleemoplossende vaardigheden • Maar ook sociale vaardigheden en commerciële vaardigheden

37. 4. Assessmentmethodes:Rollenspel • Kennis komt onrechtstreeks aan bod. • Kennis kan rechtstreeks getoetst worden door het onderwerp van de betreffende casus goed te kiezen en het scenario zorgvuldig uit te schrijven Aandachtspunten bij de ontwikkeling Validiteit • Belangrijk om een authentieke context te creëren • Sluit het scenario aan bij de realiteit van het werkveld?

38. 4. Assessmentmethodes:Rollenspel • Worden relevante taken opgenomen? • Worden alle vaardigheden die relevant zijn voor de competentie via de taak/opdracht gemeten? • Rollenspel is casusspecifiek: de kandidaat werkt in een rollenspel aan een enkele casus. • Beperkte predictieve validiteit

39. 4. Assessmentmethodes: Rollenspel Betrouwbaarheid • Nood aan een gestandaardiseerd scenario: de simulant dient in elke afgenomen proef op dezelfde wijze te reageren op dezelfde stimulansen van kandidaten • Nood aan een goed uitgeschreven scenario • Nood aan een training van de simulant • De opdrachten, taken moeten helder zijn voor alle betrokkenen

40. 4. Assessmentmethodes:Rollenspel • Het werken met authentieke taken maakt het voorspellen van de taakuitvoering lastig • Door assessoren te trainen interpretaties in dezelfde richting laten gaan • Meestal met vrij globale scoringsrubrieken gewerkt en wordt aan de assessor overgelaten in welke rubriek een gedragsaspect gescoord dient te worden

41. 4. Assessmentmethodes:Rollenspel Aandachtspunten gebruik • Voorbereiding en uitvoering vragen tijd en werk van beoordelaar en kandidaat • Een verhoogd niveau van aandacht en een goede training van de simulant • Observeren en beoordelen van de gestelde acties van de kandidaat en de interactie met de simulant, vraagt een verhoogde aandacht van de assessor • Nood aan voldoende middelen om een testomgeving te creëren en om de nodige tijd en personeelsuren vrij te maken

42. 4. Assessmentmethodes:Rollenspel Gevolgen voor de standaard • Duidelijke criteria beschikbaar zijn voor het scoren van gedrag • Er dient al een basisscenario te worden opgenomen in de standaard • Eventueel de setting opnemen in de standaard • Het scenario dient verder uitgeschreven te worden

43. 4. Assessmentmethodes:Koppeling aan BK’s • BK’sdmv descriptorelementen toegewezen aan VKS-niveau • Descriptorelementen opgedeeld in vb. probleemoplossende vaardigheden, motorische,… • Deze koppelen aan het toepassingsgebied van assessmentmethodes • Opstellen evaluatiematrix, geen exacte wetenschap!

44. 4. Assessmentmethodes: Evaluatiematrix

45. 4. Assessmentmethodes:Voorbeeld • Voorbeeld BK binnenschrijnwerker • Erkend en ingeschaald op niveau 3 • Vooral praktische kennis • Gesloten interview, meerkeuzetoets

46. 5. Ontwikkelen kwaliteitskit • Verdergaand op handleiding standaarden • Ontwikkelen kwaliteitskit voor het ontwikkelen van assessmentinstrumenten op basis van: • Verder verloop project: ontwikkelen testdossiers met sectoren • Samenwerking met ESF-projecten • Wetenschappelijke onderbouwing door studenten KUL olv professor Dochy

47. ?

48. Meer informatie? Agentschap voor Kwaliteitszorg in Onderwijs en Vorming (AKOV) Afdeling projecten: EVC - Curriculum - Kwalificaties Koning Albert II-laan 15 1210 Brussel http://www.ond.vlaanderen.be/wegwijs/akov/ Nieuwe website VKS en EVC vanaf september 2014 !