140 likes | 288 Views
Slotbijeenkomst ProF Analytics. Jeroen Donkers, Universiteit Maastricht, O&O Profanalytics.blogspot.nl. Voortgangstoets Geneeskunde. 4 x per jaar, 8000 studenten geneeskunde in 5 instellingen tegelijkertijd 200 MCQ vragen (met vraagteken) over de hele stof Relatieve normering.
E N D
SlotbijeenkomstProF Analytics Jeroen Donkers, Universiteit Maastricht, O&O Profanalytics.blogspot.nl
Voortgangstoets Geneeskunde • 4 x per jaar, 8000 studenten geneeskunde in 5 instellingen tegelijkertijd • 200 MCQ vragen (met vraagteken) over de hele stof • Relatieve normering
ProFAnalytics • Relatie tussen het gebruik van ProF en de voortgangstoets-resultaten • Bepalen wat te meten • Aanpassen van het ProF systeem om te meten • Verzamelen van data • Analyse en datamining • Vertaling van de resultaten • Vervolg: longitudinale effecten, visualisatie
ProF Analytics • Multidisciplinair team: • Jeroen Donkers - kennistechnoloog • Arno Muijtjens – statisticus / psychometrist • Robert Peperkamp - ontwikkelaar • Jean van Berlo - kennistechnoloog • Danielle Verstegen – onderwijskundige • Guido Tans – studieadviseur • Case Builders BV - ontwikkelaars
Vraagstellingen • Brainstormsessie • Hoeveel wordt prof eigenlijk gebruikt? • Welke vormen van gebruik zien we? • Relatie studieresultaten en gebruik van ProF zowel in frequentie als aard?
Dataverzameling • Gebruiksdataverzameldvia webanalytics tool Piwik in periodemei-juni • De gebruiksdata is gekoppeld met de uitslagen van de voortgangstoets van mei
Analyse • Preprocessingen formatting (Perl) • Exploratieve analyse met behulp van • RapidMiner, Kmine (data mining) • ProM6.1 (process mining) • Projet R • Logboek
Analyse – visualisatie Kijken naar detailscore Lengte van sessies
Analyse – processmining • De gang door het ProF systeem is een proces. • mbv ProM6.1 en FuzzyMining abstraheren:
Bevindingen uit analyse • Gemiddeld gebruik 14.7% • Interventie jaar 1 UM helpt • Veel studenten kijken alleen naar 1e pagina • Goede studenten gebruiken ProFvaker- studenten met onvoldoende langer • Onvoldoende gebruik van analysemogelijkheden van ProF • -> Adviezen aan de WIV
Conclusies • Piwik is een handige tool gebleken • Privacybescherming is nog een issue • Interactieve datamining tools niet altijd even handig -> R (of Matlab, Java, C, Python…) • We kunnen nog een hele tijd door met analyse van deze data, we gaan ook door met data verzamelen • Nadenken over terugkoppeling naar studenten en stafleden • Uitbreiden Learning analytics: andere domeinen