The Long Tail proof of concept [versie 1, eerste uitkomsten]

1. The Long Tail proof of concept [versie 1, eerste uitkomsten]

2. Management Summary

3. Management Summary (1/3) samenvatting belangrijkste uitkomsten Serious Gaming werkt! De door ons gebruikte game leidt tot toename spelvaardigheid. Met toenemende moeilijkheid van woorden zagen we toch groei in spelvaardigheid. Game-proces: houd het simpel. Het proces binnen een serious game moet zeer logisch en eenvoudig zijn. Instructies worden nauwelijks gelezen. Een oefening vooraf werkt beter dan een tekstuele instructie. Moeilijke content draagt bij aan hoger leerrendement. VMBO-ers vonden onze woordenlijst best moeilijk, maar ze haakten niet eerder af en leerden meer dan MBO-ers. In gesprekken gaven leerlingen en studenten aan uitgedaagd te willen worden. Moeilijke content is dus geen probleem, zolang iemand maar het idee heeft dat hij/zij groeit. Groot verschil tussen houding en gedrag bij deelnemers. Houding: “graphics moeten goed zijn, een goed spel is een schietspel, ik ga geen bijdrage leveren aan het leerproces van anderen.” Gedrag: ook eenvoudige spellen worden volop gespeeld (zoals spele.nl, pinball) en men levert graag een bijdrage aan anderen.

4. Management Summary (2/3) samenvatting belangrijkste uitkomsten Tips van expert werken het beste. MBO-studenten halen een hoger leerrendement als de adviezen afkomstig zijn van een expert. De bekende docent levert de laagste bijdrage aan het leerrendement. MBO: alleen spelen werkt het beste. Hoewel deelnemers aangeven een onderling competitief spel leuk te vinden, blijkt het leerrendement binnen een alleen gespeeld spel het hoogst. Alleen spelen wordt beoordeeld als minder leuk, maar ook als leerzamer dan de overige condities. VMBO: samen spelen werkt het beste. VMBO-ers spelen graag in teamverband (met elkaar, niet tegen elkaar) en de uitkomsten van leerrendement lijken daarmee het hoogst (zwak effect) Aan wie geef ik de meeste tips?Deelnemers geven in het gesprek aan alleen tips te willen geven aan bekenden. In het experiment blijkt anders: deelnemers geven juist relatief veel tips als ze zelf tips van een speciaal geselecteerde ander hebben ontvangen. Als de deelnemer zelf tips heeft ontvangen van een docent of een bekende student, dan neemt hij/zij uitgebreid de tijd om zelf tips te formuleren. We denken dat dit te maken heeft met ‘geen fouten willen maken.’

5. Management Summary (3/3) samenvatting belangrijkste uitkomsten Docenten zien de meerwaarde van serious gaming. Docenten zien serious gaming als een mooie aanvulling op de bestaande lesmethoden. Belangrijkste argumenten: Aansluiting bij de belevingswereld, nivelleren van competenties binnen de klas en de mogelijkheid om binnen een klas gedifferentieerde methoden in te zetten. Docenten zien een gaming-community zitten, maar met randvoorwaarden. Docenten zijn enthousiast voor het zelf leveren van content en het aanpassen en waarderen van elkaars games, maar stellen hier voorwaarden bij: 1. de game en de community moet erg simpel zijn en geen geheimen kennen voor docenten. 2. de games moeten worden beheerd onder supervisie van experts. 3. games moeten kunnen worden gezocht en ingezet op beoogd leerrendement per competentie per specifieke deelnemer. Deelnemers zijn bereid docenten te helpen in het verbeteren van serious games.VMBO-ers spelen graag in teamverband (met elkaar, niet tegen elkaar) en de uitkomsten van leerrendement lijken daarmee het hoogst (zwak effect). Implementatie is een vak apart.We hebben docenten gevraagd naar hun ervaringen met serious games tot op heden. De meesten geven aan wel serious games te kennen, maar geen ervaring te hebben met de inzet ervan. Hierin worden veel toetredingsdrempels ervaren. Een goede implementatie is dan ook een erg belangrijke randvoorwaarde.

6. Opbouw direct naar aanbevelingen? klik hier

7. Opbouw • Stand van zaken • Kunnen we al goede uitspraken doen? Welke gegevens moeten we nog verzamelen? • LeeswijzerOpmerking vooraf, wijze van rapporteren • Algemene bevindingen • Belangrijke uitkomsten ten aanzien van serious gaming • Vraag 1 • Wanneer is leerrendement bij serious gaming het grootst?[thema’s: groepsdynamiek, competitie, doelgroepen] • Vraag 2 • Hoe kunnen we het nieuwe concept het beste introduceren? • [thema’s: motivatie van studenten, motivatie van docenten] • Wat kunnen we met deze uitkomsten? • Haalbaarheid TLT / Een werkend model

8. Stand van Zaken • Stand van zaken • Leeswijzer • Algemene bevindingen • Vraag 1 • Vraag 2 • Wat kunnen we met deze uitkomsten?

9. Stand van zaken • kunnen we al sluitende uitspraken doen? • Ja. • In dit onderzoek zijn nog niet meegenomen: • 1 focusgroep / vragenlijst met docenten • 1 experimentsessie met meiden • Maar…de belangrijkste uitkomsten zijn helder. • Opmerking • Waar we nog te weinig gegevens hebben brengen we nuances aan. Dat komt dus terug in de presentatie.

10. Leeswijzer Wijze van rapporteren • Stand van zaken • Leeswijzer • Algemene bevindingen • Vraag 1 • Vraag 2 • Wat kunnen we met deze uitkomsten?

11. Wijze van rapporteren / planning nu direct na deze presentatie begin januari kenmerken van stimuli eerste resultaten (ppt) Stuurgroep doet wensen voor aanvullende analyses resterende gegevensverzameling definitief rapport (pdf) en aangevulde presentatie (ppt)

12. Leeswijzer Opmerkingen vooraf • Stand van zaken • Leeswijzer • Algemene bevindingen • Vraag 1 • Vraag 2 • Wat kunnen we met deze uitkomsten?

13. opmerking vooraf (1/2) leeswijzer voor een goede interpretatie Oranje cijfers zijn significant. Ook conclusies op basis van niet significante, maar intern zeer sterk consistente gegevens, zoals interviews en focusgroups met docenten en studenten. Zwakke effecten geven we uitsluitend weer als de relevantie erg groot is. Natuurlijk benoemen we zwakke effecten ook als zodanig.

14. wat zijn significante cijfers? • We noemen een verschil significant als we statistisch aannemelijk gemaakt hebben dat twee of meer steekproeven van elkaar verschillen. • De werkafspraak binnen gedragsonderzoek is dat we met een zekerheid van 95% of groter spreken van een significant verschil. Bij 90% spreekt men van een trend. • Er zijn drie grootheden die de significantie van verschillen bevorderen: • De omvang van het verschil tussen de twee steekproeven • 5 kikkers zijn significant lichter dan 5 olifanten, maar 5 giraffes zijn niet altijd significant lichter dan 5 olifanten. • De interne consistentie binnen de steekproef • 10 kikkers zijn significant kleiner dan 10 olifanten, maar 10 amfibieën zijn niet per definitie significant kleiner dan 10 zoogdieren. • De hoeveelheid metingen • 100 olifanten zijn significant zwaarder dan 100 koeien, maar2olifanten zijn niet per definitie significant zwaarder dan 2 koeien.

15. opmerking vooraf (2/2) leeswijzer voor een goede interpretatie Het spelen van het spel draagt bij aan de interpretatie van onze bevindingen. We bevelen dit dan ook sterk aan. Het spel kan gespeeld worden op:www.isoi.eu De deelnemers zijn niet geconfronteerd met de selectie van de condities. Die werd vooraf door de proefleider geselecteerd. Deelnemers begonnen bij de knop START.

16. Leeswijzer experimenteel design • Stand van zaken • Leeswijzer • Algemene bevindingen • Vraag 1 • Vraag 2 • Wat kunnen we met deze uitkomsten?

17. * kwantitatief ** kwalitatief

18. condities binnen het experiment 2 manipulaties, 2 steekproeven [zie www.isoi.eu] steekproef 1: mbo steekproef 2: vmbo alleen tegen ander Team tegen team alleen In een team expert manipulatie 1: herkomst advies bekende docent bekende student onbekende student geselecteerde student Manipulatie 2: groepsverband data verzameld geen data verzameld

19. condities binnen het experiment 2 manipulaties, 2 steekproeven • Op deze manier kunnen we met een beperkt aantal proefpersonen… • …uitspraken doen binnen de twee afzonderlijke manipulaties. • “tips van een expert werken beter dan tips van een docent” • …leergedrag en evaluatie vergelijken tussen vmbo en mbo. • “leerrendement op het vmbo is hoger dan op mbo” • Waar kunnen we nu beperkt of geen uitspraken over doen? • Interactie-effecten tussen beide manipulaties • “is alleen spelen krachtiger wanneer er een expert advies geeft dan wanneer een docent advies geeft?” • (want we hebben niet elke combinatie van beide manipulaties gemeten) • Interactie-effecten tussen manipulatie en steekproef • “Werkt advies krijgen van een bekende student op het VMBO beter dan op het MBO?” • (we zijn sterk afhankelijk van de interne consistentie binnen de data)

20. Vragenlijsten / Stimuli Openen? Beëindig presentatie en dubbelklik. deelnemers docenten

21. Stand van zaken • Leeswijzer • Algemene bevindingen • Vraag 1 • Vraag 2 • Wat kunnen we met deze uitkomsten? Algemene bevindingen conclusies

22. highlights Beleving Beleving heeft betrekking op hoe een serious game gepositioneerd dient te worden. In het experiment toetsten we dit door te vragen in hoeverre de game leuk en makkelijk was. Hoe leuk vond je het spel? ‘In een team spelen’ wordt door MBO respondenten als leuker ervaren dan ‘alleen spelen’. Een competitie element wordt niet als leuker of minder leuk ervaren door MBO respondenten. Vond je het spel makkelijk? Respondenten vinden het spel makkelijker wanneer ze ‘in een team spelen’ of ‘in een team tegen een ander team’, dan wanneer ze ‘alleen speelden’ of ‘alleen tegen een ander’. Echter, op het MBO is het leerrendement het grootst wanneer respondenten ‘alleen spelen’. Bij VMBO respondenten zorgt ‘in een team spelen’ voor het grootste leerrendement.

23. Stand van zaken • Leeswijzer • Algemene bevindingen • Vraag 1 • Vraag 2 • Wat kunnen we met deze uitkomsten? Algemene bevindingen Schooltype / leerrendement

24. Schooltype en leerrendement +1.5 vmbo + 0.9 mbo leerrendement aantal ronden • Opmerkingen: • getallen betreffen gemiddelde stijging van het aantal goede woorden • leerrendement over 8 ronden • verschil is opmerkelijk, maar niet significant

25. Stand van zaken • Leeswijzer • Algemene bevindingen • Vraag 1 • Vraag 2 • Wat kunnen we met deze uitkomsten? Algemene bevindingen Beleving spelsituatie

26. evaluatie spelsituatie vmbo en mbo 3.4 3.3 nee ja 3.1 3.1 3 = midden van de schaal 3.0 2.7 vmbo mbo leuk? leerzaam? makkelijk?

27. alleen spelen 3.7 nee ja 3 = midden van de schaal 2.6 2.6 leuk? leerzaam? makkelijk? Opmerking: bovenstaande bevindingen hebben betrekking op MBO

28. alleen tegen een ander nee ja 3.0 3 = midden van de schaal 2.9 2.6 leuk? leerzaam? makkelijk? Opmerking: bovenstaande bevindingen hebben betrekking op MBO

29. in een team 3.6 3.5 3.3 nee ja 3 = midden van de schaal leuk? leerzaam? makkelijk? Opmerking: bovenstaande bevindingen hebben betrekking op MBO

30. in een team tegen een ander team 4.0 nee ja 3.0 3 = midden van de schaal 2.7 leuk? leerzaam? makkelijk? Opmerking: bovenstaande bevindingen hebben betrekking op MBO

31. Stand van zaken • Leeswijzer • Algemene bevindingen • Vraag 1 • Vraag 2 • Wat kunnen we met deze uitkomsten? Vraag 1 Wanneer is leerrendement bij serious gaming het grootst? conclusies

32. Vraag 1 Wanneer is leerrendement bij serious gaming het grootst? + - MBO: ‘alleen spelen tegen een ander’ zorgt voor het minst grote leerrendement bij studenten. MBO: het leerrendement is het grootst wanneer studenten ‘alleen spelen’. MBO: adviezen van een expert dragen het meest bij aan een hoger leerrendement. MBO: adviezen van een bekende docent en een bekende student dragen nauwelijks bij aan het leerrendement van studenten. Op het VMBO lijkt ‘spelen in een team’ te resulteren in een (veel) hoger leerrendement dan ‘alleen spelen’ (zwak effect). Het leerrendement van VMBO-ers is groter dan dat van MBO-ers. Dit hangt zeer waarschijnlijk samen met het lagere basisniveau van VMBO-respondenten. De groeimogelijkheden van hen zijn groter dan die van MBO-studenten. De inhoud van het spel mag dus best moeilijk zijn voor een optimaal leerrendement.

33. highlights (1/2) Aantallen tips Respondenten konden maximaal 5 tips geven, gemiddeld gaven ze er 0,9. Dat is niet veel. De bereidheid van deelnemers om zelf tips te geven is dus in het algemeen laag. Respondenten die tips hebben gehad van een speciaal geselecteerde student hebben zelf de grootste bereidheid om tips te geven (1,8 tips). Tijd voor het invullen Respondenten die tips van een expert kregen, namen zeer weinig tijd om zelf tips te geven. Dit kunnen we niet goed verklaren. Respondenten die tips van bekende studenten kregen, namen gemiddeld (veel) meer tijd dan om zelf tips te geven. Dit lijkt te duiden op een peer-pressure-effect: geen fouten willen maken ten aanzien van leeftijdsgenoten.

34. highlights (2/2) Zelfwaardering In de condities ‘tips afkomstig van een bekende student’ en ‘tips afkomstig van een geselecteerde student’, is het aantal tips dat gegeven wordt veel hoger wanneer je zelfwaardering van taalvaardigheid hoog is. Tevens worden in deze condities de gekregen tips hoger gewaardeerd. Deelnemers voelen zich kennelijk meer op hun gemak en voelen zich zekerder.Zelfwaardering in relatie tot bereidheid om tips te geven Hoe lager de eigen waardering van taalvaardigheid, des te minder tips worden gegeven aan bekende studenten. Andersom: wanneer er een tip gegeven moet worden voor een bekende student, dan is het aantal tips dat je geeft veel hoger op het moment dat de taalvaardigheid hoger is. De waardering van andere tips is dan ook relatief hoger. Wanneer je beter bent in taal ben je dus bereid anderen meer tips te geven. Wanneer je slechter bent in taal geef je minder tips aan bekende studenten. Dit geldt overigens niet alleen voor een bekende student, maar ook voor een geselecteerde student. Het is dus van belang dat de eigen waardering van taalvaardigheid op gelijk niveau is met de mensen waarmee het spel gespeeld wordt.

35. Stand van zaken • Leeswijzer • Algemene bevindingen • Vraag 1 • Vraag 2 • Wat kunnen we met deze uitkomsten? Vraag 1 Wanneer is leerrendement bij serious gaming het grootst? uitwerking

36. opmerking vooraf voor een goede interpretatie van cijfers De moeilijkheid van de game neemt toe. Dit is een ontwerpkeuze om de game uitdagend te houden. Daardoor vertaalt leerrendement zich niet automatisch in een hogere score naarmate meer rondes gespeeld zijn. Als leerrendement in één van onze overzichten lager dan 0 is, betekent dat dus niet dat spelvaardigheid achteruit is gegaan.

37. competitie, teams en leerrendement wat leidt tot groter leerrendement? +2.1 alleen + 1.1 team leerrendement + 0.8 team tegen team aantal ronden - 0.1 alleen tegen ander • Opmerkingen: • bovenstaande bevindingen hebben betrekking op MBO • getallen betreffen gemiddelde stijging van het aantal goede woorden • leerrendement over 8 ronden

38. taalvaardigheid t.o.v. bereidheid om tips te geven condities: bekende en geselecteerde student dus: “als ik me vertrouwd voel met het onderwerp en ik krijg tips van een bekende medestudent of een geselecteerde student, dan ben ik meer bereid om zelf tips te geven, dan wanneer ik me niet vertrouwd voel met het onderwerp.” r > 0,8 Taalvaardigheid (eigen schatting van de deelnemer) laag hoog laag hoog Bereidheid om tips te geven (in aantallen gegeven tips) Opmerkingen: -r = de correlatiemaat -bovenstaande bevindingen hebben betrekking op MBO -voor docent, expert en onbekende student zijn geen verbanden gevonden

39. wanneer geven deelnemers tips? wanneer is de bereidheid om zelf tips te geven aan andere deelnemershet grootst? • Opmerkingen: • getallen betreffen het gemiddeld aantal gegeven tips • bovenstaande bevindingen hebben betrekking op MBO • bovenstaande getallen hebben betrekking op tips die inhoudelijk relevant zijn

40. Stand van zaken • Leeswijzer • Algemene bevindingen • Vraag 1 • Vraag 2 • Wat kunnen we met deze uitkomsten? Vraag 2 Hoe kunnen we het nieuwe concept het beste introduceren? conclusies

41. Stand van zaken • Leeswijzer • Algemene bevindingen • Vraag 1 • Vraag 2 • Wat kunnen we met deze uitkomsten? Vraag 2 Hoe kunnen we het nieuwe concept het beste introduceren? conclusies

42. Vraag 2 Hoe kunnen we het nieuwe concept het beste introduceren? Zoek geen aansluiting bij huidige state of art van games (zoals PS3). Voorkom dat deelnemers Serious Games beoordelen ten opzichte van reguliere games. Ook voor docenten: geen moeilijke gaming structuur waar ze moeilijk aan bij kunnen bijdragen. De beste oplossing: minigames! Competentiespecifiek, snel ontwikkelbaar en goed te begrijpen voor deelnemers (zie spele.nl) Game als ondersteunend middel om kennis te ontwikkelen die gemakkelijk te meten is (bijv. woordenkennis). + - Een basis van levels laten aanmaken door experts. Deze basis laten aanvullen door docenten. Hierbij een voorhoede van meerdere docenten vormen die levels aanmaken en aanpassen en feedback geven op elkaar. Niet hetzelfde spel aanbieden aan ieder individu binnen een klas op hetzelfde moment. Gaming is juist een kans om individueel te differentiëren. Inzicht in leerrendement per deelnemer. Groei op competenties moet makkelijk te meten zijn voor een docent. Voor deelnemers zijn school en privé strikt gescheiden. Ga geen aansluiting zoeken bij iemand Facebook- of Hyves-account Geen fouten/onvolkomenheden in inhoud en proces van spel. Met name de expertlevels moeten kloppen en er moeten goede kwaliteitsborging zijn op door docenten gemaakte levels.

43. Bevindingen deelnemers (1/2) Ga niet in mijn privé netwerk zitten! Tussen de verschillende manieren van introductie (de grijze vlakken in de vragenlijst) vonden we weinig verschillende in evaluatie. Maar één propositie sprong eruit (in negatieve zin): uitnodiging van een vriend vanuit een sociaal netwerk. In gesprekken blijken deelnemers open te staan voor een school-community met serious games. Maar dan wel onder schooltijd en op school. “Thuis doen we andere dingen.” Bereidheid om te helpen groot…onder de juiste omstandigheden Desgevraagd geven deelnemers aan een lage bereidheid te hebben om andere deelnemers te helpen (met name op het VMBO). Onder twee omstandigheden helpt men wèl: “als ik er wat voor krijg of als ik die persoon ken.” Op het MBO is de zelfverklaarde bereidheid juist groot om elkaar en docenten te helpen om leerprestaties en de kwaliteit van de games te vergroten. Een game spelen met iemand aan de andere kant van Nederland is daarbij geen probleem. Overigens bleek tijdens ons experiment het omgekeerde. Van de vmbo-ers geeft 67% tips aan anderen, van de mbo-ers slechts 36%. Ook hier lopen houding en gedrag dus uiteen. We komen tot de conclusie dat sociale vergelijking (als iedereen het doet, doe ik het ook) en het helder onder woorden brengen van belangen en doelen bij hulp door deelnemers doorslaggevende factoren zijn.

44. Bevindingen deelnemers (2/2) Game? In een game schiet je! De definitie van games wringt. Deelnemers hebben daar een smal beeld van: gamen doe je thuis, achter een console. En in games race je of schiet je. Serious Games zijn een contradictio in terminus. Introduceer Serious Games als Serious en niet als Games Als games een verplicht onderdeel van het curriculum zouden vormen, dan verwachten deelnemers daar ook een relatief hoog leerrendement bij. Dit zegt ons dat het doel van serious games volstrekt helder moet zijn voor de deelnemer. Dit spel speel je om te leren. We maken leerzaam leuk…en niet andersom. Afname van het experiment in de klas….”Wat gebeurt hier!?” Zowel op het mbo als op het vmbo stonden docenten stomverbaasd toe te kijken. Zo stil was het nog nooit geweest in de klas. Docenten waren aangenaam verrast door de mate van concentratie van hun klas en de aandacht bij het spel. Van niveau 2 vmbo tot niveau 4 mbo: het was muisstil.

45. Bevindingen docenten* * Beperkt aantal docenten, maar hoge interne consistentieHet aantal docenten wat we in de focusgroepen hebben gesproken is beperkt. We kiezen er echter wel voor om alvast wat conclusies te delen, mede omdat de interne consistentie van uitspraken zeer hoog is. Hoe inzetten?Docenten zien nadrukkelijk meerwaarde van serious gaming.. Docenten zien een serious game het liefst als aanvulling op de huidige manier van leren. Een game is dus geen vervanging voor het huidige onderwijs. Daarbij dienen leerlingen/studenten individueel te kunnen spelen en moeten het leerrendement ‘hard ‘ te meten zijn. Serious Gaming zou expliciet meerwaarde hebben als het de docent in staat stelt om deelnemers zodanig individueel te laten ontwikkelen op specifieke competenties, dat het niveau van een klas meer gelijk wordt. Serious Gaming als hedendaagse bijles dus. Het ontwikkelen van kennis krijgt van docenten de voorkeur boven de ontwikkeling van vaardigheden. Met name omdat het prestatie op vaardigheden moeilijk te meten zijn achter de computer. Voor wat betreft positionering: hou het spel simpel. Aansluiting bij de belevingswereld van deelnemers door middel van een serious game is bijzonder lastig volgens docenten. Een eenvoudig proces, uitdagende inhoud en een helder doel van de game zijn de belangrijkste componenten van een succesvol spel. VerdienmodelDocenten hebben een voorkeur van een mix tussen een vaste set aangeboden spellen/missies door experts en het zelf bijdragen aan een spel. Docenten zijn enthousiast en bereid om zelf mee te werken. In praktijk zou dit als volgt moeten werken: een basis van spellen en missies die aangeleverd zijn door experts waar docenten zelf gemakkelijk missies kunnen toevoegen. Randvoorwaarde voor eigen inbreng is wel dat het bijzonder laagdrempelig moet zijn om content aan te leveren/te verwerken in missies.

46. Stand van zaken • Leeswijzer • Algemene bevindingen • Vraag 1 • Vraag 2 • Wat kunnen we met deze uitkomsten? Wat kunnen we met de uitkomsten? uitwerking

47. Uitwerking Is een long tail concept haalbaar?

48. Is het long tail concept haalbaar? Ja…maar wel door deze stappen goed te doorlopen een brede uitrol is nu mogelijk Stap 3 een voorhoede van docenten zet de spellen in,bouwt voort, spart met expertsen beoordeelt elkaars werk Stap 2 experts ontwikkelen basisspellen en infrastructuur Stap 1

49. Uitwerking Finishfoto van een werkend model

50. minigame - appstore definitie minigame definitie appstore waarom minigames? waarom appstore? kleinschalig en eenvoudig spel dat ingaat op één specifieke competentie online community waarop docenten in staat worden gesteld om games uit te wisselen en feedback te geven op elkaars games nauwelijks instructie voor de deelnemer competentiespecifiek inzetbaar en dus differentieerbaar onder studenten korte iteraties direct feedback docenten voelen zich geremd om ingewikkelde spellen aan te passen vergen minder tijdsinvestering om aan te passen deelnemers stellen (veel) minder hoge grafische eisen aan minigames kennis nemen van ervaringen van anderen met games mogelijkheden om elkaars werk te beoordelen mogelijkheden om competentiespecifiek in te komen en individueel in te zetten