Digitaal toetsen wat kun je ermee en hoe gaat dat?

1. Digitaal toetsen wat kun je ermee en hoe gaat dat? André Heck Amsterdam Mathematics, Science and Technology Education Laboratory AMSTEL Instituut Universiteit van Amsterdam NWD 12, 3 februari, 2006

2. Programma Wat is het wiskundeprobleem? Hoe pakken wij dit aan?presentatie (10 minuten) Test uw kennis en vaardigheden met de UvA instaptoetscomputerpraktikum (20 minuten) De UvA instaptoets: opzet en resultaten in 2005 presentatie (10 minuten) De instrumentatie: computeralgeba-gebaseerd toetsen.presentatie (10 minuten) Praktijkvoorbeelden havo/vwocomputerpraktikum (20 minuten) Afronding: hoe nu verder?Presentatie (5 minuten)

3. 1. Wat is het wiskundeprobleem? Hoger onderwijs worstelt in exacte en technische studies met serieuze problemen bij binnenkomende studenten: 1) Serieus gebrek aan essentiële technische vaardigheden – het vermogen om numeriek en algebraïsch rekenen routinematig, nauwgezet en betrouwbaar te doen. 2) Een duidelijke achteruitgang in analytische vermogens wanneer een student geconfronteerd wordt met simpele problemen die uit meer dan één stap bestaan. 3) Een veranderde kijk op wat wiskunde is – in het bijzonder, wat de essentiële rol van precisie en bewijs is. Klinkt bekend, hè?

4. Niet afkomstig uit een ingezonden krantenartikel, een brief van boze bèta's of de ‘lieve maria’ brief, maar een citaat uit Tackling the Mathematics Problem London Mathematical Society, 1995 www.lms.ac.uk/policy bevestigd in Measuring the Mathematics Problem Engineering Council, 2000 http://www.engc.org.uk/documents/Measuring_the_Maths_Problems.pdf

5. Resultaten van diagnostische toetsen aan de Universiteit van York in 1979-1999: Achteruitgang in wiskundige basisvaardigheden van 1stejaars is niet de schuld van docenten in het voortgezet onderwijs. Verslechterde aansluiting bij wiskunde tussen voortgezet en hoger onderwijs is een internationaal probleem. De aanpak van het probleem door hoger onderwijs ook!

6. Hoe pakken wij het probleem aan? 1) Instaptoetsen voor 1stejaarsinstaptoets FNWI-UvA, 3TU-toets, … 2) Aansluitingscursussen en bijspijkermodulesbètabrugtraject (UvA) bij niet voldoen aan instroomeisen,www.studeren.uva.nl/beta-bachelors/scholierensite.cfmweb-spijkeren (UvA, EUR, UM) richt zich op flexibele kennisremediëring bij heterogene instroom,www.web-spijkeren.nlMathMatch (UvA, UT, Saxion)ontwikkelt onderwijsmateriaal voor basiswiskunde ten behoeve van universitaire studenten, www.du.nl/mathmatchWisnet (NHL, Metha Kamminga)ontwikkelt onderwijsmateriaal voor basiswiskunde ten behoeve van HBO-studenten. 3) Aanpassing van bestaand lesmateriaalDe basis (hoofdstuk 1 van het dictaat Calculus 1, FNWI-UvA) frist basiskennis van 1stejaars op..…..

7. 2. Test uw kennis en vaardigheden met de UvA instaptoets Volledige versie van de diagnostische wiskundetoets bij Exacte Wetenschappen aan de UvA op webadres http://amaple.science.uva.nl:8081/classes/instaptoetsen Achtergrondinformatie: www.science.uva.nl/~heck/instaptoetsen Op NWD 12: gebruik het webadres: http://amaple.science.uva.nl:8081/classes/nwd2006 1) Begin met 1. Voorafgaande oefening (loginnaam nwd1, nwd2, ... wachtwoord pnwd1, pnwd2, …) 2) Maak 2. Snapshot van UvA diagnostische toets, 2005(oefening zonder inloggen; willekeurige trekking van 5 vragen)

8. 3. De UvA instaptoets: opzet en resultaten in 2005 Wat toetsen we? Toetsen zijn geen toelatingsexamen; geen cijfer. We toetsen • instapniveau van studenten bij binnenkomst • vorderingen na 4 weken oefenen met “De basis” Gewenste aanvangniveau = niveau dat wij na vier weken verwachten bij student: • acceptabele formulevaardigheid • voldoende parate kennis over functies • meer routinematig gebruik van standaardtechnieken • verminderde afhankelijkheid van formulekaart en GR

9. Onderwerpen in toets: Rekenen met getallen Rekenen met letters Getallenrijen Vergelijkingen en meetkunde Functies en calculus Gerelateerd oefenmateriaal: Peter de Paepe (2003): hoofdstuk 1, “De basis”, van het Calculus 1 dictaat. Jan van de Craats en Rob Bosch (2005): BASISBOEK WISKUNDE

10. Hoe toetsen we? Opzet in 2005: 30 augustus: instaptoets - dezelfde toets voor elke student - op papier + elektronisch m.b.v. Maple T.A. September: sommenpracticum bij Calculus 1 3,4 oktober: diagnostische toets - vergelijkbare met instaptoets - verschillende toets voor elke student - elektronisch m.b.v. Maple T.A. Advies voor student voor bijspijkering bijvoorbeeld m.b.v. BASISBOEK WISKUNDE

11. Waarom toetsen we? 1) Student inzicht geven in zijn of haar • instapniveau van wiskundekennis en vaardigheden in vergelijking met gewenste aanvangsniveau: sterke en zwakke punten opsporen • vorderingen door bijspijkeren 2) Studieadviseur en tutoren informeren over hoe studenten ervoor staan wat betreft hun wiskundige competenties ter ondersteuning van de begeleidingidentificeren van risicogevallen + richten van kennisremediëring 3) Docenten inzicht geven in hoeverre binnenkomende studenten klaar zijn voor wiskunde in WO-stijlonrealistische verwachtingen bij docenten wegnemen

12. Resultaten Instaptoets 30 augustus: gemiddeld 8 van 25 punten ·Allerlei misconcepties (bijv. linearisatie). · 25% van studenten kan bij binnenkomst niet correct uitrekenen. ·Merkwaardige producten zijn onbekend. . Enzovoorts.

13. Diagnostische toets in oktober: gemiddeld 15 van 25 punten Veel studenten nog niet op het gewenste niveau, maar de meeste studenten boeken grote vooruitgang

14. Progressie van studenten

15. Diagram van scores van de tussentoets Calculus 1 (genormaliseerd tot [0,1]) versus de posttest scores Posttest correleert significant met tussentoetsen van Calculus 1 en van Symmetrie en Patroonvorming in de Natuur (SPIN). Correlatiecoëfficiënten: 0.66 resp. 0.37

16. Correlatiecoëfficiënten voor de verbanden tussen pre- en posttest en de eindcijfers Calculus 1 en SPIN

17. Meningen van studenten over diagnostische toetsing • Het doel van de toetsen was helder (90%) • Gekozen aanpak werd zinvol geacht (86%) • De toetsen helpen om lacunes in wiskundekennis en vaardigheden op te sporen (69%) • De toetsen dragen bij aan het vooruitgang boeken bij wiskunde (68%) • De toetsen stimuleren om aan de slag te gaan (63%) • Er valt goed te werken met Maple T.A (61%) • Als formulekaart en rekenmachine niet zijn toegestaan, dan zou de score voor de toetsen lager zijn (61%)

18. 4. Instrumentatie: computeralgeba- gebaseerd toetsen Wens: Goedwerkend on-line systeem dat • automatisch wiskundige vragen in gangbare stijl genereert voor · toetsen,· korte tests en quizzes,·on-line oefenmateriaal; • automatisch antwoorden beoordeelt op wiskundige grondslag; • adequate feedback geeft (bijvoorbeeld uitwerkingen); • gebruikt kan worden met 100 simultane gebruikers; • relatief eenvoudig te gebruiken door auteurs, docenten en studenten.

19. Eisen: • groot arsenaal aan vraagtypes (meer dan alleen multiple choice en numerieke antwoorden) • goede weergave van wiskundige formules • wiskundige formules als invoer • gemakkelijke invoer van formules • antwoorden door CAS beoordeeld • deelscores • intelligente feedback op antwoorden • Inbedding in ELO Waarom?

20. Kwaliteit van online vragen • Vraag: bereken • Geen van bovenstaande formules • Hoe weet je dat studenten kandidaatoplossingen • niet differentiëren? • Studenten moeten zelf het antwoord geven!

21. Gebruik van CAS bij beoordeling van antwoorden - Check algebraïsche equivalentie - Controle van eigenschappen Geef een niet-triviaal voorbeeld van een evenfunctie f op het interval (-1,1) 1. bereken f(x) − f(−x) voor variabele x2. vereenvoudig 3. test op 0

22. Verder gebruik van computeralgebra-systeem - Randomisatie van vragen (herhaalde oefening, voorkomen van plagiaat, pre- en posttest set-up) Voorbeeld: werk de haakjes in uit. randomisatie: werk de haakjes in uit, waarbij Dan 155.520 vragen! - Adequate feedback (hints, oplossingen, commentaar) - In- en uitvoer van wiskundige formules op het web

23. 5.Praktijkvoorbeelden havo/vwo Op NWD 12: gebruik webadres http://amaple.science.uva.nl:8081/classes/nwd2006 Maak een keuze uit de volgende oefeningen 3. Introductieoefening quicktests ontbindenin factoren en kansen 4. Quicktest ontbindenin factoren (pilot Nijgh Versluys) 5. Quicktest kansen (pilot Nijgh Versluys) 6. WISNET tests: algebra, differentiëren, integreren, functies en grafieken. 7. Voorbeelden uit BASISBOEK WISKUNDE (Craats & Bosch):rekenen met letters, functies en grafieken 8. Calculus 1, De basis (UvA): verzamelingen 9. Potpourri van vraagtypen in MapleTA Of wie wat anders wil doen: 10. Compex natuurkunde HAVO (shortcut op bureaublad) : HAVO 2005, de schaatser

24. 6.Afronding: hoe nu verder? Om in de gaten te houden of naar uit te kijken: • Artikel Digitaal toetsen met MapleTA van Metha Kamminga (2006) te verschijnen in Euclides • Reeks van artikelen van Christian Bokhove e.a. over het GALOIS project in Euclides (2005, 2006, ...) www.galoisproject.nl • Digitale Wiskunde Oefenomgeving (Freudenthal Instituut)www.fi.uu.nl/dwo • COMPEX (CITO)www.cito.com/vo/ce/compex/algemeen/eind_fr.htm • Interactive wiskundemethode in wording:MathAdorewww.mathadore.nl • Wisnet aansluitingsmateriaal • Materialen ontwikkeld in Webspijkeren en MathMatchMathMatch prototype: http://wwwhome.math.utwente.nl/~boldymc/MM/ • WiskundE-brief: www.digischool.nl/wi/WiskundE-brief/