Blackboard

1. Blackboard Digitaal toetsen

2. Introductie • Herm Joosten • Doel: intervisie, inspiratie • 1. Blackboard (testing) functionaliteit • Je vaardigheden • Niveaus van BB vaardigheid • Upgraden van je vaardigheid • 2. Digitaal toetsen • Voor en nadelen, toetsprogrammas, soorten toetsen, soorten vragen • 3.Digitale leeromgeving • Leerdoelen, en de mogelijkheid die met BB in verschillende werkvormen te realiseren. Voorbeelden.

3. 1. Blackboard

4. Motieven om BB te gebruiken • Werkdruk • Student/staff ratio, onderwijslast • Efficiency • in communicatie, toetsen etc • Effectiviteit? • Toegevoegde waarde van BB, vergeleken met traditionele onderwijsvormen?

5. Leren via Blackboard • Studenten leren via • Interactie met de inhoud • BB Principle 1: Good Practice Encourages Active Learning • Interactie met de docent • BB Principle 2: Good Practice Encourages Student-Faculty Contact • BB Principle 3: Good Practice Gives Prompt Feedback • Interactie met andere studenten • BB Principle 4: Good Practice Develops Reciprocity and Cooperation Among Students • Blackboard kan al die interacties bevorderen

6. Blackboard (testing) features • Assignments: testing student work, including online activities • Communication: email, threaded discussion, real-time chat, group pages, • Links: by the instructor or institution • Student tools: grades, drop box, • Blogs (Course, group or individual) • Test Manager: administer quizzes, practice tests, surveys and examinations • Gradebook - single location for all grades with some sorting capability

7. Jouw Blackboard vaardigheden? • Posting an announcement • Sending email within the system to one student or all students • Establishing discussion forums • Posting responses or moderating discussion forums • Setting up groups • Uploading content • Managing students' assignments • Designing exams • Developing question pools • Grading assignments and quiz submissions • Resetting student exams • Setting points for assignments and quizzes • Sorting and filtering the course gradebook • Enabling various settings in your course • Tracking student progress • Making your course available or unavailable • Copying select content from course to course • Archiving your course

8. Niveaus van Blackboard gebruik • 1. opslagplaats van cursusinformatie • 2. tool om produktiviteit te verhogen • 3. communicatiemedium • 4. aanvullend tov colleges en werkgroepen (dwz. online activiteiten) • 5. integratie met colleges en werkgroepen • 6. ontwikkelen van dynamic knowledge base obv werk studenten/docenten • 7. virtuele cursus.

9. Gepercipieerde Voordelen • Meestal worden course information, announcements en communicatie als eerste gebruikt door docenten. Het eerste voordeel dat zij zien is een efficientere organisatieen communicatie • Studenten zien vaak online discussie als een eerste voordeel

10. Upgrade je vaardigheden! • http://www.palomar.edu/ATRC/Training/Bb/default.htm • https://blackboard.shsu.edu/webapps/lobj-expo-bb_bb60/user/8FA461E73793BCDB/Blackboard_Tutorials/Home

11. 2. Digitaal toetsen

12. Digitaal toetsen • Het gebruik van computers om de voortgang van studenten te meten. • Op papier, door machine gelezen of op de computer • Stand-alone, netwerk of web-based • Met of zonder toezicht • Vooral om kennis, begrip en toepassing te toetsen • Minder geschikt voor analyse, synthese, evaluatie • Makkelijk beoordelen en voortgang beheren • Diagnostisch, formatief, summatief

13. Soorten toetsen • Diagnostische toetsen (in orientatiefase) • Om te meten welke kennis nog ontbreekt • Bv diagnostische toets, instaptoets, voorkennistoets • Formatieve toetsen (in oefenfase) • Om kennis op te doen / te leren • Om te motiveren • Om vooruitgang te meten • Niet perse onder gecontroleerde condities • Bv zelftoets • Vooral in orientatiefase en oefenfase • Summatieve toetsen (in cijferfase) • Worden beoordeeld • Vinden plaats onder gecontroleerde condities • Moeten betrouwbaar en valide zijn • Bv opdrachten, overhoringen, proefwerken, tentamens, (praktijk)examens. • Vooral in certificeringsfase

14. Soorten toetsen • Zelf assessment (student door zichzelf) • Kan, via tests op BB, of via tests op internet (bv psych tests of via uitgever) mail results naar docent • Peer assessment (student door andere student) • Kan, via peer assessment • Student assessment (student door docent) • Kan, via tests • Docent assessment (docent door student) • Kan, via peer assessment, survey of test

15. Voordelen digitaal toetsen • Meer mogelijkheden om toets te ontwerpen • Bestaande databases met vragen • Zelf database maken • Thuis of op werk • Gebruik multimedia (video, geluid) bij toets • Varierende volgorde van vragen (minder spieken) • Uit database diagnostische of oefentoets maken • Meer mogelijkheden voor de student om toets te maken • Qua tijdstip • Qua tempo • Qua lokatie • Qua volgorde • Mogelijkheid om hints, tips, verdiepende vragen aan te bieden • Student krijgt directe beoordeling en feedback (motiveert)

16. Voordelen digitaal toetsen • Beheer van toetsen makkelijker • Alle toetsen worden digitaal bewaard • Databases met vragen kunnen uitgewisseld worden • Beoordelen van de toets makkelijker • Deels automatisch nakijken • Bij gesloten vragen betrouwbaar nagekeken • Deels automatisch cijfers verwerkt in gradebook • Resultaten in een oogopslag • Distributie van toetsen onder docenten gemakkelijker • Invoeren cijfers door team docenten gemakkelijker • Cijfers kunnen eventueel per groep ingevoerd worden • Toetsanalyse is makkelijker • Statistische tools in BB • Meer sturingsinformatie voor docenten en studenten tijdens het leerproces.

17. Nadelen digitaal toetsen • Het identificatieprobleem: • is de persoon die claimt de toets gemaakt te hebben, wel degelijk wie hij beweert te zijn? • Het is moeilijker om te checken of studenten niet samenwerken. • Bij open vragen of essayvragen is betrouwbare correctie door het programma zelf moeilijk. • De cesuur moet op voorhand worden vastgesteld en is daarna moeilijker aan te passen dan bij klassieke toetsen. • ICT proficiency van student (meestal geen probleem) • ICT proficiency van docent (soms wel een probleem)

18. Nadelen digitaal toetsen • De aanmaak en aanpassing van een databank kost veel tijd. Zeker omdat klassieke toetsvragen niet altijd zo maar kunnen overgebracht worden. • Het systeem moet afdoende beveiligd zijn tegen misbruik. • Indien er multimedia gebruikt wordt, moeten pc’s dit ondersteunen. • Spieken van beeldscherm moet onmogelijk zijn

19. Digitaal toetsen is in het algemeen minder geschikt voor • Mondelinge vaardigheden • Presentatie vaardigheden • Sociale vaardigheden • niet-IT practische vaardigheden (wellicht in de toekomst meer) • Hogere orde-vaardigheden (tenzij je erg creatief bent) (althans: die kun je niet automatisch laten nakijken)

20. Toetsprogramma’s • Vrijwel alle digitale toetsprogramma’s zijn als volgt opgebouwd: • 1. Een module om vragen te ontwerpen (docent) • 2. Een module om toetsen af te nemen (student) • 3. Een module om toetsresultaten te bekijken en te analyseren (docent)

21. Ontwerp vragen • Een voor een invoeren in BB, http://tac.nvcc.edu/blackboard/faculty/assessment/tests.htm#manual • Importeren van een database van de uitgever. • Maken middels Blackboard's required format and upload questions. • Maken in word en daarna een aparte test generator gebruiken die de test formatteert voor import in BB.

22. Soorten vragen • Multiple Choice • Een goed antwoord • Multiple answer • Meer goede antwoorden • True/False, • Goed/fout, eens/oneens, ja/nee • Opinion scale/Likert • Eens/oneens • Ordering • Zet antwoorden in goede volgorde • Matching • Match de items in lijst A met de items in lijst B.

23. Soorten vragen • Fill in the Blank • De president van de VS heet … • Calculate (with variable values) and fill in the blank • 2x6= … • Random Block • Neemt een willekeurige set vragen uit een question pool. • From a question pool • Kies vragen handmatig • Essay & Short Answer • Langere geschreven antwoorden • File response • Upload een word of excel file als reactie op opdracht

24. Test Settings • Test Information • Name, description, external window • Test availability • Link visible, announcement • Allow multiple attempts • Enabled, disabled • Force completion • Set time limit, force c., display until, password • Test feedback • Score only, detailed results, correct answers, feedback • Presentation • All at once, backtracking, randomize

25. Nog niet mogelijk? • Computer adaptive testing • De computer past de vragen (het niveau en de volgorde) aan aan het niveau van de student. Zo krijg je niet teveel makkelijke of moeilijke vragen

26. Ontmoedigen van fraude • Toets onder toezicht of • Force completion of the test on the first attempt. • Display questions one at a time and prohibit backtracking. • Set time limit • Randomize the order of questions. • Use Random Blocks

27. Hoe maak je een test in BB? • Volgende presentatie • http://celt.cui.edu/CELT/BB_Quiz_Survey/BB_quiz_survey.htm

28. 3. Digitale leeromgeving

29. Digitale leeromgeving • Combineren van • Leerdoelen • Werkvormen • Blackboard functionaliteit • en beoordelen • Voorbeelden.

30. Doelen van leren • kennis • begrip • toepassing • analyse • synthese • evaluatie • vaardigheden (practisch, sociaal etc) • attitudes (professioneel, academisch etc)

31. Werkvormen 1 • Doceervorm • Videoclip, audioclip • Demonstratievorm • videoclip • Spreekbeurt, gastspreker • Videoclip, audioclip • Film kijken, teksten lezen, geluidsfragmenten beluisteren • Youtube, uitzendinggemist, websites • Zelfstudie • Literatuurstudie: referenties, links opgeven (doi)

32. Werkvormen 2 • Onderwijsleergesprek • Zou kunnen: video met “blanks” • Vraaggesprek (vragen van studenten) • Via chat, forums, met medestudenten of docent • Interview • brainstorming • Kan, via forum of chat • Vragen beantwoorden • Kan uitstekend, Via assessment • Associatieoefening • Kan, via groepsfuncties of forum • Kettingreacties (via stellingen) • Kan, via forum of peer assessment of chat • Schrijfronde (via stellingen) • Kan, via forum of peer assessment

33. Werkvormen 3 • Geleide discussie, Paneldiscussie, Forumdiscussie, Nabespreking • Kan, via forum of peer assessment, assignments • Formeel debat, Kortgeding • Kan, via forum, chat • Rollenspel, Simulatiespel • Kan, via forum • Oefeningen maken • Kan, via assignments • Oefeningen konstrueren en maken • Kan, via groepsfuncties • Schrijftaken • Kan, via assignments

34. Samengevat: overwegingen bij toetsen in BB • Bedenk een digitale toets voor jouw vak • Type: Diagnostisch, formatief of summatief? • Doel: Kennis, begrip, toepassing, analyse, synthese, evaluatie? • Werkvorm? Individueel of groep? • Self, peer or teacher assessed? • Automatisch nakijken of niet? • BB functionaliteit: test, survey, discussion board, peer assesment, blog, media. • Multimedia? Embed of link.

35. Suggesties voor toetsen

36. Suggesties voor gebruik BB aan het begin van de cursus • Biedt studenten de mogelijkheid om te oefenen met tests • Biedt ze een voorbeeldtest met meerdere pogingen. • Survey om motivatie voor cursus te meten • En bespreek die motivatie in het college • Survey om hun beginkennis te toetsen • En laat de studenten weten of hun kennis voldoende is

37. Suggesties voor gebruik BB aan het begin van de cursus • Open twee discussion forums • Vragen over de inhoud • Andere studenten en docent antwoorden • Vragen over de organisatie • Andere studenten en docent antwoorden

38. Suggesties voor gebruik BB tijdens de cursus • Exam om te toetsen of studenten het college voorbereid hebben • Dag voor het college • Exam om te toetsen wat studenten onthouden hebben van je college • Dag na het college • Survey om feedback te vergaren over de colleges (moeilijkheidsgraad, snelheid) • Levert info op om cursus aan te passen

39. Suggesties voor gebruik BB tijdens de cursus • Online debat • Docent post een uitdagende stelling • Studenten worden onderverdeeld in drie groepen: pro, contra en jury • Pro en contra bereiden hun argumenten voor en discussieren online (chat, discussieforum) • De jury beoordeelt de discussie en roept een winnaar uit in een presentatie tijdens het college/de werkgroep

40. Suggesties voor gebruik BB tijdens de cursus • Real-time survey • Er zijn nieuwe tools om tijdens colleges surveys of tests te doen met behulp van SMS

41. Suggesties voor gebruik BB tijdens de cursus • Gebruik assignments met externe media(video, audio, tekst, artikelen) • Maak een link naar de video clip, audio clip of tekst (bv. krantenartikel) (wet. artikelen via doi) of embed. • Combineer dat met een opdracht • Er zijn veel bronnen voor media (uitgevers, universiteiten, media) • Of maak je eigen clips • Zijn op elk moment te zien of te beluisteren

42. Suggesties voor gebruik BB tijdens de cursus • Laat studenten individueel of in groepen een blog maken (vergelijk portfolio) van hun vorderingen • Laat studenten elkaars werk beoordelen via peer assignments

43. Suggesties voor gebruik BB na afloop van de cursus • Gebruik survey of test om de cursus te evalueren • Laat studenten onderdelen van de cursus beoordelen in een mc-test • Laat studenten drie plus en drie minpunten van de cursus noemen in een essay test

44. Einde • Nog meer voorbeelden in de bijlage • Dank voor uw aandacht • Veel plezier met BB • En met de presentaties van Manfred en Paul

45. Bijlage 1 aanwijzingen voor studenten

46. Aanwijzingen voor studenten bij het maken van online tests • Vooraf: • Maak de test pas als je er klaar voor bent. • Sluit andere programmas op je pc. • Gebruik firefox, of een andere browser als firefox problemen oplevert. • Ververs of resize je beeldscherm niet als je begonnen bent aan de test • Wacht niet tot het laatste moment voor je de test maakt. Als er dan een probleem is, kan er niks meer aan gedaan worden

47. Aanwijzingen voor studenten bij het maken van online tests • Tijdens de test: • Klik maar een keer op de test-link. Als je twee keer klikt denkt BB dat je de test al gedaan hebt (en mag je niet meer) • Klik niet op forward en backward in je browser. • Klik maar een keer op submit; je krijgt een bevestiging van ontvangst van je test . • • Fill-in-the-blank vragen zijn hoofdlettergevoelig. Gebruik alleen kleine letters

48. Bijlage 2 suggesties voor online toetsen

49. Suggesties voor toetsen aan het begin van de cursus • Associatie test • Vraag studenten om hun associaties mbt het onderwerp van je cursus • Bijvoorbeeld in het discussion forum • Gebruik de info in je college (scroll door de posts)

50. Suggesties voor toetsen aan het begin van de cursus • Test met stellingen • Vraag studenten te reageren op stellingen (eens-oneens) • Gebruik survey • Verzamel de data (statistics) • Presenteer de resultaten in je college