EVALUERINGSDESIGN

1. EVALUERINGSDESIGN VIRCLASS PROSJEKTET www.virclass.net Anne Karin Larsen, HIB

2. SAMARBEIDSPARTNERE • Parma University, Italia • Høgskolan i Jønkøping, Sverige • University of Complutense, Madrid, Spania • University Miguel Torga, Portugal • Fachhochschule Vorarlberg, Østerriket • University of Kaunas, Littauen • University of Warmia – Olztyn, Polen • University INHOLLAND, Nederland • University of Wales, UK • Pensjonist fra Manheim University,Tyskland • Høgskolen i Bodø • Bergen kommune • Mediesenteret, HIB • Forskningsstipendiat, HIB • Økonomisjef, AHS, HIB Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

3. KORT OM VIRCLASS PROSJEKTET • Et internasjonalt prosjekt med samarbeidspartnere fra 10 land i Europa • Formål: utvikle et internasjonalt virtuelt klasserom for studenter innen faget sosialt arbeid Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

4. Prosjektet • Startet i 2003 • Utviklet felles studieplan • Felles lærergruppe fra forskjellige land • Internasjonal sensur gruppe • Benyttet It:s Learning som LMS • Utvikle lærerkompetanse i bruk av e-læringsverktøy og e-læringspedagogikk Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

5. Pilotprosjekt • Gjennomførte våren 2005 det første studiet i SOCIAL WORK IN EUROPE med 62 studenter fra 17 land Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

6. De tre modulene • Gjennomføring: 3 moduler som gir 5+10+5=20 studiepoeng Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

7. Antall studenter • Modul 1 e-læring: • 44 begynte • 30 tok eksamen • Modul 1selvstudie: • 64 begynte • 32 tok eksamen • Modul 2 e-læring: • 31 begynte • 24 tok eksamen • Modul 3: sommer skole • 34 begynte • 29 tok eksamen Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

8. EVALUERINGSDESIGN Formål: Å få kunnskap om hvordan studenter og lærere opplever deltaking og studiemuligheter i et internasjonalt virtuelt klasserom Gjennomført ved: • Prosessevaluering • Sluttevaluering Alle tre moduler Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

9. Datainnsamlingsmetode • Spørreskjema via it:s learning • Ved oppstart (modul 1 og 2 e-læring) • Midtveis (modul 2) • Sluttevaluering (modul 1,2 og 3) • Spørreskjema ved avslutning av sommerskolen • Refleksjonsnotat fra studenter om egen læringsprosess • Gruppeintervju med lærerne i elæring • Lærer-log underveis i modul 2 Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

10. Evalueringsforløp Baseline studenter – e-læringserfaring Midtevaluering studenter Sluttevaluering og datakunnskap studenter Modul 2 modul 1, 2, 3 Modul 1 og modul 2 Lærernes erfaring Lærernes erfaring Sensorenes erfaring EVALUERINGSFORLØP Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

11. TYPE DATA • Stort sett kvalitative data • Spørreskjema med åpne og lukkete svaralternativer • Intervjudata • Tekst/dokument analyse Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

12. Data innsamling • Ved bruk av baseline informasjon • Ved bruk av prosessevalueringene • Bruk av spørreskjema i its learning • Bruk av gruppe intervju (lærergruppen) • Bruk av tekst/dokumenter Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

13. Ga informasjon om: Studentenes datakunskap når kurset startet Hvilket utstyr de benyttet og hadde tilgang til Internet hastighet Hvor vant de var til å benytte internet Erfaringer med e-læring fra tidligere Denne informasjonen ble brukt til å veilede studentene i forbindelse med tekniske spørsmål. Ga også en ide om hvilke startvansker studentene kunne få ved bruk av e-læring. Var nyttig informasjon til oss som skulle drive kurset og være veiledere Baseline informasjon Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

14. Ble brukt i modul 2 Spurte om studentenes: mening om kurset Samarbeid med andre i grupper Lærerstøtte Litteratur Teknologi Annet de ønsket å tilføye. Data ble oppsummert via its learning Fikk liten konsekvens for videre arbeid i kursene Kan få konsekvens for neste gang kursene skal kjøres Prosessevalueringene midtevaluering Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

15. Prosessevalueringavslutning • Studentevaluering alle studentene i modul 2 (25 svar) Ble gjort obligatorisk. Kartlegger studentenes • syn på studiet, hva de synes har vært bra og hva som kan forbedres. • lærerstøtte og veiledning, • egen læringsprosess, • samarbeid med andre studenter og deres eget bidrag til samarbeidet. • hvor ofte de var tilstede i ”klasserommet”, hvor mange timer de jobbet med kurset pr uke. • syn på oppgavene og på mappeeksamen. • hva de mener å ha utviklet av ferdigheter utover det rent faglige ved å delta i kurset. • vurdering av kurset og erfaringen med å være e-læringsstudent. Betydningen av å få ECTS credits. Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

16. Slutt evaluering • Data er oppsummert i its learning • Gir informasjon om studentenes samlede inntrykk av kurset og det å være e-læringsstudent. • Viktig informasjon når neste kurs skal planlegges og utvikles • Gir oss også informasjon om faktisk arbeidsmengde som kan være viktig å formidle til nye studenter Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

17. Tekstanalyse • Data: • Studentenes oppgavebesvarelser og eksamen • Gir et bilde av faglig forståelse på tvers av landegrenser • Gir kunskap om deres egen læringsprosess og refleksjon over denne (refleksjonsnotat) • Kommunikasjon innad i klasserommet mellom studenter og lærere Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

18. Hva har JEG lært? • Vanskelig å være forsker og prosjektleder samtidig • Vanskelig å få planlagt design og formål med evalueringen godt nok • Vanskelig å få nok tid til å fokusere på forskning og gjøre analyser underveis Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

19. Hva har JEG lært? • At det på tross av vanskene er godt å ha gjort evalueringer underveis • At det blir tid senere til å oppsummere og analysere og til å skrive om erfaringene • At det hadde vært lettere å gjennomføre evalueringene hvis teorigrunnlaget hadde vært gjennomtenkt på forhånd, og evalueringskriteriene hadde vært tydelige noe som ville kunne ført til et mer gjennomtenkt design og gjort analysearbeidet lettere Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

20. Hva har jeg lært • At dokumentasjon er viktig også for å skaffe penger til prosjekter • At det hadde vært godt å ha med en ekstern evaluator i et samarbeid Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

21. Hva er det jeg lærer hver gangmen sjelden får gjort noe med i tide? • At prosjekter alltid tar mer tid enn planlagt • At det er viktig ved utvikling av prosjektplaner å innarbeide tid til utvikling av evalueringsdesign • At framdriftsplaner for prosjektet styrer prosjektleder og at prosjektoppgavene som må gjøres alltid kommer før forskning og litteraturstudier Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

22. Vi skal alle være forskere • Viktig å kunne dokumentere arbeid og utvikling i prosjekter • Ha materiale som kan presenteres på konferanser • Evaluering gir grunnlag for forbedringer og utveksling av erfaringer Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

23. ER DET ØNSKELIG??? • Er det ønskelig å være både forsker og prosjektleder? Hvis JA: • Hvordan gjøre det mulig å ha to roller? Hvis NEI: • Hvordan skaffe penger til ekstern evaluering? Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet

24. Litteratur • Sverdrup, Sidsel (2002):Evaluering. Faser design og gjennomføring. Fagbokforlaget • Almås, Reidar (1990): Evaluering på norsk U-forlagets metodebibliotek Anne Karin Larsen Høgskolen i Bergen VIRCLASS prosjektet