Eesti Kutseõppeasutuste Kvaliteediauhind 2010: ASSESSORITE KOOLITUS 18 . – 19. august 2010

1. Eesti Kutseõppeasutuste Kvaliteediauhind 2010:ASSESSORITE KOOLITUS 18. – 19. august 2010 Tiia Tammaru, TTÜ/EKÜ Jari Kukkonen, Vita Longa

2. Eesti Kutseõppeasutuste Kvaliteediauhind 2010 Kvaliteediauhinna konkursi eesmärgid: • parendada koolide juhtimissüsteeme ja tõsta seeläbi koolide töö tulemuslikkust; • tunnustada silmapaistvaid koole; • jagada kogemusi kutseharidusasutustes hästi töötavatest süsteemidest; • tõsta kutseõppeasutuste mainet.

3. Assessorite koolituse ülesehitus I päev 12.08. • Kursuse ülevaade ja eesmärgid • Hindamisprotsessi mõistmine • Assessori roll, hea hindamistava • Täiuslikkuse põhimõtted, mudeli üldloogika, RADARi üldloogika • Tulemuste ja võimaldajate hindamine • Tõendite kogumine, konsensus ja organisatsioonikülastuse sissejuhatus II päev 18.08. • Hindamismeeskonna kompetentsid • Hinnatava organisatsiooni mõistmine • Tagasisideraport • Võtmeteemad • Konsensuse saavutamine • Organisatsioonikülastuse ettevalmistamine • TÖÖ TAOTLUSDOKUMENTIDEGA III päev 19.08 • TÖÖ TAOTLUSDOKUMENTIDEGA JÄTKUB • Külastuse küsimuste sõnastamine • Kohtumine osalevate koolide esindajatega

4. S aame tuttavaks

5. EKKA protsess Enesehindamine (taotlusdokument auhinnakonkursile) Välishindamine Tagasisideraportidtaotlejatele Osalejate tunnustamine, auhinna väljaandmine

6. Protsess assessorivaatevinklist 3 Külastuse plaani koostamine Ettevalmistusfaas 1. Meeskonna loomine • i 2. Taotleja mõistma õppimine 4. Kohtumine taotleja esindajaga 5. Külastuse ettevalmistamine Planeerimine 6. Kohtumine juhtkonna esindajatega 7. Külastuse läbiviimine (tõendite leidmine) Organisatsiooni külastus 9.Tagasisideraporti kohta kommentaaride andmine organisatsiooni esindajatele 8. Tagasisideraporti koostamise lõpetamine

7. Hinnatava kooli ootused ja vajadused • Hindamisprotsess, mis on õiglane, aus, järjepidev • Tasakaalus ja lisaväärtusega tagasiside, mis aitab organisatsioonil areneda • Professionaalsed, kogenud assessormeeskonnad • Asjakohane konfidentsiaalsus • Sujuv ja professionaalselt läbiviidud organisatsioonikülastus • Tõenditele põhinev hindamine

8. Assessori töö ja vastutus • Saada ülevaade organisatsiooni toimimisest tervikuna, sõnastada võtmefaktorid, küsimused organisatsioonikülastuse läbiviimiseks ja tugevused/parendusvaldkonnad • Aidata kaasa kooli esindajaga kohtumise ja organisatsioonikülastuse ettevalmistamisele ning läbiviimisele • Osaleda ja aidata kaasa konsensuse saavutamisele • Osaleda ja aidata kaasa tagasisideraporti koostamisele • Pidada kinni kõikidest meeskonnaga kokkulepitud ajakavadest • Nautida õppimiskogemust

9. Juhtassessori roll • Juhtida hindamisprotsessi kavandamist ja korraldamist • Teostada hindamise projektijuhtimist • Motiveerida meeskonda ja luua meeskonnavaim • Lahendada küsimusi meeskonnasiseselt või muude huvipooltega • Luua ja hoida häid suhteid hinnatava organisatsiooniga • Anda organisatsioonile soovi korral silmast-silma tagasisidet

10. Välishindamise hea tava • Kompetentne assessor • Põhimõtted • Olulised hindamise juhtimise aspektid erinevates protsessi etappides

11. Välishindamise hea tava1. Assessori kompetentsid • Järgib välishindamise hea tava • Mõistab Kutseõppeasutuste Kvaliteediauhinna mudeli rakendamist ja selle sisemisi seoseid • Valdab RADAR hindamisraamistiku kasutamist • Mõistab erinevaid organisatsioone/ funktsioone & omab ülevaadet organisatsiooni toimimisest tervikuna • Annab tipptasemel meeskonna liikmena positiivse ja efektiivse panuse, omades head suhtlemisoskust kõnes ja kirjas • Kogub, ühtlustab ja analüüsib dokumentaalseid ning arutelude käigus saadud tõendeid ja kasutab neid põhjendatud hinnangute andmiseks

12. Välishindamise hea tava2. Põhimõtted • Professionaalne sõltumatus • Isiklike huvide ja hindamise lahus hoidmine • Konfidentsiaalsuse hoidmine • Faktidele tuginemine • Faktid • Konsensuslik nägemus / hinnang • Tähelepanekute tõendamine • Kontekst ja seostatus • Terviklikkus • Visioon, missioon, eesmärgid • Konkurentsieelis ja selle kommunikeerimine • Väljakutsed • Kriitilised edukuse tegurid

13. Välishindamise hea tava3. Olulised juhtimise aspektid • Ettevalmistus • Mudeli ja protsessi tundma õppimine • Eelinfo kogumine ja faktide kontrollimine • Kontekst ja seotus ning oma hüpoteeside ning küsimuste ette valmistamine • Konsensuslik nägemus / hinnang • Läbi viimine • Kontekst ja seostatus • Usalduse saavutamine ja hoidmine • Järelduste kontrollimine • Meeskonna töö ja kommunikatsioon • Tagasiside • Kontekst ja seostatus • Võtmeteemad • Selge ja kontrollitud faktidele tuginev • Taktitundeline ja julgustav • Oma tegevuse hindamine ja parendamine • Enda tegevuse hindamine • Tagasiside andmine ja saamine • Parendusplaani tegemine

14. Põhikompetents Element Vajab olulist arendamist Vajab teatud arendamist Kompe- tentne Mõistab Eesti Kutseõppeasutuste Kvaliteediauhinna mudelirakendamist ja selle sisemisi seoseid ja hindab mudelit järjepidevalt kasutades Mudelja RADAR Väga põhjalikud teadmised Mudeli seosed Skoori andmine Mõistab erinevaid organisatsioone/ funktsioone & omab ülevaadet organisatsiooni toimimisest tervikuna Organisatsioonide mõistmine Ülevaate omamine Annab tipptasemel meeskonna liikmena positiivse ja efektiivse panuse, omades head suhtlemisoskust Meeskonnatöö Suhtlemine Kogub, ühtlustab ja analüüsib dokumentaalseid ning arutelude käigus saadud tõendeid ja kasutab neid põhjendatud hinnangute andmiseks Kirjaliku materjali määratlemine ja ühtlustamine Suulise materjali määratlemine ja ühtlustamine Analüüsimine ja põhjendatud hinnangute andmine Esitab selgeid, täpseid ja kasulikke tagasisideraporteid Kirjaliku tagasiside andmine Lisaväärtusega tagasiside andmine Assessori kompetentsimaatriks– põhikompetentsid – Täitmiseks ja meeskonnas võrdlemiseks

15. Organisatsioonikülastus • Tuginedes taotleja presentatsioonidele, intervjuudele, fookusgrupi aruteludele ning ülevaatamiseks küsitud dokumentidele: • Veenduda reaalsuse vastavuses sellele, mis on taotlusdokumendis kirjas • Saada selgitusi valdkondade osas, mis jäid taotlusdokumendis ebaselgeteks • Kontrollida lähenemisviiside rakendatust • Leida uut informatsiooni taotleja kohta • Määratleda vastavust rollimudeli staatusele • Testida sõnastatud võtmeteemade õigsust

16. Külastuse eesmärk • Mõista organisatsiooni funktsioneerimist tervikuna • Hinnata erinevate lähenemisviiside rakendatust • Tunnetada organisatsioonis valitsevat õhkkonda ja kontrollida, kas taotleja võiks olla “rollimudeliks” • Anda assessormeeskonnale võimalus koostada võimalikult suurt lisaväärtust andev tagasisideraport • Aidata jõuda skoorini • Anda žüriile kinnitus assessormeeskonna järelduste suhtes • Anda väärtuslikku kogemust nii taotlejale kui assessorile

17. Kasutage oma meeli

18. Organisatsioonikülastuse teemad • Organisatsioonikülastuse teemade valikul küsige endalt alati: “Kuidas selle teemaga seonduvad vastused mõjutavad tagasisideraporti sisukust?” • Kui vastus on: “Ei mõjutagi” või “Ma ei tea”, siis tasuks teema loetelust kõrvaldada! • Küsimuste formuleerimisel võib olla abi organisatsioonikülastuse teemade kaardist.

19. Intervjueerimine • esitle ennast ja selgita, miks intervjuu toimub; • sissejuhatus intervjuu teema osas; • püüa luua pingevaba õhkkond, püüa võita intervjueeritava usaldus; • esita selgeid ja arusaadavaid küsimusi; • alusta avatud küsimustega ‘kuidas....?’ • vajadusel täpsusta teemat suletud küsimustega ‘kas...?’ • kinnita saadud vastust • ‘selgitage, mida see praktiliselt tähendab?’ • ‘ näidake mulle ...’ (näiteks dokumenti X, andmebaasi jne.) • ‘kas ma sain õigesti aru, et … ?’ • dokumenteeri vastused/leiud koheselt; • leia intervjuu lõpus kinnitust, et oled asjast õigesti aru saanud; • täna intervjueeritavat abi ja kulutatud aja eest • Soovitav on intervjueerida kahekesi – üks küsib, teine kirjutab; järgmise intervjuu ajal rollid vahetuvad

20. Intervjueerimise põhireeglid (1) • Intervjuu avamine • Planeeri hoolega intervjuu sissejuhatust, kuna see võib oluliselt mõjutada intervjuu õnnestumist või ebaõnnestumist • Tutvusta ennast ja püüa maandada intervjueeritava pinget • Hoia silmsidet • Anna ülevaade intervjuu struktuurist ja sinu vajadustest • Selgita intervjueeritavale, et intervjuu on konfidentsiaalne ja palu luba teha märkmeid

21. Intervjueerimise põhireeglid (2) 2. Intervjuu põhiosa • Seleta detailselt, mida vajad • Alusta vestluse arendamist soodustavatest küsimustest • Kasuta erinevat liiki küsimusi • Väldi hirmutavaid või suunavaid küsimusi • Kuula! Väldi tendentsi sisustada intervjuud oma häälega • Näita välja oma huvi ka vastava kehakeele kasutamisega • Pea kogu aeg meeles oma eesmärke! • Hoia intervjuud enda püstitatud ajaraamide sees • Väldi ennetavate järelduste tegemist

22. Intervjueerimise põhireeglid (3) 3. Intervjuu lõpetamine • Tee lühikokkuvõte räägitust • Avalda tänu intervjueeritava vastuste, aja, huvi jne eest • Kui arvad, et vajad veel täiendavat infot, lepi kokku järgnevad sammud • Ära kommenteeri intervjuu võimalikku mõju hindamistulemusele

23. Külastuse kava • kuni 3 päeva • koostage kava selliselt, et saaksite käsitleda kõiki teemasid • teemasid käsitletakse intervjuude, fookusgruppide ja andmetega tutvumise ja vaatluste kaudu • kogu assessorite meeskond on kaasatud

24. Organisatsiooni piiritlemine Mis on peamised väljundid? Mis on peamised sisendid ? Mis organisatsioonis toimub? Kes on võtme- tarnijad? Kes on võtmekliendid? Kes on peamised huvipooled? Milline on väliskeskkond?

25. Võtmefaktorite (key factors) kasutamine • Võtmefaktid organisatsiooni kohta, mis aitavad assessoritel paremini mõista organisatsiooni ning soodustavad taotlejatele lisaväärtust toova tagasiside andmist. • Võtmefaktorid on: • assessori töövahendiks, mis aitab tõsta hindamise käigus tehtavate kommentaaride asjakohasust ja väärtust, kuid seda ei kasutata hindamise väljundina; • määratletud viies kategoorias; • Meeskonna konsensus võtmefaktorite osas lihtsustab konsensuse saavutamist tugevuste, parendusvaldkondade ja skoori osas.

26. Võtmefaktorite kategooriad • Keskkond, kus organisatsioon tegutseb – faktid taotleja organisatsiooni kohta, ajalugu, missioon, visioon, asukoht (-kohad), inimesed • Organisatsiooni suhted – faktid taotleja võtmepartnerite ja –tarnijate kohta, suhted partnerorganisatsioonidega, sisemise kliendi-tarnija mõisted • Konkurentsikeskkond – faktid turu/keskkonna kohta, kus taotleja tegutseb, peamised kliendid, kliendivajadused, segmenteerimine, edasimüüjate teenuste kasutamine • Strateegilised väljakutsed – faktid taotleja strateegiliste eesmärkide kohta • Toimivuse parendamise süsteem – faktid organisatsiooni lähenemisviiside kohta toimivuse parendamisele, süsteem ja vahendid parenduste identifitseerimiseks, prioriteetide seadmiseks ja juurutamiseks

27. Võtmefaktorite kindlakstegemine ja kasutamine • Määratlege võtmefaktorid protsessi alguses, muutes/korrigeerides neid vajadusel hindamise käigus. Maksimaalselt 30 võtmefaktorit (kuni 6 faktorit kategooria kohta) • Info allikad - taotluse vorm, taotlusdokumendi ülevaate osa, võimalikult ka taotlusdokumendi muud osad, külastuse käigus kogutud info. • Hoidke võtmefaktorite sõnastusi silme ees, kui sõnastate võtmeteemasid, tugevusi, parendusvaldkondi ja organisatsioonikülastuse teemasid. See aitab tagada kommentaaride väärtuslikkust ja asjakohasust.

28. Võtmeteemad (key themes) • “Võtmeteemad” on termin, mida kasutame assessormeeskonna seisukohalt olulisemate asutuse toimivust iseloomustavate valdkondade defineerimiseks. • Palume meeskondi sõnastada oma nägemused võtmeteemade osas taotlusdokumendi analüüsi protsessi alguses, täiendada ja täiustada neid analüüsi protsessi käigus ning kajastada nad tagasisideraporti kokkuvõtte osana.

29. Võtmeteemad - mõiste • Peamised küsimused, mis iseloomustavad organisatsiooni toimimist ja üldist laadi tähelepanekuid, mida hindav meeskond võiks soovida organisatsioonile tagasisidena esitada. • Näiteks: – Koolis on tugev täiuslikkuse kultuur ja tippjuhid demonstreerivad seda selgelt – Kool keskendub tugevalt huvipoolte ootusi rahuldavate tulemuste saavutamisele.See kajastub selgelt strateegia väljatöötamise ja eesmärkide püstitamise protsessides. - Esitatud näitajate osas vähe võrdluseid oma eesmärkidega

30. Võtmeteemad – eesmärk • Saada terviklik ülevaade organisatsiooni toimimisest • Luua alus tagasisideraporti kokkuvõttele • Aidata organisatsiooni külastamisel keskenduda olulistele küsimustele • Toetada konsensusprotsessi

31. Konsensusprotsess – mõiste Auhinna protsessi hindamiste mõistes on konsensus: • meeskonna ühine seisukoht iga allkriteeriumi tugevuste, parendusvaldkondade ja külastuse käigus esitatavate küsimuste osas • ülaltoodud seisukohtadel põhineb skoor, millega kõik meeskonna liikmed nõustuvad.

32. Konsensuse saavutamise protsess Allkriteeriumi “peremeeste” poolt tugevuste ja parendusvaldkondade sõnastuste väljapakkumine. Meeskonnasisene konsensusele jõudmine sõnastuste osas Tugevuste ja parendusvaldkondade sõnastuste põhjal individuaalse skoori andmine Vahemik > 25% Vahemik < 25% Assessori skooride vahemik? Keskmised skoorid Juhtassessor juhib arutelu eesmärgiga vahet vähendada Meeskonnasiseselt võtmeteemade parendusvõimaluste hindamine koostatud sõnastuste põhjal Tagasisideraporti koostamine

33. Erinevus konsensusele eelnevates skoorides Erinevust tuleb selgitada, sest: • hindamine ei ole täppisteadus • inimestel on erinev taust ja erinevad erialased teadmised • inimesed tõlgendavad sõnu ja informatsiooni erinevalt • skoorid peavad tuginema erinevalt kindlaksmääratud tugevatel külgedel ja parandusvaldkondadel • erinevused võivad tekkida: - mudeli mõistmisel ja/või - RADARi mõistmisel ja/või - hinnatava organisatsiooni mõistmisel

34. Konsensuse skooritabel Assessori skoor% Skooride ulatus % Keskmine skoor % Konsensuse skoorid % X tegur Konsensuse punktid kriteerium 1 2 3 4 5 6 1a 1b Keskmine 2a 2b 1 Eestvedamine 1.000 2 Poliitika ja strateegia 2c Keskmine 3a 3b Keskmine 4a 0.800 3 Töötajad 0.900 4b 4c 4d Keskmine 0.900

35. Tagasisideraporti eesmärk • Edastada hinnatavale organisatsioonile oma tähelepanekud selgel, struktureeritud viisil • Julgustada organisatsiooni edasist arengut ja parendamist • Anda tõelise lisaväärtusega tagasisidet, mis määrab kindlaks organisatsiooni need positiivsed aspektid, millelt edasi areneda ja need, mis vajaksid parendamist • Anda skoori vahendusel kasulik orientiir, et lihtsustada võrdlust teiste organisatsioonidega ja neilt õppida

36. Tagasisideraporti sisu • Hindamisprotsessi kirjeldus (koostab projektijuht) • Kommenteeritud kokkuvõte – 1-2 lehekülge võtmeteemade alusel • Üksikasjalik tagasiside iga allkriteeriumi kohta • tugevuste ja parendusvaldkondade sõnastustena • NB: kõik organisatsioonikülastuse küsimused peavad olema leidnud vastused ning nende põhjal peavad olema koostatud asjakohaste tugevuste või parendusvaldkondade sõnastused! • Punktitabel järgmise põhjal: • iga allkriteeriumi ja kogu kriteeriumi protsendipunktid vahemiku täpsusega • iga kriteeriumi ja kogu organisatsiooni kaalutud absoluutsed punktid kokku vahemiku täpsusega • NB: kõik skoorid peavad põhinema tugevuste ja parendusvaldkondade sõnastustel, mitte tunnetel või arvamustel!

37. Tagasisideraporti ülesehitus • Hindamisprotsessi kirjeldus (lisatakse projektimeeskonna poolt) • Üldkokkuvõte (lühikokkuvõte) • Detailne tagasiside (iga allkriteeriumi kohta) • Skooride tabel: • Protsendivahemikud iga allkriteeriumi ja kriteeriumi kohta tervikuna • Protsendivahemik üldskoori kohta

38. Üldkokkuvõte • koostatud eeskätt organisatsiooni juhtivmeeskonna jaoks • 1 - 3lehekülje pikkune sissejuhatav osa • kokkuvõte hindamismeeskonna peamistest tähelepanekutest, mis peamiselt tuginevad võtmeteemadel • peaks tekitama huvi raporti põhjalikuma lugemise vastu

39. Üksikasjalik tagasiside • Iga allkriteeriumi kohta: • Tugevused • Parendusvaldkonnad

40. Suunised tagasisideraporti koostamiseks • Konkreetsetele tugevustele ja parendusvaldkondadele osutamiseks kasutage üksikasjalikku tagasisidet – pange kirja tähtsuse järjekorras; olge valivad • Hindamisel olge järjepidevad (kõrge skooriga hinnatud allkriteeriumidel on tavaliselt mitmeid tugevaid külgi ja vähem parendusvaldkondi ja vastupidi) • Kasutage organisatsiooni enda sõnu märkuste lisamisel taotlusdokumendi, kriteeriumide ja punktitabeliga seotud valdkondadesse • Jälgige, et märkused oleksid täpsed ja organisatsiooni jaoks mõistetavad. Näidake oma leidudes, et olete mõistnud organisatsiooni olemust ja selle väljakutseid • Vältige sõnastustes otsest konsulteerimist • Hoolitsege, et tulemuste ja võimaldajate kriteeriumites oleks säilinud vastastikused seosed võimaldajate ja tulemuste kriteeriumide vahel. • Püüdke koostada dokument, mis paneb taotleja tegutsema, kuid jätke otsustamine ja prioriteetide seadmine organisatsiooni juhtidele

41. Näited adekvaatselt sõnastatud tugevustest • Lähenemisviisid kommunikatsiooni parandamiseks vaadatakse juhtkonna pooltkord aastas üleja viimastel aastatel on tehtud olulisi muudatusi, nt avatud plaaniga kontor, iganädalased koosolekud ja igakuised uudiskirjad. • Tasakaalus tulemuskaart näitab selget seost strateegia arendamisfoorumi tulemuste ja eesmärkide vahel. • Esitatud tulemustest on kõigil positiivsed trendid vähemalt 3 aasta jooksul; 50% eesmärkidest on antud perioodil järjepidevalt täidetud või ületatud; kõik tulemused on selgelt seotud neid põhjustavate lähenemisviisidega.

42. Näited adekvaatselt sõnastatud parendusvaldkondadest • Tippjuhtkonna kaasatus parendustegevustesse on piiratud. • Tunnustamise astmete, koolitusmahtude ja uute ideede kohta ei esitatud külastuse käigus asjakohaseid tulemusi, samas kinnitasid intervjueeritavad nende lähenemisviiside olulisust. • Mõnede tulemuste puhul ei arvesta püstitatud eesmärgid eelmistel aastatel saavutatud tegelikke tulemusi, näiteks klientide hoidmise määr on eelnevatel aastatel püsinud 85% juures, samal ajal on eesmärk endiselt 60%.

43. Küsitavad näited tugevustest ja parendusvaldkondadest • Tundub, et puuduvad tõendid, mis toetaksid andmete kogumist vaid kord aastas, arvestades koolitegevuse kiirelt muutuvat iseloomu. • Parendused on näidatud • Milline on seos tulemuslikkuse ja preemia vahel? • Taotlusdokument oli halvasti kirjutatud ja raske mõista • Töötajate rahulolu uuringut tuleks sagedamini läbi viia • Vaid neli ideed töötaja kohta on liiga vähe • Kool ei mõõda kvaliteedikulu

44. Küsimused