Eesti Kutseõppeasutuste Kvaliteediauhind 2005 /2006 : assessorite 2.koolitus 15 . 03 .200 6

1. Eesti Kutseõppeasutuste Kvaliteediauhind 2005/2006:assessorite 2.koolitus 15.03.2006 Tiia Tammaru, Tallinna Tehnikaülikool Tauno-Jussi Onoper, TJO Konsultatsioonid

2. Koolituse eesmärk (1) • Luua efektiivsed hindamismeeskonnad • Kujundada osalejate seas ühtne arusaam • meeskonnatöö ja konsensuse olemusest • organisatsioonikülastuse läbiviimisest • tagasisideraporti koostamisest

3. Koolituse eesmärk (2) • Viia meeskondades läbi taotlusdokumentide hindamine • kujundada ühtne arusaam hinnatavast organisatsioonist • määratleda võtmeteemad • jõuda allkriteeriumide kaupa konsensusele • tugevuste, parendusvaldkondade, skoori ja organisatsioonikülastuse küsimuste osas • koostada esialgne organisatsioonikülastuse plaan • alustada tagasisideraporti kirjutamist

4. Detailne ajakava (1) • 15.-16.märts- Koolitus assessoritele II osa ja konsensusprotsess • 30.märts- Konsensuslike vahearuannete esitamine juhtassessorite poolt ekspertidele • 10.aprill- Vaheraportite esitamine juhtassessorite poolt ekspertidele ja projektijuhile • 10.-13.aprill- Vaheraportite ülevaatus ekspertide poolt • 14.aprill- Tagasiside ekspertidelt juhtassessorile vaheraporti kohta • Mai- Koolide külastused • Mai- Assessorite 2. konsensuskoosolek, 1 päev • 26.mai- Korrigeeritud tagasisideraportite esitamine juhtassessori poolt ekspertidele

5. Detailne ajakava (2) • 29.mai – 4.juuni- Tagasisideraportite ülevaatus ekspertide poolt • 5.juuni- Tagasiside ekspertidelt juhtassessoritele tagasisideraportite kohta • 6.-11.juuni- Tagasisideraportite viimistlemine juhtassessorite poolt • 12.juuni- Tagasisideraportite esitamine projektimeeskonnale juhtassessorite poolt • 11.-15.september- Juhtassessorite ja ekspertide järelvisiidid koolidesse • 18.-21.september- Žürii otsus konkursi võitja kohta • 21.september- Assessorite tagasisidekoosolek koos projektimeeskonnaga • 28.september- Kvaliteedikonverents, auhinnakonkursi lõpetamine ning uue konkursi väljakuulutamine

6. Kutseõppeasutuste Kvaliteediauhind 2005 eksperdid • Eneken Ulmas, Jõudluskontrolli Keskus – meeskond 1, 5 • Signe Kast, Tallinna Haridusamet – meeskond 2, 7 • Jari Kukkonen, Deloitte&Touche Eesti – meeskond 9 • Valvo Paat, Tallinna Kopli Ametikool – meeskond 4, 6 • Katrin Alujev, TNT Eesti – meeskond 8, 11 • Tiia Tammaru, TTÜ – meeskond 10

7. Koolitaja/eksperdi roll • Meeskonna töö toetamine ja hõlbustamine • Ekspert ei osale hindamises, ei esita skoori • Ekspert annab vajadusel lisaselgitusi metoodika osas (meeskonnasiseste vaidluste, ilmselt ebaadekvaatse skoori jm probleemide esinemisel) ning vastab küsimustele • Meeskonnatöö protsessi juhib juhtassessor!

8. Organisatsioonikülastuse protsess • Külastuse eesmärk • Ülevaade külastusest • Organisatsioonikülastuse reeglid • Assessorite roll • Juhiseid, nõuandeid ja näiteid

9. Organisatsioonikülastuse eesmärk • Leida kinnitust taotlusdokumendis esitatud informatsioonile • Selgitada kõiki taotlusdokumendis ebaselgeks jäänud asjaolusid, eriti rakendatusega seonduvat • Tunnetada organisatsioonis valitsevat üldist õhkkonda ja kontrollida, kas taotleja võiks olla ‘rollimudeliks’ • Valideerida skoori, vajadusel seda muutes

10. Ülevaade külastusest Meeskond planeerib külastust Taotlejale edastatakse eelinformatsioon Toimub külastus Kõikide leidude kohene dokumenteerimine Uus konsensusprotsess ja tagasisideraporti vormistamine

11. Külastuse ettevalmistamine (1) • Organisatsioon peaks määrama kontaktisiku, kes suhtleb juhtassessoriga. • Organisatsioonikülastuse ajal peaksid assessoritega vestlemiseks olema kättesaadavad kõik võtmeisikud. • Meeskonna soovi korral tuleks ette valmistada dokumendid, mida assessorid saavad kohapeal kasutada (juhtassessor peaks ette saatma vastava nimekirja). • Organisatsioon peaks saatma juhtassessorile ka täpse organisatsiooni struktuuri koos nimedega, et intervjuusid oleks võimalik täpselt planeerida.

12. Külastuse ettevalmistamine (2) • Assessorite meeskonnale tuleks luua töötingimused – eraldi ruum. • Intervjuud toimuvad kas töökohtadel või väiksemates gruppides (vastavalt assessorite soovile ja organisatsiooni võimalustele). • Pärast külastust ei või assessorid anda informatsiooni skoori ega selle muutmise kohta.

13. Külastuse reeglid • Haridusasutuse külastus on piiratud hinnatava asutuse töötajate ja dokumentatsiooniga. Hindamisprotsessi ei ole lubatud kaasa haarata väliseid huvipooli ega organisatsioone. • Esialgne hindamine peab toimuma ainult esitatud taotlusdokumendi põhjal. Lisaandmeid võib kasutada vaid külastuse planeerimise eesmärgil. • Assessorid ei tohi hindamisel arvesse võtta • uusi algatusi või andmeanalüüse, mis on tehtud pärast taotlusdokumendi esitamise kuupäeva • enne taotlusdokumendi esitamist alustatud tegevusi puudutavat informatsiooni, mida ei ole taotlusdokumendis esitatud. • Assessorid võivad arvestada jätkuvaid andmeid – taotleja võib välja tuua viimaseid andmeid või jätkuvaid trende tulemuste osas, mis on taotlusdokumendis juba esitatud. Vajadusel võib korrigeerida vastavat valdkonda käsitleva allkriteeriumi skoori.

14. Soovitusi edukaks külastuseks • Leppige kokku külastuse reeglites ja jälgige nendest kinnipidamist. • Koostage detailne ajagraafik ja mõelge läbi tööjaotus – üksikute assessorite ja tööpaaride jaoks. • Mõelge läbi külastuse logistika, arvestage võimalikke ajakadusid ühest kohast teise liikumisel. • Taotlejale võib eelnevalt saata soovitud materjalide loetelu. • Määratlege olulised asjaolud, millele kõik assessorid peavad keskenduma • Olge valmis esialgseid plaane muutma vastavalt uutele, külastuse käigus selguda võivatele asjaoludele. • Ärge laske taotlejal ennast kõrvale juhtida! • Pange kuuldu võimalikult täpselt ja koheselt kirja. • Viige läbi konsensuskoosolekud samal õhtul peale esimest ja teist külastuspäeva. Täpsustage teise päeva plaani vastavalt esimese päeva “saagile”.

15. Organisatsioonikülastuse käik • Organisatsioonikülastus algab tavaliselt avakoosolekuga, kus osalevad kõik assessorid ja taotleja juhtrühm ning toimub vastastikune tutvustamine; samuti selgitab juhtassessor avakoosolekul külastuse eesmärki ja põhireegleid. • Seejärel jagunetakse rühmadeks, paarikaupa töötamine on soovitatav. • Pidage vahekoosolekuid, kus jagate vastastikku informatsiooni. • Tõendeid organisatsiooni küpsuse, rakendatuse ulatuse ja esitatud andmete kohta leiate organisatsioonist, mitte tippjuhi kabinetist! • Jalutage organisatsioonis ringi lahtiste silmadega vaadates ja hoolega kuulates! Tunnetage organisatsioonis valitsevat kultuuri ja õhkkonda. • Lõppkoosolekul ei anta informatsiooni külastuse tulemuste ega skoori kohta. Tänatakse organisatsiooni ja kõiki inimesi, kes külastusele kaasa aitasid.

16. Intervjueerimine • esitle ennast ja selgita, miks intervjuu toimub; • sissejuhatus intervjuu teema osas; • püüa luua pingevaba õhkkond; • püüa võita intervjueeritava usaldus; • esita selgeid ja arusaadavaid küsimusi; • alusta avatud küsimustega ‘kuidas....?’ • vajadusel täpsusta teemat suletud küsimustega ‘kas...?’ • kinnita saadud vastust • ‘selgitage, mida see praktiliselt tähendab?’ • ‘näidake mulle ...’ (näiteks dokumenti X, teadetetahvlit, andmebaasi jne.) • dokumenteeri vastused/leiud koheselt, kasutades eelnevalt ette valmistatud vorme; • leia intervjuu lõpus kinnitust, et oled asjast õigesti aru saanud; • täna intervjueeritavat abi ja kulutatud aja eest.

17. Juhtassessori roll • … ei saada organisatsioonile küsimusi ette • … organiseerib võimalusel organisatsiooni põhitegevusega eelneva tutvumise • … koostab minutilise täpsusega intervjuude ajakava (allkriteeriumid ja pausid) • … edastab kõikidele assessoritele ja intervjueeritavatele ajakava • … edastab assessoritele organisatsioonistruktuuri ja küsitud lisamaterjali nimekirja • … tutvustab enne intervjuude algust assessorite konfidentsiaalsuskohustust • … tutvustab intervjuu alguses assessoreid (või teevad seda assessorid ise) • … annab kõikidele assessoritele võimalusi esitada küsimusi • … grupiintervjuu puhul juhib intervjuu käiku ning vastutab ajaraamistikus püsimise eest • … lõpetab külastuse positiivses alatoonis ja tänab kogu organisatsiooni

18. Assessori roll • … ei ole audiitor, raamatupidaja, jurist ega ajakirjanik • … ei kasuta intervjuul tendentslikke, halvustavaid, ilustavaid jms väljendeid • … ei esita küsimusi isiklikult, vaid esindab kogu meeskonda • … ei vabanda materjalist mittearusaamist, sest selleks on konsensuskoosolek • … ei rõhuta isiklikku huvitatust organisatsiooni teenustest • … formuleerib konkreetse, arusaadava ja asjakohase küsimuse • … esitab küsimusi kõigile kuuldava hääle ja diktsiooniga • … kuulab ära küsimuse vastuse • … kirjutab üles küsimuste vastused hindamiseks ja lõppraportis kasutamiseks • … annab küsimuste lõppedes kaasassessoritele võimaluse lisaküsimusteks • … tänab intervjueeritavat pärast vastuste saamist küsimustele • … teeb märkmeid kaasassessorite ja auhinnaprotsessi hindamiseks

19. + Aja tõhus kasutamine Professionaalne meeskond Viisakus Hea organiseeritus Paindlikkus Töötajatele pingevaba õhkkonna loomine Head intervjueerimisoskused - Assessorite agressiivne käitumine Ebaviisakus, ülbus Oli sama tunne kui auditi ajal Halb planeerimine Assessorid ei oska kuulata Paneb tukkuma! Auhinnakonkursil osalejate tagasisidest

20. Pärast külastust • Pärast organisatsioonikülastust ärge kasutage väljendeid a la 'Taotlusdokumendis jääb selgusetuks, kas või millises ulatuses ...', 'puuduvad tõendid, et...' jne. (Sellised laused kuuluvad vaheraportisse). Faktidele kinnitust, küsimustele vastused ja segaseks jäänud asjaoludele selgitust pidite saama organisatsioonikülastusel. • Juhul kui midagi jäi siiski arusaamatuks ka pärast organisatsioonikülastust, siis tuleks kommentaaridesse kirjutada 'ka organisatsioonikülastuse käigus ei selgunud, kuidas...' NB! Ei soovita eriti kasutada, see võib näidata assessorite küündimatust. On õigustatud, kui organisatsioon keeldus teatud informatsiooni jagamast.

21. Konsensusprotsess (külastuse järel) Tõendid/vastused 1 min 1. kriteerium 2. Parendus-võimalused kohandage & nõustuge 3 min 3. Tugevused kohandage & nõustuge 3 min 10 min Kontrolli võtmeteemasid 1 min 1 min 5. Meeskonna skoor 4. Indi- viduaalsed skoorid 1 min

22. Tagasisideraporti koostamine • Tagasisideraporti sisu • Raporti kirjutamine • Soovitusi ja näiteid • Isiklikud kogemused

23. Tagasisideraporti ülesehitus 1. Hindamisprotsessi kirjeldus - Sissejuhatus 2. Tagasisderaporti lühiülevaade – Kokkuvõte (sh võtmeteemad) 3. Tugevused ja parendusvaldkonnad iga kriteeriumi kohta 4. Hindamismaatriksid 5. Skooritabel täpsusega 0-10 % 6. Taotleja skoorivahemik 50 punkti täpsusega 7. (Teiste taotlejate skoorid)

24. Tagasisideraporti koostamise protsess • Juhtassessor vastutab • Konsensushindamisraamat aluseks • Kirjutamise vastutust võib jagada, aga tuleb tagada ühtlane stiil. Viimasele mustandile enne saatmist tuleb koguda terve meeskonna arvamused õigluse, täpsuse ja loetavuse kohta. • Hindamisraamatute kommentaarid tuleks formuleerida algusest peale tagasisideraporti koostamist silmas pidades. Ainult märksõnadega kirjutatud hindamisraamatu kommentaarid muutuvat kiiresti arusaamatuteks ka meeskonnale endale.

25. Tagasisideraporti valmimise protsess • Pärast esimese versiooni valmimist saadab juhtassessor tagasideraporti kõikidele meeskonnaliikmetele veelkordseks ülelugemiseks/parandamiseks. • Kui assessorid tagasisideraportit loevad, siis nad võiksid seda teha taotleja seisukohast vaadatuna. • Kõik assessorid peaksid saama ka lõppversiooni tagasisideraportist. • Tagasisideraporti allkirjastab juhtassessor. Juhtassessor esitab tagasisideraporti projektijuhile. • Projektijuht lisab kõikidele ühise sissejuhatuse, hindamiskaartide näidised, skooritabeli ja konkursil osalejate keskmised skoorid. • Tagasisideraporti esitab taotlejale projektijuht.

26. Tagasisideraporti kokkuvõte (sh võtmeteemad) • 1 kuni 2 lehekülge • Assessorite meeskonna poolt tehtud põhijärelduste kokkuvõte • Peaks sisaldama kasulikku ja ülevaatlikku informatsiooni taotleja juhtkonna jaoks

27. Soovitusi ja juhiseid • Mis on hinnatava kriteeriumi põhieesmärk? • Tähtsuse järjekord ning seosed tervikuks • Kasuta taotleja terminoloogiat • Väldi konsulteerimist • Skoori ja kommentaaride tasakaal • Eesmärk on anda kommentaare, mille alusel taotleja võib oma tegevust parendada • Ole taktitundeline

28. Iga allkriteeriumi kohta: • Tugevused: Lähenemisviis ja sellest saadav kasu • Parendusvaldkonnad: Lähenemisviis/puudus ja sellest tulenev kahju/risk • Võib kasutada tingmärke ++, +, +/-, -, -- • Loetelu peaks tulenema vaheraportist ja organisatsioonikülastusel lisandunud informatsioonist. • Tugevused ja parendusvaldkonnad peavad olema esitatud selgete arusaadavate lausetena, mitte lihtsalt märksõnade loeteluna.

29. Veel soovitusi ja juhiseid • Ärge kasutage küsilauseid. • Pärast organisatsioonikülastust ärge kasutage väljendeid • 'Taotlusdokumendis jääb selgusetuks, kas või millises ulatuses ...', 'puuduvad tõendid, et...' jne. (Sellised laused kuuluvad vaheraportisse). Faktidele kinnitust, küsimustele vastused ja segaseks jäänud asjaoludele selgitust pidite saama organisatsioonikülastusel. • Juhul kui midagi jäi siiski arusaamatuks ka pärast organisatsioonikülastust, siis tuleks kommentaaridesse kirjutada • 'ka organisatsiooni-külastuse käigus ei selgunud, kuidas...' (NB! Ei soovita eriti kasutada, see võib näidata assessorite küündimatust. On õigustatud, kui organisatsioon keeldus teatud informatsiooni jagamast.)

30. Konsulteerimise vältimine • Vältige konsulteerimist, st omapoolsete lahenduste pakkumist või ettekirjutuste tegemist organisatsioonile, kuidas ta toimima peaks. • Tuleks piirduda kommentaaridega sellele, mis on taotlusdokumendis esitatud või siis esitamata jäetud (on puudu, ei ole käsitletud, kuigi mudeli järgi oleks pidanud käsitlema).

31. Halbu näiteid • On võimalik näha selgeid arenguid. • Kliendi tagasisidesüsteem on puudulik. • Pole võetud kasutusele tulemusjuhtimist. • Taotlusdokument oli halvasti kirjutatud ja sellest oli väga raske saada aru. • Töötajatelt tuleb liiga vähe ettepanekuid. • Küsitluste efektiivsuse tõstmine. • Siseauditi rakendamine ja personali koolitamine. • Vastutuse delegeerimine allapoole juhtkonna hierarhias bürokraatia vähendamiseks. • Toimenäitajate konkretiseerimine erialati kriteriaalselt tulemusjuhtimisele. • Rahulolu küsitlustele vastanute arv on ebapiisav.

32. Edukat hindamist!

33. Meeskonnatöö ruumid