Kvantitativne i kvalitativne metode programa evaluacije

1. Kvantitativne i kvalitativne metode programa evaluacije Katarzyna Okulicz-Kozaryn Institute of Psychiatry and Neurology in Warsaw, Poland

2. Kvalitativne metode Posmatranje Intervju Dokumenti – tekstovi i sl. Rezultati su predstavljeni u obliku riječi, proizvoda i sl. Podaci se mogu analizirati upotrebom kvalitativne i kvantitativne metode Kvantitativne metode Upitnici, mjerila ... Dokumenti - brojevi (školske ocjene, izostanci ...) Rezultati su predstavljeni u obliku brojeva ili proporcija Prikupljanje podataka

3. Korist kvantitativnih podataka • Ocjenjivanje veličine problema npr. Koliko učenika ima probleme u školi? • Ocjenjivanje razlika • U vremenu npr. Koji su sadašnji trendovi učestalosti uporabe alkohola između 15 godišnjih učenika? • Među grupama npr. Ima li razlika pri postizanju školskih uspjeha između A i B razreda?

4. Kvantitativna istraživanja • U školi – pruža informacije samo o onima koji su sudjelovali u istraživanju • frekventnost (npr. broj propuštenih sati) • negativne ocjene (npr. u matematici) • izvještaji (npr.broj učenika uhvaćenih da puše u prošloj i sadašnjoj školskoj godini) • U istraživačkim centrima – pruža informacije o široj populaciji, može se generalizirati i na one koji nisu sudjelovali u istraživanju. Bitni su: • Reprezentativnost primjerka • Analize statističkog značenja (među-grupnih razlika, među-varijabilnih odnosa)

5. Glavna obilježja kvalitativnog istraživanja • Fokusirano na klasifikacije i interpretacije Tipična istraživačka pitanja: • Što je„učinkovit prevencijski program”? • Kakoovaj program funkcionira kod mlađih a kako kod starijih učenika? • Zašto su učinci programa različiti u školi 1 i u školi 2? • Upotrijebi podatke iz nekoliko različitih izvora (triangulacija)

6. Učinkovitost kvalitativnog istraživanja • Prepoznavanje novog fenomena, npr. Kako roditelji doživljavaju prijedlog da sudjeluju na partijima organiziranima za njih od strane studenata i učitelja? • Dopiranje do skrivene populacije, npr. Adolescenata koji ponekad puše cannabis • Planiranje ili poboljšanje aktivnosti, npr. Odlučivanje je li korisnije nastavu provoditi u obliku igranja uloga ili diskusije. • Priprema kvantitativnog istraživanja, npr. Koje kategorije bi trebale biti uključene u odgovor „kafić” u upitniku? • Objašnjenje rezultata kvantitativnog istraživanja, npr. Zašto je djelovanje programa bolje među djevojkama nego dječacima?

7. Individualni intervju • Struktura (upitnik) Sa „zatvorenim” pitanjima (uglavnom), npr. Molimo, ocijenite s 0-5 koliko ste zadovoljni sudjelovanjem na ovoj radionici (0 znači „Nisam uopće zadovoljan”, a 5 - „Vrlo sam zadovoljan”) • Djelomična struktura Uglavnom s „otvorenim” pitanjima, npr. 1. Jeste li pročitali brošuru 1 za roditelje? DA NE • Što Vam se najviše sviđalo kod te brošure? • Zašto? • In depth 1-2 issues are discussed in depth by respondents, e.g. … Could you tell me about the situations which occurred in school this year and were related to alcohol use by students?What steps were undertaken to solve these problems?

8. Individualni intervju • Struktura (upitnik) Sa „zatvorenim” pitanjima (uglavnom), npr. Molimo, ocijenite s 0-5 koliko ste zadovoljni sudjelovanjem na ovoj radionici (0 znači „Nisam uopće zadovoljan”, a 5 - „Vrlo sam zadovoljan”) • Djelomična struktura Uglavnom s „otvorenim” pitanjima, npr. 1. Jeste li pročitali brošuru 1 za roditelje? DA NE • Što Vam se najviše sviđalo kod te brošure? • Zašto? • Detaljno 1-2 pitanja su detaljno obrazložena od strane ispitanika, npr. … Možete li mi reći o situacijama koje su se dogodile u školi ove godine a odnosile su se na uporabu alkohola od strane učenika? Koji su koraci bili poduzeti za riješenje tih problema?

9. Tipična obilježja kvalitativnog intervjua • Interaktivan – proces intervjua ovisi o ispitaniku i o ispitivaču • Temelji se na kratkoj listi ključnih pitanja koja su usko povezana s ciljem intervjua • Prikladanjeziku i načinu razmišljanja ispitanika: • Poredak pitanja je po izboru (prikladan ispitanikovim trenutačnim mislima) • Izražavanje je slobodno • Fleksibilan – dozvoljava diskusiju zanimljivih tema koje nisu bile unaprijed planirane • Dodatna pitanja • Moderator stalno kontrolira svoje razumijevanje ispitanikovih izjava (ne pogađa!) • Trenutačne reakcije • Važniji je selekcijski kriterij od same veličine primjerka • Jasno i opravdano • U skladu s raspoloživosti i ostvarenjem izabranih ciljeva

10. Brz i praktičan način prikupljanja podataka istovremeno od nekolicine ispitanika Diskusija između sudionika koji se ispituju i komentiraju dane izjave. Dozvoljava: Ispitanicima da preciznije oblikuju svoja mišljenja Istraživačima da prepoznaju novi fenomen Spoznaju, kako ispitanici međusobno komuniciraju o temi diskusije Intervju fokusirane grupe

11. Korisnost fokusirane grupe • Prepoznavanje subkultura, manjina, specifičnih grupa • Proučavanje „tabu” tema Otvorena diskusija i izjave ohrabruju ostale sudionike na razgovor • Izolacija kritičnih mišljenja • Kada su ispitanici mala djeca koja više vole pričati nego pisati • S djecom koja se srame pri individualnom intervjuu s odraslim • Akcijsko istraživanje, npr. „Kada o tome razgovaramo, vidim da nismo dovoljno pažnje posvetili predstavljanju te teme roditeljima”

12. Provedba fokusirane grupe • Veličina i broj grupe • 2-50(!) grupa • 6-12 ili 4-8 osoba u grupi • Kriterij za odabir sudionika • Dob, spol (vrlo važno kod djece i adolescenata) • Posebnosti, npr. vođa preventivnog programa • Pristanak za sudjelovanje • Prijašnje upoznavanje ostalih sudionika (npr. učitelji iz iste škole) -mogućnost promatranja interakcija, - formalni međuodnosi brane otvorenu komunikaciju • Organizacija • Vrijeme: 1-2 sata ili serija sastanaka • Mjesto: okrugli stol, ugodne stolice, grickalice/sokovi

13. Uloga moderatora • Objasniti cilj, predstaviti temu, ohrabriti sudionike na diskusiju • Dokle god se grupa drži unutar teme, moderator može biti suzdržan dozvoljavajući slobodnu razmjenu mišljenja • Umiješati se da: • Zadrži glavnu temu, dobije odgovore na pitanja istraživanja • Objasni razlike između sudionika • Ide u dubinu (može služiti kao „vražiji advokat”) Pomoćni materijali: • Individualni papir s odgovorima (npr. mjerila) • Vizualni materijali koji stimuliraju diskusiju (npr. slike) • Izjave ili rečenice koje treba rangirati ili organizirati u grupe

14. Opažanje • Dosezanje zanimljivih mjesta • „Čuvar vrata”, npr. školski psiholog • Pregovori sa sudionicima • Grupno prihvaćanje • Rizik identificiranja s promatranom grupom • Rizik utjecanja na djelovanje grupe • Promatrač: vanjskisudionik otvorentajan

15. Istraživanje akcijeRadi za i s ljudima a ne proučavaj ih! Glavne karakteristike: • Sudjelovanje • Svi koraci realizacije projekta su dogovoreni između „istraživača” i „sudionika” • „sudionici” se uvjereni da su potrebne neke promjene, te su prema tome zainteresirani za istraživanje i njegove ishode • Demokracija • Glavni cilj „istraživača” je olakšati promjenu, (npr. stvoriti funkcionalniji školski sistem) • Zaključci „istraživača” i „ispitanika’” su od podjednake važnosti • Ispunjavanje praznine između znanosti i prakse • Rezultati istraživanja su spremni za uporabu na različitim lokacijama (npr. u drugim školam)

16. Analiziranje kvalitativnih podataka • Preliminarno prepoznavanje – razlikovanje glavnih tema • Definiranje okvira (lista glavnih i sub-kategorija) • Kodiranje podataka (indexing) – transkripcija svih podataka u kategorije • Usporedba među-kategorija (da li ovaj element doista pripada ovoj kategoriji?) i prepoznavanje različitih nijansi (više je bolje!) • Re-kategorizacija (izrezivanje i lijepljenje) u skladu s prijašnjim ili novim konceptom • Interpretacija rezultata

18. Zaključak

19. Individualni intervju - vježba • Evaluacijsko pitanje – Zašto su iste aktivnosti preventivnog programa uspješne u nekim razredima dok u drugima nisu? • Cilj intervjua – saznati individualna iskustva ispitanika povezana s implementacijom preventivnih programa u školskim razredima • Pripremanje intervjua: • Izbor indikatora (za uspjeh i neuspjeh preventivnog programa) • Formulacija dispozicije intervjua • Intervju: • Osoba A – onaj koji postavlja pitanja • Osoba B – ispitanik • Osoba C – promatrač

20. Intervju fokusirane grupe - vježba • Evaluacijsko pitanje – Koji je utjecaj odnosa među učiteljima na izvedivost i ishode preventivnog programa? • Cilj intervjua – prepoznati mišljenje učitelja o njihovoj suradnji, ‘klimi’ škole, iskustva i očekivanja u vezi izvedbe općenitih zadataka. • Pripremanje (moderator + co-moderator): • Formulacija dispozicije intervjua • Priprema materijala • Intervju fokusirane grupe: • Prezentacija cilja intervjua • Vođenje grupne diskusije (držanje unutar glavne teme, nadgledanje aktivnosti svih sudionika, objašnjenje nesuglasica, proširenje najinteresantnijih ideja) • Dokumentacija (bilježenje)