Değerlendirme Araştırmaları

1. Değerlendirme Araştırmaları Yaşar Tonta H.Ü. BBY tonta@hacettepe.edu.tr yunus.hacettepe.edu.tr/~tonta/courses/spring2009/bby208/

2. Babbie, Bölüm 12: Değerlendirme Araştırması • Değerlendirme araştırmasına uygun konular • Sorunu formüle etme • Değerlendirme Araştırması Tasarım Türleri • Toplumsal Bağlam • Toplumsal Göstergeler Araştırması • Değerlendirme Araştırmasının Gelişmesi

3. Twende na Wakati (Zamana Uyalım) • Tanzanya’daki “sabun köpüğü” türü yayın yapan bir radyo programı • Amaç • Tanzanya’da nüfus artış hızını azaltmak (dünya ortalamasının iki katı) • AIDS’i önlemek (1991’de kamyon şoförlerinin dörtte biri, seks işçilerinin yarısından fazlası HIV pozitif) • 1993-1995 arası 108 bölüm yayımlanmış • Radyo dinleyicilerinin %84’üne erişilmiş • Tanzanya’daki en gözde radyo programı olmuş

4. Radyo programının etkisi • Bilgi, tutum ve davranış araştırması • Programı dinleyen evli kadınlarda aile planlaması uygulayanların oranı %49 (dinlemeyenlerde %19) • HIV/AIDS önleme davranışı gösterenlerin oranı 1994’de %72, 1995’de %82 • Tek partnerle seks yapanların oranı %77 • Kondom kullanmaya başlayanların oranı %16 • Jilet ve/ya da iğneleri paylaşmayı kesenlerin oranı %6

5. Değerlendirme araştırması (Program değerlendirme) • Planlı ya da gerçek toplumsal müdahale (elkoyma) araştırmaları için uygun • Amaç toplumsal müdahalenin istenen sonucu sağlayıp sağlamadığını belirlemek • Örnekler • Trafik kazalarını önlemek için para cezalarını artırmak ne kadar etkili bir yöntem? • Marijuana kullanımının liberalleştirilmesi kullanımı azaltır mı? • Sonuçlar her zaman kabul görmeyebilir

6. Değerlendirme Araştırmasında Ölçme Türleri

7. Sorunun formüle edilmesi • Değerlendirme araştırmalarında amaç “ölçülemeyeni ölçmek” • Sürücü kurslarının trafik kazalarını azaltmada rolü var mı? • Kütüphanelerde uygulanan kullanıcı eğitim programları istenen etkiyi (kullanımın artması, daha “iyi” kullanım vs.) sağlıyor mu?

8. Sorunu formüle etmek zor • Ne değerlendirilecek? Programda kullanılan işlemler ve süreç mi? Personel mi? • Farklı kişilerin programın neyi başarması gerektiği hakkında farklı düşünceleri olabilir ya da öncelikler farklı olabilir • Örneğin, BBY208 dersi, İstanbul Boğazına 3. köprünün yapılması nasıl değerlendirilebilir? • İşte farklı görüşlere örnekler

9. BBY208’in Değerlendirilmesi • Öğrenci • Ders ilginç, zevkli ve kolay mıydı? • Öğretmen • Öğrenciler dersteki bütün konuları öğrendiler mi? Öğretim yöntem ve materyalleri ve güdüleme teknikleri etkili miydi? • Öğretmenin meslektaşları • Öğretmen en güncel bilgi, tutum ve becerileri öğrencilere vererek onları diğer derslere hazırlayabildi mi? • Yönetici • Öğretmen kurallara uyarak (notların zamanında teslimi vd.) yeterli sayıda öğrenciye ders verdi mi? Öğrenciler sorun/şikayet getirdiler mi? • İşveren • Öğrenciler çalışma yaşamında gereken beceri ve tutumları kazandılar mı? Kaynak: Neuman, s. 544)

10. Çıktı (tepki değişkeni) • Tanzanya’daki program aile büyüklüğü, cinsiyet rolleri ve HIV/AIDS ile ilgili tutumları değiştirmeyi amaçladı. • Sonuçta programın yayını AIDS virüsünün sivrisineklerden bulaştığı biçimindeki yaygın inancı çürüttü • Dağıtılan kondom sayısı 6 kat arttı (programın dinlenmediği bölgelerde bu artış oranı 1,4 kat)

11. Deneysel bağlam • Deneyi etkileyebilecek hususlar • İş eğitim programlarının istihdama etkisi genel işsizlik oranlarıyla birlikte değerlendirilmeli • Deneysel uyarı (müdahale, elkoyma) • Deneklerin deney ve kontrol gruplarına ayrılması • Bazıları tam olarak katılacak, bazıları dersleri kaçıracak vs. • Program etkiliyse eğitim programına tam olarak katılanlar daha yüksek oranlarda iş bulacak • Başka etmenler de olabilir (örneğin farklı öğretmenlerin etkisi) • Evren • Yeni bir psikoterapi tedavisinin etkisi • Deneklerin deney/kontrol gruplarına atanması • Deneklerin sınıflanması (orta/ağır vakalar vs.) • demografik değişkenler (cinsiyet, yaş, ırk vs.)

12. Değerlendirme Araştırması Tasarımları • Deneysel tasarımlar • Yarı deneysel tasarımlar • Zaman serileri tasarımı • Eşit olmayan kontrol grupları • Çoklu Zaman serileri tasarımı • Nitel değerlendirmeler

13. Ahlaki konular • Değerlendirilen müdahaleler ahlaki sorunlara yol açabilir • Değerlendirme araştırması ahlaki olmayan davranışlar için bir kılıf olarak kullanılabilir

14. Sonuçlar niçin görmezden geliniyor? • Sonuçlar araştırmacı olmayanların anlayacağı şekilde sunulmuyor olabilir • Sonuçlar bazen kökleşmiş inançlara uymayabilir • Bir programda çıkar söz konusu olabilir

15. Toplumsal Göstergeler Araştırması • Daha büyük toplumsal süreçleri anlamamızı sağlar • Araştırmacılar daha süzme (rafine) göstergeler geliştiriyorlar • Bütün toplumlar için geçerli değişkenler arasındaki ilişkileri keşfetmeye yönelik araştırmalar destekleniyor

16. Chapter 12 Evaluation Research Ana terimler

17. Değerlendirme araştırması Bir toplumsal müdahalenin istenen sonucu sağlayıp sağlamadığını belirleme süreci Yarı deneylerBir bakıma kontrollü deneylere benzeyen ama ön test-son test ve/ya da deney-kontrol grubu olmayan araştırmalar

18. Zaman serileri tasarımları Çeşitli zamanlarda ölçümler yapılmasını gerektiren araştırmalar Eşit olmayan kontrol grubuDeney grubuna benzeyen ama deneklerin rastgele atanarak oluşturulmadığı kontrol grubu

19. Çoklu zaman serileri tasarımlarıZaman içinde toplanan birden fazla veri dizisinin kullanımı (örneğin, belirli bir süre içinde çeşitli kentlerde meydana gelen trafik kazaları ile ilgili istatistikler karşılaştırılabilir) Toplumsal göstergelerBir toplumun ya da toplumsal alt grubun sosyal koşullarını yansıtan toplu istatistikler