Araştırma Enstrümanlarının Geçerliği ve Güvenilirliği

1. Araştırma Enstrümanlarının Geçerliği ve Güvenilirliği 7 Kasım 2010 – 14:00 – 14:30 Zekeriya Aktürk Prof. Dr., Atatürk Üniversitesi Tıp Fakültesi Aile Hekimliği AD, zekeriya.akturk@gmail.com, http://aile.atauni.edu.tr / 27

2. Sizde depresyon olabilir! • Şimdi puanlarınızı toplayın: • 2 puan ve üzerinde aldıysanız sizde depresyon var; bir doktora görünün! Şu soruları cevaplayın: / 27

3. Geçersiz – Güvenilmez / 27

4. Güvenilir ama Geçersiz / 27

5. Geçerli ve Güvenilir / 27

6. Sunum İçeriği • Geçerlilik çeşitleri • İçerik geçerliliği(Content validity) • Tahmin ettirici geçerlilik (Predictive validity) • Yapı geçerliliği(Construct validity) • Eş zamanlı geçerlilik (Concurrent validity) • Görünüm geçerliliği (Face validity) • Özetleme • Genel bilgi ve öneminin tartışılması • Güvenilirlik çeşitleri • Paralel formlar • Uygulayıcılar arası (Interrater) • Test/tekrar test (Test/retest) • Yarıya bölme (Split half) • Kuder-Richardson • Cronbach alfa / 27

7. Araştırma aracımız geçerli ve güvenilir değilse ne olur? • Temelin silahlarla dostluğu meşhurdur: • Bir gün arkadaşının alnına konan sineğe ateş eder… • Bir sizden, bir bizden! • Siz de ola ki bir hedef belirlersiniz ama… • Sadece “zaman, para ve emek” gibi kendi kaynaklarınızı vurursunuz • Çok bizden, hiç sizden! / 27

8. Önce geçerlilik mi, güvenilirlik mi? Bir ölçüm güvenilir olduğu halde geçerli olmayabilir. Ancak, bir ölçeğin geçerli olabilmesi için önce güvenilir olması gerekir. Yine de güvenilirlik tek başına geçerlilik için yeterli değildir. Bir araştırmada hem geçerlilik, hem de güvenilirlik aranmalıdır. / 27

9. Güvenilirlik çeşitleri Paralel formlar Uygulayıcılar arası (Interrater) Test/tekrar test (Test/retest) Yarıya bölme (Split half) Kuder-Richardson Cronbach alfa / 27

10. 1. Paralel formlar Aynı kişilere iki farklı ölçek uygulanır ve aralarındaki korelasyona bakılır. Korelasyon ne kadar yüksekse ölçekler o kadar eşdeğerdir Ölçülen aynı şeydir. Sadece ifade tarzları ve/veya soruların tasarımı farklıdır. Bunu yapmanın bir yolu, soruları hazırlamak ve rastgele ikiye ayırarak uygulamaktır. Paralel formlar uygulaması ölçeğin STABİLLİĞİNİ de ölçer. / 27

11. 2. Gözlemciler arası güvenilirlik • Ölçek kategorik bir ölçüm yapıyorsa (evet/hayır gibi) iki araştırmacının uygulamasında ne kadar uyum olduğuna bakılır. Aralarındaki uyum (örn. %82) rapor edilir. • Ölçek nümerik bir ölçüm yapıyorsa iki araştırmacının uygulamasının ne kadar korelasyon gösterdiğine bakılır. • Şunlar hesaplanabilir: • Phi (basit korelasyon) • Kappa (rastlantı açısından düzeltme yapılmış) • Kendall’s tau (sıralı veriler için) / 27

12. Ölçeğin Stabilliği Aynı örneklemde yapılan tekrarlayan ölçümlerden aynı sonucun alınması halinde ölçeğin stabil olduğu söylenir. / 27

13. 3. Test – tekrar test Aynı araştırma aracı aynı deneklere benzer şartlar altında 2 veya daha fazla kez uygulanır. İki ölçüm arasında fazla bir farklılık olmamalıdır. Ölçüm yapılan zaman aralığının ne kadar olduğu da önemlidir. Uygulama ne kadar erken tekrarlanırsa o kadar benzer sonuçlar elde edilir. / 27

14. Homojenlik açısından güvenilirlik Ölçeğin iç özelliğiyle ilgilidir (iç tutarlılık da "internal consistency“ denir). Aynı yapıyı ölçen maddelerin ne kadar benzer sonuçlar verdiğinin ölçülmesidir. Yani aynı özelliği ölçmede farklı maddelerin ne kadar tutarlı olduğunun incelenmesidir. / 27

15. 4. Yarıya bölme (split half) Bir özelliği ölçmek için kullanılan tüm maddeler rastgele ikiye ayrılır. Ölçek bir grup bireye uygulanır ve her iki yarımın puanları hesaplanır. Bu iki yarımın karşılaştırılmasıyla güvenilirliğin derecesi belirlenir. / 27

16. 5. Cronbach alfa Cronbach alfa yarıya bölmenin (matematiksel anlamda) eşdeğeridir. Ölçek maddeleri rastgele ikiye ayrılarak karşılaştırılır. Bu rastgele ikiye ayırma işlemi tüm ihtimaller için tekrarlanır. Benzer bir ölçüm de Kuder-Richardson’dur. / 27

17. Güvenilirlik çeşitleri Testin Eşdeğerliliği Testin Stabilliği Testin Homojenliği Paralel formlar Uygulayıcılar arası (Interrater) Test/tekrar test (Test/retest) Yarıya bölme (Split half) Kuder-Richardson Cronbach alfa / 27

18. Geçerlilik çeşitleri İçerik geçerliliği(Content validity) Tahmin ettirici geçerlilik (Predictive validity) Yapı geçerliliği(Construct validity) Eş zamanlı geçerlilik (Concurrent validity) Görünüm geçerliliği (Face validity) / 27

19. 1. İçerik geçerliliği Ölçeğin içeriğinin gerçekten ölçülmesi hedeflenen fenomenle ilgili olup olmamasıdır. İçeriğin boyutlarının belirlenmesini gerektirir. Belki en zor kısımdır. Uzman paneli ve literatür desteği gerekir. / 27

20. 2. Tahmin ettirici (=criterion=ölçüt) geçerlilik Araştırma aracının gerçek yaşamda durumları ne kadar tahmin ettirici olduğuyla ilgilidir. Depresyon ölçeğinde intihar riski saptananların ne kadarı intihar ediyor? Trafik sınavında yüksek puan alanlar trafikte ne kadar iyi araç kullanıyor? / 27

21. 3. Yapı geçerliliği Aracın ölçülmeye çalışılan teorik psiko sosyal yapı ile ne kadar korelasyon gösterdiği ile ilgilidir. Bu ölçek ölçmeye çalıştığımız fenomeni ne kadar ölçüyor sorusuna cevap aranmasıdır. Altta yatan fenomenle ilgili farklı konseptleri ölçmeye çalışır (Madde analizi). Depresyon için geliştirilen bir ölçekle birlikte fonskiyonel durum ölçeğinin de uygulanması.. / 27

22. 4. Eşzamanlı geçerlilik Aynı veya ilişkili bir yapıyı inceleyen ve daha önce geçerliliği ispat edilmiş bir ölçekle eşzamanlı olarak uygulanır. Bu da tahmin ettirici geçerlilik gibi bir ölçütü tahmin etmeye ne kadar yaradığını gösterir. Yeni geliştirilen depresyon ölçeğinin Beck depresyon ölçeği ile birlikte uygulanması.. / 27

23. 5. Görünüm geçerliliği Bir arabanın hızının dış görünüşünden tahmin edilmesi gibidir. Maddelerin görünüşü, okunabilirliği, uygulama kolaylığı gibi konular açısından değerlendirme yapılır. / 27

24. 6. Goodness of fit – Likelihood ratio Ne kadar büyükse model o kadar uyumsuz / 27

25. Özet Split half reliability Kuder-Richardson Cronbach's alpha Predictive validity Interrater reliability Concurrent validity A. Testin bir kez uygulanmasıyla iç güvenilirliğini hesaplayan puan B. Ölçütle ilişkili geçerlilik C. İki eğiticinin bir öğrenciyi ayrı ayrı değerlendirmesi D. Yeni geliştirdiğimiz depresyon testinin uygulanması ve Beck depresyon testi ile uyumluluğuna bakılması / 27

26. Özet Test/retest reliability Test/retest reliability Interrater reliability Concurrent validity Predictive validity F. Zaman içerisinde aynı bireylere uygulanan puanların değişip değişmediğinin incelenmesi G. Test iki kez uygulanır H. Tıpta uzmanlık sınavının doktorların iyi hekimlik uygulamalarını tahmin ettirme durumunun incelenmesi / 27

27. Özet Construct validity Content validity Face validity Content validity I. Araştırmacı, “kişinin etkinliğini” inceleyen bir ölçeği “kendini kontrol edebilme” ölçütü ile karşılaştırıyor ve arada ilişki olup olmadığına bakıyor J. “Bu anketi beğendim” K. Araştırmacı, bir grup uzmandan geliştirmeye çalıştığı ölçüm aracında hangi maddeler olması gerektiğini soruyor ve bunları literatürle karşılaştırıyor. / 27