WINTER

1. 01 WINTER İNSAN-BİLGİSAYAR ETKİLEŞİMİ Değerlendirme Teknikleri Template HCI Hüsna İrem COŞKUN

2. 02 Bölümün Amacı, Hazırlanan tasarımların, beklentilerimizi ve hedef kitlenin gereksinimlerini karşılayıp karşılamadığını görmemizi sağlamak amacıyla değerlendirme tekniklerine ilişkin süreç hakkında bilgi vermek.

3. 03 Ünite Sonunda Öğreneceklerimiz,

5. 04 • Tasarlanan sistemin kullanılabilirliğini ve işlevselliğini test eder. • Uygulama ve tasarım süreçlerinin her ikisini de kapsar. Resim • Tasarım sürecinin tüm evreleri göz önünde tutulur. • Laboratuvarlarda, çevrede ve kullanıcıların işbirliğinde olur. • Tasarımda düzeltmeler yapmak için geribildirim sağlar. 1. Değerlendirme Nedir?

7. 05 • Değerlendirmenin avantajı, • dönütler sağlayarak uygulama üzerinde emek ve kaynaklar harcanmadan önce problemlerin ortadan kaldırılmasını sağlamasıdır. • Tasarımın değerlendirmesini yaparak sürecin başında değişiklik yapmak sonraki aşamalarda değişiklik yapmaktan daha kolay ve ucuzdur. 1. Değerlendirme Nedir?

8. 06 WINTER Değerlendirmenin Amaçları nelerdir? Template • Sistemin işlevselliğinin derecesini değerlendirmek • Kullanıcıların etkileşimle ilgili deneyimlerini ya da kullanıcı üzerinde ara yüzün etkisini değerlendirmek • Sistemdeki spesifik problemleri belirlemektir.

9. 07 • Sistemin işlevselliği kullanıcının gereksinimleriyle uyumlu olmalıdır. • Sistemin tasarımı kullanıcıların istenilen görevleri kolaylıkla yerine getirmesini sağlamalıdır. • Bu aşamadaki değerlendirme sistem ile kullanıcının performansını ölçmeyi ve görevi desteklemede sistemin etkililiğini değerlendirmeyi içeriyor. • Sistemin işlevselliğini değerlendirmek

10. 08 • Sistemin kullanım kolaylığı • Sistemin kullanışlılığı, • Kullanıcının memnuniyeti, • Kullanıcının ne kadar hoşlandığına dair verdiği duygusal tepkiler, • Bilişsel yükün fazlalığı. 2) Arayüzün kullanıcılar üzerindeki etkisini değ.

11. 09 • Sistemin beklenmeyen sonuçlara veya kullanıcılarda kafa karışıklığına neden olmasıdır. • Bu durum, tasarımın kullanışlılığı ve işlevselliği ile de ilişkilidir. iii. Sistemdeki spesifik problemleri belirlemek

13. 11 WINTER • Değerlendirme, tasarım süreci boyunca olmalıdır. • Sistemin önceden değerlendirilmesi, sonradan ortaya çıkacak pahalı hataların önüne geçmiş olur. • Uzman, tasarımı alır ve tipik bir kullanıcı üzerindeki etkisine bakar. • Buradaki temel amaç ise zorluklara neden olan bölümleri belirlemektir. • Geliştirme sürecinin herhangi bir aşamasında kullanılabilir. • Ucuzdur, çünkü kullanıcı katılımını gerektirmez. • Sistemin gerçek kullanımı değerlendirilmez. Sadece sistemin kabul edilebilir kullanılabilirlik ilkelerini destekleyip desteklemediğine bakılır. Template 3. Uzman Analizi İle Değerlendirme

14. 12 Uzman analizindeki 4 yaklaşım, • Bilişsel gezinti (Cognitive walkthrough) • Sezgisel değerlendirme (Heuristic evaluation) • Model tabanlı değerlendirme • Önceki çalışmaları kullanarak değerlendirme

15. 13 NEDİR? Palson ve arkadaşları tarafından önerilmiş olan bir dizi eylemin ayrıntılı olarak adım adım incelenmesini gerektiren sistemin öğrenilmesinin ne kadar kolay olduğunu belirlemek amacıyla yapılan değerlendirme şeklidir. • Odak noktası keşif yoluyla öğrenmedir. • Bilişsel gezinti (Cognitive walkthrough)

16. 14 • Analiz için değerlendirme formları kullanılır. (tasarımda ne iyi, neyi geliştirmeye ihtiyaç var). • Değerlendirmeyi yapan kişi görevdeki her bir basamakta bu basamağın niçin olduğu ya da kullanıcı için neden iyi olmadığı hakkında bir “hikaye” sağlar. • Bilişsel gezinti (Cognitive walkthrough)

17. 14 Bilişsel gezinti için 4 şeye ihtiyaç vardır, • Sistemin tanımlaması ve prototipi • Sistem üzerinde kullanıcıların gerçekleştirdiği görevin bir tanımı (birçok kullanıcının yapmak isteyebileceği temsili bir görev olmalı) • Sistemde bu görevin gerçekleştirilmesi için gerçekleştirilmesi gereken eylemlerin listesi • Kullanıcıların kimler oldukları ve ne tür deneyimleri, bilgileri olduğu konusunda değerlendiricilerin bildikleri • Bilişsel gezinti (Cognitive walkthrough) Değerlendiriciler sistemi kritik etmek ve kullanışlılığını belirlemek amacıyla bu sırayı takip etmeliler.

18. 15 WINTER Uzmanın cevaplaması gereken sorular, • Kullanıcının amacıyla, eylemin etkisi aynı mı? • Eylem kullanıcı ihtiyaç duyduğu anda görünür durumda mı? (Ör: eylemi gerçekleştirmek istediğinde kullanıcı menüyü, butonu görebilecek mi? vs.) • Kullanıcı doğru eylemi bulduğunda, aradığını bulduğunu hissedecek mi? • Kullanıcı eylem gerçekleştiğinde verilen dönütü anlayabilecek mi? Template • Bilişsel gezinti (Cognitive walkthrough) Kısaca, tasarımın kullanıcının istenilen hedeflere ulaşmasını sağlayıp sağlamadığına bakılır.

19. 16 NEDİR? Nielsen and Molich tarafından öne sürülmüş olan Heuristic, bir tasarım kararına rehberlik edecek genel ilke, prensip ya da alınan bir kararı eleştirmek için kullanılan değerlendirme şeklidir. • Heurisctic değerlendirme, bir sistem ya da kullanıcı ara yüzünün kullanışlılık açısından sistemli bir şekilde incelenmesidir. ii. Sezgisel değerlendirme (Heuristic) Amaç, sistem ya da ara yüzün, belirlenen kullanışlılık kriterleriyle uyumlu olup olmadığını anlamak, büyük, küçük bütün problemleri tespit etmektir.

20. 17 • Bu değerlendirme yönteminde değerlendiriciler birbirinden bağımsız bir şekilde sistemin olası kullanılabilirlik problemlerini ileri sürerek sistemi eleştirirler. • Nielsen’e göre üç ya da beş değerlendirici yeterlidir. Ortalama 5 kişinin yaptığı değerlendirmeyle, kullanışlılıkla ilgili problemlerin %75’i ortaya çıkar. • Esnek, nispeten ucuz bir yaklaşımdır. ii. Sezgisel değerlendirme (Heuristic)

21. 18 Değerlendirici her bir kullanılabilirlik sorunun ciddiyetini 4 faktör temelinde değerlendiriyor : • Problem ne kadar yaygın? • Kullanıcının üstesinden gelmesi için ne kadar basit? • Tek seferlik mi yoksa devamlı karşılaşılan bir problem mi? • Problem ne kadar ciddiyetle algılanıyor? ii. Sezgisel değerlendirme (Heuristic)

22. 19 Değerlendirme yapılırken Nielsen’in 10 sezgisel bazı ele alınır, 1. Sistem Durumunun Görünürlüğü Sistemin çalışması zaman alacaksa ne kadar sürede tamamlanacağının bir işaretinin verilmesi gerekir. ii. Sezgisel değerlendirme (Heuristic) 2. Sistem ile Gerçek Dünyanın Eşleşmesi Sistemin kullandığı dil kullanıcının diliyle uyumlu olmalıdır.

23. 20 WINTER 3. Kullanıcı Kontrolü ve Özgürlüğü Template Sistemde bir hata oluştuğunda kullanıcının çıkışına izin veren fonksiyonların, ileri-geri özelliklerinin olması. ii. Sezgisel değerlendirme (Heuristic)

24. 21 4. Tutarlılık ve Standartlar Kullanılan kelimeler, eylemlerin farklı bağlamlarda aynı anlama geliyor olmasıdır. ii. Sezgisel değerlendirme (Heuristic)

25. 22 5. Hata Engelleme İyi hazırlanacak bir hata mesajı yerine tasarımı daha dikkatli yaparak hataların meydana gelmesini önlemeye çalışmaktır. ii. Sezgisel değerlendirme (Heuristic)

26. 23 6. Hatırlama Yerine Tanıma Nesne, eylem ve seçenekler görünür olmalı, kullanıcının sistemi hatırlamaya çalışması yerine sistemin kullanımı için yönergeler olmalıdır. ii. Sezgisel değerlendirme (Heuristic)

27. 24 7. Kullanımın Esneklik ve Verimliliği Sistem deneyimli ve deneyimsiz kullanıcılara hitap etmeli. Mesela deneyimli kullanıcılar için etkileşimi hızlandıracak hızlandırıcılar olabilir. ii. Sezgisel değerlendirme (Heuristic)

28. 25 WINTER 8. Estetik ve Sade Tasarımlar Template Konu dışı ya da nadiren ihtiyaç duyulan bilgiye yer verilmemeli, haricen sunulan her bilgi diğerleriyle uyumlu olmalıdır. ii. Sezgisel değerlendirme (Heuristic)

29. 26 9. Hatalarını Tanıma, Tanımlama ve Geri Almada Kullanıcıya Yardım Hatalar açık bir dille ifade edilmeli, problemi işaret etmeli ve bir çözüm önermelidir. ii. Sezgisel değerlendirme (Heuristic)

30. 27 10. Yardım ve Belgelendirme Ulaşılması kolay, kullanıcıların görevlerine odaklanan, uygulanacak adımları listeleyen ve çok büyük olmayan yönergeler olmalı ii. Sezgisel değerlendirme (Heuristic)

31. 09

32. 29 NEDİR? • Modellere uygun olarak yapılan değerlendirmelerdir. • Bilişsel ve tasarım modelleri, tasarım özelliği ve değerlendirmeyi aynı çerçevede birleştiren bir yol sağlarlar. • GOMS(goals, operators, methods, selection) modeli, özel bir ara yüzde kullanıcı başarısını tahmin eder ve özel tasarım seçeneklerini filtrelemek için kullanılır. • Düşük düzey (Lower_level) modelleme, düşük düzey (low_level) fiziksel görevleri gerçekleştirmek için kullanıcıların harcadıkları zamanı tahmin eder. • iii. Model tabanlı değerlendirme

33. 30 WINTER Template • Tasarım yöntemlerinde tasarım mantığı vardır. • Tasarım mantığı, değerlendirilecek tasarım seçeneklerine bir yapı sağlar. • Tasarımda her bir seçenek bir ölçüte göre değerlendirilir. • İletişim modeli ise erişilemeyen durumlar, karmaşıklık gibi problemler için iletişim sıralarını değerlendirmek için kullanılır. • iii. Model tabanlı değerlendirme

34. 31 NEDİR? Daha önce yapılmış çalışmaların sonuçlarından faydalanılarak yapılan değerlendirmelerdir. Kanıtlarla desteklenen önceki çalışmaların sonuçlarını kullanır. • Yapılan bir araştırmayı tekrarlamak pahalı olduğu için bu yönteme başvurulur. • Kanıtlar uzmanlar tarafından dikkatli bir şekilde seçilerek kullanılmalıdır. • Ancak her çalışmanın kendi bağlamı içinde geçerli olduğunu unutmadan değerlendirmeye özen göstermek gereklidir. Bunun içinde seçilen deneysel tasarım, örneklem, kullanılan analizler, yapılan varsayımlar dikkatlice gözden geçirilmelidir. İv. Önceki Çalışmaları Kullanarak Değer.

36. 33 • Tasarımcı ya da uzman tarafından yapılan değerlendirmelerin hiç biri kullanıcılarla yapılan gerçek bir kullanılabilirlik testinin yerini alamaz. • Bu değerlendirme için ön koşul, çalışan bir prototipin olmasıdır. • 4. Kullanıcı Katılımı ile Değerlendirme

37. 34 Kullanıcı değerlendirmesinde 2 tip vardır, a. Laboratuvar Çalışmaları b. Alan Çalışmaları 1.Değerlendirme Biçimleri

38. 35 • Avantajları: • İşitsel/görsel kayıt, analiz olanakları (oymalı cam, bilgisayar vb…), iki yönlü ayna ile iyi düzenlenmiş kullanışlı bir ortam sunar. • Aksaklık olmayan bir ortamda çalışma yapılır. • Belirli ara yüz özelliklerini değerlendirmek için yapılan kontrollü deneylerde kullanılabilirler. • Dezavantajları: • Doğal olmayan ortamların gerçek yaşamdan uzaklığı. • Bir görev üzerinde işbirlikli olarak çalışan birkaç kişiyi gözlemlemenin zorluğu • a. Laboratuvar Çalışmaları Tehlikeli ya da uzak yerlere yerleştirilen bir sistemle çalışırken, tek kullanıcılı görevleri ayrıntılı olarak incelerken, problemleri ortaya çıkarırken, az kullanılan yöntemleri gözlemlerken, kontrollü bağlamda alternatif tasarımları karşılaştırmak istediğimizde laboratuvar çalışmaları kullanılabilir.

39. 36 WINTER Avantajları: • Kullanıcıyı doğal ortamında görmek, • Sistemler ve bireyler arasındaki etkileşimi açık bir şekilde görecek olmak, • Günler, aylar alacak bir çalışmada laboratuvar ortamında çalışmanın güçlüğü. • Dezavantajları: • Çevredeki gürültü • Hareket fazlalığı • Kesilmelerin olması (telefon çalması gibi) • Alan gözlemlerinde katılımcıların kayıt cihazları ya da araştırmacının varlığından rahatsız olmaları Template b. Alan Çalışmaları

40. 37 • Deneysel çalışmalar, kontrollü deneylerle yapılan güçlü değerlendirmelerdir. • Bir hipotez kurulur, • Bağımlı bağımsız değişkenler belirlenir, • Yöntem seçilir, • Uygun özelliklere sahip ve popülasyonu temsil edecek sayıda katılımcılar belirlenir, • Grupla ya da bireysel olarak çalışılabilir, • Hipotez test edilir, • Gerekli istatistiksel çalışmalar • yapılır. 2. Deneysel Yöntemler

41. 38 • Herhangi bir deneyin başarısı için katılımcıların seçimi çok önemlidir. • Deneyde mümkün olduğunca gerçek katılımcılar ya da istenen özellikleri temsil eden katılımcılar seçilmelidir. • Katılımcıları seçerken onların yaş grubu, mesleği, cinsiyeti, önceki bilgisayar deneyimleri, eğitim düzeyleri gibi önemli olacak özellikleri dikkate alınmalıdır. • Katılımcıların büyüklüğü, popülasyonu temsil edecek kadar olmalıdır. • Katılımcı büyüklüğü istatistiksel olarak anlamlı olmalıdır. • Kullanılabilirlik problemlerini belirlemek için küçük katılımcı sayısı yeterli olmayacaktır. 2. Deneysel Yöntemler / Katılımcılar

43. 39 • Hipotezlerin test edilmesi için araştırmacılar, kontrol edilmiş şartlar altında değişkenleri ölçer ve gerekli değişiklikleri yapar. • Bağımsız değişkenler, karşılaştırma yapmak için farklı şartlar oluşturmak adına manipüle edilen değişkenlerdir. Örn; ikon tasarımı, menü başlıklarının sayısı,yardım düzeyi, ara yüz biçimi… • Bağımlı değişken, değeri bağımlı değişkene bağlı olarak değişen başka etmenlerden etkilenmeyen değişkenlerdir. Örn; bir görevi tamamlamak için gereken zaman, yapılan hataların sayısı, kullanıcı performansının niteliği, kullanıcı tercihi…. 2. Deneysel Yöntemler / Değişkenler

44. 40 • Hipotezler, bir deneyin çıktısının tahminidir. • Bir araştırmanın sonuçlarını öngörür. (Neyi görmek istiyorsun?) • Araştırmacının amacı öngörünün doğru olup olmadığını test etmektir. • Bağımsız değişkenin düzeyleri arasında bağımlı değişkende herhangi bir farklılık oluşmuyorsa null hipotezi çürütme yoluna gidilir. 2. Deneysel Yöntemler / Hipotezler

45. 41 WINTER • Herhangi bir istatistiksel işlem yapmaya başlamadan önce veriye bakılmalı ve orijinal veri kaydedilmelidir. Template • Bir katılımcı deneyin gerçekleştiği anda hasta olabilir ve elde edilen veri yanılma sağlayabilir. Bu nedenle elde edilen veriye bakılmalıdır. • Farklı bir analiz yöntemini denemek istediğimizde de veriyi kaydetmek önem taşımaktadır. 2. Deneysel Yöntemler / İstatiksel Ölçümler • İstatistiksel analizin seçimi verinin türüne ve bizim cevaplamak istediğimiz sorulara bağlıdır. • Veriler normal dağılıyorsa parametrik testler, normal dağılmıyorsa non_parametric testler kullanılır.

46. 42 İkon Tasarımı Değerlendirme • Hipotezler: • H0:İkonların hatırlanmasında fark yoktur. • H1:Kullanıcılar doğal ikonları, soyut ikonlara göre daha kolay hatırlar. • Değişkenler: • Bağımsız değişkenler: İkon stili [doğal(natural), soyut(abstract) ikonlar] • Bağımlı değişkenler: seçimdeki hata sayıları, ikonu seçmek için harcanan zaman ÖRNEK

47. 43 • 2 tane arayüz hazırlandı. Bu arayüzler birbirinin aynısıydı. Sadece ikon stilleri farklıydı. • Grup içi deneysel tasarım tercih edildi. • Kullanıcılara dokümanı silme görevi ve uygun ikonu seçme fırsatı verildi. • İkonların yerlerini ezberleme durumunu ortadan kaldırmak için her seferde ikonların yerleri random olarak değiştirildi. • Öğrenmenin etkisini ortadan kaldırmak için kullanıcılar 2 gruba bölündü ve her bir grup farklı bir başlangıç koşuluyla karşılaştılar. • İlk gruba soyut ikonlar, ikinci guruba doğal ikonlar gösterildi. • Katılımcılar deneye katılmadan önce ikonların anlamlarını da öğrendiler. • Sonuç olarak bu görevleri gerçekleştiren katılımcıların yaptıkları hata sayıları ve görevi tamamlamak için kullandıkları zaman ölçülmeye çalışıldı. • Normal dağılım olduğunu farz edildi ve t_testi, varyans analizi,ortalamalar ve standart sapmalar hesaplandı.

48. 44 Sonuç H0 red edildi. Doğal ikonlar soyut olanlara göre daha kolay hatırlanır sonucuna ulaşıldı. Ancak hızlı hatırlandığı içinde daha çok hata yapma oranıyla karşılaşıldı.

49. 45 • Sistemin gerçek kullanımı hakkında bilgi toplamanın en iyi yolu kullanıcı sistemle etkileşim kurarken onu gözlemlemekle gerçekleşir. • Değerlendirici, kullanıcıların eylemlerini izler ve kayıt altına alır. • Basit bir gözlem sistemin kullanıcıların gereksinimlerini karşılayıp karşılamadığını belirleme noktasında nadiren yeterlidir. • Bu bölüm, kullanıcı davranışlarını gözlemleyerek sistemleri değerlendirmek için kullanılan tekniklerden bazılarını gözden geçirmeyi amaçlamaktadır. 3.Gözlemsel Teknikler

50. 46 WINTER Template Gözlemsel Teknik Çeşitleri: Think Aloud (Sesli düşünme) Cooperative evaluation(İşbirlikli Değerlendirme) Protocol analysis (Protokol Analizi) Automated analysis(otomatik analiz) Post-task walkthroughs(görev sonrası gözden geçirme)