Avaliação de Usabilidade de IHC

1. Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e Estatística Universidade Federal de Santa Catarina

2. Usabilidade • A capacidade que um sistema interativo oferece a seu usuário, em um determinado contexto de operação, para a realização de tarefas, de maneira eficaz, eficiente e agradável. (ISO 9241)

3. Problema de Usabilidade • ... um aspecto do sistema e/ou da demanda sobre o usuário que torna o sistema desagradável, ineficiente, oneroso ou impossível de permitir a realização dos objetivos do usuário em uma situação típica de uso. (Lavery et al, 1997)

4. Descrição de um Problema de Usabilidade • Contexto : situação de uso em que o problema pode ser verificado • Efeito sobre o usuário : sobrecarga cognitiva • Efeito sobre a tarefa : trabalho adicional • Causa : aspecto do sistema • Re-design possível : alteração no projeto

5. Como identificar um problema prioritário? • Natureza do problema: barreira, obstáculo ou ruído • Natureza da tarefa: importante e frequente ou secundária e esporádica • Quais Usuários: geral, novatos, intermitentes, especialista ou usuários especiais

6. Por quê? • correções em projetos em desenvolvimento. • revisões em produtos acabados. • Definir a aceitação ou não, de projetos encomendados. • Comparar o desempenho de softwares interativos .....

7. Como? • constatar, observar e registrar problemas; • calcular métricas objetivas para eficácia, eficiência e produtividade; • diagnosticar as falhas do projeto que provavelmente atrapalhem a interação; • prever dificuldades de aprendizado na operação do sistema; • prever os tempos de execução de tarefas; • conhecer a opinião do usuário; • sugerir as ações de re-projeto.

8. Técnicas de Avaliação de Usabilidade • Técnicas Prospectivas baseadas na opinião do usuário sobre a interação com o sistema • Técnicas Diagnósticas (ou preditivas) baseadas no conhecimento / competência do avaliador • Técnicas Definitivas (ou empíricas) baseadas na observação da interação

9. Questionários para avaliar a satisfação do usuário • ISONORM baseado nos princípios da norma ISO 9241-10 (Prumper, 1999) • QUIS Questionaire for User Interaction Satisfaction - U. Maryland (Norman, 1989)http://www.lap.umd.edu/QUIS/index.html • SUS Systema Usability Scale da DEC (Digital Equipment Corp) Técnicas Prospectivas

10. Técnicas Diagnósticas (ou preditivas) • Baseadas no confronto, realizado por um inspetor/avaliador, entre padrões explícitos/implícitos de usabilidade e os atributos das interfaces humano computador

11. Técnicas Diagnósticas (ou preditivas) • Inspeção de Conformidade (por checklists) • Avaliações Heurísticas • Usabilidade em geral • Intuitividade (Inspeção Cognitiva) • Gestão de erros (Inspeção Preventiva)

12. Inspeções de Conformidade (por checklists) • Definição : Inspeção da conformidade do software à requisitos propostos por padrões de qualidade explícitos e pontuais (checklists) para interfaces humano-computador; Técnicas Diagnósticas (ou preditivas)

13. Inspeções de Conformidade • Checklists oficiais • Norma ISO 9241 • Checklists informais • Evadis II (Oppermman, 1992) • ErgoList (Cybis, 1996) • ISOmetrics (Gediga, 1999) • W3C Assessibility

14. Inspeções de ConformidadeCaracterísticas • Abordagem • Dependente da organização das listas de verificação; • Em geral são orientados à qualidades ou à componentes • Tipo de Diagnóstico • Grande quantidade de problemas intermediários e menores;

15. Inspeções de ConformidadeCaracterísticas (cont.) • Sistematização • Dependente da qualidade da lista de verificação; • Podem permitir avaliações repetitíveis / reproduzíveis • Custo x Benefício • Avaliação barata e sistemática, porém limitada a problemas intermediários e menores • Proporcionam que pessoas sem formação específica em ergonomia possam realizar uma inspeção de usabilidade;

16. Inspeções de Conformidade Estratégia • Análise contextual (em equipe) Reconhecer o sistema Conhecer o contexto de operação • Ajustes (em equipe) Definir aplicabilidade das questões Definir prioridades entre as questões • Aplicação Aplicação individual Reuniões de discussão dos diagnósticos • Relatório (lider de equipe) Descrição de problemas Sugestões de melhoria Estatísticas

17. Inspeções de ConformidadeNormas ISO de Usabilidade • ISO 9126 - Características de qualidade • ISO 9241 - Ergonomia de Soft. Escritórios • ISO 11581 - Ícones • ISO 14915 - Multimídia IU Design • ISO 13407 - Projeto Centrado no Usuário • ISO 16982 - Métodos de Usabilidade • ISO 14598 - Processo de Avaliação

18. Técnicas Diagnósticas (ou preditivas)Baseadas em Conhecimento • Avaliação Heurística • Definição • Análise de conformidade do sistema face a padrões de qualidade abrangentes ou heurísticas (grades, princípios ou critérios de avaliação), definidas por especialistas.

19. Avaliações Heurísticas • Grades de Heurísticas de Usabilidade • Heurísticas de Nielsen • (Nielsen, 1994) • Princípios de Diálogo • (ISO 9241-10) • Critérios Ergonômicos • (Scapin & Bastien, 1993)

20. Avaliações HeurísticasCaracterísticas • Abordagem • Definida pelo avaliador • tarefas do usuário • estrutura da interface • níveis de abstração • componentes técnicos • grades de qualidades ergonômicas • Tipo de Diagnóstico • Todos os tipos problemas ergonômicos do software, inclusive os falsos;

21. Avaliações HeurísticasCaracterísticas (cont.) • Sistematização • Dose de subjetividade elevada - intrínseca ao avaliador; • Custo x Benefício • Avaliação rápida, abrangente, porém subjetiva e pouco sistemática • Demanda uma equipe de avaliadores

22. Técnicas Diagnósticas (ou preditivas)Baseadas em Conhecimento • Inspeção Cognitiva • Definição • Confronto entre as lógicas de operação do Projetista e de um Usuário Novato Perspectiva do projetista - o caminho previsto para as tarefas; Perspectiva do usuário novato - o caminho que parece o correto a um usuário novato;

23. Inspeção CognitivaCaracterísticas • Abordagem • Orientada à tarefa • Tipo de Diagnóstico • problemas gerais e iniciais (ligados à intuitividade do sistema);

24. Inspeção Cognitiva Estratégia • Análise contextual (usuário e suas tarefas) • Desenvolvimento do modelo de tarefas a serem avaliadas • Inspeção nas tarefas básicas • Percorrer o caminho previsto aplicando, a cada ação, uma lista de verificação das possibilidades de desvios ocorrerem.

25. Inspeção Cognitiva Checklist • O usuário tentará realizar a tarefa certa? • Ele verá o objeto associado a esta tarefa? • Ele reconhecerá o objeto como associado à tarefa? • Ele saberá operar o objeto? • Ele compreenderá o feedback fornecido?

26. Técnicas Preditivas Baseadas em Conhecimento • Inspeção Preventiva de Erros • Definição • Aplicação de guidewords (heurísticas) ao modelo de tarefas previstas para predizer possíveis desvios.

27. Inspeção Preventiva de Erros Características • Abordagem • Orientada à tarefa • Tipo de Diagnóstico • problemas gerais e definitivos

28. Inspeção Preventiva de Erros Características (cont.) • Sistematização • Dependente da competência do avaliador neste tipo de técnica; • Custo x Benefício • Avaliação rápida e barata • Induz a consideração aos possíveis erros do usuário;

29. Inspeção Preventiva de Erros Estratégia • Análise contextual (usuário e suas tarefas) • Desenvolvimento do modelo de tarefas a serem avaliadas (CTT) • Inspeção nas tarefas básicas • Percorrer o caminho previsto aplicando, a cada ação, uma lista de verificação das possibilidades de desvios ocorrerem. • Inspeção nas tarefas de alto nível

30. Inspeção Preventiva de Erros Heurísticas – GuideWords • Se aplicam às partes das tarefas básicas • Entradas • Realização • Resultados

31. Inspeção Preventiva de Erros Resultados • Tabelas para cada tarefa • Tarefa • Guideword de desvio possivel • Explicações sobre os desvios (Modelo de Norman, 1988) • Causas dos desvios • Consequências dos desvios • Recomendações de reprojeto

32. Inspeção de Desvios Heurísticas – GuideWords • Nada acontecer? • Algo diferente acontecer? • Mais • Menos • Diferente • Acontecer fora de tempo? • Antes • Depois

33. Técnicas Definitivas • Ensaios de Interação • Sistemas de monitoramento

34. Ensaios de InteraçãoConceituação • Simulação de uma situação real de trabalho, em campo ou em laboratório, da qual participam usuários representativos da população alvo do sistema com o objetivo de revelar problemas ligados a utilização real do sistema e obter dados objetivos sobre a produtividade na interação

35. Ensaios de InteraçãoCaracterísticas • Abordagem • técnica orientada ao usuário e à tarefa • Tipo de Diagnóstico • Revela problemas reais ou efetivos, segundo a perspectiva do usuário

36. Ensaios de InteraçãoCaracterísticas (cont.) • Sistematização • dependente da qualidade de scripts e dos cenários nas simulações; • Custo x Benefício • Avaliação custosa, porém reveladora de problemas sérios ligados à perspectiva do usuário;

37. Ensaios de Interação Elementos de Configuração (1/4) • Scripts • conjuntos de operações da uma tarefa real que, durante uma simulação com o sistema serão realizados por uma amostra de usuários-alvo do aplicativo. • Cenários • contexto ambientais e organizacionais que caracterizam a realização das tarefas; ex. urgência, ruídos, interrupções,

38. Ensaios de Interação Elementos de Configuração (2/4) • Amostra de Usuários • especialistas nas tarefas, novatos, experientes na operação do sistema e outros; • Local de realização • local de trabalho; • laboratório;

39. Ensaios de Interação Elementos de Configuração (3/4) • Constrangimento • esclarecer que quem está sendo testado é o software. • não pressioná-los a participarem dos ensaios; • não expô-los a comentários de colegas. • Cansaço  parar. • Garantia de privacidade.

40. Ensaios de Interação Elementos de Configuração (4/4) • Situações de impasse • não interferir inicialmente; • Não prolongar as situações de impasse; • mostrar o caminho ao usuário ou; • propor a troca de tarefas; • Encerrar o ensaio no caso de constrangimentos;

41. registro da observação • Papel e caneta. • Registro em vídeo. • Verbalização simultânea. • Verbalização consecutiva • Monitoramento da sessão - via screenCam • Técnicas de registro da observação. • Transcrição. • Esquemas de códigos.

42. Ensaios de InteraçãoEstratégia • Análise Contextual • Diagnóstico preliminar • Definições • Scripts, Cenários e amostra de usuários • Realização de Ensaios • Obtenção da amostra de usuários • Ajustes nos scripts e cenários • Planejamento e Execução • Relatório do ensaio • Análise e interpretação dos dados obtidos • Redação do relatório do ensaio

43. Ensaios de Interação Resultados Quantitativos • Métricas de produtividade na interação • Eficácia = quantidade de tarefas realizadas * 100 / quantidade de tarefas solicitadas • Eficiência em uma tarefa = tempo produtivo na tarefa*100/tempo total da tarefa • Tempo produtivo na tarefa = tempo total da tarefa - tempo não produtivo na tarefa

44. Ensaios de Interação Resultados Qualitativos • Confirmação de diagnóstico preliminar de problemas na interface • Identificação de novos problemas na interface a partir da observacao e análise das situações de incidente/não produtivas

45. MONTAGEM DE ENSAIO DE INTERAÇÃO ANÁLISE PRELIMINAR Reconhecimento do software Pré-diagnóstico Ergonômico DEFINIÇÃO DOS CENÁRIOS E DA AMOSTRA Reconhecimento do usuário Coleta de informações sobre o usuário e sua tarefa Definição de tarefas para o usuário REALIZAÇÃO DOS ENSAIOS Obtenção da amostra de usuários Ajuste nos scripts e cenários Preparação dos ensaios Realização dos ensaios Coleta e análise dos dados Diagnóstico e relatório final

46. Compromisso de uma técnica de avaliação • Efetividade –quantidade de problemas sérios) identificados - heurísticas e os ensaios de interação; • Abrangência –quantidade de problemas reais -checklists e as avaliações heurísticas; • Eficiência - os ensaios de interação; • Produtividade – relação eficência/custo; • Sistematização – repetitividade e reproduzibilidade - Checklists. • Facilidade de aplicação –checklists; • Poder de persuasão - ensaios de interação e as avaliações heurísticas • Poder de desobstrução.

47. Projeto de uma avaliação • análise : identificação dos requisitos da avaliação; • projeto preliminar : seleção das técnicas aplicáveis; • projeto detalhado : configuração das técnicas; • implementação : realização da avaliação; • documentação : elaboração do relatório; • validação : confronto entre os resultados esperados e obtidos com a avaliação.