“Utilizando estudos observacionais para testar e aperfeiçoar um pacote de laboratório para avaliação de ferramentas de m

1. MESTRADO EM REDES DE COMPUTADORES “Utilizando estudos observacionais para testar e aperfeiçoar um pacote de laboratório para avaliação de ferramentas de mineração visual de dados” Aluna: Josemeire Machado Dias Orientação: Prof. Dr. Manoel Mendonça Co-orientação: Profª MSc. Daniela Cruzes

2. MOTIVAÇÃO PARA O TRABALHO • Muitas ferramentas de MVD desenvolvidas, mas sem uso; • Ferramentas precisam ser avaliadas para serem melhoradas e comercializadas; • Grande número de critérios definidos para avaliação de ferramentas; • A definição de critérios não é suficiente para garantir a qualidade da avaliação das ferramentas; • Nosso interesse na área de estudos empíricos.

3. FERRAMENTAS DE MINERAÇÃO VISUAL DE DADOS Modelo de Referência para Visualização. (CARD et al. 1999)

4. PROCESSO PARA AVALIAR FERRAMENTAS DE MVD

5. PROCESSO PARA AVALIAÇÃO DE FERRAMENTAS DE MVD

6. A TÉCNICA DE AVALIAÇÃO DE FERRAMENTAS DE MVD CRIADA NESTE PROJETO • É baseada em inspeção e em perspectivas; • perspectivas definidas: • Especialista na análise de dados; • Especialista nos dados; • Especialista em interfaces; • A utilização da técnica é guiada por cenários; • Utiliza critérios para avaliação.

7. CRITÉRIOS UTILIZADOS NA TÉCNICA • Critérios definidos por Paulo Roberto Luzzardi • Tese de doutorado da UFRGS / Informática • Foco dos critérios • contemplam a representação visual estática • contemplam os mecanismos de interação

8. CRITÉRIOS PARA A REPRESENTAÇÃO VISUAL

9. CRITÉRIOS PARA OS MECANISMOS DE INTERAÇÃO

10. FLUXO DE UTILIZAÇÃO DA TÉCNICA

11. CRIAÇÃO DO EXPERIMENTO PARA TESTAR A TÉCNICA Objetivos do experimento Analisar a técnica criada (baseada em perspectivas) e a baseada em heurísticas para avaliá-las em relação à sua efetividade na detecção de problemas no contexto da inspeção do ponto de vista do especialista na análise de dados, especialista em interfaces e especialista nos dados.

12. O PROCESSO EXPERIMENTAL TRADICIONAL Baseado no modelo de Travassos (2002)

13. A PROPOSTA DE INSERÇÃO DA FASE DE TESTE NO PROCESSO EXPERIMENTAL

14. DETALHAMENTO DA FASE DE TESTE

15. CRIAÇÃO DO PACOTE EXPERIMENTAL • O pacote foi criado a partir de estudos observacionais • Foram realizados 4 estudos observacionais e 1 Piloto • 1º Estudo = 3 Participantes • Alunos de Mestrado da UNIFACS • 2º Estudo = 3 Participantes • Alunos do Mestrado em Redes da UNIFACS • 3º Estudo = 5 Participantes • Professores da UNIFACS • 4º Estudo = 22 Participantes • Curta Duração da UNIFACS • 1º Piloto = 12 Participantes • Mestrado e Doutorado da USP – São Carlos

16. Evolução dos estudos observacionais

17. 1º ESTUDO = 3 PARTICIPANTES (Alunos de Mestrado) Principais problemas • O conjunto de dados era muito grande / máquinas lentas; • O treinamento e a aplicação da técnica por ser realizado em um único dia deixava o participante confuso e cansado; • Os formulários, por serem impressos diretamente da web não traduziam segurança em relação a verdadeira resposta do participante; • A falta de uma visão geral da ferramenta; • Dificuldade de manuseio dos formulários. Ações tomadas • Conjunto de dados reduzidos; • Treinamento em dois dias; • Formulários transferidos para o Word.

18. 2º ESTUDO = 3 PARTICIPANTES (Alunos de Mestrado) Principais problemas • Dificuldade com a linguagem complexa; • Ausência de exemplos mais próximos da realidade. Ações Tomadas • Inserção de alguns exemplos da web.

19. 3º ESTUDO = 5 PARTICIPANTES (Professores da Unifacs) Principais problemas • Confusão no preenchimento dos formulários; • Participantes ficaram impacientes com a ferramenta; • Falso entendimento das explicações; • Tabela de critérios se mostrou confusa; • Treinamento e avaliação realizados no mesmo dia. Ações tomadas • Estabelecimento de ordem de preenchimento dos formulários; • Melhoria da didática para reconhecer se o treinamento foi ou não entendido; • Re-organização da tabela de critérios.

20. 4º ESTUDO = 22 PARTICIPANTES (Alunos do Seqüencial) Desafios • Participantes com perfis desconhecidos dos condutores; • Necessidade de desenvolvimento de métrica de enquadramento; Principais problemas desta observação • Participantes não sabiam responder aos formulários por causa dos termos técnicos empregados; • Ainda houve reclamação em relação à linguagem complexa; • A participação foi motivada por promessa de certificados; • A ferramenta Treeminer possui grande número de problemas de usabilidade e funcionalidade. Ações tomadas • Inserção de definições para as perguntas; • Troca da ferramenta Treeminer por Treemap.

21. 1º Piloto = 12 PARTICIPANTES (USP – São Carlos) Alguns detalhes • Divisão ideal do número de participantes em cada técnica; • Treinamento em dois dias; • Ferramenta utilizada foi a Treemap. Principais problemas • Dificuldade com a complexidade do material ainda persiste, mas em menor grau. Ações a serem tomadas • Serão descritas em trabalhos futuros.

22. Resultados do Estudo Piloto I Análise Global

23. Resultados do Estudo Piloto II Análise Detalhada

24. CONSIDERAÇÕES FINAIS Principais contribuições deste trabalho • Criação da técnica para avaliação de ferramentas de MVD baseada em três perspectivas; • Criação do Pacote de Laboratório e seu refinamento através dos Estudos de Caso; • A inserção da fase de teste no processo experimental. • Artigo completo publicado no quinto Congresso Internacional de Engenharia de Software Experimental. Outras contribuições foram: • Métrica para enquadramento dos participantes nas perspectivas de avaliação; • Um conjunto de recomendações para avaliação de ferramentas de MVD.

25. Evoluir a técnica; Evoluir o processo de teste no sentido de melhorar a sua sistemática de execução; Replicar os estudos feitos neste trabalho; Refinar os procedimentos de utilização do pacote para que o experimento possa ser replicado por outros pesquisadores; Estudar a aplicação da técnica para outros tipos de dados que não sejam hierárquicos; Avaliar outras ferramentas de MVD usando as técnicas e critérios utilizados neste trabalho. TRABALHOS FUTUROS

26. AlunaJosemeire Machado Dias meire@unifacs.br OrientaçãoProf. Dr. Manoel Gomes de Mendonça Neto mgmn@unifacs.br Co-orientaçãoProfª MSc. Daniela Soares Cruzes daniela@unifacs.br