Projeto Brinquedoteca Interativa

1. ProjetoBrinquedoteca Interativa CE-293 Computação Social Avançada Prof. Dr. Felipe Afonso de Almeida Prof. Dr. Sérgio Roberto Matiello Pellegrino

2. Roteiro • O Projeto • O que é • Justificativa • Objetivo • Proposta • Conceitos Envolvidos • Computação Móvel • Computação Pervasiva • Computação Ubíqua • Trabalhos Relacionados • Grupos de Pesquisa • Pesquisas • Etapa Atual de Desenvolvimento

3. Projeto O que é Justificativa Objetivo Proposta Conceitos Envolvidos Trabalhos Relacionados Grupos de Pesquisa Trabalhos Correlatos Etapa Atual de Desenvolvimento O Projeto Roteiro

4. O Que é • BrinquedotecaInterativa é um sala inteligente voltada para crianças. Equipada com brinquedos conectados a sistemas apoiados na computação ubíqua que conectam ambiente, brinquedos e crianças.

5. Justificativa • A idéia do projeto surgiu a partir de reuniões de mesa redonda oriundas de encontros, cursos e palestras promovidas por profissionais responsáveis pelo blog APRENDAKI. • Frequentadas por profissionais de diversas áreas, entre os quais participaram: • Prof. Dr. Felipe Afonso de Almeida • ProfªDrª. Lou de Olivier

6. Justificativa • Prof. Dr. Felipe Afonso de Almeida, com projetos nas linhas de pesquisa de Ambientes Virtuais, Computação Pervasiva, Computação Social, Computação Afetiva, dentre outras. • ProfªDrª. Lou de Olivier, psicopedagoga, psicoterapeuta, precursora da Multiterapia, Pós-graduada em Medicina Comportamental e Psicopedagogia, com extensões em Neuropsicologia, Especialista em distúrbios de aprendizagem e de comportamento.

7. Justificativa • A idéia do projeto Briquedoteca Interativa foi também inspirado a partir de algumas pesquisas apresentadas pela ProfªDrª Lou, que ministrou um curso sobre o tema “Brinquedoteca” em 2009 nos Eventos Educacionais do Aprendaki e também em palestras voltadas a profissionais. • O curso aborda como solucionar problemas e/ou tratar distúrbios de aprendizagem usando brinquedose brincadeiras.

8. Justificativa • Lou defende que “as atuais políticas educacionais necessitam de uma maior adequação à realidade dos educandos...” e que “... experimentando-se novas técnicas e usando-se de forma profunda dos recursos de uma brinquedoteca, proporciona aos cursistas a capacidade de desenvolver o aprendizado de qualquer tipo de aluno desde o mais tímido e disperso, até o mais hiperativo, integrando a todos e tornando o estudo uma grande diversão”.

9. Objetivo inicial do Projeto • Gerar idéias para o ambiente e brinquedos interativos que estejam apoiados nos conceitos de computação pervasiva, ubíqua e móvel. • Produzir protótipos dos brinquedos usando tecnologias acessíveis e/ou emergentes. • Pesquisar tecnologias/materiais/métodos para serem aplicados no desenvolvimento dos brinquedos.

10. Proposta de Ambiente • Sala provida por um sistema que controla e atua de acordo com alguns aspectos como: • Movimento/posicionamento das crianças • Movimento/posicionamento dos brinquedos • Temperatura da sala • Nível de água do bebedouro • Atividade em execução • Etc

11. Proposta de Ambiente • Todas as crianças são cadastradas no sistema permitindo: • Acompanhamento remoto por pais, responsáveis. • A sala é assistida por câmeras que transmitem as imagens via Internet. • Possibilidade de acompanhamento de desempenho por pais, responsáveis, profissionais: • O sistema gera relatórios de pontuação das crianças na prática das atividades lúdicas, podendo auxiliar em diagnósticos feitos por especialistas.

12. Proposta de Brinquedos • São equipados por dispositivos móveis que recebem e/ou emitem sinais para sistemas computacionais localizados em posições estratégicas do ambiente. • Estes sistemas interagem com a criança e com o ambiente coordenando ou acompanhando as atividades desenvolvidas em conjunto com as crianças.

13. Proposta de Brinquedos • Os brinquedos tem objetivo de serem educativos e estão ligados a diversas atividades lúdicas. • Futuramente, os brinquedos seriam repensados por especialistas segundo objetivos didáticos. • O passo atual se dá com brinquedos temporários apenas a critério de domínio das tecnologias.

14. Proposta de Brinquedos • Brinquedo Meu Pet: Explorando o som e imagens dos animais • Diversos animais de pelúcia espalhados pela sala estão equipados por um sistema de identificação por radiofreqüência que quando identificado emite o som do animal e uma informação sobre o mesmo. Fig.1: Exemplo de animais de pelúcia para Meu Pet

15. Proposta de Brinquedos • Brinquedo História Maluca: Explorando a histórias e imagens. • Diversos brinquedos espalhados pela sala estão equipados por um sistema de identificação por radiofreqüência que quando identificado projeta imagens e emite o som com um trecho de história sobre o brinquedo (frases predefinidas). As frases são conectadas com os nomes das crianças. Fig.2: Relação de brinquedos para História Maluca

16. Proposta de Brinquedos • Brinquedo Palavra-Viva: Explorando quebra-cabeça com sílabas e realidade aumentada. • Em uma mesa estão diversas peças de um quebra-cabeça com sílabas. Ao unir as sílabas que formem uma palavra, um marcador é formado e reconhecido pelo sistema que apresenta uma música, uma imagem 3D projetada em realidade aumentada junto com a imagem da criança. Fig.3: Representação do Palavra-Viva.

17. Cenários • Cenário 1: Maria (6 anos) chega à sala pela primeira vez. Ainda não há ninguém na sala além de uma instrutora. Assim que ela passa pela porta, um sensor percebe a entrada de alguém. Logo o sistema se adianta: -Olá, venha falar comigo, quero saber quem você é? Maria, curiosa segue o som e chega até um computador com a imagem de um robozinho a tela. O sistema fala: - Pegue o microfone e fale seu nome. Maria, claro pega o microfone e fala seu nome. O sistema de reconhecimento de fala confirma: - Seu nome é Maria? A menina confirma. Nesse momento o sistema cria um microcadastro. A Instrutora que acompanha, seleciona um identificador na gaveta, passa pelo leitor de código (que associa ao nome de Maria) e prende-o na roupa de Maria, que terá suas brincadeiras acompanhadas...

18. Cenários • Cenário 1: ...O sistema se despede de Maria e sugere que ela procure um brinquedo. Maria sai cantarolando e logo vê um cachorro de pelúcia no chão. Pega o brinquedo, coloca embaixo do braço e segue com o brinquedo. Ao passar em frente ao História Maluca, o sensor reconhece as tags de Maria e do brinquedo, e inicia uma história maluca, associando o nome da criança ao texto pré existente. Então chega outra criança, que já estava se cadastrando e se aproxima, aguçado pelo som da história. Neste momento o sistema introduz a nova criança na história maluca, através de seu nome. Ao perceberem que a história muda de acordo com o brinquedo, as duas crianças iniciam a busca por novos brinquedos para interagir com a história.

19. Cenários • Cenário 2: Maria após alguns minutos sente sede e se dirige ao bebedouro. Ao se aproximar o sistema detecta qual é a criança e mede a quantidade de água ingerida através de sensores instalados no bebedouro. Os dados são armazenados para compor o relatório de atividades. Maria se aproxima do brinquedo Palavra Viva e o sistema ao reconhecer seu Id, a chama para interagir. Ela inicia a montagem de uma palavra unindo sílabas. O sistema ao reconhecer a palavra, inicia a projeção das imagens e apresenta o som correspondente. Outra criança se aproxima, desmonta a palavra que Maria havia montado e monta uma nova palavra, e o processo se repete com informações referentes à palavra.

20. Projeto O que é Justificativa Objetivo Proposta Conceitos Envolvidos Trabalhos Relacionados Grupos de Pesquisa Trabalhos Correlatos Etapa Atual de Desenvolvimento COnceitos Roteiro

21. Computação Móvel • A computação móvel tem como princípio oferecer uma mobilidade física para serviços computacionais, onde o dispositivo móvel dá o suporte necessário para o usuário utilizar serviços computacionais independentemente da sua localização. • Lyytinen e Yoo citam que uma das principais limitações da computação móvel é em relação ao seu modelo computacional, pois, enquanto o usuário muda a sua localização o dispositivo móvel por si só não tem a capacidade de obter flexivelmente informações sobre o contexto no qual a computação está sendo executada para ajustá-las corretamente. [LYYTINEN, YOO, 2002]

22. Computação Pervasiva • O termo "Computação Pervasiva" define que num determinado ambiente existe um computador embarcado de modo invisível ao usuário. Esse computador contém um sistema computacional que controla esse ambiente, obtendo informações das ações geradas pelos usuários e ajustando-se de modo a atender às novas necessidades dos usuários. • Esse ambiente pode ser interligado por vários dispositivos computacionais interagindo entre si, onde através de sensores e aplicativos específicos o ambiente age de forma autônoma para se adaptar as novas ações dos usuários. [SATYANARAYANAN, 2001]

23. Computação Ubíqua • Computação ubíqua tem como objetivo tornar a interação humano-computador invisível, ou seja, integrar a informática com as ações e comportamentos naturais das pessoas. • Não invisível como se não pudesse ver, mas, sim de uma forma que as pessoas nem percebam que estão dando comandos a um computador, mas como se tivessem conversando com alguém. • Além disso, os computadores teriam sistemas inteligentes que estariam conectados ou procurando conexão o tempo todo, dessa forma tornando-se onipresente. [ADAM, Greenfield. 2006]

24. Computação Ubíqua • O termo "Computação Ubíqua” surgiu no ano de 1991, por Mark Weiser (TheComputer for the 21st Century) • Weiserprevia um aumento no uso de sistemas computacionais por usuários finais, e ao mesmo tempo, a visibilidade desses sistemas para tais usuários seria a menor possível. • De acordo com a teoria de Weiser, a computação deixaria de trabalhar exclusivamente em um único computador e passaria a ser compartilhada em diversos dispositivos interconectados. Com isso o foco do usuário final estaria voltado para a tarefa executada, e não para a ferramenta utilizada, pois o usuário passaria a utilizar da computação de modo imparcial e sem pré-requisitos técnicos. [WEISER, 1991]

25. Relação Computação Pervasiva • Computação • Móvel Computação Ubíqua Fig.4: Relação entre Computação Pervasiva, Móvel e Ubíqua.

26. Projeto O que é Justificativa Objetivo Proposta Conceitos Envolvidos Trabalhos Relacionados Grupos de Pesquisa Trabalhos Correlatos Etapa Atual de Desenvolvimento Trabalhos Relacionados Roteiro

27. Grupos de Pesquisa • Grupo de Computação Ubíqua - Universidade Federal de São Carlos • http://gcu.dc.ufscar.br/ • Grupo de Computação Pervasiva e Alto Desempenho - Universidade de São Paulo • http://www.pad.lsi.usp.br/ • Laboratório de Sistemas Embarcados e Computação Pervasiva - Universidade Federal de Campina Grande • http://embedded.ufcg.edu.br/

28. Grupos de Pesquisa • Instituto de Computação Pervasiva - Instituto Federal de Tecnologia de Zurique • http://www.pc.inf.ethz.ch/ • Grupo de Computação Pervasiva Centrada no Usuário do Laboratório de Inteligência Artificial e Ciência da Computação - Instituto de Tecnologia de Massachusetts • http://oxygen.csail.mit.edu/

29. TRabalhos • Towards Guidelines for Designing Augmented Toy Environments • Projeto desenvolvido pelo "Instituto de Computação Pervasiva" do "Instituto Federal de Tecnologia de Zurique". • Hinskeet al. (2008) apresentam um guia de desenvolvimento de um ambiente educativo pervasivo que une os dois mundos (o real e o virtual) através do uso da computação pervasiva em brinquedos tradicionais. • Brinquedo chamado Castelo do Cavaleiro (Knight'sCastle)

30. TRabalhos • AnInfrastructure for InteractiveandPlayfulLearning in AugmentedToyEnvironments • Projeto desenvolvido pelo "Instituto de Computação Pervasiva” da “Universidade de Lugano, Zurique". • Hinskeet al. (2009) apresentam um ambiente de aprendizado lúdico sobre a história da idade média auxiliado por realidade aumentada. • O problema em estudo: • Brinquedos tradicionais em relação a brinquedos virtuais.

31. TRabalhos • StorySurfer – A Playful Book Browsing Installation for Children’sLibraries • Projeto desenvolvido pelo ”Colégio de Projeto de Interação" do“Universidade de Tecnologia de Chalmers, Suíça”. • Eriksonet al. (2007) apresentam o projeto de uma sala interativa para encorajar atividades físicas em crianças enquanto estão pesquisando ou vendo material digital (livros/contos/etc) em uma biblioteca. • A área de interação ocorre no chão em uma projeção com rastreamento via webcam. O espaço de 4x6 metros é rodeado por 19 botões para acionamento das aplicações.

32. TRabalhos • Pervasive Computing in Play-BasedOccupationalTherapy for Children (Computação Pervasiva em jogos baseados em terapia ocupacional para crianças) • Projeto desenvolvido pela “Universidade de Taiwan”. • Loet al. (2009) apresentam o projeto aplicado em terapia ocupacional. • Escova brincalhona e bandeja brincalhona.

33. TRabalhos • StudyingMulti-UserSettings for Pervasive Games • Projeto desenvolvido pelo "Instituto de Computação, Alemanha”. • Leinchtensternet al. (2009) apresentam dois tipos de configurações para ambientes de jogos multiusuários. • A idéia surge a partir do problema em jogos pervasivos desenvolvidos para grupos de crianças, onde apenas um usuário por vez é capaz de dominar as funcionalidades do jogo enquanto outros usuários perdem o interesse pelo jogo e pela interação.

34. Projeto O que é Justificativa Objetivo Proposta Conceitos Envolvidos Trabalhos Relacionados Grupos de Pesquisa Trabalhos Correlatos Etapa Atual de Desenvolvimento Etapa Atual Roteiro

35. Andamento • Brinquedos • Palavra-Viva • História Maluca* • Meu Pet* • Artigo • Site • https://sites.google.com/site/brinquedotecainterativa/ • Pesquisa • Equipamentos/Tecnologias

36. Ambiente • Equipamentos/Sistemas/Tecnologias: • Sistema de reconhecimento por radiofreqüência (RFID) para identificação das crianças. • Câmera para captura e transmissão das imagens do ambiente através de um sistema para acompanhamento on-line. • Sistema com síntese de fala para interação com as crianças pelo nome. • Bebedouro com detecção de criança e consumo de água.

37. Brinquedo Palavra Viva • Equipamentos/Sistemas/Tecnologias: • Quebra-cabeças de EVA com marcadores • Projetor multimídia • Caixas de som • Câmera • Mesa • Sistema de Realidade Aumentada ARToolKit

38. Brinquedo História Maluca • Equipamentos/Sistemas/Tecnologias: • Brinquedos e animais de pelúcia • Projetor multimídia • Caixas de som • Sistema de reconhecimento por radiofreqüência (RFID) para identificação da criança e do brinquedo

39. Fig.5: Perspectiva do Brinquedo Palavra Viva no Ambiente

40. Sistema de Realidade Aumentada • ARToolKit • ARToolKit é uma biblioteca open source, que viabiliza o desenvolvimento de interfaces para realidade aumentada. • Emprega métodos de visão computacional para detectar tags na imagem capturada por uma câmera. Fig.6: Exemplo de Realidade Aumentada com ARToolKit

41. Sistema de Realidade Aumentada • ARToolKit • O rastreamento óptico desta tag possibilita o ajuste de posição e orientação para realizar a renderização de um objeto virtual, de modo que esse objeto pareça estar “atrelado” a tag, desta forma o usuário pode manipular o objeto virtual, utilizando um objeto real. • Implementando pelo Dr. Hirokazu Kato, utilizado atualmente por pesquisadores do Laboratório Tecnológico de Interface Humana (HITL), na Universidade de Washington. • Tem versões para C/C++, Java, e Flash(Flartoolkit)

42. Tecnologias RFID • Leitor L-A201 Fig.6: AcuWaveActiveReader [Acura Security]

43. Tecnologias RFID • O Leitor L-A201 • Detecta e decodifica sinais de RFID emitidos por tags ativos da linha AcuWave. • A informação recebida é convertida em dados e transmitida através da rede, via Serial RS-485 e RS-232. • A distância média de leitura com uma antena omnidirecional é um raio de 10 metros. • Os leitores L-A201 podem ser usados sozinhos ou em rede RS-485, usando cabo CAT5. • A conexão elétrica entre o computador principal (host) e o primeiro leitor pode ser RS-232 ou RS-485.

44. Tecnologias RFID • O Leitor L-A201 • A rede comporta até 255 leitores interligados e a configuração pode ser feita remotamente via software. • Em casos onde o tag fica muito próximo do leitor, o campo eletromagnético pode ser reduzido, utilizando-se a versão sem antena. • Dependendo do tamanho do ambiente, será necessário a utilização de antenas específicas, que ampliam o alcance do leitor. • Inicialmente optou-se por um conjunto leitor/antena (L-A201/ L-AN200 (Stub)) para se obter um alcance de 30 metros.

45. Tecnologias RFID • Tag de Segurança L-T501 Fig.7: AcuWaveSecurityCard [Acura Security]

46. Tecnologias RFID • Tag de Segurança L-T501 • Utilizado em controle de ativos e veículos, ou crachá em identificação pessoal. • Uma bateria interna alimenta o tag ativo. • Transmite um sinal de radiofreqüência em um intervalo pré-determinado. • A vida útil do tag é estimado em 5 anos com um intervalo de transmissão de 1,5 segundo, sendo que a mesma acaba com o fim da carga da bateria.

47. Tecnologias RFID • Tag de Segurança L-T501 • Possui antena interna e sistema anti-colisão que permite a leitura de vários tags ao mesmo tempo. • Os dados transmitidos podem incluir Site Code (CSC), ID do Tag, Contador de Leituras, Alarme de Movimento e Status do Alarme. • O tag pode ser configurado para fornecer interface Wiegand e pode ter sensor de movimento embutido, desta forma pode-se embutir a tag em brinquedos e mapear o seu posicionamento no ambiente e/ou interagir através de uma projeção multimídia com uma história interativa.

48. Tecnologias RFID • Leitor e Tag para menor escala Fig.8: RFID Readerwith USB Keyboard emulation interface Fig.9: RFID Proximity ID IdentificationToken YEL

49. Referências Bibliográficas • [HINSKE, S., Langheinrich, M. 2009] Aninfrastructure for interactiveandplayfullearning in augmentedtoyenvironments.Proceedingsofthe 2009 IEEE InternationalConferenceonPervasive Computing and Communications. • [ADAM, Greenfield. 2006]. Everyware: The Dawning Age of Ubiquitous Computing. Peachpit Press, páginas 11-12, 2006.

50. Referências Bibliográficas • [SATYANARAYANAN, Mahadev. 2001] Pervasive Computing: VisionandChallenges. To appear in IEEE Personal Communications, volume 8, páginas 10-17, 2001. • [LYYTINEN, Kalle & YOO, Youngjin. 2002] IssuesandChallenges in Ubiquitous Computing. Communications ofthe ACM, volume 45, número 12, página 63, Dezembro 2002. • [WEISER, Mark. 1991] TheComputer for the 21st Century. In: ScientificAmerican. Volume: 265, Number: 3, Pages: 94-104, Fevereiro 1991.