Haptik

1. Haptik Jonas Moll Doktorand MDI-gruppen, CSC

2. Känselsinnet • Ett system (sematosensoriska systemet) som består av tre komponenter • Taktil perception (Punktberöring, smärta, temperatur) • Exempel – Braille • Kinestetisk perception (perception från leder och muskler; hårdhet, viskositet och form) • Proprioception (vår känsla av kroppens position i förhållande till gravitationen, samt vår känsla av rörelse) • Haptisk perception kombination av dessa

3. Aktiv och passiv beröring • Två olika sätt att få känselåterkoppling på • Aktiv beröring • Utforska något på egen hand genom att aktivt röra och känna • Passiv beröring • Hålla sig stilla, medan t ex ett föremål berör huden eller påverkar kroppens position

4. Haptisk återkoppling • Återkoppling till känselsinnet • Antingen via aktiv eller passiv beröring • Kräver ofta speciell program- och hårdvara • Haptiska gränssnitt bygger på känselåterkoppling • Man lurar känselsinnet genom att ansätta krafter eller på annat sätt ge stimuli till hudens sensorer

5. Multimodala gränssnitt • Multimodala gränssnitt ger feedback till fler än ett sinne • Gränssnitt som bygger på syn- och hörselintryck i särklass vanligast • Haptiska gränssnitt fortfarande mycket ovanliga, men utvecklas mer och mer i forskningssammanhang

6. Haptiska verktyg

7. Programmera för olika sinnen • Olika sinnen inriktade på att ta in olika typer av information • Centralt då man studerar och utvecklar multimodala gränssnitt • Viktigt att ha koll på illusioner • Olika krav på uppdateringsfrekvens och rendering

8. Exempel på applikationer

9. Fallstudie – mitt examensarbete ”Utveckling och utvärdering av programvara till stöd för lärande under samarbete mellan seende och synskadade elever i grundskolan”

10. Bakgrund • Behovet av en ny programvara framkom i en fältstudie inom EU-projektet MICOLE • Seende och synskadade arbetade i två parallella processer – inget samarbete! • Problemet: grupparbeten mer och mer vanliga – alla förväntas delta

11. Själva uppgiften • Skapa ett program som stöder hela grupparbetsprocessen • Från utförande till resultatrapportering • Höga krav på enkelhet och realism • Haptisk feedback central! • Avsluta med en utvärdering ute på skolor

12. Den resulterande programvaran • Tre versioner – en för läraren, två för eleverna • Elevernas 2D-version • För inlärning av vinklar och plan geometri • Elevernas 3D-version • För inlärning av enkel rymdgeometri • Lärarens version • Möjlighet för läraren att förbereda uppgifter

13. Utvärderingen • Utvärdering av elevversion i 4 skolor • Vi tog med all utrustning • 3 elever per test, varav en gravt synskadad • Eleverna utförde en uppgift i vardera version • 2D-uppgift, 3D-uppgift • Avslutande kort intervju

14. Viktiga resultat • Om objekt kan flyttas i en samarbetsmiljö blir det mycket svårare för den synskadade då denne inte har något sätt att uppfatta förändringar i miljön • I båda miljöerna fick eleverna stöd i diskussionen kring matematiska koncept • Alla synskadade klarade av att lyfta, släppa och överlämna objekt

15. Viktiga resultat, forts • I samtliga grupper var de synskadade involverade och kunde bidra • De synskadade kunde få en bild av miljön genom att använda phantomen • ”Haptisk guidning” användes frekvent i vissa grupper

16. Sammanfattande slutsatser • Interaktionsmiljöernas betydelse för effektiviteten • Haptikens betydelse för samarbetet

17. Resultat från andra studier • Haptiken ger en större upplevd närvarokänsla • Haptiken ger en större upplevd social närvarokänsla • Haptiken påverkar dialogen • Man kan tala om haptisk kommunikation • Även seende kan hjälpas av haptiken

18. Haptiklabben • Totalt 2 timmar • Första 1,5 timmarna ägnas åt mycket enkel programmering av haptiska gränssnitt • Sista delen en demosession i haptiklabbet

19. Mjukvaran – H3D API • API baserat på x3d – en utvidgning av xml för skapande av 3d-grafik • Visuell och haptisk rendering • Framtaget av SenseGraphic och är Open Source • Baserat på scengrafprincipen och innehåller noder och attribut

20. Hårdvaran – Novint Falcon

21. Ett enkelt litet exempel

22. Resultatet

23. <Material diffuseColor=”1 0 0” transparency=’0.5’ /> Kontrollerar den visuella delen Attribut: diffuseColor (ett RGB-värde) Transparency (genomskinligheten, värde i [0,1] Det visuella - <Material>

24. <SmoothSurface stiffness=’1000’ /> <FrictionalSurface dynamicFriction=’0.2’ stiffness=’300’ /> Kontrollerar ”känslan” Attribut: Stiffness =”hårdhet” xxxFriction Andra exempel MagneticSurface DepthMapSurface Kontrollera haptiken - xxxSurface

25. Mer avancerad programmering • Bara H3D-filer räcker oftast inte • Python • Avancerad interaktionshantering • C++ • För att skapa egna, specialierade noder

26. 2D-versionen

27. 3D-versionen

28. Lärarens version

29. Braille – reading by feeling!

30. Datorspel och vissa simuleringar • Vanligaste formen av haptiska verktyg som nästan alla har använt • Används i spel och simulatorer • Oftast bara 1 frihetsgrad

31. Phantomen • Desktop, Omni och Falcon • 3 frihetsgrader, 1 interaktionspunkt • Förmedlar krafter via ledade robotarmar och wirar • Lurar användaren att denne tar på och interagerar med virtuella grafiska objekt

32. Exoskeleton – de mest avancerade • Exoskeletonverktyg kan ha upp till 24 frihetsgrader • Vissa ger kraftåterkoppling till varje finger • Andra ger elekriska impulser till sensorer i huden

33. Medicinska tillämpningar • Denna typ av haptiska applikationer används och utvecklas mer och mer idag • Mycket höga krav ställs på utrustningen • Många fler exempel på medicinska applikationer finns

34. Matematiska tillämpningar • Exjobb om tolkning av statistiska data • Vad kan haptiken tillföra till en annars vanligen visuell datortillämpning? • En mängd matematiska tillämpningar för synskadade • Ett Tetris-liknande spel håller på att utvecklas

35. Samarbetsmiljöer