Interaktiotavat Lauri Savioja ja Marko Nieminen Teknillinen korkeakoulu Lauri.Savioja@hut.fi

1. Interaktiotavat Lauri Savioja ja Marko Nieminen Teknillinen korkeakoulu Lauri.Savioja@hut.fi http://www.tml.hut.fi/~las Interaktiotavat / 1

2. Motivaatio • Käyttäjän ja tietokoneen välinen tiedonsiirtokaista liian kapea • Tietokoneen tahto vs. käyttäjän tahto Interaktiotavat / 2

3. Jokamiehen vuorovaikutustekniikka? http://www.cs.umd.edu/class/fall1999/cmsc434-0201/d-history/sld008.htm Interaktiotavat / 3

4. Vuorovaikutus tietokoneen kanssa • Komentorivi • Vaikea oppia • Tehokas harjaantuneille käyttäjille • Säännölliseen käyttöön • Menut • Helppo oppia • Hidastaa kokeneita käyttäjiä • Sopii kaikille käyttäjille, jos on mahdollista tehdä valinnat myös näppäimistöltä Interaktiotavat / 4

5. Vuorovaikutus tietokoneen kanssa(2) • Suora manipulointi • Suhteellisen helppo oppia • Sopii kaikille käyttäjille yhdistettynä muihin tekniikoihin • Lomakkeet • Lomake, jossa vapaita tekstikenttiä, ”radio-button”-valintoja, menuja, jne. • Luonnollinen kieli • Tekniikka rajoittaa Interaktiotavat / 5

6. HCI I/O Research • Research in the field of input/output for human-computer interaction centers around the two ends of thecommunication channel: • The devices and techniques computerscan useforcommunicatingwith people • The perceptual abilities, processes, and organspeople can use for communicating withcomputers. • The goal ofresearch is to invent and studynew paradigms forinteraction that provide increased human-computercommunication bandwidthin media and styles that are wellmatchedto and driven by human capabilities • gadget-driven -> human-driven Interaction Styles and Input/Output Devices (Jacob & al.) http://www.eecs.tufts.edu/~jacob/papers/bit.txt Interaktiotavat / 6

7. Multimodaalinen vuorovaikutus • Syöttö • Kirjoittaminen, osoittaminen • Puhuminen • Katsominen • Kontekstin tunnistus • Ajatteleminen • Asenne, tuntemukset, suhtautuminen: • pupillin laajuus, ihon sähkönjohtokyky Interaktiotavat / 7

8. Multimodaalinen vuorovaikutus (2) • Tulostus • Näkeminen • näytöt, kirjoittimet • Kuuleminen • puhe, äänet • Tunteminen • haptinen palaute, ”force feedback” • Haistaminen • tuoksusyntetisaattorit • Maku • ? Interaktiotavat / 8

9. Syöttötavat Interaktiotavat / 9

10. ReikäkortitHerman Hollerith 1890 http://www.simonsays.com/titles/0684812010/cards.html http://www.rdrop.com/~jimw/ibm029~3.jpg Interaktiotavat / 10

11. Kirjoittaminen ”Teletype”-paperipääte merkki/rivi-pohjaisine käyttö-liittymineen http://www.rdrop.com/~jimw/asr38.jpg Interaktiotavat / 11

12. Näppäimistöt: QWERTY • Yleisin näppäimistö (edelleen!) • teknisesti erilaisia, lisä- ja erikoisnäppäimiä tullut mukaan • Näppäimistön perusajatus 1870-luvulla oli järjestää heilurivasarakoneessa englannin kielessä useimmin käytetyt kirjaimet mahdollisimman kauas toisistaan, jotta estetään mekaaniset jumiutumistilanteet. Syy on sittemmin poistunut, mutta näppäinasettelu on jäänyt. • Muita näppäimistöjä: Dvorak (25% nopeampi) • Kansallisia ja kansainvälisiä näppäimistö-standardeja käsitellään ISO/IEC/JTC1/ SC35/WG1:ssä Interaktiotavat / 12

13. Kirjoittaminen: Chord, T9, erikoisnäppäimistöt • Chord: Engelbart 1968 • Yhdellä kädellä käytettävä näppäimistö, jossa painamalla yhtä tai useita näppäimiä samanaikaisesti saadaan aikaan kirjoitusmerkkejä, kuitenkin vaikea oppia • Numeronäppäimet / T9 • Yhdellä kädellä käytettävä matkapuhelinten kielisidonnainen ennakoiva tekstinsyöttö • Erikoisnäppäimistöt • teollisuussovellukset Interaktiotavat / 13

14. Kädet • Diskreetti vs. jatkuva syöte • lineaarinen liike ja kierto • absoluuttinen ja suhteellinen liike • Paikka ja voima • 1D, 2D, 3D • Suora ja epäsuora kontrolli • Paikka vs. nopeus Interaktiotavat / 14

15. Osoittaminen • ”Point and shoot” • Epäsuora • Hiiri • Engelbart/NLS 1968, Xerox Alto 1975, Macintosh 1982, Windows 1988 • ohjauslevy, tappihiiri (kannettavat), ohjauspallo (teollisuussovellukset) • grafiikkataso, ”digitointialusta” • joystick • Suora • Valokynä • Kosketusnäyttö Interaktiotavat / 15

16. Jalat? • Onko jaloilla käyttöä? Speden Speleissä ainakin on. • Nintendo 1988: PowerPad • Rallipelien polkimet. Miten tietokonetta ajettaisiin? • Jaloille täydentäviä/vaihtoehtoisia toimintoja, eivät välttämättä korvaa muita välineitä. Mitä jaloilla voisi tehdä? • Jalkahiiri • ”Myyrä” (hiiren korvike: Pearson & Weiser CHI’88) Interaktiotavat / 16

17. Puheentunnistus • Puheentunnistus • Kun kädet eivät käytettävissä, ”erityistilanteet” • Vaatimuksena prosessointitehon kasvu • Nykyään henkilökohtainen, jatkossa geneerinen • Ensimmäiset nipin napin käyttökelpoiset sovellukset tuloillaan • Philips FreeSpeech, DragonSystems/Lernout & Hauspie, IBM ViaVoice • Sanojentunnistus • Sovellusaluekohtaiset erityissovellukset • Rajatut sanastot, ”komentokieli” Interaktiotavat / 17

18. Kirjoittaminen PenCell allows the user to send Emails, transmit Faxes, create SMS and enter free hand drawings and text into it’s own memory or into the phone’s storage. The captured data can also be stored and manipulated at later convenience.Pegasus Cellular Handwriting Technology consists of a specially designed pen and receiving and processing unit. Pegasus is offering two configurations for the use of this technology;The embedded solution, where the miniature receiving unit can be embedded into any cellular phone regardless of size.The Accessory solution, where the product can be connected to any cellular phone and script can be initiated on any standard piece of paper. This solution may be wireless using IrDA or Bluetooth. http://www.pegatech.com/pencell_dwn.html Interaktiotavat / 18

19. ThinkPad TransNoteCombining a mobile computer with a digital notepad, the ThinkPad TransNote™ helps highly mobile users integrate paper-based information into the digital workspace efficiently—and turns heads with its stylish and flexible portfolio design. Kirjoittaminen Interaktiotavat / 19

20. Ilmeet ja eleet • Käyttäjän katseen seuranta • Asennon ja paikan tunnistus Interaktiotavat / 20

21. Tulostustavat Interaktiotavat / 21

22. Näyttö • Eri kokoja sovellus-alueittain • CRT • Nestekide • Seinä/taulu: videotykki • Moniruutu Interaktiotavat / 22

23. Kirjoittimet • Historia: reikänauhat, paperipäätteet • Rivikirjoittimet, kiekkokirjoittimet • Matriisikirjoittimet • jatkolomakkeet, itsejäljentävä paperi • Laserkirjoittimet • Mustesuihkukirjoittimet • Piirturit Interaktiotavat / 23

24. Puhe ja ääni • Kun näköaisti ”tukossa” tai ei käytettävissä • Tallennettu puhe ja ääni arkipäivää • Junien lähtö- ja saapumisajat • Puhesynteesi • elektroniikkalaitteiden ilmoitukset, ”autostasi loppuu bensa” voi viedä kuljettajan ojaankin! • Musiikki: virheilmoitukset, soittoäänet • Ambientti äänimaailma Interaktiotavat / 24

25. ARKola: ”Listening to the Plant” • Auditory icons (”earcons”) • Useful in multiprocessing or collaborative systems: no focus needed for auditory feedback • ARKola bottling plant simulation (ARK: Alternate Reality Kit) • Simulation of the sounds of the real machines • Heater: blowtorch, bottle dispenser: clanking bottles • Rhythm according to the state of the machine • Auditory cues helped participants monitor the status of ongoing processes • Overall listening: ”Everything sounds right, doesn’t it?” • Problems also • urgency of alarm sounds: breaking bottle compelling, some other alarms and process sounds not sufficiently discriminable • ”We were impressed with the speed with which users learned the meaning and functions of this quite complex system of sounds” Interaktiotavat / 25

26. Tutkimusta TKK:lla • Experimental Virtual Environment, EVE • kolme seinää ja lattia • stereokuva • paikannus • Navigointi Interaktiotavat / 26

27. 3D-interkatio: Eleet • Paikannus • magneettinen • ääneen perustuva • kuvaan perustuva • TKK/DIVA • virtuaaliorkesteri Interaktiotavat / 27

28. Tulevaisuus Interaktiotavat / 28

29. Issues in HCI Interaction Research • Three-dimensional pointingand manipulation • Stereo display in conjunction withthree-dimensionalmanipulation • General gesture input • Simultaneous two-hand input • Virtual input devices • Speech, Non-speechaudio output for ’visualizing’ data • Eyeinput Interaktiotavat / 29

30. Nyt ja tulevaisuudessa • ”Luonnollinen kommunikointi” prosessointitehon kehittyessä • käsin kirjoittaminen, puhe, katse, eleet • Todennäköisyyteen perustuva vuorovaikutus (”Probabilistic inputs”) • ”a probability vector rather than asingle token for a userinput” (Jacob & al.) • Uudet tekniikat, ”mediakonvergenssi” • uudet kännykät, multimediapäätteet, taittuvat näytöt • Suora vuorovaikutus: neuronien tilan mittaaminen ja muokkaaminen? Interaktiotavat / 30

31. ”Ubi” • ”Ubiquitous computing & interaction” • vuorovaikutusvälineet integroituvat ympäröivään maailmaan, vaatteisiin, välineisiin, toimilaitteisiin, tiloihin • Reima Clothing Interaktiotavat / 31

32. Toimintatilan tunnistaminen • Toimintaympäristö • aktiivinen ympäristö pystyy ilmaisemaan tilan ja tilanteen, jossa ollaan • vuorovaikutus voi tapahtua myös toimintatilassa olevien muiden välineiden kautta • Käyttäjän tila • fysiologinen • emotionaalinen Interaktiotavat / 32

33. Ajatusten voimalla? • Mittausmenetelmien kehittyessä voidaan päästä jopa pelkkien ajatusten voimalla tapahtuvaan vuorovaikutukseen Interaktiotavat / 33

34. Lähteet • Computer History Web Gallery: http://www.csis.american.edu/museum/HOC_Class/html/GALLERY.HTM • Gaver, Smith & O’Shea 1991: Effective Sounds in Complex Systems: The ARKola simulation, Proceedings of CHI '91 • R.J.K. Jacob, J.J. Leggett, B.A. Myers, and R. Pausch, "Interaction Styles and Input/Output Devices," Behaviour and Information Technology, vol. 12, no. 2, pp. 69-79, 1993; http://www.eecs.tufts.edu/~jacob/papers/bit.txt • Kuutti, K. Luentokalvot 2000. • Pakkanen, T. Feet in GUI http://www.cs.uta.fi/~rr/interact/Feet_files/frame.htm Interaktiotavat / 34