Spatial Touch in Presenting Information with Mobile Devices

Abstract

Kosketuksen paikan hyödyntäminen tiedon esittämisessä mobiililaitteilla

Kosketusaisti on keskeisessä osassa mobiililaitteiden käytössä, sillä käytämme esimerkiksi älypuhelimia yhä enenevässä määrin kosketusnäyttöjen kautta. Laitteen käyttäjälle välittämiä tietoja esitetään kuitenkin lähinnä näkö- ja kuuloaistin kautta. Kosketusaistin hyödyntäminen tiedon esittämisessä on ollut vähäistä. Yleisin esimerkki kosketuksen käytöstä palautteen antamiseen on saapuvan puhelun tai viestin ilmaiseva värinä. Tällaisen värinän rajoitus tiedon esittämisessä on se, että tuntopalaute tuntuu aina samanlaiselta jokaisessa laitteen kohdassa.

Tässä väitöskirjassa tutkittiin uusia, tuntopalautteen paikkaan perustuvia tapoja esittää tietoa mobiililaitteiden käyttäjille. Käytännössä tämä tarkoitti useiden tuntopalautetta tuottavien aktuaattoreiden käyttöä samanaikaisesti, jolloin tuntopalautteen paikan muutoksilla on mahdollista esittää erilaista tietoa. Väitöskirjassa keskityttiin kahdentyyppisen tiedon esittämiseen. Ensimmäisessä sovelluksessa pyrittiin esittämään kirjaimia näkövammaisille käyttäjille. Toisessa sovelluksessa tutkittiin tunteiden välittämistä käyttäen tuntopalautetta, joka pyrki jäljittelemään ihmisten välisiä kosketuseleitä kuten silittämistä.

Toteutettujen sovellusten toimintaa arvioitiin käyttäjätutkimuksissa. Tulokset ensimmäisen sovelluksen käytöstä osoittivat, että tuntopalautteella on mahdollista esittää kirjaimia varsin luotettavasti. Sokeiden pistekirjoituksen hallitsevat käyttäjät tunnistivat heille esitetyt yksittäiset kirjaimet onnistuneesti yli yhdeksässä tapauksessa kymmenestä. Toisen sovelluksen arviointi osoitti, että tuntopalaute aiheutti käyttäjissä erilaisia tunnearviointeja riippuen siitä, mitä kosketuselettä palaute jäljitteli. Tuntopalautteen vastaanottaneet käyttäjät esimerkiksi kokivat silitystä jäljittelevän tuntopalautteen miellyttävämmäksi kuin puristusta jäljittelevän tuntopalautteen.

Väitöskirjan tuloksia voidaan hyödyntää suunniteltaessa vuorovaikutustapoja, jotka ottaisivat paremmin huomioon kosketusaistin mahdollisuudet. Näkövammaisille käyttäjille kosketusaisti mahdollistaa vaihtoehtoisen tavan saada tietoa mobiililaitteelta esimerkiksi silloin, kun puhesyntetisaattorin käyttö ei ole mahdollista. Lisäksi kosketusaistia voidaan käyttää tukemaan ihmisten välistä etäviestintää. Soittamisen tai tekstiviestin lähettämisen ohella kosketusviesti voi välittää tunnekokemuksen esimerkiksi tutulle tai perheenjäsenelle.

Touch is essential in interaction with mobile devices such as smart phones. We access information in the devices by pressing buttons and tapping touchscreens. Yet, the devices provide little information in return via touch. Vibration alerts and feedback of touchscreen buttons are the most common uses today. From a physiological perspective, humans are capable of perceiving more complex tactile (skin) stimulation. Because we can accurately distinguish the spatial location of touch on our hand, it could also be possible to sense which part of the device is vibrating. This opens up new possibilities for human–computer interaction (HCI) research.

The aim was to study how spatial touch could be better supported in presenting information to mobile device users. In this thesis, spatial touch refers to both input and output. An example of spatial touch input is the use of a touchscreen that detects the user’s point of contact. Spatial touch output can be enabled by adding multiple actuators to a device so that the actuators stimulate different areas of the user’s hand.

We developed two types of applications to study the use of spatial touch. First, visually impaired users familiar with the Braille coding could read alphabetical information by sensing vibration. Second, two users could communicate emotional information by using vibration that mimicked interpersonal touch gestures. It has been envisioned that such mediated social touch could communicate emotions in a fashion similar to real touch.

We conducted user studies to empirically measure the usability of the developed applications. The results showed that alphabetical information in the form of single letters could be distinguished reliably by users familiar with Braille. Furthermore, we found evidence supporting the view that mediated touch could communicate emotional intention between people. Lastly, we learned that when stimulating the hand, linear tapping movement could be easier for users to localize as compared with the more commonly used vibration.

The findings of this thesis demonstrate that stimulating the sense of touch, and particularly different spatial locations of the user’s hand, could be used more actively in presenting information with mobile devices. Touch is capable of compensating for audio and vision when they are not preferred or available for use. In addition, touch can support emotional communication between users who are physically apart.