Design, Deployment, and Evaluation of Gesture-Controlled Displays in Ubiquitous Environments

Abstract

Eleohjaus, eli omalla keholla elehtiminen, on uudenlainen tapa vuorovaikuttaa teknologian kanssa. Eleohjauksella viitataan esimerkiksi käsillä ilmassa tehtäviin eleisiin, kuten erilaisten interaktiivisten elementtien osoittamiseen näytöllä. Eleohjaus ei ole kuitenkaan yleistynyt; esimerkiksi monilla julkisilla paikoilla nähtävien informaationäyttöjen käyttö eleillä on harvinaista. Erityisesti eleiden suurinta vahvuutta – laitteiden etäältä käyttämistä – ei ole kunnolla hyödynnetty. Näin ollen on epäselvää, miten eleitä tulisi suunnitella ja mikä niiden käyttäjäkokemus sekä todellinen potentiaali on. Lisäksi eleohjattavien järjestelmien ja ylipäätään teknologian sijoittaminen urbaaneihin ympäristöihin on haastavaa. Monet ulkoiset tekijät, kuten sääolosuhteet, ihmiset ja muu teknologia vaikuttavat niiden toimintakykyyn ja käyttöön. Myös, eleohjattavien järjestelmien ja niiden käytön arviointi nykyisillä tutkimusmenetelmillä on vaativaa ja aikaavievää.

Tämän väitöskirjan päätavoitteena on tutkia merkityksellisen ja suoraviivaisen elevuorovaikutuksen suunnittelua sekä selvittää, miten elevuorovaikutusta hyödyntäviä järjestelmiä voidaan onnistuneesti sijoittaa ja tutkia monimuotoisissa ympäristöissä. Tutkimuksen toteuttamiseksi suunniteltiin ja kehitettiin neljä eleohjattavaa informaationäyttöä, joiden tutkiminen johti kolmeen päätulokseen. Ensiksi, väitöskirja tunnistaa ulkoisia tekijöitä, jotka vaikuttavat negatiivisesti interaktiivisiin näyttöihin, ja tarjoaa suuntaviivoja näiden tekijöiden havaitsemiseen ja hallintaan. Toiseksi, tutkimus osoittaa, että interaktiivisten näyttöjen käyttöä voidaan arvioida laajamittaisesti ja aikaa säästäen höydyntämällä puoliautomaattista, lokipohjaista arviointimenetelmää. Kolmanneksi, väitöskirja tarjoaa ohjeita sekä tekniikoita onnistuneen ja selkeän eleellisen vuorovaikutuksen suunnitteluun ja toteutukseen. Yleisesti tulokset osoittavat, että eleohjaus voi tarjota vaikuttavan käyttäjäkokemuksen sekä suoraviivaistaa monenlaisia vuorovaikutustilanteita.

Mid-air gestures are a novel way of interacting with technology. However, mid-air gestures have not been widely used in interaction with information displays, found in many public settings. In particular, the unique benefit of gestures — interaction from a distance — has not been fully utilized. It remains unclear how such interactions should be designed, and what their user experience and true potential are. Moreover, deploying gesture-controlled displays in real-world settings is challenging because many external forces, such as the weather, people, and other technology affect the display and its use. In addition, evaluating the use of interactive displays is time-consuming and demanding.

The research goal of this dissertation is to study the design of meaningful and streamlined gestural interactions, and assess how gesture-controlled displays can be successfully deployed in public spaces, and how they can be evaluated effectively. To achieve this, four gesture-controlled displays were developed and studied, resulting in three main contributions. First, this work recognizes external factors that have a negative effect on interactive displays, and provides guidelines for dealing with them. Second, this research shows that the usage of interactive displays can be evaluated on a large scale by employing a semi-automated log-based process. Third, this dissertation provides guidelines and techniques that aid in developing easy-to-use gestural interactions. Most importantly, the results indicate that mid-air gestures can provide an impressive user experience in the context of cross-device interaction.