Evaluating the User Experience of Interactive Systems in Challenging Circumstances

Abstract

Käyttäjäkokemus on päivän termi ihmisen ja teknologian vuorovaikutuksen alalla. Hyvää käyttäjäkokemusta pitäisi suunnitella, ja siihen pitäisi pyrkiä, vaikka termille ei ole edes yksimielisesti hyväksyttyä määritelmää. Tämä väitöskirja lähestyy aihetta käytännöllisestä näkökulmasta. Keskiössä on vuorovaikutteisten järjestelmien käyttäjäkokemuksen arviointi haastavissa olosuhteissa laboratorioiden ulkopuolella. Täten työ pyrkii täyttämään tutkimusaukkoa ”miten arvioida käyttäjäkokemusta käytännössä”.

Väitöskirjatyöni tutkimuskysymykset ovat: miten arvioida vuorovaikutteisten järjestelmien käyttäjäkokemusta haastavissa olosuhteissa sekä miten soveltaa olemassa olevia menetelmiä ja luoda tiettyyn käyttäjäkokemusarviointitapaukseen sopiva arviointimenettely. Näihin kysymyksiin vastaan esittelemällä seitsemän vuorovaikutteista järjestelmää ja niiden yhteensä kahdeksan käyttäjäkokemusarviointia. Arviointitapausten olosuhteet ovat olleet haasteelliset käyttökontekstista, käyttäjäryhmistä tai näistä molemmista johtuen. Lisäksi kaikki arvioinnit on perinteisistä käyttäjätestauksista poiketen suoritettu oikeissa ympäristöissä laboratorion ulkopuolella. Kaikissa järjestelmissä on myös hyödynnetty uudenlaisia vuorovaikutustekniikoita, kuten ele- tai puheohjaus, joita ei jatkuvasta yleistymisestään huolimatta käytetä vuorovaikutteisissa järjestelmissä vielä johdonmukaisesti.

Väitöskirjassani esittelen arviointitapaukset ja käytetyt arviointimenetelmät, sekä analysoin ja pohdiskelen tuloksia käyttäjäkokemusnäkökulmasta. Arviointien lähtökohtana on ollut kontekstin, käyttäjäryhmän ja vuorovaikutustekniikoiden huomioiminen. Käsiteltävät tapaustutkimukset eroavat merkittävästi toisistaan: Näkövammaisille suunnatun mediakeskuksen ja kehitysvammaisille suunnatun symbolipohjaisen pikaviestisovelluksen tapauksissa arvioinnin haasteet liittyivät käyttäjäryhmään. Toisaalta tuntopalautteen hyödyntäminen porauslaitesimulaattorissa ja automaattisen puheentunnistuksen hyödyntäminen terveydenhoitoalan saneluissa liittyivät työympäristöön, joskin hyvin erilaisilla aloilla. Kulttuuritapahtumien ohjelmaoppaan ja energiatietoisuuden nostamiseen pyrkivän järjestelmän arvioinnit taas suoritettiin julkisilla paikoilla, joissa ihmisten toimintaa on paitsi hankala ennustaa, myös lähes mahdotonta kontrolloida. Koulukontekstiin ja koululaisiin liittyvässä tapauksessa tutkittiin kahdessa erillisessä arvioinnissa koulun liikuntatunneille suunniteltua peliä, jossa hyödynnetään valaistusta, ääntä ja tarinankerrontaa. Kyseisen arviointitapauksen haasteina olivat melko rajoitteellinen konteksti ja toisaalta lapset käyttäjäryhmänä.

Lähtökohdiltaan monipuolisen työni tuloksena esittelen prosessimallin vuorovaikutteisten järjestelmien käyttäjäkokemuksen arvioimiselle käytännössä. Malli kattaa käyttäjäarviointien elinkaaren kokonaisuudessaan käsitellen arvioinnin vaiheet suunnittelusta tulosten raportointiin. Mallin painopiste on kuitenkin suunnitteluvaiheessa, koska suurin osa tärkeistä päätöksistä tehdään jo ennen varsinaista testausta. Ehdottamaani mallia voidaan hyödyntää käytännöllisenä ohjenuorana käyttäjäarviointien suunnittelussa ja toteutuksessa.

“User experience” is the word of the day in human-technology interaction. One should design and aim for a good user experience, although there is not even a unanimously approved definition of the term. This dissertation takes a practical perspective to the issue. The focus is on evaluating the user experience of interactive systems in challenging circumstances outside of laboratories, and thus, aiming to fulfill the research gap of how to evaluate user experience in practice.

The questions answered through this dissertation are how to evaluate the user experience of interactive systems in challenging circumstances and how to apply known methods to create an appropriate evaluation approach for a specific user experience evaluation case. This is done by presenting seven interactive systems and their eight user experience evaluations in which the challenges have arisen either from the context or the user group(s). The case studies demonstrate evaluations beyond merely traditional user experience evaluations, as they have been conducted outside of laboratories and the systems have included new interaction techniques still not consistently used in interactive systems.

The case studies presented in this dissertation are MediaCenter (I): a multimodal media center for visually impaired users; DrillSimulator (II): haptic feedback for drill rig simulator users; SymbolChat (III): a symbol-based chat application for users with intellectual disabilities; EventExplorer (IV): an experiential program guide for cultural events; EnergySolutions (V): a playful system for raising awareness of energy consumption; Dictator (VI): a dictation application with automatic speech recognition for healthcare purposes; and LightGame (VII): a lighting-based exercise game for schoolchildren that consists of two evaluations. The evaluation cases and the selected evaluation approaches are introduced, and the outcomes are analyzed and discussed from the user experience point of view. The basis for the evaluations has been to focus on taking into account the context, user group(s), and interaction technique(s).

As a result of this work, I present a process model on how to evaluate the user experience of interactive systems in practice. The model comprises the whole life cycle of user evaluations, including practical considerations on what issues need to be taken into account in specific phases. The model can be utilized as a guideline for designing and conducting user evaluations, the focus being strongly on the design phase and how to address the challenges raised by evaluation circumstances.