Multimodal human-computer interaction: a constructive and empirical study

Abstract

Ihmisen ja tietokoneen vuorovaikutus on noussut päättymässä olevan vuosikymmenen aikana tärkeäksi osaksi tietojenkäsittelytieteiden tutkimusta. Alan tutkimus vaatii tietoja monilta eri tieteenaloilta. Vaikka tietokonetekniikan kehitys on ollut jo pitkään hyvin nopeaa, samaan aikaan vuorovaikutus tietokoneen kanssa on kehittynyt yllättävän vähän ja hitaasti. Useimmat tietokoneiden käyttäjät ovat tottuneet ohjaamaan konettaan näppäimistöllä, ja hiiri on mukana kaikissa nykyaikaisissa tietokonepaketeissa. Tekniikan kehittyminen on tehnyt mahdolliseksi aiempaa monipuolisemmat vuorovaikutustavat, mutta tietomme niiden sovellettavuudesta ovat vielä hyvin vähäiset. Väitöskirjani aiheena on multimodaalinen ihmisen ja tietokoneen vuorovaikutus. Multimodaalinen käyttöliittymä tarkoittaa yleensä sellaista tietokoneen käyttöliittymää, jossa käytetään rinnakkain useita erilaisia syöttötapoja saman tehtävän suorittamiseen. Yksinkertainen esimerkki näistä käyttöliittymistä on puheohjaukseen perustuva sovellus, jossa toiminnan kohde valitaan karttakuvasta osoittamalla sitä sormella. Multimodaalisen käyttöliittymän erikoistapauksena voidaan pitää käyttöliittymää, jota ohjataan samanaikaisesti molemmilla käsillä. Tällöin puhutaan kaksikätisestä käyttöliittymästä. Olen tutkinut multimodaalisia käyttöliittymiä konstruktiivisen tutkimuksen avulla. Tutkimustani edeltävästä työstä olen esittänyt tietojenkäsittelytieteiden omien tulosten lisäksi myös niitä psykologian teorioita ja empiirisiä tuloksia, joista on apua multimodaalisten järjestelmien suunnittelussa. Iteratiivista ohjelmistokehitystä käyttäen olen toteuttanut kaksi prototyyppijärjestelmää, jotka molemmat ovat käyttöliittymältään multimodaalisia. Ensimmäinen järjestelmä on piirrosohjelma, jonka uusia työkaluja ohjataan molemmilla käsillä. Toinen järjestelmä on informaatiokioski, joka tunnistaa puhetta ja näytön koskettamiseen perustuvia eleitä. Pelkkä järjestelmien rakentaminen ei kuitenkaan vielä anna tietoa niiden toimivuudesta. Tämän vuoksi tutkimuksessani on myös empiirinen näkökulma. Prototyyppijärjestelmien toimivuutta on testattu käytettävyyslaboratoriossa vapaaehtoisten koekäyttäjien avulla, ja testeistä kuvatut videonauhat on analysoitu ongelmakohtien löytämiseksi sekä esittämieni uusien vuorovaikutustapojen vertailemiseksi nykyisin tapoihin. Tutkimukseni tärkeimpänä tuloksena ovat uudet vuorovaikutustekniikat, jotka on pyritty toteuttamaan siten, että ne vastaavat paremmin sitä todellista tehtävää, jota tietokoneen käyttäjä on tekemässä. Nämä tekniikat on toteutettu osana multimodaalista prototyyppiä ja ovat toiminnaltaan multimodaalisia. Tekniikoiden toimivuutta arvioitaessa on saatu empiirisiä tuloksia kaksikätisistä käyttöliittymistä, kosketusnäytön käytöstä ja nykyisten käyttöliittymien heikkouksista. Ensimmäisen prototyypin tekniikoilla on monia käyttökohteita kaavionpiirto-ohjelmissa ja tavallisissa oliopohjaisissa piirrosohjelmissa. Tekniikat eivät vaadi käyttämään toista ohjauslaitetta, mutta hyötyvät siitä. Toisen prototyypin tekniikat soveltuvat erityisesti julkisiin informaatiokioskeihin, joista haetaan nopeasti tietoa esimerkiksi kaupungin nähtävyyksistä. Molempien järjestelmien pohjalta on kehitteillä jatkoprojekteja, joissa multimodaalisuutta ja kehittämiäni vuorovaikutustapoja sovelletaan uusiin käyttökohteisiin.

Human-computer interaction has become an important field of research in computer science in the last decade. The research in this field requires knowledge in many disciplines. Even though the pace of development in computer technology has been fast for a long time, human-computer interaction has developed surprisingly little at the same time. Most ordinary computer users use a keyboard and a mouse to control the system. The advances in technology have made it possible for us to use more advanced interaction technologies, but our knowledge of their applicability is still quite limited.

The subject of my dissertation is multimodal human-computer interaction. A multimodal user interface means a user interface that makes use of several concurrent ways of input to carry out the same task. A simple example of these interfaces is an application that recognizes speech commands and gets information on the target of the command by detecting the user s touch point on screen. A special case of multimodal user interfaces is a two-handed user interface that uses both hands in parallel to carry out tasks.

I have used constructive research in my dissertation. In addition to the previous work in computer science I have presented related theories and empirical results in psychology that help to design multimodal user interfaces. Using iterative software development I have implemented two research prototypes. The first system is a drawing program that demonstrates new interactive tools that are controlled with two-handed interaction. The second system is a multimodal information kiosk that recognizes speech and touch-based gestures.

The usability of the systems needs to be evaluated in empirical studies. That is why I have also carried out some empirical research. The prototypes were tested in a usability laboratory in which many voluntary users tested the systems by carrying out different tasks. The tests were recorded on videotapes that have been analyzed to find out problems and to compare the new interaction techniques to the current ways in carrying out the same tasks.

The main contributions in my work are the new interaction techniques that correspond more closely to the real tasks that are being carried out. These techniques have been implemented in multimodal research prototypes and they are used multimodally. Empirically results on two-handed user interfaces, use of touchscreens, and problems in current user interfaces have been found.

The drawing techniques in the first prototype have many uses in diagram editors and drawing programs. The techniques do not require using the second hand, but two-handed input makes them work better. The techniques in the information kiosk prototype are especially useful for public information systems that may be used to find out relevant information, for example tourist information on attractions. Further development is going on in which multimodality and my new interaction techniques will be applied in new areas.