Eyes in Attentive Interfaces: Experiences from Creating iDict, a Gaze-Aware Reading Aid

Abstract

Kun keskustelet toisen ihmisen kanssa, mihin asioihin puheen lisäksi kiinnität huomiosi? Paitsi keskustelukumppanin spontaanit eleet ja ilmeet, myös hänen katseensa käyttäytyminen auttaa tulkitsemaan välitettyä viestiä. Tietokoneen käyttöliittymissä kohteiden suora manipulointi hiiren avulla oli aikoinaan iso askel kohti helppokäyttöisempää käyttöliittymää, mutta luontaisia viestintäkeinojamme olisi nykyisin mahdollista hyödyntää myös tietokoneen ja ihmisen välisessä kommunikaatiossa huomattavasti monipuolisemmin. Jos tietokone olisi tietoinen käyttäjän tarkkaavaisuuden kulloisestakin kohteesta, voisimme kehittää paremmin käyttäjää ymmärtäviä ja käyttäjän toimiin mukautuvia sovelluksia.

Yleisimmin käytetty tekniikka katseen kohteen seuraamiseksi perustuu silmästä otetun videokuvan analysointiin. Reaaliaikaista katseen kohteen seurantaa hyödynnetään toistaiseksi hyvin vähän, lähinnä vammautuneille suunnatuissa sovelluksissa. Tietyissä tilanteissa katse saattaa olla jopa ainoa kommunikointitapa: katseen avulla on kirjoitettu jopa kokonaisia kirjoja. Katseen seurannan avulla voidaan kuitenkin parantaa myös yleiskäyttöisempiä käyttöliittymiä. Annetun komennon kohde voidaan esimerkiksi tulkita suoraan katseen perusteella joutumatta osoittamaan sitä hiirellä, tai ohjelma saattaa pyrkiä suuntaamaan käyttäjän huomiota, jos havaitaan että käyttäjältä jää jokin tietyssä tilanteessa olennainen tieto huomaamatta.

Tampereen yliopistossa tarkastettavassa väitöstyössä keskitytään tarkastelemaan, miten tietoa käyttäjän katseen kohteesta voidaan hyödyntää ihmisen ja tietokoneen välisessä käyttöliittymässä. Aiheeseen paneudutaan esimerkkisovelluksen, iDictin, kautta. iDict avustaa vieraskielisten dokumenttien lukijaa seuraamalla lukijan katsetta tekstiä luettaessa ja antamalla hänelle automaattisesti apua kun oletetaan siihen olevan tarvetta. Työtä voidaan pitää osoituksena siitä, että katseenseurannan avulla kaikille tarkoitetuista sovelluksista on mahdollista tehdä tehokkaampia ja käytettävyydeltään miellyttävämpiä. Ihmisen näköjärjestelmän fysiologisista ominaisuuksista johtuen katseen kohteen mittaustarkkuus on rajoitettu. Työssä todistetaan mm., että tekstiä luettaessa katseen kohteen virhemäärityksiä on mahdollista kompensoida algoritmisesti. Käyttäjätestit osoittivat, että konsepti on hyvinkin kehityskelpoinen. Yli puolet testihenkilöistä olisi olleet valmiita ottamaan käyttöön katsesovelluksen mieluummin kuin hiirellä käytettävän sovelluksen. Näin siitä huolimatta, että hiiren käyttö oli kaikille tuttua ja katseen seurantatietojen käyttäminen ohjelman "syötteenä" entuudestaan tuntematonta.

The mouse and keyboard currently serve as the predominant means of passing information from user to computer. Direct manipulation of objects via the mouse was a breakthrough in the design of more natural and intuitive user interfaces for computers. However, in real life we have a rich set of communication methods at our disposal; when interacting with others, we, for example, interpret their gestures, expressions, and eye movements. This information can be used also when moving human-computer interaction toward the more natural and effective. In particular, the focus of the user s attention could often be a valuable source of information. The focus of this work is on examining the benefits and limitations in using the information acquired from a user s eye movements in the human­computer interface. For this purpose, we developed an example application, iDict. The application assists the reader of an electronic document written in a foreign language by tracking the reader s eye movements and providing assistance automatically when the reader seems to be in need of help.

The dissertation is divided into three parts. The first part presents the physiological and psychological basics behind the measurement of eye movements, and we also provide a survey of both the applications that make use of eye tracking and the relevant research into eye movements during reading. The second section introduces the iDict application, from both the user s and the implementer s point of view. Finally, the work presents the experiments that were performed either to inform design decisions or to test the performance of the application.

This work is proof that gaze-aware applications can be more pleasing and effective than traditional application interfaces. The human visual system imposes limits on the accuracy of eye tracking, which is why we, for example, are unable to narrow down with certainty the reader s focus of gaze to a target word. This work demonstrates, however, that errors in interpreting the focus of visual attention can be algorithmically compensated. Additionally, we conclude that the total time spent on a word is a reasonably good indicator in judging comprehension difficulties. User tests with iDict were encouraging. More than half of the users preferred using eye movements to the option of using the application traditionally with the mouse. The result was obtained even when the test users were familiar with using a mouse but not with the concept of the eye as an input device.