iComponent ­ Device-Independent Platform for Analyzing Eye Movement Data and Developing Eye-Based Applications

Abstract

Katseenseurantalaitteistot, laitteet joiden avulla pystymme mittaamaan ihmisen katseen kohteen, ovat viime vuosina kehittyneet yhä tarkemmiksi ja helppokäyttöisemmiksi. Erilaisissa koetilanteissa tallennettujen silmänliikkeiden analysointi saattaa paljastaa merkittäviä, katseen käyttäytymiseen liittyviä, tuloksia. Toisaalta, katseenseurantaa voidaan hyödyntää myös tarkkaavaisten , käyttäjän katseen käyttäytymisestä tietoisten, sovellusten käyttöliittymissä: voimme esimerkiksi kirjoittaa tekstiä, lähettää sähköpostia, selailla Internettiä, tai vaikkapa pelata pelejä käyttäen vain katsettamme syötteenä tietokoneelle.

Katseenseurantalaitteistot ovat olleet erittäin kalliita, mutta on todennäköistä, että niiden tulee selkeästi laskemaan. On odotettavissa, että lähitulevaisuudessa ­ joidenkin ennusteiden mukaan seuraavan kymmenen vuoden kuluessa ­ nämä laitteistot tulevat olemaan keskiverto PC-käyttäjän ulottuvilla. Katsekäyttöliittymien tutkijat ennakoivat että jossain vaiheessa katseenseuranta tulee selkeästi muuttamaan sitä, miten me tietokonetta käytämme. Tällä hetkellä tutkitaan aktiivisesti tehokkaita tapoja hyödyntää katseenseurantaa ihmisen ja tietokoneen välisessä käyttöliittymässä. Silmänliikkeitä käsitteleviin ohjelmistoihin liittyy kuitenkin yleisiä ongelmia, joista johtuen silmänliikkeitä tutkivien kokeiden suorittaminen on työlästä. Katseenseurantalaitteistot eivät ole helposti käyttöönotettavia ja vaihdettavia plug-and-play -laitteita: kukin laitteisto vaatii oman ohjelmistonsa koeasetelmien laatimiseen, katsepolkujen tallentamiseen ja analysointiin. Katseenseurantalaitteiston vaihtaminen toiseen edellyttää myös ohjelmistojen vaihtamista. Vastaavan tilanne hiukan tutumpien laitteiden, tulostimien, yhteydessä tarkoittaisi että vaihdettaessa vanha, esim. Epson-tulostin uuteen Hewlett Packard tulostimeen, jouduttaisiinkin vaihtamaan myös tulostinta käyttävät ohjelmistot, vaikkapa esimerkiksi MS Office -ohjelmistot toisiin, esimerkiksi Open Office -ohjelmistoihin, koska MS Office -ohjelmistot tukisivat vain Epson-tulostimia. Vastaavasti kuin tulostimille voi lähettää saman tiedon tulostimesta riippumatta, kaivataan silmänliiketutkimuksessa katseenseurantalaitteiden ja niiden käsittelemän datan standardisointia tallennettujen katsepolkujen siirtämisen ja tulosten tulkinnan helpottamiseksi.

Väitöskirjassani esitetään ratkaisu näihin silmänliiketutkimuksen ongelmiin. Lisäksi työssäni tutkitaan myös, miten olemassa olevia silmänliikedatan visualisointimenetelmiä voidaan parantaa. Katseenseurantalaitteistojen ja -datan standardisointi edellyttää katsedatan siirtämiseen ja tallentamiseen käytettävän laiteriippumattoman protokollan ja avoimen arkkitehtuurin työkaluohjelmiston kehittämistä. Työkaluohjelmisto perustuu kokoelmaan lisäosa, joiden avulla tuetaan niin uusia katseenseurantalaitteita kuin silmänliiketutkimuksen koeasetelmien ja vuorovaikutteisten katseeseen reagoivien ohjelmistojenkin toteuttamista. Toisin sanoen, riippumatta käytössä olevasta katseenseurantalaitteistosta tai koeasetelmasta, tutkijalla tulisi olla mahdollisuus käyttää samaa työkaluohjelmistoa kokeiden tekemiseen ja tallennetun katsedatan analysoimiseen.

Väitöskirjatutkimuksen tuloksena syntynyt työkaluohjelmisto, iComponent, on laitteistoriippumaton alusta silmänliikedatan analysointiin ja katseeseen reagoivien ohjelmien kehittämiseen. iComponentin tuki eri katseenseurantalaitteistoille perustuu määrittelemääni silmänliikedata protokollaan. Ohjelmistoon on luotu valmiiksi joitakin peruskoeasetelmia ärsykkeiden esittämiseen, ja sen lisäksi kokeen suunnittelijalle tarjotaan välineet omien koeasetelmien ja ärsykekokoelmien tuottamiseen. Silmänliikedatan visualisointitekniikoihin kehitettiin useita parannuksia, jotka tehostivat katsepolkujen tarkastelemista huomattavasti. iComponent on ollut käytössä useissa kansainvälisissä tutkimusprojekteissa ja se on saanut alan tutkijoiden keskuudessa osakseen positiivista huomiota. Välinettä projekteissaan hyödyntäneiden tutkijoiden antama palaute on ollut erityisen hyödyllistä kehittäessäni iComponentia tehokkaaksi käytännön työvälineeksi.

Yhteenvetona voidaan todeta, että iComponent on perustavanlaatuinen ohjelmistoalusta, jonka avulla voidaan vapautua laitteistoriippuvuudesta sekä silmänliiketutkimusta tehtäessä, että katseeseen reagoivia ohjelmistoja kehitettäessä.

Eye-tracking devices, which measure human gaze direction, are becoming more and more accurate and convenient to use. Eye movements can be recorded during an experiment for later analysis that can reveal important facts about human behavior. Alternatively, eye movements can be used in specific interfaces, where people can write texts, send emails, browse the Internet, play games, and more besides, just by using their eyes.

Eye-tracking devices are expensive, but this principal limitation in their usage will decrease. It is expected that in the near future (in some estimates within next 10 years) these devices will become affordable to the majority of PC users. The scientific community is anticipating this boom when eye trackers will suddenly change the way we interact with computers. Already much effort is being put into the investigation and optimal way of using eye-tracking for this. However, any research with eye tracking today brings issues related to the software used for experimentation. The eye-tracking devices are not plug-and-play : each requires specific software to present stimuli to subjects and to record and analyze gaze data. Using different eye-tracking devices means changing all existing software and tools. To draw an analogy, if you were to change your old Epson printer to a new Hewlett-Packard printer, you would also have to change Microsoft Office to Open Office, for exam! ple, just because Microsoft Office supports only Epson printers.

There is, therefore, a clear need for standardization of eye-tracking devices to make them plug-and-play, in the same way that printers are. Also this would allow the same software tools to be used with different eye-trackers for a common platform for research.

In my dissertation I focus on finding a solution to these problems, as well as investigating how existing gaze data visualization and analysis methods can be improved. The standardization requires the development of a device-independent protocol to exchange gaze data and storage format. The development of a platform requires the creation of a tool with an open architecture. This needs to be based on plug-in modules to facilitate supporting new devices and stimulus presentation packages, as well as new gaze-aware interactive applications. In other words, whatever eye-tracking device a researcher uses and whatever he investigates, it should be possible to use the same software tool for performing the tests and analyzing the gaze data.

The results of this project are collectively represented in software called iComponent, which is the device-independent platform for analyzing eye movement data and developing eye-based applications. The support for several eye-tracking devices in iComponent is based on the standard gaze data protocol developed by the author. iComponent provides some basic experimental packages for researchers to present stimuli during experiments. It also allows easy development of new stimuli and the inclusion of additional ones by the researchers. Enhancements in several visualization techniques, implemented with iComponent, have noticeably increased the effectiveness of visual inspection of gaze data. The tool has been used in several research projects and has received encouraging feedback from the research community. It has been evaluated by novices and experts, who have confirmed its effectiveness. The valuable reports, suggestions, and comments made by the community have greatly improved the iComponent interface and its features from a practical point of view. As a result, iComponent provides the fundamental platform for cross-system integration of eye-tracking into all software applications.