Face Interface

Abstract

Kasvokäyttöliittymä

Kasvokäyttöliittymä on uusi ihmisen ja tietokoneen välisen vuorovaikutuksen mahdollistava menetelmä, joka hyödyntää käyttäjän katseen suuntaa ja kasvojen ilmeitä vuorovaikutuksessa tietokoneen kanssa. Se on päälle puettava laite, joka yhdistää katseenseurantalaitteen ja sensorit, jotka mittaavat kasvoilla tapahtuvia erilaisia muutoksia, jotka ovat seurausta kasvolihasten aktivoitumisesta, esimerkiksi hymyilemisestä. Kasvokäyttöliittymän avulla voidaan tietokoneen näytöllä olevia kohteita osoittaa katseella ja valita ne esimerkiksi kulmia kurtistamalla tai hymyilemällä. Katseen käyttäminen ja kasvolihasten aktivoiminen ovat ihmisille luonnollisia kommunikointikeinoja muiden ihmisten kanssa, joten niiden on ajateltu soveltuvan myös ihmisen ja tietokoneen väliseen vuorovaikutukseen.

Tässä väitöskirjassa on tutkittu sekä uudenlaista kasvokäyttöliittymää että sitä, mikä kasvolihaksen liike on toimivin yhdessä katseen kanssa. Väitöskirjassa on käytetty yhteensä kolmea eri versiota kasvokäyttöliittymästä. Eri versioiden toimintaa on tutkittu järjestelmällisesti kontrolloiduissa laboratorio-olosuhteissa yksinkertaisilla osoitus- ja valintatehtävillä, joissa valittavien kohteiden kokoja ja etäisyyksiä on systemaattisesti vaihdeltu. Seuraavaa kasvokäyttöliittymän versiota on parannettu saatujen tulosten perusteella. Väitöskirja koostuu viidestä osajulkaisusta, joissa kaikissa on käytetty kasvokäyttöliittymää osoitus- ja valintamenetelmänä. Ensimmäisessä julkaisussa valintamenetelmänä käytettiin ainoastaan kulmien kurtistamista. Toisessa ja kolmannessa julkaisussa valintamenetelmänä käytettiin kulmien kurtistamisen lisäksi kulmien kohotusta. Neljännessä julkaisussa valintamenetelmänä käytettiin kulmien kurtistamisen ja kulmien kohotuksen lisäksi hymyilyä. Viidennessä julkaisussa tutkittiin kirjoittamista kasvokäyttöliittymän avulla.

Saavutetut osoitus- ja valinta-ajat ovat nopeutuneet sitä mukaa kun kasvokäyttöliittymää on kehitetty. Ensimmäisessä tutkimuksessa keskimääräinen osoitus- ja valinta-aika oli 2,5 sekuntia ja viimeisessä 1,4 sekuntia. Käyttäjät ovat oppineet käyttämään katseen suunnan ja kasvolihasten aktivoinnin yhdistävän menetelmän käytön nopeasti, sillä he ovat tarvinneet vain noin viiden minuutin pituisen harjoitteluajan. Kasvokäyttöliittymän kehittyessä käyttäjille on tullut enemmän vaihtoehtoja, sillä ensimmäisellä kasvokäyttöliittymän versiolla pystyi kohteita valitsemaan ainoastaan kulmia kurtistamalla, mutta viimeisellä versiolla kohteita pystyi valitsemaan jo kolmella eri tavalla: kulmia kurtistamalla, kulmia kohottamalla tai hymyilemällä. Tämä on huomattava etu, sillä ihmisillä saattaa olla erilaisia kokemuksia siitä, mikä kasvolihasliike on nopein tai miellyttävin käyttää kohteiden valitsemiseen. Tulokset osoittavat myös, että kasvokäyttöliittymää voi yksinkertaisten osoitus- ja valintatehtävien lisäksi käyttää vaativimmissakin tehtävissä kuten tekstin kirjoittamisessa. Väitöskirjassa saadut tulokset osoittavat, että kasvoilta mitattava informaatio on lupaava uusi menetelmä ihmisen ja tietokoneen välisessä vuorovaikutuksessa.

The aim of the thesis was to iteratively develop and experimentally test a new kind of Face Interface prototype for human-computer interaction (HCI). Face Interface combined the use of two modalities: voluntarilycontrolled gaze direction and voluntarily-controlled facial muscle activations for pointing and selecting objects in a graphical user interface (GUI), respectively. The measurement technologies were embedded in wearable, eyeglass-like frames that housed both an eye tracker to measure the gaze direction and capacitive sensor(s) to measure the level(s) of facial activations. The work for this doctoral thesis consisted of two closely connected tasks as follows: First, Face Interface was rigorously tested. In these studies, simple point-and-select tasks were used in which the pointing distances and object sizes were varied. Especially the speed and accuracy of the Face Interface prototype was tested in a series of experimental studies. Second, Face Interface was used for entering text on an on-screen keyboard. For that, three on-screen keyboard layouts were designed. Then, they were experimentally tested so that the places of the characters were randomized after every typed word. This was done in order to exclude the effect of any previously learned layouts. The use of Face Interface was then compared against the use of a computer mouse. In this thesis, three different versions of Face Interface have been used. The first one was wired and had one capacitive sensor placed in the bridge of the nose of the prototype so that it was able to monitor only the frowning related movements. Also, a chin rest was used in order to prevent head movements. The second version was wireless and it was able to monitor either frowning or eyebrow-related movements, depending on a person. The eye tracker was also improved so that the pupil detection algorithm was improved and the corneal reflection detection was added. Moreover, a scene camera was added so that head movements could be compensated using a head-movement-compensation algorithm. The third version was further improved by using five capacitive sensors to detect different facial activations: frowning, raising the eyebrows, and smiling. The results showed that Face Interface functioned promisingly as a pointing and selection technique. From the iterations, significant improvements have been achieved in the pointing task times (i.e., from 2.5 seconds with the first prototype to 1.3 seconds with the third prototype). The subjective ratings showed that users felt positive about using the Face iv Interface. The text entry rates for first-time users were encouraging (i.e., four words per minute on average). To conclude, this thesis introduced a novel, multimodal, and wearable Face Interface device for pointing and selecting objects on a computer screen. It seems that the use of facial behaviors to interact with technology has great potential. The research has shown, for example, that it is easy to learn the use of these two different modalities together, and the use of it does not require much practice. These are clear indications for the use of facial information in human-computer interaction.