Affective Information in Human-Computer Interaction

Abstract

Väitöstutkimuksen tavoitteena oli tutkia mahdollisuuksia käyttää tunnepitoista (affektiivista) informaatiota systemaattisesti hyväksi ihminen-tietokone vuorovaikutuksen laadun parantamisessa. Tavoitteena oli toisaalta tutkia, voidaanko tiettyjä fysiologisia mittasuureita, tässä tapauksessa pupillin koon vaihteluja ja kasvonilmeitä, käyttää tietokoneen syötteenä antamaan tietoa käyttäjän tunnepitoisista vasteista (responsseista). Toisaalta tavoitteena oli tutkia affektiivisen tiedon systeemattista käyttöä tietokoneen antamissa palautteissa: voidaanko synteettistä puhetta käyttäen ja ihmisenkaltaisen hahmon avulla vaikuttaa systemaattisesti käyttäjään kokemuksellisella, fysiologisella ja käyttäytymisen tasolla. Tutkimuksessa käytettiin dimensionaalista viitekehystä, jossa tunnekokemukset määritellään seuraavilla ulottuvuuksilla: valenssi (negatiivinen-positiivinen), kiihtyneisyys (rauhallinen-kiihtynyt) ja hallitsevuus (ei hallitse-hallitsee tilanteen).

Tutkimuksen tulokset osoittivat, että pupilliresponssin suuruudella on yhteys affektiiviseen kiihtyneisyyteen siten, että responssit negatiivisiin ja positiivisiin ärsykkeisiin näkyvät suurempana pupillin koon kasvuna verrattuna neutraaleihin responsseihin. Lisäksi tulokset osoittivat, että tietokoneen väliintulo synteettisen puheen avulla voi olla hyödyllistä tietokoneen käytön ongelmatilanteessa. Synteettisessa puheessa käytettävien erilaisten sanamuotojen avulla voidaan myös systemaattisesti vaikuttaa käyttäjien fysiologisiin vasteisiin, käyttäytymiseen ja tunnekokemuksiin.

Tulokset osoittivat myös, että tietokone voi automaattisesti analysoida reaaliajassa käyttäjän tunnekokemusten valenssia kasvonilmeiden perusteella suhteellisen hyvällä tarkkuudella. Pelkästään zygomaticus major (aktivoituu hymyillessä) ja corrugator supercilii (vetää kulmakarvat yhteen) -lihasten aktivaatiota mittaamalla päästiin yksinkertaisilla analyysimenetelmilläkin parhaimmillaan yli 80% tarkkuuteen positiivisten ja negatiivisten kokemusten erottelussa. Lisäksi osoitettiin, että ihmisenkaltaisen hahmon näyttäminen simuloidusti eri etäisyyksillä käyttäjästä vaikuttaa merkitsevästi käyttäjän hallitsevuuden kokemuksiin.

Kokonaisuutena väitöskirjan tulokset antoivat viitteitä siitä, että pupillin koon vaihtelut ja kasvonilmeet antavat tietoa käyttäjän affektiivisista reaktioista, ja niitä voidaan mahdollisesti käyttää menestyksekkäästi syötesignaaleina tulevaisuuden ihminen-tietokone vuorovaikutuksessa. Käyttäen synteettisessa puheessa erilaisia sanamuotoja ja simuloimalla ihmisenkaltainen hahmo eri etäisyyksille käyttäjästä puolestaan voidaan suunnitellusti vaikuttaa käyttäjään affektiivisella tasolla. Näin ollen tulosten mukaan ihmisten välisen kommunikaation mekanismeja on mahdollista soveltaa myös ihminen-tietokone vuorovaikutuksen suunnittelussa.

The aim of this thesis was to study the possibilities of utilizing affective information in human-computer interaction. Throughout the thesis, a dimensional theory of emotions has been used as a frame of reference. According to it, emotions can be defined as three dimensions, which are valence (negative-positive), arousal (calm­highly aroused), and dominance (controlled­in control). The research is organized around four research goals. The first goal was to study, whether pupil size variation can be used in computer input to give the computer information about the user s affective responses. The second goal was to study the effects of affective speech interventions to the user s subjective experiences, physiology, and behavior. Third, we studied, whether experienced affective valence can be estimated reliably in real time by measuring the activations of the facial muscles associated with smiling and frowning. Fourth, the effects of the simulated proximity of a conversational character to the subjects affective experiences were studied.

The results concerning pupil size variation showed generally that pupil size was bigger in response to positive and negative highly arousing stimuli, as compared to neutral stimuli. Thus, the results suggest that the magnitude of the pupillary response has a linear relationship with experienced affective arousal and a curvilinear relationship with experienced affective valence. The results concerning the experiment using affective interventions suggested that the users respond emotionally to human-computer interaction events and that by using affective interventions in the context of a negative event, positive affect-related changes can be induced in the user in terms of subjective experiences, facial activity, and task-related behavior.

The results for the estimation of emotions based on the activations of facial muscles were approximately on the same level for both adaptive and person-independent estimation. The results supported the idea that affective valence can be estimated relatively reliably by measuring the activations of the muscles activated in smiling and frowning. The best estimation accuracies, discriminating between positive and negative responses at the accuracy of over 80%, were obtained by measuring frowning activity, and a difference score of the activations of the two muscles, when the subjects watched emotionally arousing videos. The results of the experiment, in which the proximity of a conversational agent was simulated by the size of the agent on the screen, suggested that the subjects experienced dominance ­ or the feeling of control ­ can be significantly influenced by varying the size of the agent on the screen.

As a whole, the results suggest that pupil size variation and facial expressions can give the computer information about the user s affective responses, and they could be potential input signals for human-computer interaction in the future. In addition, the results suggest that the wording of synthetic speech interventions and messages can be effectively used in computer output to influence the user s affective physiological responses, behavior, and experienced valence. By varying the simulated proximity of a conversational agent, the users experienced affective dominance can also be influenced.