Flesh is Thicker than Bytes : Electrophysiological studies on the cognitive and affective processing of physical and digital faces

Abstract

Kasvoilla ja katseen suunnalla on keskeinen merkitys ihmisten välisessä sanattomassa viestinnässä. Kasvojen välittämien sosiaalisten ja emotionaalisten viestien nopea ja tarkka tunnistaminen helpottaa vuorovaikutusta arjessa, ja ihmisaivoissa onkin pitkälle erikoistuneet järjestelmänsä kasvojen välittämän tiedon käsittelyyn. Katseen suunta on yksi kasvojen tärkeimmistä sosiaalisista ja emotionaalisista sanattoman viestinnän välineistä, sillä katseesta voidaan päätellä, mihin toinen on suunnannut huomionsa. Erityisesti toisen ihmisen katseen kohteena oleminen herättää monenlaisia tunteita ja herkistää myös tunnistamaan toisen tunteita ja mielen sisältöjä. On olemassa paljon tutkimustietoa siitä, kuinka ihmisaivot käsittelevät kasvojen välittämiä sosiaalisia ja emotionaalisia viestejä. Näissä tutkimuksissa tutkittavat ovat yleensä katselleet kuvia kasvoista. Kasvokuvien katselu ei kuitenkaan vastaa sosiaaliselta ja emotionaaliselta sisällöltään tilannetta, jossa katsellaan toisen, fyysisesti läsnä olevan elävän ihmisen kasvoja. Tämän väitöskirjan tutkimuksissa I– IV selvitettiin aivojen sähköistä toimintaa, autonomisen hermoston reaktioita sekä itsearvioituja tunnetiloja mittaamalla, eroaako elävien, fyysisesti läsnä olevien kasvojen katselu kasvokuvien katselusta. Eläviä kasvoja katseltiin nestekidekalvoikkunan läpi, kun taas kasvokuvat esitettiin tietokoneen ruudulla. Lisäksi tarkasteltiin, oliko katseltavien kasvojen katseen suunnalla (tutkimukset II– IV) ja kasvojen ilmeellä (tutkimus IV) vaikutusta elävien kasvojen ja kasvokuvien havaitsemiseen.

Tutkimuksessa I osoitettiin, että nestekideikkunan läpi esitetyt, fyysisesti läsnä olevat ihmiskasvot tehostivat tiedonkäsittelyä aivoissa enemmän kuin ikkunan läpi esitetyn ihmisenkaltaisen mallinuken kasvot. Vastaavaa eroa ei kuitenkaan löytynyt, kun kasvot esitettiin kuvina. Tutkimuksessa II näytettiin, että suoraan kasvojen katselijaan suunnattu katse tehosti ihmiskasvoihin liittyvää tiedonkäsittelyä aivoissa, mutta jälleen vain tilanteessa, jossa elävät ihmiskasvot olivat fyysisesti läsnä. Tutkimuksen III tulokset osoittivat, että elävän ihmisen suoraan katsojaan suunnattu katse herätti voimakkaampaa lähestymismotivaatioon liittyvää otsalohkojen toimintaa ja suurempaa autonomisen hermoston aktiivisuutta kuin sivuun suunnattu katse, mutta vastaavaa katsesuunnan vaikutusta ei löytynyt kasvokuvia katseltaessa. Lopuksi tutkimuksessa IV näytettiin ainoastaan eläviä kasvoja ja osoitettiin, että hymyilevät kasvot yhdistettynä katsojaan suuntautuneeseen katseeseen herättivät suurempaa autonomisen hermoston aktiivisuutta kuin suoraan katsojaan katsovat totiset kasvot. Kasvojen ilmeellä ei kuitenkaan ollut vaikutusta autonomiseen hermostoon, kun katseltavien kasvojen katse oli suuntautunut sivuun.

Näiden tutkimusten perusteella voidaan olettaa, että ihmisen keskushermosto käsittelee eläviin, fyysisesti läsnä oleviin kasvoihin liittyvää tietoa erityisellä herkkyydellä. Kasvokuvilla ei ole samaa vaikutusta sosiaaliseen vuorovaikutukseen ja tunteiden välittämiseen sekä vastaanottamiseen kuin elävillä, fyysisesti läsnä olevilla kasvoilla. Ihmisen fyysinen läsnäolo yhdistettynä toisen ihmisen katseen kohteena olemiseen on lisäksi voimakas tunteita ja kehollisia reaktioita herättävä tapahtuma, jota ei voi syntyä kasvokuvia katseltaessa. Kasvojen havaitsemista ja kasvokkain tapahtuvaa sosiaalista vuorovaikutusta tutkittaessa on siten tärkeää huomioida, että kasvojen vuorovaikutteisuudella, elävyydellä ja fyysisellä läsnäololla on merkitystä ihmisen tiedonkäsittelylle ja tunteille.

Engaging in face-to-face communication and being sensitive to others’ gaze direction cues is an integral part of everyday social life of human beings. Effortless encoding of emotional and social signals embedded in faces is important in fluent social interaction. It has been studied that human beings have specialized brain structures and processes involved in social information processing. To date, most of the research on cognitive, affective, and motivational processing of faces has been conducted by studying how people process information embedded in pictures of faces. However, looking at pictures of faces differs from looking at of physically present real people. Looking at the eyes of physically present people differs from seeing these faces as pictures in many ways. People looking at each other face-to- face are also being seen by each other, and thus having thoughts and feelings towards each other. Such meeting of minds is not possible when people are looking at faces of others presented as pictures. At present, it is unclear whether similar affective and social cognitive processes are in action when real faces instead of face pictures are being viewed. This thesis was aimed at studying whether cognitive, affective and motivational processes involved in face perception differ when the viewed face is a real human being, a dummy, or a picture. In four studies, various psychophysiological and behavioral responses to faces with differing potential (a ‘live’ human face, a dummy face, a picture of a face) and preparedness (direct gaze vs. averted gaze) for interaction were measured.

In Study I, the results showed enhanced early-stage visual processing in response to faces of real people compared to the perception of dummy faces. This difference was observed when the faces were presented live through a computer-controlled liquid crystal window, but not when presented as pictures on a computer screen. In Study II, gaze direction was shown to modulate the early face processing. Gaze that was directed to the perceiver enhanced visual processing more than an averted gaze, but again, only when the faces were physically present through the liquid crystal window. By measuring electroencephalographic alpha-power asymmetry from the left and right frontal brain regions, Study III showed that seeing a direct gaze was associated with a greater relative left-sided frontal activity, which implies motivation to approach. This pattern of activity was not shown for faces with an averted gaze. This difference was found only when faces were physically present. Gaze contact with a physically present person also heightened the viewer’s physiological arousal more than the averted gaze did. Finally, Study IV showed that a smile, in contrast to a neutral expression, enhanced arousal to direct gaze vs. averted gaze in the context of physically present faces.

Taken together, the results of Studies I–IV suggest that viewing another person live activates affective and cognitive processes differently than looking at pictures of faces does. The enhanced neurocognitive responses to live faces, especially when combined with a direct gaze, are likely to reflect action preparedness and self- awareness in response to being the target of someone’s attention. Perhaps, to guide action adaptively in the presence of others, the brain systems dedicated to visual perception and processing of affective information allocate greater resources to reading and responding to physically present faces rather than to symbolic ones. Social cognitive neuroscience should thus begin to more clearly acknowledge the influence of physical presence and live social interaction while studying face processing.