Automatic Detection of Face and Facial Features from Images of Neutral and Expressive Faces

Abstract

Merkittävä osa ihmisten välisestä luontevasta vuorovaikutuksesta on kasvotusten tapahtuvaa vuorovaikutusta. Kasvotusten tapahtuvan vuorovaikutuksen ilmiselvä tärkeys meille ihmisille on luonnollisesti motivoinut myös ajatuksia siitä, että kasvoilla havaittavaa informaatiota voitaisiin ja tulisikin hyödyntää myös ihmisen ja teknologian välisessä vuorovaikutuksessa. Automaattisesta kasvojen analysoinnista on konenäkötutkimuksen alalla tullut merkittävä tutkimuskohde. Tärkeitä tutkimusongelmia ovat kasvojen löytäminen, tärkeiden kasvojenpiirteiden löytäminen kasvoilta ja kasvonilmeiden tunnistaminen valo- ja videokuvista.

Nyt käsillä olevan väitöskirjan tavoitteena oli tutkia kasvojen ja tärkeiden kasvoalueiden löytämistä valokuvista ja reaaliaikaisista videoista kasvoilla havaittavista ilmeistä riippumatta. Tämä on eräs automaattisen kasvoanalyysin keskeisimmistä osa-alueista sillä monet kasvoanalyysia hyödyntävät sovellukset perustuvat siihen, että tietyt kasvojen alueet löydetään luotettavasti.

Väitöskirjatyössä kehitettiin menetelmä, jolla on mahdollista automaattisesti paikantaa kasvot ja kasvojen alueet, kuten kulmakarvat, silmät, nenä ja suun seutu, riippumatta kasvoilla olleista sosiaaliseen ja tunnesisältöiseen ilmaisuun liittyvistä ilmemuutoksista. Menetelmän toimivuutta testattiin ja sitä kehitettiin edelleen koesarjalla, jossa testimateriaalina käytettiin erilaisia kasvonilmetietokantoja. Tulokset osoittivat että menetelmä toimi hyvin ja luotettavasti automaattisen kasvojen ja kasvojen alueiden paikantamisessa sekä valokuvista että reaaliaikaisista videoista, joissa kasvojenilmeet vaihtelivat monipuolisesti.

Most human natural interaction takes place through face-to-face communication. The obvious importance of facial stimuli for humans naturally motivates the idea of also utilizing facial information in and for human-technology interaction. In this type of interaction the user interacts and is actively observed by computational devices embedded in the environment. In computer vision research automatic face analysis has become a very active area of research. Important research problems are, for example, face detection, detection of facially important features, and facial expression recognition from static and real time images.

The aim of the present thesis was to investigate one aspect of automatic face analysis, namely, the detection of face and facial features from static and real time facial displays irrespective of socially and emotionally communicative changes in those facial displays. During the course of this research work a framework for automatic and expression-invariant localization of faces and prominent facial landmarks, such as, eyes, eyebrows, nose, and mouth from static images and real-time videos was developed. The performance of the framework was evaluated on several databases of facial expressions coded in terms of prototypical facial displays, like happiness and surprise, and facial muscle activations presented alone or in combinations. In general, the results showed that the framework allowed the face and facial landmarks to be located automatically, robustly, and efficiently from static images and streaming videos displaying facial expressions of varying complexity.