Face Analysis Techniques for Human-Computer Interaction

Abstract

Näkö on yksi tärkeimmistä aisteista, kun ihmiset kommunikoivat kasvotusten. Keskustelukumppanin kasvot kertovat esimerkiksi toisen ihmisen identiteetin, sukupuolen ja iän, ja kasvon ilmeistä voidaan tulkita toisen ihmisen tuntemuksia. Kommunikointi on usein helpompaa ja luonnollisempaa suoraan kasvotusten.

Ihmisen ja tietokoneen välinen vuorovaikutus on perinteisesti tapahtunut hiiren, näppäimistön ja näytön välityksellä. Uudet vuorovaikutustavat tekevät kuitenkin tuloaan. Sonyn EyeToy (www.eyetoy.com) ja Nintendo WII -pelikonsoli (wii.nintendo.com) ovat tästä hyvin tunnettuja esimerkkejä. Konenäkö, tietokoneen näköaisti, on yksi tärkeä teknologia, jota tullaan hyödyntämään tässä muutoksessa.

Konenäkö ja kasvojen analysointi on tietokoneelle kuitenkin vaikea tehtävä. Jopa kasvojen löytäminen valokuvasta on tietokoneelle haasteellista. Väitöskirjatyössä tutkittiin kasvojen analysointiin tarkoitettuja konenäkömenetelmiä. Erityisesti keskityttiin menetelmiin, joilla valokuvista ja videokuvasta voidaan hakea kasvoja ja päätellä löydettyjen kasvojen sukupuoli. Näitä menetelmiä vertailtiin olosuhteissa, jotka ovat tyypillisiä ihmisen ja tietokoneen välisessä vuorovaikutuksessa. Väitöstutkimus osoittaa, että tutkitut menetelmät sopivat käytettäviksi erilaisissa käytännön sovelluksissa vaikkakin menetelmissä on edelleen myös kehittämistä.

Väitöskirjan lopussa on esitelty kasvojen analysointimenetelmien hyödyntämistä esimerkiksi tietokonepeleissä ja mobiililaitteissa. Työssä on pohdittu myös tulevaisuuden sovelluksia.

Until quite recently people have interacted with computers using a mouse and a keyboard. This approach has been quite successful and effective given the importance that computers have gained in our information society. However, the mouse and the keyboard have many limitations. They do not support the natural way for humans to communicate using non-verbal and verbal communication channels, namely, vision and speech. However, this is about to change.

Computers have become powerful enough to process image and speech data. On the other hand, cameras are now inexpensive enough to be bought for home. The major challenge is how to create reliable perceptual technologies that allow applications with multiple modalities to be created. The focus in this dissertation is on one of the perceptual technologies, automatic face analysis.

Experiments were carried out for face detection and gender classification methods. Some of the methods used in the experiments were novel. Automatic face detection has to precede gender classification and other face analysis tasks in typical applications. Therefore, gender classification accuracy depends on the goodness of the detection. I studied how gender classification accuracy is affected when the goodness of the detection varies. It is also possible to use face alignment after face detection and various face alignment methods were also used in the experiments.

The face analysis techniques are intended for use in applications. At the end of the dissertation examples of already existing applications with face analysis are presented. Possible future applications are also considered.