Biometric Verification of a Subject Based on Data Mining of Saccade Eye Movement Signals

Abstract

Tietokoneen käyttäjän varmentaminen silmänliikkeiden perusteella

Tutkimus käsittää tietokoneen käyttäjän biometrisen verifioinnin kehittämistä perustuen käyttäjän nopeisiin silmänliikkeisiin, sakkadeihin. Tällöin käyttäjästä tehdyillä silmänliikemittauksilla todennetaan, onko kyseinen henkilö oikea (autentikoitu) käyttäjä vai ei. Biometrista verifiointia eli käyttäjän vahvistamista on aiemmin tutkittu varsinkin sormenjälkikuvista, joista on kaupallisia sovelluksia, mutta myös mm. kasvo-, silmänpohja- ja kämmenkuvista. Nämä kaikki ovat biometrisiä datalähteitä. Tässä tutkimuksessa biometrisenä datana olivat henkilön silmänliikkeet. Tähän mennessä näitä ovat tutkineet biometristä verifiointia varten vain muutama muu tutkija maailmassa. Silmänliiketutkimuksia on luonnollisesti lääketieteessä ja psykologiassa tehty jo vuosikymmeniä ja tietokoneiden käyttöliittymienkin yhteydessä parikymmentä vuotta. Verrattuna muihin biometrisiin datoihin silmänliikkeiden hyvät puolet verifioinnin mielessä voivat olla seuraavat: vaikeampi imitoida ja datan yksinkertaisuuden vuoksi helpompi prosessointi, mikä tuottaa nopean laskennan.

Väitöstutkimuksen tekijä on tutkinut ja kuvaa tutkimuksessaan laskennallisia menetelmiä, joilla saadaan laskettua silmänliikkeistä henkilöiden välillä vaihtelevia ominaisuuksia verifiointia varten. Tekijä mittasi silmänliikevideokamerasysteemillä koehenkilöiden silmänliikkeet näiden katsellessa tarkoitukseen sopivia stimulaatioita (ärsykkeitä), kuten kuvaruudulla liikkuvia pieniä kohteita. Vertailudatana oli jo aiemmissa tutkimuksissa elektro-okulograafisesti mitattuja eli silmän etu- takaosan väliseen jännite-eroon perustuvia signaaleja, jolloin oli käytetty samanlaisia stimulaatioita kuin silmänliikekameroilla. Tekijä käytti signaalianalyysia silmänliikkeiden tunnistamiseksi signaalidatasta.

Väitöstutkimuksen tekijä kehitti testausproseduurit, tietokoneohjelmat, kuinka tehdä mittaukset ja erottaa kulloinenkin oikea käyttäjä muista koehenkilöistä, jotka esittivät testeissä laittomia tunkeilijoita. Hän perusti tämän verifioinnin useisiin tiedonlouhinnan ja koneoppimisen luokitusmenetelmiin, kuten suoraviivainen lähimmän naapurin etsintäalgoritmi ja edellistä kehittyneempi, mutta monimutkaisempi algoritmi nimeltä tukivektorikone. Tekijä testasi kehittämillään laskentamenetelmillä, kuinka usein oli mahdollista verifioida oikein asianomainen, oikea käyttäjä (oikeiden positiivisten määrät) ja kuinka usein pystyttiin erottamaan väärät yrittäjät (oikeiden negatiivisten määrät). Parhaimmillaan testit ylsivät erinomaiseen tulokseen, noin 95 prosenttia. Lisäksi hän toisti testejä samoille koehenkilöille päivien ja viikkojenkin väliajoilla voidakseen tutkia, miten koehenkilöiden silmänliikkeiden ominaisuuksien mahdollinen ajasta riippuva vaihtelevuus vaikuttaisi biometrisen verifiointiin. Vaihtelevuus vaikutti vain suhteellisen vähän laskien luokitustarkkuutta noin 90 prosenttiin. Tätä saattoi kuitenkin vähän vielä parantaa käyttämällä toista silmänliikevideokamerasysteemiä, jonka näytteenottotaajuus on 250 Hz. Aluksi tekijä käytti systeemiä, jossa se oli ainoastaan 30 Hz. Tätä matalaa taajuutta oli kuitenkin mielekästä kokeilla, sillä se vastaa halpojen, tietokoneissa olevien kamerasysteemien (eivät vielä silmänliikekameroita) ominaisuuksia. Kun voidaan olettaa tulevaisuudessa tietokoneiden ja älypuhelimien käyttöliittymään liitetyn silmänliikekameran käyttäjän katseen eli silmänliikkeiden tunnistamiseksi, tähän voitaisiin kytkeä myös biometrinen verifiointi. On jo olemassa älypuhelimia, joissa käyttöliittymä hyödyntää käyttäjän katseensuuntaa tunnistaen käyttäjän kuvaruudulla kulloinkin katsoman paikan.

Väitöstutkimus osoitti, että tietokoneen käyttäjä on mahdollista verifioida luotettavasti henkilöstä mitattujen silmänliikkeiden perusteella.

This thesis focuses on biometric verification of subjects based on saccadic eye movements. Verification corresponds to two-class classification to recognize an authenticated user and to classify other subjects as impostors. Compared with other biometric signals or data, the possible advantages of eye movements can be as follows: harder to imitate, easier processing and faster computation. The thesis describes a procedure to use variables of saccade eye movements recorded. It analyses the variabilities between electro-oculography (EOG) and video-oculography (VOG) signals: i.e. eye movements were recorded with skin electrodes or with two special video cameras. When a signal was recorded with a low-frequency video camera device simulating a web camera, the sampling frequency of signals was enhanced using interpolation. The techniques of signal processing and statistics were also applied to analysis. In order to evaluate biometric accuracy, the test procedures for true positive rate (TPR) and true negative rate (TNR) were designed separately. Many classification methods were explored for verification performance, including both modified simple methods such as k-nearest neighbour searching and advanced methods such as neural networks and support vector machines. Approaches and other details in the verification procedure were improved through multiple tests and comparisons of the verification accuracies. Optimal parameters and settings of the classification methods used were found. With more and more saccades and subjects collected into training sets, a high TNR accuracy was gained, which was close to 95% at its best. It showed that, using saccade eye movements, it was possible to distinguish between an authenticated user and impostors. On the other hand, after multiple recordings of subjects, the high accuracy of TPR – close to 90% – also confirmed that an authenticated user can be recognized notwithstanding the variability of variable values of saccades between different sessions. Finally, better results given by signals with a relatively high sampling frequency of 250 Hz were obtained, and this could allow user verification based on eye movements to be applied in practice, along with the development of eye movement video cameras in future.