Early Detection of Dementia by Analysing Video Footage:Analysis of movement during instructionless viewing

Abstract

As the population keeps ageing and the life-expectancy keeps rising, dementia is becoming more and more prevalent in society. Dementia slowly cripples the cognitive function of the patient, leading to memory issues and diffculties in everyday life. Dementia is a progressive disease and with proper treatment, can the life quality of the patient be improved for an extended period of time. But as dementia is a complex disorder, so is its diagnosis, with extensive queries and medical tests. This thesis highlighted some newly found possible methods for the aid of early dementia diagnosis through behavioural analysis during video-watching. The most notable previously studied method that could be used in aid of early diagnosis is the analysis of the correlation between vertical facial and eye movement during free-form video watching, on the basis that dementia patients exhibit a stronger correlation than the control group.More behavioural features were also examined, with less success in terms of possible usefulness in aid of diagnosis. A pilot experiment was conducted with two participants, one of which has been stated to exhibit early signs of vascular dementia. The participants watched a 5-minute video from a laptop screen and their reactions were recorded for further analysis. The analysis of the video footage was performed with an OpenFace 2.20 toolkit, which utilises computer vision algorithms and machine learning methods to detect facial features for tracking purposes. From the analysis, it was found that the participant with early signs of vascular dementia ex hibited a strong correlation between vertical facial and eye movement. From the basis of the pilot experiment, a full-scale study could be commenced to fnd statistical solidity for the studied mea sure. In the future, such measures could be implemented as a part of early dementia diagnosis.

Väestön ikääntyessä ja eliajanodotteen noustessa dementia yleistyy yhä enemmän yhteiskun nassa. Dementia heikentää potilaan kognitiivista toimintakykyä, johtaen paheneviin muistiongelmiin sekä vaikeuksiin arkielämässä. Dementia on progressiivinen oireyhtymä ja sopivalla hoidolla voidaan potilaan elämänlaadun tasoa pitkittää. Mutta dementian ollessa monimutkainen oireyhtymä, myös sen diagnosointi on monimutkaista, vaatien laajoja kyselyitä sekä lääketieteellisiä kokeita. Tämä kandidaatintyö esittää käyttäytymisanalyysiin perustuvia menetelmiä, joita voidaan mahdollisesti hyödyntää dementian aikaisessa diagnosoinnissa. Tämän työn huomattavin aiemmin tutkittu menetelmä, jota voitaisiin hyödyntää aikaisen diag nosoinnin tukena, on kasvojen ja silmien vertikaalisen liikkeen välisen korrelaation tarkastelu vapaamuotoisen katselun aikana. Menetelmä perustuu siihen, että dementiasta kärsivät potilaat osoittavat vahvempaa korrelaatiota vertikaalisten liikkeiden välillä kuin kontrolliryhmä. Työssä tutkittiin myös muita katselun aikaiseen käyttäytymiseen liittyviä ominaisuuksia, mutta niiden mahdollinen hyödyllisyys arvioitiin pienemmäksi. Tämä työ sisälsi pilottikokeen, jossa kaksi osallistujaa katsoivat viiden minuutin videon kannet tavan tietokoneen näytöltä, samalla kun heidän reaktiot videoitiin. Yhdellä osallistujista on todettu varhaisia merkkejä verisuoniperäisestä dementiasta. Kokeen kuvamateriaalin analyysi suoritettiin OpenFace 2.20 -työkalulla, joka hyödyntää kone näköalgoritmeja sekä koneoppimisen menetelmiä kasvojenpiirteiden tunnistamiseksi, kasvojen ja silmien seurantatarkoitukseen. Kokeen analyysi kertoo, että osallistuja, joka osoittaa aikaisen verisuoniperäisen dementian merkkejä, osoitti voimakasta korrelaatiota vertikaalisen kasvojen ja silmien liikkeen välillä. Tehdyn pilottikokeen perusteella voitaisiin tehdä täysimittainen tutkimus käsitellyn mittarin toiminnan varmistamiseksi tilastollisin perustein. Tulevaisuudessa vastaavia mittareita voitaisiin hyödyntää varhaisen dementian diagnosoinnin tukena.