Visual Object Tracking on RGBD Videos Using Discriminative Correlation Filters

Abstract

Digitaalisen median määrä ja käyttö on kasvanut eksponentiaalisesti johtuen digitaalisten kameroiden ja kamerapuhelimien määrän kasvusta. Suuresta määrästä johtuen kuvien ja videoiden manuaalinen käsittely ja analysointi ei enää ole mahdollista. Automaattista käsittelyä ja analyysia varten kehitetään jatkuvasti parempia tietokonenäköalgoritmeja. Yksi tärkeä analyysiongelma on visuaalinen kohteiden seuraaminen, jossa seurattava kohde on merkitty vain ensimmäiseen videon ruutuun ja menetelmän pitää pystyä seuraamaan sitä läpi videon. Kohteiden seuraamista on tutkittu laajasti ja hyviä menetelmiä löytyy erityisesti perinteisten värikameroiden (RGB-kamera) tuottamille videoille. Viime aikoina ovat kuitenkin myös RGBDkamerat yleistyneet ja näissä on värikuvan lisäksi myös syvyystieto (etäisyystieto) käytettävissä. Syvyystieto auttaa mallintamaan kohteen liikettä 3D-ympäristössä ja tekee esim. kohteiden peittymisen (eng. "occlusion") ja 3D-muodonmuutosten havaitsemisen helpommaksi.

Tämä väitöskirjatyö käsittelee visuaalista kohteenseurantaa RGBD-kameroiden tuottamalle videolle ja tekee kaksi merkittävää tieteellistä kontribuutiota. Ensimmäisenä kontribuutiona työ esittelee uuden RGBD-menetelmän kohteenseurantaan. Menetelmä pohjautuu spatiaalisesti rajoitettuun korrelaatiosuotimeen, joka on ollut menestyksekäs menetelmäRGB-kohteenseurannassa. Uusi menetelmä on kuitenkin ensimmäinen, jossa syvyystieto on yhdistetty korrelaatiosuotimiin. Menetelmä hyödyntää syvyysdataa kohteen peittymisen havaitsemisessa. Peittymisen havaitseminen mahdollistaa kohteen mallin päivittämisen vain niiltä osin kuin kohde on näkyvissä. Esitelty menetelmä saavuttaa parhaat kirjallisuudessa tunnetut tulokset julkisilla testaustietokannoilla. Väitöskirjan toinen tärkeä kontribuutio on uusi testaustietokanta RGBD-kohteenseurantaan. Uusi tietokanta paikkaa aikaisemmissa tietokannoissa olleita puutteita ja näin mahdollistaa entistä parempien menetelmien kehittämisen.

The amount of digital media created annually has recently increased exponentially due to the ubiquitousness of digital cameras. This increase has also made manual analysis of the data impossible, hence, computer vision algorithms have been adopted to automatically analyze and extract meaningful information. One particular field of computer vision is generic visual object tracking, where the location of the target is only known in the first frame and the algorithm tries to detect its location in the following frames. Most of the existing literature has focused on tracking using traditional RGB cameras however, lately, cheap and reliable depth sensors have become easily accessible. This has opened up new possibilities for many computer vision algorithms including object tracking.

Depth information allows algorithms to leverage 3D understanding of the surroundings. Adding this new dimension can be particularly helpful in tracking where occlusions and shape changes are common. This thesis, focuses on generic visual object tracking on RGBD cameras and contributes to the field in two different ways. Firstly, it develops novel object tracking algorithms using RGBD data. For achieving this, it builds on top of elegant yet powerful fundamentals of spatially constrained correlation filters. To the best of our knowledge, this is the first attempt to use depth inherently in a correlation filters framework. Additionally, it also takes advantage of depth data for detecting self and external occlusions. This allows dynamic adjustment of filter updates to avoid model corruption. Evaluations on publicly available benchmarks validate the proposed algorithms by showing that they achieve state of the art results.

Second contribution of this thesis is the creation of a novel RGBD tracking dataset. This dataset addresses the shortcomings of previous RGBD benchmarks and provides a new challenge to facilitate new RGBD trackers.