Event Camera Sensor Latency Characterization and Testing

Abstract

The goal of this Master of Science thesis was to characterize and measure the latency of an event camera sensor. Measurements were conducted to learn how vignetting impacted latency. Further measurements were conducted in low lighting conditions with multiple different contrast levels. The vertical synchronization signal of an RGB camera was used for the latter measurements to provide specific timings from which the latencies of the events could be solved.

The spatial latency measurements were conducted with a blinking dotted light source. The results show a slight correlation between the amount of vignetting on the lens and the increase in latency. However, the results also suggest the impact of the resulting latency does not play a significant role in the conditions used. However, further testing is needed.

The latency measurements in respect to illuminance and contrast were conducted with a horizontally moving test chart, which had vertical black and white areas on the edges, separated by an area gradually changing brightness from white to black. The measurements were conducted in two different scene illuminations, while also changing the aperture of the event camera lens to simulate lower light levels. The results generated by the measurements show a correlation between the latency and lighting conditions; the latency is increased with lower light levels. The latency is also increased with lower contrast levels. Both latency and jitter are also dependent on the starting contrast (black, gray or white).

The different phases of the measurement process are explained in this thesis. The basic architecture of the event sensor is explained and the effects of what the latency can have. The construction of the test setups and the measurements itself are explained as well.

Tämän diplomityön tavoitteena on tarkastella tapahtumakamerasensorin latenssia, sekä tutkia sen käyttäytymistä eri valaistusolosuhteissa ja eri kontrastitasoilla. Spatiaalisen latenssin mittauksia suoritettiin, jotta linssille ominaisen vinjetoinnin vaikutuksia latenssiin voitaisiin tarkastella. Sen lisäksi mittauksia suoritettiin alhaisissa valaistusolosuhteissa eri kontrasteilla. RGB-kameran vertikaalisynkronisointisignaalia käytettiin RGB- ja tapahtumakameroiden täsmällisessä synkronisoinnissa ja sen avulla voitiin selvittää syntyneiden tapahtumien latenssi.

Spatiaaliset latenssimittaukset suoritettiin vilkkuvalla pistemäisellä valonlähteellä. Tuloksista havaitaan, että vinjetoinnilla sekä latenssin suuruudella on korrelaatio, mutta joka loppujen lopuksi mittauksessa vallinneessa olosuhteessa on vähäinen. Jatkotutkimukset erilaisissa valaistusolosuhteissa sekä mahdollisesti eri kontrastilla ovat tarpeen.

Latenssimittauksen valaistuksen sekä kontrastin suhteen suoritettiin horisontaalisesti liikkuvalla taululla, jonka mustavalkoisia reuna-alueita erotti keskellä oleva eri harmaiden sävyjen alue. Mittauksia suoritettiin kahdella eri valaistuksella, sekä muuttamalla event kameran linssin aukkoa, mikä simuloi vielä alhaisempia valaistusolosuhteita. Mittauksista saatujen tulosten perusteella voidaan todeta, että latenssilla on korrelaatio valaistuksen sekä kontrastin suhteen. Kummankin muuttuessa pienemmäksi, latenssi kasvaa. Sekä latenssin että latenssin vaihtelun suuruus on riippuvainen myös siitä, mikä on lähtökontrasti.

Tässä tutkielmassa selitetään tapahtumakamerasensorin arkkitehtuuri sekä latenssin mahdolliset vaikutukset: Valittu mittauslaitteisto sekä mittaustapa käydään myös läpi.