Computational Color Constancy : Using spectral domain to aid color constancy for RGB images

Abstract

Valkotasapainoa on tutkittu jo pitkän aikaa, mutta tutkimusalueella on silti vielä parannettavaa. Tämä koskee etenkin haastavia kuvaustilanteita, joissa jokin kromaattinen väri hallitsee maisemaa. Parhaat algoritmit pystyvät käsittelemään suurimman osan tilanteista, mutta teollisuudella on silti tavoite saada loputkin tilanteet korjattua, jotta ongelmasta saataisiin loppukäyttäjille mahdollisimman näkymätön. Tämä tavoite vaatii uudenlaista tapaa ajatella valkotasapainoa ja sen haasteita.

Tämä väitöskirja kattaa kirjoittajan tutkimuksen laskennallisen valkotasapainon aihealueesta. Sisältö alkaa esittelemällä väriprosessoinnin ja valkotasapainon perusteet yleisellä tasolla, jotta kuvaillut työkalut voidaan ymmärtää. Keskeisin osa väitöskirjaa sisältää uusien menetelmien esittelyn, joita voidaan käyttää valkotasapainoalgoritmien parantamiseen. Ensimmäiseksi kuvataan datan simulointiin kehitetty reverse pipeline -algoritmi, joka mahdollistaa potentiaalisesti kymmenien prosenttien parannuksen valkotasapainoalgoritmien tarkkuuteen. Toinen menetelmä esittää nykyisten kuvatietoaineistojen vääristymän ja antaa siihen korjausmenetelmän. Sama menetelmä mahdollistaa myös kaikkien aineistojen yhdistämisen sekä niiden kohdistamisen tietylle kameramallille. Suorat hyödyt valkotasapainon tarkkuudessa ovat 5% luokkaa, mutta toinen oleellinen hyöty on käsitys hyväksyttävästä jakaumasta erilaisia valonlähteitä ja millaisia valolähteitä käytettävissä tietolähteissä tulisi ylipäätään käyttää. Lisäksi väitöskirjassa esitellään uusi tapa valkotasapainon arviointiin käyttämällä yhden pikselin kokoista spektrisensoria. Sillä on mahdollista saada huomattava hyöty valkotasapainon määrittelyyn, kuten myöhemmin esitetään. Työ kattaa myös optimaalisen tuotteistettavissa olevan sensorimallin etsimisen. Sillä on mahdollista saavuttaa 39%–74% hyöty haastavassa 95. persentiilin tapauksessa.

Kaikki kehitetyt työkalut hyödyntävät spektraalista tietoa. Tyypillisin tapa on muuntaa RGB-kuvat spektrikuviksi, jotta jatkoprosessointi helpottuu. Useimpia esiteltyjä työkaluja voidaan käyttää myös yhdessä, jolloin hyödyt kertaantuvat.

While being researched for a long time, the color constancy still has room for improvement. This is especially true for challenging cases, such as scenarios where a single chromatic color dominates the scene. The latest algorithms are capable of handling most of the cases just fine. However, there is still a strong drive in the imaging industry to improve the remaining cases to make the problem invisible to the end user. That requires a new way of thinking about the color constancy challenge.

This doctoral thesis covers research done by the author on computational color constancy. It will introduce the fundamental theoretical background information regarding color constancy and color image processing in general so that the presented tools for improving the current algorithms can be understood. The central part of the thesis shows a range of methods that can be utilized. They start with a data generation method that utilizes a developed reverse pipeline, potentially giving tens of percents improvements. Furthermore, it can be potentially used in much larger quantities. The other method shows the bias problems in current datasets and gives tools for fixing them. This makes it possible to combine and target the existing datasets for specific camera models. The direct benefit is around 5% improvement in white point estimation accuracy. However, another benefit is a better understanding of the suitable illuminant distribution and what is needed in the color constancy datasets. In addition, a new intriguing way for illuminant white point estimation is presented by using a single pixel spectral sensor. As shown later in the thesis, it can significantly increase the estimation accuracy. The work includes finding an optimal spectral sensor design feasible for an actual product that can give a dramatic 39%–74% improvement in the challenging 95<SUP>th</SUP> percentile case.

All the developed tools utilize spectral information in one way or another. The most common way is to transfer RGB images into a spectral domain stage, which makes further processing more straightforward. Many of the methods can also be utilized in parallel and thus get compound benefits.