Zoom behavior in multi-camera mobile phone videos

Abstract

Älypuhelimien kameroilla valokuvaaminen on lisääntynyt huomattavasti viime vuosien aikana, joten on tärkeää arvioida älypuhelimien kameroiden kuva- ja videolaatua. Uusimmissa älypuhelimissa on usein useampi kamera, mikä on tuonut uusia haasteita puhelimien kuvankäsittelyyn. Yksi haasteista on, miten älypuhelin pystyy vaihtamaan tasaisesti yhdestä kamerasta toiseen, käyttäen laitteen zoomaus ominaisuutta, ilman havaittavia häiritseviä muutoksia kuva- ja videolaadussa. Tätä haastetta nimitetään zoomaustasaisuudeksi. Huawei halusi tutkia zoomaustasaisuutta parantaakseen sitä puhelimissaan, joissa on useampi kamera. Tämä työ tutkii, mitkä kuvanlaatutekijät vaikuttivat negatiivisesti zoomaustasaisuuteen subjektiivisesta ja objektiivisesta näkökulmasta. Tutkimuksessa myös pohditaan, mitkä kuvankäsittelyalgoritmit säätelevät kuvanlaatutekijöitä, jotka toimivat epämiellyttävästi. Täten saadaan tietoa kuvanlaatualgoritmeista, joita kehittämällä zoomaustasaisuutta voitaisiin parantaa. Kuvanlaatutekijöiden mittaamiseksi suunniteltiin toistettava video kaappaus ympäristö, jossa voidaan ottaa kameranvaihtovideoita. Sitten kameranvaihtovideoita analysoitiin tarkemmin kohdissa, joissa kuvanlaatu muuttuu huomattavasti subjektiivisesti ja objektiivisesti. Työ myös tarkastelee, ovatko kuvanlaatutekijöiden objektiivisten mittareiden muutokset havaittavissa vastaavina subjektiivisina muutoksina. Tässä työssä osoittautui, että selkeät muutokset kirkkaudessa ja värilämpötilassa vaikuttavat negatiivisesti zoomaustasaisuuteen. Älypuhelimessa näitä kuvanlaatutekijöitä kontrolloivat erilliset algoritmit: automaattivalkotasapaino ja automaattivalotus. Tämä tutkimus näyttää myös, että kirkkauden ja värilämpötilan objektiivisissa mittareissa havaitut muutokset vastaavat subjektiivisia havaittuja muutoksia.

Due to the growing demand for mobile phone consumer photography, it is important to evaluate mobile phone s’ image and video quality performance. Modern multi-camera mobile phones have brought along new image processing challenges. One of the challenges is how a multi-camera mobile phone can switch from one camera to another camera smoothly, when using its zoom capability, without unpleasant perceptual changes. This challenge is referred to as zoom smoothness. Huawei wanted to research zoom smoothness since it wants to improve the zoom smoothness quality of its multi-camera mobile phones. To help Huawei accomplish its goal, this research considers what image quality factors subjectively and objectively hurt zoom smoothness. The research also identifies which image processing algorithms control those image quality factors. These algorithms can then be improved to enhance the quality of zoom smoothness. To measure the image quality factors, this research presents a repeatable video capturing test environment for capturing camera switch videos. The captured videos were analyzed in parts where image quality significantly changed subjectively and objectively. The research also considers whether any image quality factors’ objective metric changes correspond to subjectively perceived changes . This research found that the brightness and white balance image quality factors hurt zoom smoothness. These image quality factors are controlled by the auto white balance and the auto-exposure image processing algorithms, respectively. This research also shows that changes in the brightness and the white balance objective metrics correspond with the subjectively perceived changes.