Automatic Optimization of Image Quality with Respect to VCX v.2020 Standard
Viertola, Ilpo (2023)
2023
Tietotekniikan DI-ohjelma - Master's Programme in Information Technology
Informaatioteknologian ja viestinnän tiedekunta - Faculty of Information Technology and Communication Sciences
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2023-05-08
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:tuni-202304123649
https://urn.fi/URN:NBN:fi:tuni-202304123649
Tiivistelmä
The image signal processor (ISP) takes care of handling the image signal captured by the image sensor. ISP consists of multiple blocks, each block focusing on a certain aspect of the image quality (IQ). Each block may process the signal with multiple different algorithms and these algorithms may contain multiple parameters altering the way they manipulate the signal. These parameters must be tuned to meet the expected IQ.
Tuning the ISP is a time-consuming and tedious job to do manually. Traditionally, IQ engineers have been tuning the parameters using the tuning software provided by the ISP vendor. During this process, they have used their IQ expertise and objective IQ metrics like the amount of visual noise in the resulting image to guide the IQ to a satisfactory level.
In this thesis, an automatic ISP tuning framework will be used to tune the ISP. This thesis aims to answer the following research questions: "Will optimizing ISP parameters using fully objective metrics produce subjectively good image quality?" and "Will tuning ISP in order to maximize the outcome of VCX score metrics produce better results than using alternative ways?". The set of fully objective metrics that are used in this thesis is called Valued Camera eXpression (VCX) score. By maximizing the VCX score, the best overall performance of the camera should be obtained. The alternative way used to measure IQ in this work is a deep learning-based method, which is proven to correlate well with human perception of IQ. Finally, a subjective IQ analysis is conducted, and the resulting IQ is compared between the results and a commercial reference device.
The research revealed promising results by using only objective metrics as IQ targets when tunings the ISP. The subjective IQ analysis revealed that using the deep learning-based approach produced slightly better IQ than using only objective metrics. Still, the ISP tuning produced using only objective metrics was selected more frequently over the commercial reference device in the subjective IQ analysis conducted as a part of this study.
The work done in this thesis gives a good foundation for future research on using different types of IQ metrics in automatic ISP tuning procedure. It is argued that even though the fully objective metrics did not produce the overall best outcome, they have their place in the IQ tuning. For example, a device manufacturer may demand a certain level of noise performance from the ISP. In this case, the ISP tuning has to be guided to a result that optimizes the overall IQ, still maintaining the desired level of noise. Kuvasignaaliprosessori (ISP) käsittelee kamerasensorin tallettaman kuvasignaalin. ISP rakentuu monista eri osioista, joista jokainen keskittyy tiettyyn kuvanlaadun aspektiin. Jokainen osio voi prosessoida digitaalista kuvasignaalia monin erilaisin algoritmein, joista jokainen voi sisältää monia erilaisia parametreja. Parametreilla algoritmin käyttäytymistä ja tapaa muokata signaalia voidaan ohjata. Näiden parametrien säätäminen on erityisen tärkeää, jotta ISP:n tuottama kuvanlaatu saadaan maksimoitua.
ISP:n parametrien säätäminen on aikaavievää ja hankalaa. Tavallisesti kuvanlaatuinsinöörit ovat säätäneet ISP:n parametreja käyttäen ISP-valmistajan siihen kehittämää ohjelmistoa. He ovat hyödyntäneet asiantuntemustaan sekä erilaisia objektiivisia kuvanlaadun metriikoita, kuten kohinan määrää, saadakseen laitteen tuottaman kuvanlaadun välttävälle tasolle.
Tässä työssä käytetään automaattista kuvasignaaliprosessorin säätämisohjelmistoa kuvanlaadun maksimoimiseksi. Tämä työ pyrkii vastaamaan seuraaviin tutkimuskysymyksiin: "Voiko kuvasignaaliprosessorin parametrien säätäminen käyttäen vain objektiivista kuvanlaatumetriikkaa tuottaa subjektiivisesti hyvän kuvanlaadun?"ja "Tuottaako kuvasignaaliprosessorin säätäminen VCX standardin mukaan paremman kuvanlaadun, kuin käyttäen vaihtoehtoisia tapoja?". Tässä työssä käytetty objektiivinen kuvanlaadun metriikka on nimeltään Valued Camera eXpression (VCX) standardi. VCX mittaa kameran suorituskykyä yhdellä numeerisella arvolla, ja sen maksimoinnin pitäisi tuottaa paras mahdollinen suorituskyky valitulle laitteelle. Toinen työssä käytetty vaihtoehtoinen tapa kuvanlaadun mittamiseen on koneoppimispohjainen neuroverkko, jonka on osoitettu korreloivan hyvin ihmisen tavan kanssa ymmärtää kuvanlaatua. Lopuksi subjektiivisen kuvanlaatuanalyysin tuloksia vertaillaan eri ISP säätöjen välillä. Tässä työssä tuotettuja säätöjä vertaillaan myös kaupallisen laitteen tuottamaan kuvanlaatuun.
Työn tutkimus paljasti lupaavia tuloksia objektiivisen metriikan käytöstä subjektiivisen kuvanlaadun säätämisessä. Subjektiivisessa kuvanlaatuanalyysissa parhaiten pärjäsivät säädöt, joiden tuottamisessa oli käytetty neuroverkkopohjaista ratkaisua kuvanlaadun mittaamiseen. Kuitenkin ISP säätö, jossa oli käytetty vain VCX standardia kuvanlaadun mittaukseen säädön aikana, valittiin useammin paremmaksi kuin kaupallinen vastine subjektiivisessa kuvanlaadun testissä joka suoritettiin osana tutkimusta.
Tässä tutkielmassa tehty työ antaa hyvän pohjan tulevalle tutkimukselle, joka koskee erityyppisien kuvanlaatumetriikoiden käyttöä automaattisessa ISP:n säädössä. Vaikka täysin objektiiviset kuvanlaatumetriikat eivät tuottaneetkaan parasta kokonaistulosta, niillä on paikkansa ISP:n säätämisessä. Laitevalmistaja voi esimerkiksi vaatia ISP:ltä tiettyä kohinatasoa. Tällöin ISP:tä on ohjattava tulokseen, joka optimoi yleisen kuvanlaadun säilyttäen silti halutun kohinatason.
Tuning the ISP is a time-consuming and tedious job to do manually. Traditionally, IQ engineers have been tuning the parameters using the tuning software provided by the ISP vendor. During this process, they have used their IQ expertise and objective IQ metrics like the amount of visual noise in the resulting image to guide the IQ to a satisfactory level.
In this thesis, an automatic ISP tuning framework will be used to tune the ISP. This thesis aims to answer the following research questions: "Will optimizing ISP parameters using fully objective metrics produce subjectively good image quality?" and "Will tuning ISP in order to maximize the outcome of VCX score metrics produce better results than using alternative ways?". The set of fully objective metrics that are used in this thesis is called Valued Camera eXpression (VCX) score. By maximizing the VCX score, the best overall performance of the camera should be obtained. The alternative way used to measure IQ in this work is a deep learning-based method, which is proven to correlate well with human perception of IQ. Finally, a subjective IQ analysis is conducted, and the resulting IQ is compared between the results and a commercial reference device.
The research revealed promising results by using only objective metrics as IQ targets when tunings the ISP. The subjective IQ analysis revealed that using the deep learning-based approach produced slightly better IQ than using only objective metrics. Still, the ISP tuning produced using only objective metrics was selected more frequently over the commercial reference device in the subjective IQ analysis conducted as a part of this study.
The work done in this thesis gives a good foundation for future research on using different types of IQ metrics in automatic ISP tuning procedure. It is argued that even though the fully objective metrics did not produce the overall best outcome, they have their place in the IQ tuning. For example, a device manufacturer may demand a certain level of noise performance from the ISP. In this case, the ISP tuning has to be guided to a result that optimizes the overall IQ, still maintaining the desired level of noise.
ISP:n parametrien säätäminen on aikaavievää ja hankalaa. Tavallisesti kuvanlaatuinsinöörit ovat säätäneet ISP:n parametreja käyttäen ISP-valmistajan siihen kehittämää ohjelmistoa. He ovat hyödyntäneet asiantuntemustaan sekä erilaisia objektiivisia kuvanlaadun metriikoita, kuten kohinan määrää, saadakseen laitteen tuottaman kuvanlaadun välttävälle tasolle.
Tässä työssä käytetään automaattista kuvasignaaliprosessorin säätämisohjelmistoa kuvanlaadun maksimoimiseksi. Tämä työ pyrkii vastaamaan seuraaviin tutkimuskysymyksiin: "Voiko kuvasignaaliprosessorin parametrien säätäminen käyttäen vain objektiivista kuvanlaatumetriikkaa tuottaa subjektiivisesti hyvän kuvanlaadun?"ja "Tuottaako kuvasignaaliprosessorin säätäminen VCX standardin mukaan paremman kuvanlaadun, kuin käyttäen vaihtoehtoisia tapoja?". Tässä työssä käytetty objektiivinen kuvanlaadun metriikka on nimeltään Valued Camera eXpression (VCX) standardi. VCX mittaa kameran suorituskykyä yhdellä numeerisella arvolla, ja sen maksimoinnin pitäisi tuottaa paras mahdollinen suorituskyky valitulle laitteelle. Toinen työssä käytetty vaihtoehtoinen tapa kuvanlaadun mittamiseen on koneoppimispohjainen neuroverkko, jonka on osoitettu korreloivan hyvin ihmisen tavan kanssa ymmärtää kuvanlaatua. Lopuksi subjektiivisen kuvanlaatuanalyysin tuloksia vertaillaan eri ISP säätöjen välillä. Tässä työssä tuotettuja säätöjä vertaillaan myös kaupallisen laitteen tuottamaan kuvanlaatuun.
Työn tutkimus paljasti lupaavia tuloksia objektiivisen metriikan käytöstä subjektiivisen kuvanlaadun säätämisessä. Subjektiivisessa kuvanlaatuanalyysissa parhaiten pärjäsivät säädöt, joiden tuottamisessa oli käytetty neuroverkkopohjaista ratkaisua kuvanlaadun mittaamiseen. Kuitenkin ISP säätö, jossa oli käytetty vain VCX standardia kuvanlaadun mittaukseen säädön aikana, valittiin useammin paremmaksi kuin kaupallinen vastine subjektiivisessa kuvanlaadun testissä joka suoritettiin osana tutkimusta.
Tässä tutkielmassa tehty työ antaa hyvän pohjan tulevalle tutkimukselle, joka koskee erityyppisien kuvanlaatumetriikoiden käyttöä automaattisessa ISP:n säädössä. Vaikka täysin objektiiviset kuvanlaatumetriikat eivät tuottaneetkaan parasta kokonaistulosta, niillä on paikkansa ISP:n säätämisessä. Laitevalmistaja voi esimerkiksi vaatia ISP:ltä tiettyä kohinatasoa. Tällöin ISP:tä on ohjattava tulokseen, joka optimoi yleisen kuvanlaadun säilyttäen silti halutun kohinatason.