Quality Assessment of Mobile Phone Video Stabilization
Aho, Jere (2023)
2023
Tietotekniikan DI-ohjelma - Master's Programme in Information Technology
Informaatioteknologian ja viestinnän tiedekunta - Faculty of Information Technology and Communication Sciences
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2023-08-28
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:tuni-202308107533
https://urn.fi/URN:NBN:fi:tuni-202308107533
Tiivistelmä
Smartphone cameras are used more than ever for photography and videography. This has driven mobile phone manufacturers to develop and enhance cameras in their mobile phones. While mobile phone cameras have evolved a lot, many aspects of the mobile phone camera still have room for improvement. One is video stabilization which aims to remove unpleasant motion and artifacts from video. Many video stabilization methods for mobile phones exist. However, there is no standard video stabilization quality assessment (VSQA) framework for comparing the performance of the video stabilization methods.
Huawei wanted to improve the video stabilization quality of their mobile phones by investigating video stabilization quality assessment. As a part of that endeavor, this work studies existing VSQA frameworks found in the literature and incorporates some of their ideas into a VSQA framework established in this work. The new VSQA framework consists of a repeatable laboratory environment and objective sharpness and motion metrics.
To test the VSQA framework, videos were captured on multiple mobile phones in the laboratory environment. These videos were first subjectively evaluated to find issues that are noticeable by humans. Then the videos were objectively evaluated with the objective sharpness and motion metrics. The results show that the proposed VSQA framework can be used for comparing and ranking mobile devices. The VSQA framework successfully identifies the strengths and weaknesses of each tested device's video stabilization quality. Älypuhelimien kameroita käytetään nykyään valokuvaukseen enemmän kuin koskaan. Tämä on saanut älypuhelimien valmistajia kehittämään heidän puhelimiensa kameroita. Vaikka paljon edistystä on tapahtunut, niin moni älypuhelimen kameran osa-alueista kaipaa vielä kehitystä. Yksi heikoista osa-alueista on videostabilointi. Videostabiloinnin tarkoitus on poistaa videosta epämiellyttävä liike. Monia ratkaisuja löytyy, mutta mitään standardoitua tapaa vertailla eri stabilointi ratkaisuja ei ole.
Huawei haluaa parantaa tuotteidensa videostabiloinnin laatua. Saavuttaakseen tämän tavoitteen, tässä työssä tehdään katsaus kirjallisuudesta löytyviä videostabiloinnin laadun mittausmenetelmiä ja jalostetaan näistä ideoita, joiden avulla kehitetään oma videonstabiloinnin laadun mittausmenetelmä. Menetelmä koostuu toistettavasta laboratorioympäristöstä, jossa voi kuvata heiluvia videoita eri älypuhelimilla. Näitä videoita vertaillaan objektiivisesti mittaamalla videoista terävyyttä ja liikkeen miellyttävyyttä.
Työn videostabiloinnin laadun mittausmenetelmää testattiin kuvaamalla toistettavassa laboratorioympäristössä usealla älypuhelimella videoita, joissa on simuloitua käden tärinää. Ensin kuvattuja videoita arvioitiin ja vertailtiin subjektiivisesti, jotta niistä löytyisi ongelmat, joita videostabilointi ei ole onnistunut korjaamaan. Tämän jälkeen videoita arvioitiin objektiivisilla terävyys- ja liikemittareilla. Tulokset osoittavat, että työssä esitetty videostabiloinnin laadun mittausmenetelmää voidaan käyttää eri älypuhelimien videostabilointimenetelmien vertailuun. Työn mittausmenetelmä onnistui havaitsemaan eri video stabilointimenetelmien vahvuudet ja heikkoudet.
Huawei wanted to improve the video stabilization quality of their mobile phones by investigating video stabilization quality assessment. As a part of that endeavor, this work studies existing VSQA frameworks found in the literature and incorporates some of their ideas into a VSQA framework established in this work. The new VSQA framework consists of a repeatable laboratory environment and objective sharpness and motion metrics.
To test the VSQA framework, videos were captured on multiple mobile phones in the laboratory environment. These videos were first subjectively evaluated to find issues that are noticeable by humans. Then the videos were objectively evaluated with the objective sharpness and motion metrics. The results show that the proposed VSQA framework can be used for comparing and ranking mobile devices. The VSQA framework successfully identifies the strengths and weaknesses of each tested device's video stabilization quality.
Huawei haluaa parantaa tuotteidensa videostabiloinnin laatua. Saavuttaakseen tämän tavoitteen, tässä työssä tehdään katsaus kirjallisuudesta löytyviä videostabiloinnin laadun mittausmenetelmiä ja jalostetaan näistä ideoita, joiden avulla kehitetään oma videonstabiloinnin laadun mittausmenetelmä. Menetelmä koostuu toistettavasta laboratorioympäristöstä, jossa voi kuvata heiluvia videoita eri älypuhelimilla. Näitä videoita vertaillaan objektiivisesti mittaamalla videoista terävyyttä ja liikkeen miellyttävyyttä.
Työn videostabiloinnin laadun mittausmenetelmää testattiin kuvaamalla toistettavassa laboratorioympäristössä usealla älypuhelimella videoita, joissa on simuloitua käden tärinää. Ensin kuvattuja videoita arvioitiin ja vertailtiin subjektiivisesti, jotta niistä löytyisi ongelmat, joita videostabilointi ei ole onnistunut korjaamaan. Tämän jälkeen videoita arvioitiin objektiivisilla terävyys- ja liikemittareilla. Tulokset osoittavat, että työssä esitetty videostabiloinnin laadun mittausmenetelmää voidaan käyttää eri älypuhelimien videostabilointimenetelmien vertailuun. Työn mittausmenetelmä onnistui havaitsemaan eri video stabilointimenetelmien vahvuudet ja heikkoudet.