Subjective Video Quality Enhancement in Kvazaar HEVC Encoder

Abstract

The internet video traffic has multiplied several times over the past decade due to the rising demand of emerging high-quality formats such as 4K UHD and omnidirectional 360-degree video. The increasing popularity of video-on-demand services and the high bandwidth re-quirements of the latest video formats drive the need for improving coding efficiency of video encoders. The demand has been addressed by introducing new, more efficient video coding standards, of which High Efficiency Video Coding (HEVC/H.265) is one of the most popular at the moment. Video encoders aim to remove redundant spatial and temporal information from the video stream. Modern encoders are able to compress video very efficiently, reaching compression ratios of over 1:100 and still maintaining most of the relevant visual information. To preserve acceptable perceived quality, the limits of the human visual system (HVS) need to be taken into account during encoding. Redundant information can be removed up to a certain point, after which the coding artifacts become visible to an average observer and better compres-sion comes with the price of reduced visual quality. This work explores two methods to improve the subjective visual quality of HEVC encoding: 1) variance adaptive quantization (VAQ) and 2) Boolean map saliency (BMS). The experi-ments are carried out with an open-source Kvazaar HEVC encoder that is being developed by Ultra Video Group at Tampere University. VAQ is an adaptive quantization method that seeks to emphasize quality in regions, where coding artifacts are more noticeable to the human eye. The algorithm adjusts quality based on the relative spatial activity of each coding block of a video frame. BMS is a gaze point es-timation algorithm, which attempts to mark salient areas which can be encoded with in-creased quality. The algorithm generates saliency maps based on color channel features, which are used to affect the quantization strength of each coding block. The VAQ implementation was shown to improve the coding efficiency of Kvazaar by 3.03% with the SSIM metric. With PSNR and VMAF metrics, coding efficiency degraded by 3.75% and 4.62%, respectively. Due to the impact on PSNR and VMAF metrics, the possible use cases for VAQ were narrowed down. In its current form, it is most effective as a tuning tool for the SSIM metric. Video content with flat colored, textured surfaces benefit the most from the inclusion of VAQ. The subjective testing with the BMS algorithm implied that it does not produce enough quality improvement with respect to its high computational overhead. The BMS algorithm was tested with two strength settings. On the lower strength setting, the im-pact on objective metrics was 2.10%, 1.72% and -0.57% and on the higher setting 25.18%, 27.79% and 16.13% for PSNR, SSIM and VMAF, respectively. Based on the scores, BMS could be used with lower strength settings if its performance was improved, but on the higher strength settings, it is not seen viable.

Suoratoistovideon osuus internet-liikenteessä on moninkertaistunut viime vuosikymmenen aikana uusien korkealaatuisten videoformaattien yleistymisen myötä. Runsaasti kaistaa vaativien formaattien, kuten 4K UHD videon ja 360-asteen videon kysynnän kasvaessa myös videonpakkauksen tehokkuuden on parannuttava, jotta alati kasvavaan kaistantarpeeseen voidaan vastata. Pakkaustehokkuutta on parannettu kehittämällä uusia ja entistä tehokkaampia pakkausstandardeja, joista High Efficiency Video Coding (HEVC/H.265) edustaa tämänhetkistä parhaimmistoa. Videoenkooderit pyrkivät poistamaan ajallista ja paikallista redundanssia videodatavirrasta pakaten dataa pienempään tilaan. Nykyaikaiset enkooderit saavuttavat yli 1:100 pakkaussuhteen säilyttäen kuitenkin riittävän kuvanlaadun. Kuvanlaadun säilyttämiseksi enkooderien on huomitoitava ihmisen näköaistin määrittämät rajat. Videodatasta voidaan poistaa redundanssia tiettyyn pisteeseen asti, minkä jälkeen pakkauksen aiheuttamat vääristymät ovat ihmissilmän havaittavissa ja pakkaustehokkuutta nostetaan kuvanlaadun kustannuksella. Tässä työssä tarkastellaan kahden pakkaustyökalun vaikutusta HEVC enkoodauksen subjektiiviseen kuvanlaatuun. Nämä työkalut ovat 1) varianssiin perustuva adaptiivinen kvantisointi (VAQ) sekä 2) Boolen merkittävyyskartoilla avustettu pakkaus (BMS). Analysointityö suoritetaan avoimen lähdekoodin Kvazaar HEVC enkooderilla, jota kehitetään Tampereen yliopiston Ultra Video Group- ryhmässä. VAQ on adaptiivinen kvantisointimenetelmä, joka pyrkii korostamaan kuvanlaatua alueilla, joilla pakkausvääristymät ovat helpommin ihmissilmän havaittavissa. BMS on algoritmi, joka pyrkii arvioimaan, mihin videon osiin katsepisteet todennäköisesti kohdistuvat. Arvioiduilla katsepisteillä painotettuja alueita pakataan paremmalla laadulla. Tässä työssä VAQ:n osoitettiin parantavan SSIM:llä mitattua laatua 3.03% kun vastaavasti laatu heikkeni 3.75% ja 4.62% mitattuna PSNR:lla ja VMAF:lla. Tämän johdosta algoritmi soveltuu parhaiten käyttötarkoituksiin, jossa SSIM pisteytys halutaan maksimoida. Videosisältö, jossa on tasavärisiä, teksturoituja pintoja, hyötyy eniten VAQ:n käyttöönotosta. BMS algoritmia testattiin kahdella voimakkuudella. Subjektiiviset testit osoittavat, että algoritmi ei paranna riittävästi laatua sen vaatimaan suureen laskentatehoon nähden. Heikommalla voimakkuudella mitattiin arvot 2.10%, 1.72% ja -0.57% PSNR:lla, SSIM:llä ja VMAF:lla, tässä järjestyksessä. Vahvemmalla säädöllä tulokset olivat vastaavasti 25.18%, 27.79% ja 16.13%. Mittausten pohjalta algoritmilla voi olla potentiaalia alemmalla voimakkuussäädöllä, mikäli sen tarkkuutta kyetään parantamaan. Suuremmalla voimakkuudella algoritmin ei koeta olevan käyttökelpoinen.