Design of a Practical Intra Encoder for Versatile Video Coding

Abstract

Kuluneen vuosikymmenen aikana internetin videoliikenne on kasvanut merkittävästi. Aluksi kasvu tapahtui eritoten suoratoistopalveluiden, kuten Netflixin kautta, ja myöhemmin lyhytvideopalveluiden, kuten TikTokin, suosion lisääntymisen johdosta. Motion Pictures Experts Group (MPEG) ja kansainvälisen televiestintäliiton telekommunikaatiostandardisointisektori (ITU-T) ovat julkaisseet yhteistyössä useita videonpakkausstandardeja videoliikenteen kasvun hillitsemiseksi. Uusimpia näistä standardeista ovat High Efficiency Video Coding (HEVC) ja Versatile Video Coding (VVC). HEVC-standardiin verrattuna VVC kykenee pakkaamaan videoita samalla visuaalisella kuvanlaadulla käyttäen 25 % vähemmän bittejä intra-kuvien pakkaukseen ja 40 % vähemmän inter-kuvien pakkaamiseen, mutta sen laskentakompleksisuus kasvaa kymmenkertaiseksi.

Laskentakompleksisuus rajoittaa VVC:n käytännöllisyyttä, joten tehokkaat kooderitoteutukset ovat tärkeitä sen käyttöönoton kannalta. Yleisesti ottaen on olemassa kolme varteenotettavaa tapaa käytännöllisen VVC-kooderin toteuttamiseksi: 1) kehittää kooderi alusta alkaen, 2) optimoida VVC:n viiteohjelmistoa (VTM) tai 3) muuntaa olemassa oleva käytännöllinen HEVCkooderi VVC-yhteensopivaksi. Tämä väitöskirja keskittyy kolmanteen lähestymistapaan päivittämällä olemassa olevan Kvazaar HEVC-kooderin uudeksi avoimen lähdekoodin VVC-kooderiksi, nimeltään uvg266.

uvg266:n kehitys pohjautuu perusteelliseen bittinopeuden, kuvanlaadun ja kompleksisuuden analysointiin sekä suunnitteluavaruuden tarkasteluun. Kehitystyö aloitettiin muokkaamalla Kvazaarin työkaluja yksitellen VVC-yhteensopiviksi, minkä jälkeen kooderiin lisättiin uudet VVC-pohjaiset työkalut. Tässä työssä keskitytään intra-työkalujen suunnitteluun sekä uvg266:n kompleksisuuden pienentämiseen eri tekniikoilla, kuten vektorisointi ja koneoppiminen.

Tämä väitöskirja koostuu useasta eri tieteellisestä artikkelista. Ensimmäisessä artikkelissa esitetään vertaileva RDC-analyysi HEVC:n ja VVC:n välillä. Toisessa artikkelissa suunnitteluavaruutta tarkastellaan analysoimalla Fraunhofer HHI:n kehittämää käytännöllistä VVenC-kooderia tavoitteena tunnistaa keskeiset kehitysalueet. Kolmannessa artikkelissa Kvazaar-kooderi muunnetaan systemaattisesti uvg266-kooderiksi. Neljännessä artikkelissa riippuvainen kvantisointi (DQ) vektorisoidaan ja keskeisiin tietorakenteisiin sovelletaan memoisaatiota suorituksen nopeuttamiseksi. Viidennessä artikkelissa karkean intramoodipäätöksen (RMD) suorituskykyä parannetaan reaaliaikaiseksi hyödyntämällä koneoppimista oikean moodin ennustamiseksi. Viimeisessä artikkelissa kehitetään visualisointityökalu uvg266:n koodausprosessin havainnollistamiseksi.

uvg266:n uusin versio tukee kaikkia VVC:n intra-työkaluja. Korkean laadun koodauksessa yhdellä säikeellä uvg266:n nopeus on 2,2-kertainen VVenCkoodauksen verrattuna, mutta uvg266 käyttää myös 2,6 % enemmän bittejä. Reaaliaikakoodauksessa nopeusero kasvaa uvg266:n hyväksi 2,3-kertaiseksi pakkaustehokkuuden kuitenkin laskiessa 21,7 %. Monisäieajossa nopeusero kasvaa edelleen noin kymmenkertaiseksi. Yhteenvetona voidaankin todeta, että työssä esitetty menetelmä HEVC-kooderin muuntamiseksi VVC-kooderiksi tarjoaa vahvan perustan VVC:n jatkokehitykselle, ja tässä työssä esitetyt optimoinnit ovat keskeisessä roolissa käytännöllisen VVC-kooderin mahdollistamisessa.

Over the past decade, video traffic has increased substantially, initially due to the rapid growth of video-on-demand providers such as Netflix, and later by short video services like TikTok. To tackle the increasing video volume, Moving Picture Experts Group (MPEG) and International Telecommunications Union Telecommunications Standardization Sector (ITU-T), have published several international video coding standards, with the latest ones being Versatile Video Coding (VVC) and High Efficiency Video Coding (HEVC). While VVC is able to reduce the required bitrate for the same visual quality by nearly 25% in all intra (AI) coding and 40% in random access (RA) condition over HEVC, the encoding complexity of VVC tends to be at least ten-fold of that of HEVC.

The complexity severely reduces the usability of VVC in practice. Therefore, efficient encoder implementations are pivotal for its widespread deployment. Overall, there are three viable approaches to create a practical software VVC encoder, 1) developing one from scratch, 2) optimizing the VVC reference software called VVC test model (VTM), or 3) converting an existing practical HEVC encoder into a VVC domain. This thesis focuses on the last option by upgrading an existing Kvazaar HEVC encoder to a novel open-source VVC encoder called uvg266.

The development of uvg266 is based on comprehensive rate-distortioncomplexity (RDC) analysis and design space exploration. The development was started by individually making encoding tools of Kvazaar compatible with VVC. After integrating them into uvg266, the newly introduced VVC tools were added. Only intra coding tools of VVC were developed in this work. The complexity of uvg266 was reduced by low-level optimization techniques, such as vectorization, in combination with machine learning-based algorithmic complexity reduction.

This thesis encompasses several contributions. First, it represents a comparative RDC analysis between HEVC and VVC. Second, design space exploration is carried out by analyzing a practical Fraunhofer Versatile VVC Encoder (VVenC) to concretize the focus areas of interest in the encoder implementation. Third, the Kvazaar encoder is meticulously converted into uvg266. Fourth, the dependent quantization (DQ) is vectorized, and memoization is applied to the key data structures to speed up the execution. Fifth, the rough mode decision (RMD) is accelerated to real-time speed using machine-learning-aided techniques to predict the correct mode. Finally, a visualizer is introduced for illustrating the encoding flow of uvg266.

Overall, the latest version of uvg266 supports all VVC intra coding tools. In highquality coding, a single-threaded uvg266 is 2.2× as fast as VVenC with the bitrate cost of 2.6% for the same objective quality. In real-time encoding, uvg266 is 2.3× as fast but the bitrate overhead grows to 21.7%. In multithreaded encoding the encoding speed grows to around 10×. In summary, transforming an HEVC encoder into a VVC encoder provides a powerful foundation for VVC development, and the proposed optimizations play a crucial role in bridging the gap toward a truly practical VVC encoder.