Overview of V3C streaming using RTP

Abstract

Volumetric video is emerging alongside traditional two-dimensional (2D) video. It provides greater freedom for the viewer by allowing them to move in a scene and view content from different angles. In recent years, volumetric video capture and compression technologies have developed significantly. An important step in this is the Visual Volumetric Video-based Coding (V3C) standard suite, which defines methods for the compression of volumetric video. Standardized compression methods also facilitate the development of applications that require real-time delivery of volumetric video over a network. Two media transport solutions, Real-time Transport Protocol (RTP) and Dynamic Adaptive Streaming over HTTP (DASH), have been extended with specifications on the delivery of V3C compressed volumetric video. Both solutions offer features on the delivery of multimedia content, with RTP being especially focused on real-time use cases. One of the major advantages of RTP over DASH is its low transport latency, which stems from the connectionless nature of the protocol. RTP is widely used in software such as video conferencing applications, where interactivity between participants is required. Furthermore, several open-source RTP software libraries are available on the Internet, enabling straightforward adoption of the protocol for applications. The thesis first provides an overview of the features of volumetric video, V3C standard suite and the bitstreams that V3C compression generates. This is followed by an exploration of different video streaming solutions, including a more detailed look at RTP and its extensions. The thesis also briefly introduces signaling methods used to establish RTP sessions. After introductions, the above topics are combined to explore steps involved in the RTP delivery of V3C compressed volumetric video. Finally, the thesis reviews the currently available RTP software libraries and their support for V3C delivery. It is found that uvgRTP is the only currently available software library that offers the features required for V3C delivery. Such open-source solutions are an important factor in promoting the adoption of volumetric video.

Volumetrinen video on nousemassa perinteisen kaksiulotteisen videon rinnalle. Se tarjoaa katsojalle enemmän vapautta mahdollistamalla kohtauksessa liikkumisen ja sisällön katselun eri suunnista. Viime vuosina volumetrisen videon kaappaus- ja pakkausteknologiat ovat kehittyneet merkittävästi. Tärkeä askel kehityksessä on Visual Volumetric Video-based Coding (V3C) -standardiperhe, joka määrittelee menetelmiä volumetrisen videon pakkaamiseen. Standardoidut pakkausmenetelmät suoraviivaistavat kehitystyötä myös sovelluksille, jotka vaativat reaaliaikaista volumetrisen videon siirtämistä verkossa. Kaksi median kuljetusratkaisua, Real-time Transport Protocol (RTP) ja Dynamic Adaptive Streaming over HTTP (DASH), ovat saaneet laajennuksia V3C-pakatun volumetrisen videon siirtämiseen liittyen. Molemmat ratkaisut tarjoavat ominaisuuksia multimediasisällön siirtoon, mutta RTP keskittyy erityisesti reaaliaikaisiin käyttötilanteisiin. Yksi RTP:n suurimmista eduista DASH:iin verrattuna on sen alhainen siirtoviive, jonka mahdollistaa protokollan yhteydetön luonne. RTP:tä käytetään laajalti esimerkiksi videopuhelusovelluksissa, joissa osallistujien välinen vuorovaikutus on vaatimuksena. Lisäksi Internetissä on saatavilla useita avoimen lähdekoodin RTP-ohjelmistokirjastoja, jotka mahdollistavat protokollan suoraviivaisen käyttöönoton sovelluksille. Opinnäytetyö antaa aluksi yleiskuvan volumetrisen videon ominaisuuksista, V3C-standardiperheestä sekä bittivirrasta, jota V3C-pakkaaminen tuottaa. Tämän jälkeen esitellään erilaisia videon kuljetusratkaisuja, joista nostetaan lähempään tarkasteluun RTP laajennuksineen. Työssä tutustutaan lyhyesti myös signalointimenetelmiin, joita käytetään RTP:n yhteydessä istuntojen luomiseen. Esittelyjen jälkeen edellä mainitut aiheet yhdistyvät, kun tutkitaan V3C-pakatun volumetrisen videon RTP-suoratoiston eri vaiheita. Lopuksi opinnäytetyössä tarkastellaan tällä hetkellä saatavilla olevia avoimen lähdekoodin RTP-ohjelmistokirjastoja ja niiden tukea V3C-suoratoistolle. Tarkastelussa huomataan, että uvgRTP on tällä hetkellä ainoa saatavilla oleva ohjelmistokirjasto, joka tarjoaa V3C-suoratoistoon vaaditut ominaisuudet. Sen kaltaiset avoimen lähdekoodin ratkaisut ovat tärkeä tekijä volumetrisen videon käyttöönoton edistämisessä.