Computer Generated Holography : from Analytic to Learning-based Methods

Abstract

In the pursuit for an ideal way to display visual 3D information in the natural way, holographic displays emerge as a promising candidate. Generating dynamic content for these displays, however, exhibits a trade-off between quality and computational complexity. The goal of this thesis is to improve on existing methods, while studying how learning-based methods can be used to accelerate the process.

This thesis investigates modeling of light in the 3D space through ray and wave formalisms, i.e. light fields and holography, along with their relation to the depth perception of the human visual system. In relation with these formalisms and depth cues of the human visual system, different display methods are investigated. In particular, the benefits of holographic displays are demonstrated in terms of accurate focus cues when compared with conventional stereoscopic displays and display depth of field when compared with light field displays. This lays the groundwork for computational hologram generation methods.

Computer generated holography (CGH) is first approached through categorization into model-based and ray-based analytic methods. Based on the overview of such CGH methods, pros and cons of various methods such as the point-based method, holographic stereogram and their variants are elaborated in terms of reconstruction accuracy and computational efficiency. The recently developed methods involving machine learning based approaches are then put forward as attractive alternatives to analytic CGH methods, especially in terms of computational complexity.

Motivated by the abovementioned benefits of learning-based methods, a dataset of holograms is generated using a novel hybrid planar-spherical CGH method with light field and multi-perspective depth information of 3D scenes as the input. The dataset is then utilized to achieve accelerated CGH algorithm based neural networks. The hybrid planar-spherical method, which produces the ground truth holograms, is demonstrated to accurately deliver the view-dependent effects that are observed, for instance, due to specular reflections and transparent objects in the scene. The simulation results conducted with different neural network architectures suggest that the U-Net can achieve slightly better performance in the hologram generation task when compared with a fully convolutional residual neural network and a Fourier convolutional neural network.

Pelkkää stereoskopiaa hyödyntävät 3D-näytöt aiheuttavat ristiriitaa aivojen näköjärjestelmän vergenssissä ja akkommodaatiossa. Tavoitellessa ideaalia tapaa näyttää visuaalista informaatiota luonnollisella tavalla, holografiset näytöt vaikuttavat lupaavalta vaihdoehdolta. Näille näytöille dynaamista sisältöä tuottaessa joudutaan kuitenkin tekemään kompromissi laadun ja laskennallisen monimutkaisuuden välillä. Tämän työn tavoitteena on parantaa nykyisiä menetelmiä ja selvittää samalla, kuinka koneoppimista voidaan käyttää laskennan nopeuttamiseen.

Tässä työssä tutkitaan valon mallintamista 3D-avaruudessa säde- ja aaltomallien, eli valokenttien ja holografian avulla, sekä niiden suhdetta ihmisen näköjärjestelmän kykyyn havaita syvyyksiä. Lisäksi tutkitaan mallinnetun valoinformaation välittämistä silmille luonnollisena 3D:nä erilaisten näyttöjärjestelmien kautta. Tavoitteena on tuoda esiin holografisten näyttöjen edut, sekä luoda perusta digitaalisten hologrammien laskemismenetelmille.

Tietokoneella generoitua holografiaa (engl. Computer Generated Holography, CGH) lähestytään luokittelemalla se mallipohjaisiin ja sädepohjaisiin menetelmiin. Näiden määritelmien pohjalta esitellään muutamia olennaisia CGH:n laskentamenetelmiä. Lisäksi työssä tarkastellaan viimeaikaisia tutkimuksia, joissa käsitellään koneoppimista CGH:n alalla.

Käsiteltyjen menetelmien ja katsauksen perusteella esitetään "pipeline", joka kostuu hologrammien oppimisen mahdollistavan datasetin generoimisesta, referenssihologrammien laskemisesta uudella taso- ja palloaaltoja yhdistävällä hybridi-menetelmällä, sekä prosessin kiihdyttämisestä opetetun neuroverkon avulla. Datasetin generoimisprosessissa arvioidaan hologrammien laskemiselle olennaisia ominaisuuksia. Ehdotettu hybridimenetelmä onnistuu mallintamaan samanaikaisesti tarkasti näkymästä riippuvan valon käyttäytymisen ja säilyttämään laadun paremmin kuin aiemmat sen mahdollistavat analyyttiset menetelmät. Tämän tutkielman simulointiasetelman avulla saadut tulokset viittaavat siihen, että U-Net neuroverkkoarkkitehtuurilla on hieman parempi oppimispotentiaali ohjatussa hologrammien tuottamistehtävässä verrattuna täysin konvolutiiviseen residuaaliseen neuroverkkoon ja Fourier konvolutiiviseen neuroverkkoon.