Diffusion-Based Single Image Super-Resolution for Real-World Images

Abstract

Single image super-resolution is a classical problem with a wide variety of methods having been proposed over the years. GAN-based single image super-resolution has been the state-of-the-art technique as well as the de facto standard for applications utilizing learning-based super-resolution. However, recent success of diffusion models in terms of generating natural and high-quality images has piqued the interest of researchers to utilize diffusion models for super-resolution. In this thesis the performance of diffusion-based single image super-resolution for real-world images is explored and the maturity of the method for general use is assessed. In the experiments, images of varying levels of degradation are inferred. Images with minimal or simple degradation are inferred to explore the inherent performance of the method and how certain types of degradation affect the results. More complex degradation is used to simulate real-world degradation such that the use of the method for real-world use can be explored. The results of lower levels of degradation are also used to better understand in which cases the method may or may not perform well in real-world use. The results of the experiments indicate that diffusion-based super-resolution outputs far superior and more natural images compared to GAN-based super-resolution, however, it does still suffer from certain kinds of artifacts and as such is perhaps not mature enough for general use.

Yhden kuvan super-resoluutiointi on perinteinen aihe kuvankäsittelyssä, ja sille on vuosien aikana kehitetty monia menetelmiä. Muutaman viime vuoden ajan GAN-pohjainen super-resoluutiointi oli ollut state-of-the-art-menetelmä sekä käytännön standardi sovelluksille, jotka hyödyntävät opittua super-resoluutiointia. Diffuusiomallien viimeaikainen menestys hyvälaatuisten ja luonnollisten kuvien generoinnissa on herättänyt tutkijoiden kiinnostuksen diffuusionmallien hyödyntämisestä super-resoluutioinnissa. Tässä tutkielmassa tutkitaan diffuusiopohjaisen super-resoluutioinnin suorituskykyä oikean maailman kuvilla sekä menetelmän kypsyys yleisen käytön kannalta. Kokeissa super-resoluutoidaan kuvia vaihtelevalla määrällä huononnusta. Minimaalisella sekä yksinkertaisella huononnuksella tutkitaan menetelmän luontaista suorituskykyä sekä kuinka tietty huononnus vaikuttaa tuloksiin. Monimutkaisemmalla huononnuksella, joka mallintaa oikean maailman huononnusta tutkitaan kuinka menetelmä suoriutuu oikeassa käytössä. Yksinkertaisella huononnuksella saatuja tuloksia hyödynnetään myös ymmärtämään missä asioissa menetelmää suoriutuu paremmin tai huonommin oikean käytön kannalta. Tulosten perusteella diffuusiopohjainen super-resoluutiointi suoriutuu paremmin sekä tuottaa luonnollisempia kuvia kuin GAN-pohjainen super-resoluutiointi. Diffuusiopohjainen super-resoluutiointi kuitenkin myös kärsii joistakin virheistä, eikä siten välttämättä ole täysin kypsä laajempaa yleistä käyttöä varten.