The Role of Depth in Image Deblurring : Using Deep Networks

Abstract

When a camera is moved during the exposure, the image taken becomes blurred. The blur of the image is undesirable as it washes out details. Deblurring is the task of restoring the detail that is lost to the blur. State-of-the-art methods use deep neural networks to perform this task.

I explore different blur models, and they show that the blur process is affected by the depth of the scene. Under parallax motion, objects close to the camera will experience more blur than objects farther away. The depth provides edges and countours of 3D structures, which benefit the deblurring process. Including the depth of the scene in the input to a deep neural network has been shown in previous studies to increase the network's accuracy. Those studies have used monocular depth estimation, which is prone to artifacts. It is unclear what the impact of high-quality depth is for deblurring and the optimal depth representation has remained an open question.

To answer the question, I extend a dataset to make it large enough for training deep neural networks. The dataset consists of blurry images, clear images and depth maps. I create the dataset by simulating three-dimensional scenes in the game engine Unity. The depth maps are sharp with ground-truth depth that has been normalized to cover only the depth range of the scene. I transform the depth into four different representations: linear, logarithmic, parallax and encoded linear. Parallax is the difference in position of an object in two images taken with a camera that has moved without rotating. The parallax is inversely proportional to the depth. The encoded depth shows whether the model can utilise a depth given in a complicated representation.

From a previous study, I adopt a deep neural network architecture that incorporates depth to improve deblurring. The neural network is trained on the introduced dataset for each of the four depth representations, and its performance is evaluated with standard image quality metrics.

The experimental results show that depth is indeed a beneficial signal, but the choice of depth representation has limited effect on accuracy when using deep neural networks to perform deblurring. Not including any depth information results in worse accuracy, confirming previous studies. Nevertheless, depth representations with higher resolution and finer detail lead to slightly better deblurring accuracy. This suggests that deep deblurring networks exploit the sharp structural cues in the depth map more than the motion patterns that are dependent on the depth.

När en kamera rör på sig under exponeringen blir bilden suddig. En suddig bild är oönskad eftersom den tappar dess detaljer. Då man återställer skärpan av en suddig bild tar man fram detaljerna som suddats ut. Nyaste forskning använder djupa neuronnät för att återställa skärpan.

Jag behandlar flera matematiska modeller av oskärpa och där framkommer det att djupet påverkar bildens oskärpa. Föremål som är närmare kameran blir suddigare än föremål längre borta då kameran rör sig sidlänges. Djupet visar kanter och konturer för 3D strukturer, vilket hjälper skärpningsprocessen. Det har visats att resultatet blir skarpare om man också ger bildens djup som indata åt ett djupt neuronnät. Tidigare forskningen använde monokulär uppskattning av djupet, vilket leder till sämre kvalitet. Påverkan av hög kvalitets djup på återställning av skärpan är okänd och optimala representationen av bildens djup har förblivit en öppen fråga.

För att svara på frågan, utvidgar jag en datamängd för att göra den tillräckligt stor för att lära djupa neuronnät. Datamängden består av suddiga bilder, skarpa bilder och bildernas djup. Jag skapar datamängden genom simulation av tredimensionella rum i spelmotorn Unity. Bildens djup är skarpt och det normeras till att täcka rummets variation. Jag förvandlar djupet till fyra olika representationer: lineär, logaritmisk, parallax och kodad lineär. Parallax är skillnaden i position av ett föremål mellan två bilder när kameran har förflyttats utan att rotera kameran. Parallaxen är omvänt proportionell med bildens djup. Kodade lineära representationen visar hur bra neuronnätet kan lära sig en komplicerad representation av djupet.

Som djupt neuronnät väljer jag, ur tidigare forskning, en arkitektur som utnyttjar bildens djup för att återställa skärpan. Djupa neuronnätet är lärt med ovannämnda datamängden för de fyra olika djupets representationer. Resultaten jämförs med hjälp av standardmått för bildkvalitet.

Mina experiment visar att bildens djup är visserligen en gynnsam signal, men valet av representation för bildens djup har begränsad påverkan på skärpan då man använder djupa neuronnät. Utan information av djupet är resultatet suddigare, vilket stärker tidigare forskning. Likväl, representationer för djupet med bättre upplösning och noggrannare detaljer leder till en aning bättre skärpa. Detta tyder på att de djupa neuronnät som återställer skärpa utnyttjar djupets skarpa strukturella signaler mer än de rörelsemönster som är beroende av djupet.

Kun kameraa liikauttaa valotuksen aikana, kuvasta tulee sumea. Sumea kuva on epämieluinen sillä se menettää yksityiskohtansa. Sumeuden poisto palauttaa yksityiskohdat, jotka hävisivät sumeuteen. Parhaat menetelmät käyttävät syviä neuroverkkoja sumeuden poistoon.

Esittelen eri matemaattisia malleja sumennuksesta ja niistä selviää, että näkymän syvyys vaikuttaa kuvan sumeuteen. Parallaksin takia kameraa lähempänä olevat esineet sumeutuvat enemmän kuin kauempana olevat. Syvyys näyttää kolmeulotteisten rakenteiden reunat ja ääriviivat, jotka auttavat sumeuden poistossa. Aiemmissa tutkimuksissa on havaittu, että antamalla syvälle neuroverkolle näkymän syvyystiedon tulos paranee. Käytetty syvyystieto oli monokulaarisesti arvioitu, jolloin siihen jää virheitä. Korkealaatuisen syvyyden vaikutus on epäselvä ja paras syvyyden esitys on jäänyt avoimeksi kysymykseksi.

Vastatakseni kysymykseen laajennan erään tietoaineiston riittävän laajaksi, että sillä pystyy opettamaan syviä neuroverkkoja. Tietoaineisto koostuu sumeista kuvista, terävistä kuvista ja näkymien syvyyksistä. Luon tietoaineiston simuloimalla eri kolmiulotteisia näkymiä pelimoottori Unityssä. Näkymän syvyys on terävä ja normalisoitu näkymän vaihteluvälille. Muunnan syvyyden neljään eri esitykseen: lineaariseen, logaritmiseen, parallaksiin ja koodattuun lineaariseen. Parallaksi on ero esineen paikassa kahden kuvan välillä, kun kamera on liikkunut ilman että sitä on pyöritetty. Parallaksi on kääntäen verrannollinen syvyyteen. Koodattu lineaarinen esitys näyttää pystyykö malli käyttämään syvyyden esitystä, joka ei ole annettu selkeässä muodossa.

Mallin arkkitehtuuriksi valitsen aiemmassa tutkimuksessa käytetyn syvän neuroverkon, joka käyttää syvyystietoa. Opetan neuroverkon neljällä edellä mainitulla syvyysesityksellä käyttäen laajennettua tietoaineistoa. Tulosten terävyyttä vertaan vakio kuvanlaatumittareilla.

Kokeet näyttävät että vaikka syvyystieto on hyödyllinen vihje, on syvyyden esityksen valinnalla vain rajallinen vaikutus tuloksen terävyyteen syviä neuroverkkoja käyttäessä. Ilman syvyystietoa tulokset ovat merkittävästi huonompia, vahvistaen aiemmat tutkimukset. Kuitenkin, syvyysesitykset, joissa parempi resoluutio ja tarkemmat yksityiskohdat, johtivat hiukan terävempään tulokseen. Tämä viittaa siihen, että sumeutta poistavat syvät neuroverkot hyödyntävät syvyyskartassa olevia teräviä rakenteellisia vihjeitä enemmän kuin syvyydestä riippuvia liikekuvioita.