Neural modeling of audio effects

Abstract

Nowadays audio effects are key elements when it comes to musical production. Effects allow manipulation and modification of the given audio signal. The evolution of technology is bringing new tools to make and modify the sounds. Neural network and machine learning based approaches to audio effects have become increasingly popular in the recent years. For modelling the audio effects, the main focus is to produce a sound very similar to the target audio effect that is a lightweight model with a low inference cost. This thesis explores the design and training of neural network architectures to emulate specific analog audio devices using data. The proposed model is based on recurrent neural network, convolutional neural network and differentiable digital signal processing architectures. This thesis tries to emulate guitar amplifier effect. The result of the neural modelling confirms that the future of neural emulation is just beginning but has a bright future. The result of the emulation of guitar amplifier is recognizable and the differences between given target audio and the model’s output audio can be partly explained with the manually gathered data.

Nykyajan musiikintuotannossa äänitehosteet ovat keskeisiä elementtejä. Ääniefektit mahdollistavat tietyn äänisignaalin manipuloinnin ja muokkaamisen. Teknologian kehitys tuo mukanaan uusia työkaluja äänien tuottamiseen ja muokkaamiseen. Neuroverkkoihin ja koneoppimiseen perustuvat lähestymistavat äänitehosteisiin ovat kasvattaneet suosiotaan viime vuosina. Äänitehosteiden mallintamisessa pääpaino on tuottaa ääntä, joka on hyvin samankaltainen kuin kohteena oleva ääniefekti, joka on kevyt malli ja tuotantokustannukset ovat halvemmat. Tässä tutkielmassa keskitytään suunnittelemaan ja kouluttamaan neuroverkkoarkkitehtuureja tiettyjen analogisten äänentoistolaitteiden jäljittelyyn datasta. Ehdotettu malli perustuu rekursiiviseen neuroverkkoon, konvoluutioneuroverkkoon ja differentioituviin digitaalisen signaalinkäsittelyn arkkitehtuureihin. Tässä tutkielmassa pyritään jäljittelemään kitaravahvistimen efektiä. Neuraalisen mallinnuksen tulos vahvistaa, että neuraalisen jäljittelyn tulevaisuus on vasta alussa, mutta sillä on valoisa tulevaisuus. Kitaravahvistimen emuloinnin tulos on tunnistettavissa, ja annettujen kohdeäänien ja mallin tuottaman äänen väliset erot voidaan osittain selittää manuaalisesti kerätyillä tiedoilla.