Katsaus latenttien diffuusiomallien hienosäätötekniikoihin

Abstract

Tässä kandidaattitutkielmassa tarkastellaan latenttien diffuusiomallien hienosäätötekniikoita, niiden perusteita, menetelmiä ja keskeisiä tuloksia. Latentit diffuusiomallit ovat syväoppimiseen pohjautuvia generatiivisia malleja, jotka ovat osoittaneet merkittävää potentiaalia kuvien luonnissa. Niiden avulla on mahdollista tuottaa realistisia ja yksityiskohtaisia kuvia teksti- tai kuvasyötteiden perusteella. Vaikka diffuusiomallit ovatkin tehokkaita, niiden suorituskykyä voidaan parantaa hienosäädöllä vastaamaan tarkemmin asetettuja vaatimuksia. Hienosäätö voi olla tarpeen, koska diffuusiomallit eivät tyypillisesti kykene tuottamaan useita kuvia samasta henkilöstä tai tilanteesta, eivätkä ne välttämättä osaa luoda vaadittua tyyliä tai yksityiskohtia. Mallit eivät myöskään osaa luoda kuvia henkilöistä tai esineistä, joita niiden koulutusdatassa ei ole ollut. Mallia on jatkokoulutettava pienemmällä, kohdennetulla datalla, jolla sille opetetaan halutut konseptit. Tässä tutkielmassa tarkastellaan eri hienosäätötekniikoiden, kuten täydellisen hienosäädön, ja parametritehokkaiden hienosäätömenetelmien, kuten Hypernetworksin, LoRAn, Textual Inversionin ja DreamBoothin vahvuuksia ja heikkouksia. Vertailussa keskitytään mm. resurssivaatimuksiin, koulutusnopeuteen ja lopputulosten laatuun. Tutkielman keskeinen tavoite on selvittää, mikä tekniikka sopii parhaiten tiettyihin käyttötarkoituksiin. Tutkielman tulokset osoittavat, että parametritehokkaat hienosäätömenetelmät ovat usein paras valinta tilanteissa, joissa resurssit ovat rajalliset tai koulutusaika on rajoitettu. LoRA ja Textual Inversion tarjoavat hyvän kompromissin laadun ja resurssien tarpeen välillä, kun taas DreamBooth on sopivin tilanteisiin, joissa laatu on ensisijainen tavoite ja resurssit eivät ole rajoittava tekijä.