Kuvanmyrkytyksen vaikutukset LoRA–mallien kouluttamiseen FLUX.1 AI -mallissa

Abstract

Nykyiset teksti-kuvaksi kuvangenerointimallit ja niiden hienosäätö LoRA-malleilla mahdollistaa taiteilijoiden kuvien käyttämisen näiden työkalujen kehitykseen ilman korvausta tai tekijänoikeuksien haltijoiden suostumusta. Kuvanmyrkytystyökalut pyrkivät vastaamaan tähän epäkohtaan tarjoamalla taiteilijoille tavan suojata kuviaan luomalla kuviin muutoksia, jotka estävät ja pilaavat mallien koulutuksen, jos niitä käytetään tekoälymallien koulutuksen tietoaineistossa. Tutkimuksen tavoitteena on tutkia ja vertailla, miten tunnetuimmat kuvanmyrkytystyökalut kuten Nightshade, Glaze 2.1 ja MistV2 vaikuttavat LoRA-mallien koulutukseen FLUX.1-tekoälymallin LoRA-koulutuksessa, ja miten niiden luomat muutokset vaikuttavat kuvien hyödyntämiseen arkikäytössä. Tietoaineistona koulutuksessa käytettiin 25 kuvaa mallille entuudestaan tuntemattomasta konseptista. Vertailu tehtiin suorittamalla ensin puhdas koulutus ja sen jälkeen koulutus toistettiin eri myrkytystyökaluilla ja myrkytysasteilla. Myrkytyksen onnistuminen arvioitiin semanttisen ja tekstuurisen häviön kautta. Tutkimuksessa havaittiin myrkytyksen joillain työkaluilla ja asetuksilla heikentävän LoRA:n laatua ja aiheuttavan satunnaisia epäonnistumisia kuvien luonnissa jo 20 % myrkytysasteella, mutta usein edes 100 % myrkytys ei täysin estänyt kuvien käyttöä koulutuksessa. Lopputuloksena voidaan arvioida myrkyttämisen Glaze 2.1- ja MistV2 työkaluilla aiheuttavan parhaimmillaan merkittävää haittaa koulutukselle, mutta useimmilla asetuksilla sekä kaikilla kokeilluilla Nightshade-työkalun asetuksilla vaikutus koulutuksen onnistumiseen jää vähäiseksi.