Dimensionality reduction in generating decision-based adversarial examples
Pesonen, Joni (2022)
Pesonen, Joni
2022
Master's Programme in Computing Sciences
Informaatioteknologian ja viestinnän tiedekunta - Faculty of Information Technology and Communication Sciences
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2022-11-11
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:tuni-202211048170
https://urn.fi/URN:NBN:fi:tuni-202211048170
Tiivistelmä
As the ever-increasing popularity of machine learning continues to rise, its reliability is of utmost importance. Despite the enormous progress and its excellent performance, it has been discovered that machine learning is vulnerable to so-called adversarial examples. While they are based on a naturally occurring machine learning phenomenon, they can be exploited by malicious attackers for their own purposes, as it is possible to generate them. In the decision-based attack category, the key to the more efficient generation of adversarial examples has been dimensionality reduction. However, the effect different dimensionality reduction methods and their magnitudes have in this generation process has been poorly researched.
The thesis provides a diverse view of the phenomenon and discusses the often exaggerated security concerns raised by adversarial examples before focusing more specifically on the decision-based attack scenario. We explore three main research questions. First, we explore the current state and challenges of decision-based attacks in the scientific literature. Secondly, we present a few dimensionality reduction methods that could be used for our purposes. Lastly, tests are implemented to quantify the differences the dimensionality reduction methods with their differently sized subspaces have on the adversarial example generation.
The study showcases these differences and identifies the turning point after which the dimensionality reduction starts to be detrimental. We provide novel ways to perform dimensionality reduction and discuss the advantages and disadvantages of the methods. We demonstrate that there is room for improvement in generating decision-based adversarial examples by utilizing more extensive dimensionality reduction than is customary in the scientific literature. Koneoppimisen laajamittaisen suosion kasvaessa sen toimintavarmuus tilanteesta riippumatta on äärimmäisen tärkeää. Valtavista edistysaskelista ja erinomaisista suorituksista huolimatta koneoppimisen on havaittu olevan haavoittuvainen niin kutsuttuja peukaloituja syötteitä kohtaan. Vaikka ilmiö pohjautuukin luonnolliseen koneoppimisen ilmiöön, voi pahansuopa hyökkääjä hyväksikäyttää kyseistä ilmiötä generoimalla peukaloituja syötteitä. Avain tehokkaampaan päätöspohjaisten hyökkäysten generoimiseen on ollut dimensioiden vähentäminen. Eri dimensioiden vähentämiseen keskittyvien menetelmien ja niiden suuruuksien vaikutusta tähän generoimiseen ei ole kuitenkaan tutkittu kovin syvällisesti.
Tässä työssä tarjoamme monipuolisen yleiskatsauksen peukaloiduista syötteistä ja käymme läpi niiden usein liioiteltuja turvallisuushuolia, minkä jälkeen keskitymme tarkemmin päätöspohjaisiin hyökkäyksiin. Tutkimme kolmea tutkimuskysymystä: ensiksi tutkimme tieteellisessä kirjallisuudessa esiintyvien päätöspohjaisten hyökkäysten nykytilaa sekä niiden kohtaamia haasteita. Sen jälkeen esittelemme muutamia tähän käyttötarkoitukseen soveltuvia menetelmiä dimensioiden vähentämiseen. Viimeisenä suoritamme kokeita mitataksemme, kuinka eri dimensioiden vähentämismenetelmät ja niiden erikokoiset aliavaruudet vaikuttavat peukaloitujen syötteiden generoimiseen.
Tutkielma esittelee menetelmien väliset erot ja havainnollistaa käännekohdan, jonka jälkeen dimensioiden vähentäminen alkaa haitata generoimista. Tuomme esiin uudenlaisia tapoja dimensioiden vähentämiseen ja teemme yhteenvedon eri menetelmien hyödyistä ja haitoista. Lisäksi osoitamme, kuinka päätöspohjaisten peukaloitujen syötteiden generoimisessa on parantamisen varaa hyödyntämällä aiempaa kirjallisuutta laajamittaisempaa dimensioiden vähentämistä.
The thesis provides a diverse view of the phenomenon and discusses the often exaggerated security concerns raised by adversarial examples before focusing more specifically on the decision-based attack scenario. We explore three main research questions. First, we explore the current state and challenges of decision-based attacks in the scientific literature. Secondly, we present a few dimensionality reduction methods that could be used for our purposes. Lastly, tests are implemented to quantify the differences the dimensionality reduction methods with their differently sized subspaces have on the adversarial example generation.
The study showcases these differences and identifies the turning point after which the dimensionality reduction starts to be detrimental. We provide novel ways to perform dimensionality reduction and discuss the advantages and disadvantages of the methods. We demonstrate that there is room for improvement in generating decision-based adversarial examples by utilizing more extensive dimensionality reduction than is customary in the scientific literature.
Tässä työssä tarjoamme monipuolisen yleiskatsauksen peukaloiduista syötteistä ja käymme läpi niiden usein liioiteltuja turvallisuushuolia, minkä jälkeen keskitymme tarkemmin päätöspohjaisiin hyökkäyksiin. Tutkimme kolmea tutkimuskysymystä: ensiksi tutkimme tieteellisessä kirjallisuudessa esiintyvien päätöspohjaisten hyökkäysten nykytilaa sekä niiden kohtaamia haasteita. Sen jälkeen esittelemme muutamia tähän käyttötarkoitukseen soveltuvia menetelmiä dimensioiden vähentämiseen. Viimeisenä suoritamme kokeita mitataksemme, kuinka eri dimensioiden vähentämismenetelmät ja niiden erikokoiset aliavaruudet vaikuttavat peukaloitujen syötteiden generoimiseen.
Tutkielma esittelee menetelmien väliset erot ja havainnollistaa käännekohdan, jonka jälkeen dimensioiden vähentäminen alkaa haitata generoimista. Tuomme esiin uudenlaisia tapoja dimensioiden vähentämiseen ja teemme yhteenvedon eri menetelmien hyödyistä ja haitoista. Lisäksi osoitamme, kuinka päätöspohjaisten peukaloitujen syötteiden generoimisessa on parantamisen varaa hyödyntämällä aiempaa kirjallisuutta laajamittaisempaa dimensioiden vähentämistä.