Monitehtäväoppiminen : Apple Inc. pörssidataan sovellettuna

Abstract

Tämän työn tarkoituksena on tutkia monitehtäväoppimisen soveltamista pörssiaineistoon. Työssä vertaillaan viittä eri mallia, joista kolme on yhden tehtävän malleja ja kaksi monitehtävämalleja. Yhden tehtävän malleja ovat Tukivektoriregressio (SVR), Pitkäkestoinen-lyhytkestomuisti-rakenne (LSTM) ja Transformer. Monitehtävämalleina on versiot LSTM ja Transformer malleista. Tukivektoriregressiota käytetään tutkimuksessa vertailukohtana muille malleille. Kaikki mallit pyrkivät mallintamaan Apple osakkeen hinnan logaritmista palautusarvoa. Monitehtävämallit eroavat yhden tehtävien malleista siten, että niissä on yksi ylimääräinen tehtävä ja kaksi täysin kytkettyä kerrosta lisää yhden tehtävän malliin verrattuna. Monitehtävämalleissa toinen tehtävä on Keskiarvoinen todellinen vaihtelu (ATR).

Mallien tuloksista huomataan, että yhden tehtävän mallit eivät pärjänneet vertailukohta mallia paremmin, vaan yli sovittivat helposti ja antoivat epäluotettavia tuloksia. Toisin kuin yhden tehtävän mallit, monitehtävämallit onnistuivat paremmin ja niiden virhearvot putosivat huomattavasti SVR mallin virheiden alle. Lisäksi monitehtävämallien koulutus oli tasaisempaa, eivätkä mallit ylisovittaneet koulutuksen aikana. Yhden tehtävän malleissa virhe alkoi koulutuksen aikana kasvaa, kun taas monitehtävämalleilla virhe jatkoi kulkua alaspäin. Parhaan tuloksen antoi monitehtävä Transformer.

Malleille suoritettiin myös niin sanottu aikainen pysäytys, jossa koulutus lopetetaan virheen kasvaessa. Koulutusdatan viimeiset 1000 tapahtumaa on otettu niin sanottuun validaatio dataan, jolla virheen suuruutta arvioidaan. Aikaisen pysäytyksen mallit suoriutuivat kuitenkin kaikki heikommin kuin alkuperäiset mallit. Tämä viittaa siihen, että viimeiset 1000 tapahtumaa sisältävät mallille tärkeätä informaatiota. Myös tässä tapauksessa monitehtävämallit pärjäsivät yhden tehtävän malleja paremmin ja Transformer antoi parhaat tulokset.