LSTM- ja Transformer-mallien vertailu osakekurssien ennustamisessa

Abstract

Osakemarkkinat ovat yksi nykyaikaisen talouden kulmakivistä ja niiden käyttäytymisen oikein ennustaminen on mahdollisesti hyvin tuottoisaa. Lukuisat yritykset, sijoitusrahastot sekä yksilöt yrittävät jatkuvasti löytää uusia mahdollisia tapoja olla askeleen edellä markkinoita, jotta he voisivat minimoida sijoitusriskejä ja maksimoida mahdolliset tuotot. Osakemarkkinoiden ennustaminen on kuitenkin hyvin monimutkaista, ja siihen kehitetään ja sovelletaan jatkuvasti uusia tekniikoita ja teknologioita. Uusimpia tähän käytettyjä teknologioita ovat erilaiset syväoppimismallit, kuten LSTM- ja Transformer-pohjaiset arkkitehtuurit. Tutkimuksessa verrataan LSTM-malleja Transformer-malleihin osakemarkkinoiden ennustamisessa.

Tämä tutkimus on toteutettu kirjallisuuskatsauksena ja jakautuu kolmeen pääosaan. Ensimmäisen osan tavoitteena on selittää miten syväoppimismallit, kuten LSTM-mallit ja Transformer-mallit, toimivat yleisellä tasolla. Toisessa osassa selitetään yleisimmät käytännöt osakemarkkinoiden ennustuksessa syväoppimismalleilla, kuten ennustuksen kohteet ja mallien tehokkuuden vertailu. Lopuksi vertaillaan eri tutkimuksissa käytettyjä malleja, niiden käyttötarkoituksia sekä tutkimuksien tuloksia.

Tutkimusten tuloksista käy ilmi, että Transformer-mallit ovat yleisesti parempia käsittelemään aikasarjadataa kuin perinteisemmät LSTM-mallit, vaikka LSTM-mallit on kehitetty juuri tähän tarkoitukseen, mutta tulos ei ole yksiselitteinen. Yleisesti tutkimusten tuloksissa Transformer-mallien vuosittainen tuotto on suurempi sekä tasaisempi kuin LSTM-malleilla, mutta tähän löytyy poikkeuksia. Monissa tutkimuksissa Transformer-mallit ovat myös hyvin tärkeitä poimimaan osakekohtaista optimismia tekstipohjaisesta datasta, kuten uutisista tai kommenteista. Mallin valitseminen on kuitenkin vain osa ennustamisprosessia ja monet muut tekijät, kuten laadukkaan datan käyttäminen ja oikean ennustuksen kohteen valitseminen, ovat myös hyvin tärkeä osa ennustamisprosessia.

Stock markets are one of the cornerstones of modern economy, and correctly predicting their behavior can be potentially very lucrative. Numerous companies, investment funds, and individuals are constantly trying to find new possible ways to stay ahead of the market, so that they can minimize investment risk and maximize potential returns. Predicting stock markets is very complex and new techniques and technologies are continuously being developed and applied. The latest technologies used for this are various deep learning models. This research compares LSTM models with Transformer models in stock market prediction.

This study is conducted as a literature review and is divided into three main sections. The first part aims to explain, at a general level, how deep learning models, like LSTM and Transformer models, work. The second part outlines common practices in stock market prediction using deep learning models, such as prediction targets and model efficiency comparisons. Lastly, models used in various studies, their purposes, and the research results are compared.

The results of the studies reveal that Transformer models are generally better at handling timeseries data than the more traditional LSTM models, even though LSTM models were specifically developed for this purpose, but the result isn’t unambiguous. Usually, the annual returns of Transformer models are higher and more stable than those of LSTM models, but there are exceptions to be found. In many studies, Transformer models are also very important for capturing stockspecific optimism from text-based data like news or comments. However, choosing a model is just one part of the forecasting process, and many other factors, such as high-quality data and selecting the right prediction target, are also very important parts of the process.