Luonnollista kieltä käsittelevien neuroverkkojen kehitysaskeleita: Kolmen neuroverkon vertailu
Mikkonen, Pinja (2019)
Mikkonen, Pinja
2019
Tietojenkäsittelytieteiden tutkinto-ohjelma
Informaatioteknologian ja viestinnän tiedekunta - Faculty of Information Technology and Communication Sciences
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2019-12-10
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:tuni-201912066655
https://urn.fi/URN:NBN:fi:tuni-201912066655
Tiivistelmä
Vuonna 2017 julkaistu Transformer-neuroverkkoarkkitehtuuri on tehostanut luonnollista kieltä käsittelevien neuroverkkojen suorituskykytestituloksia, ja Transformer-tyyppiset neuroverkot kuten BERT, XLNet ja RoBERTa ovat rikkoneet tuloslistojen ennätyksiä. Näiden mallien arkkitehtuurien tai koulutusmetodien vertailu on kuitenkin vaikeaa, sillä koulutusmateriaalin määrän ja koulutusajan kasvattaminen parantavat neuroverkon suoriutumista, eivätkä suorituskykyvertailut ota neuroverkon kouluttamisessa käytettyjä resursseja huomioon. Vertailen BERT:in, XLNet:in ja RoBERTa:n arkkitehtuureja, koulutusmetodeja ja koulutusmateriaalien määrää ja pohdin sitä, mitä ne voivat kertoa meille neuroverkkojen kouluttamisesta.
Kokoelmat
- Kandidaatintutkielmat [8354]