Luonnollista kieltä käsittelevien neuroverkkojen kehitysaskeleita: Kolmen neuroverkon vertailu

Abstract

Vuonna 2017 julkaistu Transformer-neuroverkkoarkkitehtuuri on tehostanut luonnollista kieltä käsittelevien neuroverkkojen suorituskykytestituloksia, ja Transformer-tyyppiset neuroverkot kuten BERT, XLNet ja RoBERTa ovat rikkoneet tuloslistojen ennätyksiä. Näiden mallien arkkitehtuurien tai koulutusmetodien vertailu on kuitenkin vaikeaa, sillä koulutusmateriaalin määrän ja koulutusajan kasvattaminen parantavat neuroverkon suoriutumista, eivätkä suorituskykyvertailut ota neuroverkon kouluttamisessa käytettyjä resursseja huomioon. Vertailen BERT:in, XLNet:in ja RoBERTa:n arkkitehtuureja, koulutusmetodeja ja koulutusmateriaalien määrää ja pohdin sitä, mitä ne voivat kertoa meille neuroverkkojen kouluttamisesta.