Tilastollisen luonnollisen kielen käsittelyn mallien IBM-malli 1 ja IBM-malli 2 laadun ja kouluttamisen vertailu

Bärlund, Dani (2023)
 
Avaa tiedosto
Lataukset: 



Bärlund, Dani
2023

Matematiikan ja tilastotieteen kandidaattiohjelma - Bachelor's Programme in Mathematics and Statistics
Informaatioteknologian ja viestinnän tiedekunta - Faculty of Information Technology and Communication Sciences
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2023-05-16
Näytä kaikki kuvailutiedot
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:tuni-202305035080
Tiivistelmä
Tilastolliset käännösmallit ovat osa tilastollisen luonnollisen kielen käsittelyä, millä
voidaan kääntää sanoja tai lauseita lähtökielestä kohdekieleen. Tutkielman aiheena
on ensimmäisten tilastollisten käännösmallien, eli IBM-mallien 1 ja 2 soveltaminen Euroopan parlamentin saksa-englanti-korpukseen vuodelta 1996-2011. Tutkimuskysymyksenä on mallien väliset erot käännösten laadussa sekä kouluttamisen
vaativuudessa. Vastauksia kysymyksiin saadaan vertaamalla mallien käännösten todennäköisyyksiä sekä perplexity-testauksen arvoja.
Tutkielman tärkein tulos on IBM-mallin 2 huomattavasti parempi kyky kääntää
kokonaisia lauseita suhteessa IBM-malliin 1. Mallien käyttäytyminen käännösten todennäköisyyksissä vastasi odotuksia ja tulokset tuottivat selviä eroja mallien välille.
Perplexityn vertailu vahvisti muita havaintoja, mutta ei tuottanut tutkimuskysymyksen kannalta uusia tuloksia. Johtopäätös on se, että IBM-malli 2 on kaikin tavoin
parempi kuin IBM-malli 1 ja kuuluisi yleensä tulla valituksi.
Kokoelmat