Kielen tunnistus koneoppimismenetelmillä

Abstract

Koneoppimismenetelmien avulla aineistosta voidaan irrottaa piirteitä ja luokitella se eri luokkiin näiden piirteiden perusteella. Erilaisia piirteenirrotus- ja luokittelumenetelmiä hyödyntämällä on mahdollista esimerkiksi tunnistaa kirjoitetusta tekstistä sen kieli. Tässä työssä esitellään erilaisia ohjattua oppimista käyttäviä koneoppimismenetelmiä ja kokeillaan niiden soveltuvuutta kielen tunnistamiseen. Työssä käytettyjä piirteenirrotusmenetelmiä ovat TF-IDF ja n-gram, kun taas luokitteluun käytettyihin menetelmiin kuuluvat random forest, logistinen regressio ja tukivektorikone.

Algoritmien esittelemisen lisäksi käydään vaihe kerrallaan läpi kielen tunnistuksessa tapahtuva koneoppimisprosessi. Työssä esitetään testauksen tulokset ja niiden pohjalta jokaisen menetelmän suoriutumista arvioidaan. Tutkimuksen perusteella nähdään, että kaikki tässä työssä käsitellyt piirteenirrotus- ja luokittelumenetelmät soveltuvat hyvin tekstin luokitteluun kirjoituskielen perusteella.