Искусственный интеллект как авторизованный переводчик : Анализ ошибок в переводе юридического текста
Porkka, Ville (2024)
2024
Venäjän kielen, kulttuurin ja kääntämisen kandidaattiohjelma - Bachelor's Programme in Russian Language, Culture and Translation
Informaatioteknologian ja viestinnän tiedekunta - Faculty of Information Technology and Communication Sciences
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2024-10-28
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:tuni-202410289561
https://urn.fi/URN:NBN:fi:tuni-202410289561
Tiivistelmä
Tässä kandidaatintutkielmassa tutkitaan, kuinka tekoälypohjaiset konekääntimet suoriutuisivat auktorisoidun kääntäjän kokeen lakitekstiosiosta. Työn tarkoituksena on selvittää yleisesti saatavilla olevien konekääntimien nykytasoa sellaisenaan, ilman jälkieditointia.
Tutkimuskysymykset:
1. Voisivatko tekoälypohjaiset konekääntimet läpäistä auktorisoidun kääntäjän kokeen
lakitekstiosion?
2. Miten neuroverkosto-kääntimien ja laajoihin kielimalleihin perustuvien kääntimien tekemät virheet eroavat toisistaan? Kummat ovat parempia auktorisoituun kääntämiseen?
Kääntimiksi valikoituivat Google Translate yleisyytensä vuoksi, DeepL yleisesti hyvän laatunsa vuoksi, ja ChatGPT 4 esimerkkinä laajasta kielimallista / yleistekoälystä. Käännettävänä tekstinä toimii vuoden 2017 auktorisoidun kääntäjän kokeen lakitekstiosion teksti, joka tuli kääntää venäjästä suomeksi. Tavanomaisille kääntimille teksti annettiin suoraa sellaisenaan, yleistekoälylle laadittiin syöte, jonka pohjalta kääntää.
Käännöksiä arvioitiin käyttäen Opetushallituksen laatimia arviointikriteereitä auktorisoidun kääntäjän tutkinnon tehtäviä varten. Käännöksissä esiintyneet virheet pisteytettiin ja kategorisoitiin arviointikriteerien mukaan V-(viestintätilanne), S-(sisältö) ja H-(oikeakielisyys)virheisiin, sekä lieviin-, vakaviin- ja kriittisiin virheisiin. Lievästä virheestä saa 2, vakavasta 5 ja kriittisestä 10 virhepistettä.
Virheiden pisteytyksen perusteella yksikään käännin ei päässyt kokeesta läpi. Google Translate sai 115, DeepL 74 ja ChatGPT 58 virhepistettä, kun 28 oli suurin sallittu määrä. Google Translaten todettiin olevan laadultaan kaikin puolin huonoin. DeepL ja ChatGPT olivat tasavertaisempia, mutta ChatGPT teki vähemmän vakavia ja kriittisiä virheitä, joten sen suoritus oli paras. Virheistä 0 % oli V-virheitä, 38 % oli S-virheitä ja 62 % oli H-virheitä. Kääntimillä on siis enemmän ongelmia kieliopin ja oikeakielisyyden, kuin sisällön kääntämisen kanssa.
Tutkielman aiheita voi syventää esimerkiksi pro gradu -tutkielmassa, jossa mukaan voisi ottaa lisää eri kääntimiä, ja kääntämismetodia voisi muuttaa.
Tutkimuskysymykset:
1. Voisivatko tekoälypohjaiset konekääntimet läpäistä auktorisoidun kääntäjän kokeen
lakitekstiosion?
2. Miten neuroverkosto-kääntimien ja laajoihin kielimalleihin perustuvien kääntimien tekemät virheet eroavat toisistaan? Kummat ovat parempia auktorisoituun kääntämiseen?
Kääntimiksi valikoituivat Google Translate yleisyytensä vuoksi, DeepL yleisesti hyvän laatunsa vuoksi, ja ChatGPT 4 esimerkkinä laajasta kielimallista / yleistekoälystä. Käännettävänä tekstinä toimii vuoden 2017 auktorisoidun kääntäjän kokeen lakitekstiosion teksti, joka tuli kääntää venäjästä suomeksi. Tavanomaisille kääntimille teksti annettiin suoraa sellaisenaan, yleistekoälylle laadittiin syöte, jonka pohjalta kääntää.
Käännöksiä arvioitiin käyttäen Opetushallituksen laatimia arviointikriteereitä auktorisoidun kääntäjän tutkinnon tehtäviä varten. Käännöksissä esiintyneet virheet pisteytettiin ja kategorisoitiin arviointikriteerien mukaan V-(viestintätilanne), S-(sisältö) ja H-(oikeakielisyys)virheisiin, sekä lieviin-, vakaviin- ja kriittisiin virheisiin. Lievästä virheestä saa 2, vakavasta 5 ja kriittisestä 10 virhepistettä.
Virheiden pisteytyksen perusteella yksikään käännin ei päässyt kokeesta läpi. Google Translate sai 115, DeepL 74 ja ChatGPT 58 virhepistettä, kun 28 oli suurin sallittu määrä. Google Translaten todettiin olevan laadultaan kaikin puolin huonoin. DeepL ja ChatGPT olivat tasavertaisempia, mutta ChatGPT teki vähemmän vakavia ja kriittisiä virheitä, joten sen suoritus oli paras. Virheistä 0 % oli V-virheitä, 38 % oli S-virheitä ja 62 % oli H-virheitä. Kääntimillä on siis enemmän ongelmia kieliopin ja oikeakielisyyden, kuin sisällön kääntämisen kanssa.
Tutkielman aiheita voi syventää esimerkiksi pro gradu -tutkielmassa, jossa mukaan voisi ottaa lisää eri kääntimiä, ja kääntämismetodia voisi muuttaa.
Kokoelmat
- Kandidaatintutkielmat [8918]