Оценка качества машинного перевода: (перевод новостных текстов с русского на финский при помощи ChatGPT)

Abstract

В настоящей магистерской работе рассматривается качество машинного перевода, выполненного с помощью большой языковой модели ChatGPT, в сравнении с переводом, сделанным человеком. Цель исследования – выяснить, насколько тексты, созданные искусственным интеллектом, соответствуют требованиям профессионального перевода. В рамках исследования был проведён эксперимент: переводы четырёх новостных текстов с русского на финский язык были выполнены четырьмя магистрантами, после чего восемь других магистрантов редактировали эти переводы, не зная при этом, какой из текстов был машинным, а какой – человеческим. Оценка качества переводов осуществлялась на основе характера и количества редакторских правок, затраченного времени и субъективных оценок редакторов. При этом предполагалось, что большее число исправлений и длительное время редактирования указывают на более низкое качество исходного текста. Согласно отзывам редакторов, машинные переводы не уступали человеческим по читаемости и структуре. По шкале от 0 до 5 они получили, в среднем 4,4 балла за лёгкость чтения (по сравнению с 3,9 у человеческих), и 4,4 за соответствие новостному стилю (против 3,0). Кроме того, они редактировались быстрее – в среднем за 21 минуту против 37,6 минут – и требовали меньше вмешательств: 10,25 правок в среднем на один текст (всего 82) по сравнению с 18,5 правками (всего 148) в текстах, переведённых человеком. Однако это не всегда свидетельствовало о высоком качестве: в одном из машинных переводов была допущена грубая ошибка, искажающая смысл, что подчёркивает необходимость редакторского контроля. Человеческие переводы, как правило, точнее передавали содержание оригинала, но были менее однородными по стилю. Интересно, что большинство участников не смогли отличить машинный перевод от человеческого: из 16 случаев только в 3 они правильно определили, какой из переводов был машинным, а какой – человеческим; в 10 случаях ошиблись, а в 3 – затруднились с ответом. При этом машинный перевод принимался за человеческий 5 раз, и столько же раз человеческий – за машинный. В целом результаты показывают, что современные большие языковые модели способны создавать тексты, близкие по качеству к человеческим, особенно в жанре новостных текстов. Однако для профессионального использования по-прежнему требуется постредактирование, особенно в ситуациях, где важна точность передачи смысла. Исследование может быть полезно специалистам, работающим с машинным переводом, и тем, кто занимается оценкой его роли в современной переводческой практике.

Tässä pro gradu -tutkielmassa tarkastellaan ChatGPT-kielimallilla tuotetun konekäännöksen laatua verrattuna ihmisen tekemään käännökseen. Tavoitteena on selvittää, kuinka hyvin tekoälyn tuottamat tekstit vastaavat ammattimaisen käännöksen vaatimuksia. Tutkimuksessa neljä maisteriopiskelijaa käänsi venäjänkielisiä uutistekstejä suomeksi, minkä jälkeen kahdeksan muuta opiskelijaa editoi ne tietämättä, mitkä tekstit olivat kone- ja mitkä ihmiskäännöksiä. Laadun arviointi perustui korjausten määrään ja laatuun, editointiaikaan sekä osallistujien arvioihin. Oletuksena oli, että suurempi määrä korjauksia ja pidempi editointiaika viittaavat heikompaan laatuun. Tulokset osoittivat, että konekäännökset eivät jääneet jälkeen ihmiskäännöksistä luettavuuden ja rakenteen osalta. Ne arvioitiin luettavammiksi (4,4 vs. 3,9) ja uutistyylin mukaisemmiksi (4,4 vs. 3,0), niitä editoitiin nopeammin (21 vs. 37,6 min) ja niihin tehtiin vähemmän korjauksia (82 vs. 148). Yhdessä konekäännöksessä havaittiin kuitenkin vakava merkitystä vääristävä virhe, mikä korostaa toimituksellisen tarkistuksen tarvetta. Ihmiskäännökset olivat yleensä tarkempia sisällön kannalta, mutta tyyliltään vaihtelevampia. Suurin osa osallistujista ei onnistunut tunnistamaan käännöksen alkuperää: vain 3 vastausta 16:sta oli oikeita, ja kone- ja ihmiskäännökset sekoitettiin keskenään viidessä tapauksessa kumpaankin suuntaan. Tulokset viittaavat siihen, että suuret kielimallit kykenevät tuottamaan uutistyylisiä tekstejä, jotka lähestyvät laadultaan ihmiskäännöksiä. Ammattikäytössä konekäännökset vaativat silti edelleen jälkieditointia erityisesti merkityksen tarkan välittymisen varmistamiseksi.