Investigating the Influence of Context in the Use and Reception of Raw Machine Translation

Abstract

Tässä väitöskirjassa tarkastellaan editoimattomien konekäännösten käyttöä sellaisenaan tilanteissa, joissa vieraskielisestä tekstistä pyritään ymmärtämään mahdollisimman paljon tiettyä tarkoitusta varten. Englanniksi tällaista raakakonekäännösten käyttöä kutsutaan tutkimuksessa termillä ”gisting”. Teknologian kehittyminen ja internetissä vapaasti saatavilla olevien konekääntimien käytön yleistyminen viimeisten 15 vuoden aikana on johtanut konekääntämisen käyttäjämäärien räjähdysmäiseen kasvuun. Voidaankin sanoa, että konekääntäminen lienee yksi merkittävimmistä viimeaikaisista innovaatioista ihmisten välisessä viestinnässä. Ilmiön yleisyydestä ja tärkeydestä huolimatta sitä on kuitenkin tutkittu vasta vähän.

Väitöskirjan tavoitteena oli analysoida, miten raakakonekäännöksiä käytetään sellaisenaan erilaisissa konteksteissa, tunnistaa niitä tekijöitä, jotka näissä konteksteissa vaikuttavat raakakonekäännösten käyttöön ja vastaanottoon, ja lopuksi tarkastella teoreettisia viitekehyksiä, joiden avulla raakakonekäännösten käyttöä voidaan käsitteellistää ilmiönä. Väitöstutkimuksen kartoittava tutkimusote johti lopulta neljän kontekstin tarkempaan analyysiin. Nämä neljä kontekstia olivat keskenään erilaisia ja vaativat toisistaan poikkeavia tutkimusmenetelmiä. Useimmissa osatutkimuksissa käytettiin laadullisia menetelmiä; yhdessä osatutkimuksessa menetelmät olivat määrällisiä. Tutkimustulokset julkaistiin viidessä artikkelissa, jotka sisältyvät väitöskirjaan tämän yhteenvedon kanssa.

Tutkitut neljä kontekstia olivat verkkopohjainen konekääntäminen, raakakonekäännösten käyttö ammatillisessa ekosysteemissä, konekäännösvälitteinen tutkimushaastattelu ja konekääntämisen käyttö saavutettavuuden parantamiseksi. Verkkopohjaista konekääntämistä tarkastelevassa osatutkimuksessa laadittiin kysely, joka suunnattiin erään verkkopohjaisen konekääntimen käyttäjille. Tulokset osoittivat, että konekääntimen käyttäjäkunta oli erittäin monimuotoinen ja hyödynsi konekääntämistä monenlaisiin tarkoituksiin, joista yleisin oli väitöskirjan tarkastelema raakakonekäännösten käyttö sellaisenaan. Tyypillisin elämänalue, jolla vastaajat käyttivät konekääntämistä, oli opiskelu, toiseksi yleisin oli työ ja kolmanneksi yleisin vapaa-aika. Jokseenkin yllättäen osatutkimuksessa kävi ilmi, että suurin osa (83 %) vastaajista kertoi ymmärtävänsä konekäännetyn tekstin lähdekieltä edes jonkin verran, mikä saattaa kertoa siitä, että he käyttävät konekäännöksiä eri tavalla kuin perinteisiä ihmisten laatimia käännöksiä.

Toisessa tutkitussa kontekstissa tarkasteltiin immateriaalioikeuksien (IPR) parissa työskenteleviä patenttiasiantuntijoita, jotka käyttivät raakakonekäännöksiä säännöllisesti ymmärtääkseen vierailla kielillä laadittuja patenttiasiakirjoja. Tässä kontekstissa ympäröivä ekosysteemi muovasi ja tuki raakakonekäännösten käyttöä. Koska IPR-työhön ylipäänsä kuuluu merkittäviä riskejä, ekosysteemi tarjosi toimijoille tilaa ottaa huomioon myös raakakonekäännösten käyttöön liittyviä riskejä ja antoi tukea niiden sietämiseen. Raakakonekäännösten käyttöä pidettiin hyväksyttävänä menettelytapana ja sitä myös tuettiin. Osatutkimuksen toinen keskeinen löydös oli se, että patenttiasiantuntijat hyödynsivät omaehtoisia riskienarviointi- ja riskienhallintaprosesseja, joiden avulla he arvioivat, milloin ja missä tilanteessa raakakonekäännökseen voidaan turvautua. Osatutkimuksessa analysoitiin myös raakakonekäännösten käyttöä hajautetun kognition käsitteen avulla, mikä osoittautui hyödylliseksi lähestymistavaksi toiminnan ymmärtämiseen.

Kolmas konteksti käsitti aineiston keräämiseen tähtääviä tutkimushaastatteluja, jotka käytiin konekäännösvälitteisesti: haastattelija ja osallistujat siis kommunikoivat chat-sovelluksen avulla, johon oli integroitu konekäännin. Haastattelija ja osallistujat eivät puhuneet samaa kieltä, vaan he kirjoittivat viestejä omalla kielellään, jotka sovelluksen sisäinen konekäännin käänsi vastaanottajan kielelle. Menetelmä osoittautui lupaavaksi ja jatkotutkimuksen arvoiseksi. Lisäksi osatutkimuksessa tunnistettiin seitsemän seikkaa, jotka on syytä ottaa huomioon konekäännösvälitteisessä viestinnässä.

Viimeinen väitöstutkimuksessa tarkasteltu konteksti koski puutteita tiedon saavutettavuudessa, jonka vuoksi tietyt ihmisryhmät eivät voi osallistua yhteiskunnan toimintaan täysipainoisesti, erityisesti siitä syystä, että heillä ei ole riittävää osaamista tiedon julkaisukielessä. Tässä osatutkimuksessa tehtiin katsaus saavutettavuutta käsitteleviin tutkimuksiin ja hankkeisiin, jotka pyrkivät helpottamaan yhteiskunnan toimintaan osallistumista, terveyteen ja turvallisuuteen liittyvän tiedon saavutettavuutta sekä kulttuurin ja median saavutettavuutta. Tutkimuksessa kartoitettiin lupaavia uusia edistysaskeleita sekä eettisiä ja muita haasteita, joita liittyy konekääntämisen käyttöön saavutettavuuden parantamiseksi.

Väitöskirjan toinen tavoite oli tunnistaa niitä tekijöitä tutkituissa konteksteissa, jotka vaikuttivat raakakonekäännösten käyttöön ja vastaanottoon. Tutkimuksessa tunnistettiin yksitoista tällaista kontekstuaalista tekijää, ja ne jaoteltiin kolmeen ryhmään: käyttäjiin, käyttäjien tehtäviin ja tavoitteisiin sekä tekniseen ympäristöön ja organisaatioympäristöön liittyviin tekijöihin. Raakakonekäännösten käyttöön vaikuttaviin käyttäjien ominaisuuksiin lukeutui osaaminen lähde- ja kohdekielissä, perehtyneisyys konekäännettävän tekstin tekstikontekstiin sekä konekäännöslukutaidon taso. Käyttäjien tehtäviin ja tavoitteisiin liittyviin tekijöihin lukeutui taipumus täydentää raakakonekäännöksestä saatavaa tietoa lähdetekstissä olevalla multimodaalisella tiedolla, taipumus vahvistaa raakakonekäännöksen tuotos muilla konekäännöstyökaluilla, taipumus muokata lähdetekstiä paremman konekäännöksen saamiseksi sekä taipumus neuvotella raakakonekäännöksen merkitysestä muiden kanssa. Ympäristöön liittyviin tekijöihin lukeutui konekäännösten käyttöä helpottavat aputyökalut, konekääntämisen nauttima status ja legitimiteetti kyseisessä ympäristössä sekä tekstien merkityksen neuvotteluun tottuneen ja riskejä sietävän ympäristön tarjoamat affordanssit.

Lopuksi väitöskirjassa esitetään kolme viitekehystä raakakonekäännösten käytön käsitteellistämiseksi. Ilmiötä voidaan tarkastella ja analysoida kontekstuaalisten vaikutteiden viitekehyksen avulla, se voidaan käsitteellistää riskienhallintatoiminnaksi tai se voidaan nähdä hajautetun kognition viitekehyksen kautta. Väitöskirjassa esitetään näiden viitekehysten soveltamista sekä tieteellisessä tutkimuksessa että yritystoiminnassa, esimerkiksi raakakonekääntämisen soveltuvuuden arvioinnissa eri tilanteisiin, tuote- tai prosessikehityksessä tai konekäännöslukutaiton kehittämiseen tähtäävien ohjelmien kehittämisessä.

Väitöskirja tuottaa uutta tietoa konteksteista, joissa raakakonekäännöksiä käytetään sellaisenaan ja joita on aiemmin tutkittu vain vähän, jos lainkaan. Tutkimus korostaa kontekstin tärkeyttä raakakonekäännösten käytössä ja vastaanottamisessa. Se tarjoaa myös vaihtoehtoisia tapoja tarkastella ja analysoida raakakonekäännösten käyttöä ilmiönä.

This dissertation is concerned with how people use raw, unedited machine translation (MT) for “gisting,” or to access texts that are in languages they do not speak, with the aim of understanding as much of the text as is needed for a specific purpose. Technology improvements and the growth in popularity of free online MT tools over the past 15 years has led to an exponential expansion in the number of people using MT, arguably making it one of the most important recent innovations in human communication. However, despite the ubiquity and importance of the phenomenon, to date it has received little attention in research.

The aims of the dissertation were to analyze a limited number of contexts in which MT gisting takes place, to identify factors in those contexts that influence people’s use and reception of raw MT, and finally, to examine theoretical frameworks that can help to conceptualize the phenomenon of MT gisting. The exploratory approach of the dissertation eventually led to four different contexts being analyzed, each of which was unique and required distinct methods of study. Most of the studies relied on qualitative methods; one study was quantitative. Results were published in five articles, and the dissertation comprises those articles plus this dissertation summary.

The four contexts studied were online MT, the use of raw MT in a professional ecosystem, MT-mediated interviewing for research, and the use of MT to increase accessibility to information. The study on the online MT context involved a survey of users of one online MT tool, and the results revealed a very diverse user group who relied on MT for a variety of purposes, the most prominent of which was gisting. Study was the most popular area of life respondents reported using MT in, followed by work and leisure. A somewhat surprising finding was that a large majority (83%) reported having some level of understanding of the language they were translating texts from, a possible indication that they use raw MT in a different way than they use human translations.

In the second context, patent professionals working in the intellectual property rights (IPR) field used raw MT on a regular basis to understand patent documents that are in languages they do not speak. MT gisting in this context was shaped by the fact that it occurred inside an ecosystem that accommodated it. The general riskiness of IPR work provided affordances and a tolerance for the risk involved in using raw MT, and the practice of using raw MT was considered legitimate and supported. A second finding was that patent professionals employed a process of risk assessment and management in evaluating when and where to rely on raw MT. Finally, the use of raw MT in the context was analyzed through the concept of distributed cognition, and the concept was found to be an appropriate way to analyze and understand the practice.

The third context involved data-gathering interviews for research which were conducted via MT-mediated communication, meaning that the interviewer and participants communicated through a chat application with integrated MT. The interviewer and participants did not share a language; rather, each typed messages in their own language and those messages were machine-translated for the other participant. The study concluded that the method was promising and deserving of further study. It also uncovered seven considerations for using MT-mediated communications.

The final context concerned situations in which groups of people lack accessibility to the information they would need in order to participate fully in society, primarily due to a lack of competence in the languages in which information is published. The dissertation reviewed research and projects that aimed to increase accessibility to information and consequently, to improve access to civic life, health and safety information, and culture and media. It also explored promising new developments as well as challenges, including ethical ones, that are involved when using MT for increasing accessibility.

The second aim of the dissertation was to identify factors in the contexts studied that influenced people’s use and reception of raw MT. Eleven contextual influences were identified and classified as relating to users, their tasks and goals, or the technical and organizational environment. User qualities that influence MT gisting included users’ competences in the source or target languages, their familiarity with the textual context of the texts they were machine-translating, and their level of MT literacy. Factors that related to user tasks and goals included a tendency to access multimodal information in source texts to augment understanding of the raw MT, a tendency to verify raw MT output by using multiple MT tools, a tendency to adapt input to produce better MT output, and a tendency to negotiate the meaning of raw MT with others. Environmental aspects that affected MT gisting involved auxiliary technologies that augmented MT use, the status and legitimacy MT enjoys in the environment, and affordances provided by an environment that is accustomed to negotiating the meaning of texts and is tolerant of risk.

Finally, three different frameworks through which MT gisting can be conceptualized were proposed. The phenomenon can be viewed and analyzed through the framework of contextual influences, it can be conceptualized as an exercise in risk management, or it can be viewed through the framework of distributed cognition. It was proposed that the frameworks can be applied in both academic and industrial settings, for example, in future research, in evaluations of the suitability of raw MT for various use cases, in product or process development, or in the development of MT literacy programs.

The dissertation contributes new insights into some previously under-researched or unexplored contexts in which MT gisting is occurring. Its highlights and elevates the role of context in the use and reception of raw MT. Finally, it offers new alternatives for viewing and analyzing the phenomenon of MT gisting.