Word–Image Interaction in Technical Translation : Students Translating an Illustrated Text

Abstract

Tämä tutkielma tarkastelee kuvan ja sanan vuorovaikutusta teknisten tekstien kääntämisessä. Tutkielmassa analysoidaan sekä empiiristä että teoreettista aineistoa. Empiirisissä analyyseissa tutkitaan, kuinka joukko maisterivaiheen kääntäjäopiskelijoita käänsi kuvitetun teknisen tekstin englannista suomeen. Analyysien aineisto koostuu opiskelijoiden käännöksistä ja käännöskommenteista, jotka opiskelijat kirjoittivat käännöstyönsä aikana. Teoreettisissa analyyseissa vertaillaan kognitiivisia käännöstutkimuksia ja kuvitettujen tekstien tulkintaa käsitteleviä kognitiivisia tutkimuksia, sekä arvioidaan kuvan ja sanan suhteesta muodostettuja teorioita vertaamalla niitä empiirisestä aineistosta muodostettuihin havaintoihin.

Tutkielmalla on kaksi keskeistä tavoitetta. Näistä ensimmäinen on valottaa kuvallisen informaation roolia teknisten tekstien kääntämisessä. Tutkimuksessa tarkastellaan, kuinka kuvan ja sanan vuorovaikutusta teknisten tekstien kääntämisessä voidaan kuvata teoreettisesti, kuinka opiskelijat itse kuvailevat tätä vuorovaikutusta ja kuinka heidän käännösratkaisunsa mahdollisesti heijastavat tätä vuorovaikutusta. Tutkimuksen toinen keskeinen tavoite on osoittaa, että kuvitettujen tekstien käännöksiä tutkimalla voidaan saada uutta tietoa kuvan ja sanan vuorovaikutuksesta myös yleisemmällä tasolla: käännösten tutkimus tarjoaa mahdollisuuden tarkastella multimodaalista merkityksenrakentumista empiirisesti.

Molemmat tutkielman empiiriset aineistot heijastavat kääntäjien tulkintoja multimodaalisesta tekstistä. Käännöskommentissa kääntäjä pohtii syitä ratkaisujensa takana, ja kommenttia analysoimalla voidaan pohtia, kuinka kääntäjän tulkinta tekstistä rakentui. Myös käännös heijastaa kääntäjänsä tulkintaa tekstistä (esim. Muñoz Martin 2010, 175–176), ja voidaan ajatella, että multimodaalisen tekstin käännös kuvastaa kääntäjän tulkintaa useamman eri moodin yhdistelmästä.

Multimodaalisuustutkimuksessa on useimmiten sovellettu teoreettisia ja menetelmällisiä lähestymistapoja, jotka perustuvat kielitieteeseen: niissä kaikkia moodeja analysoidaan kielitieteellisten käsitteiden avulla. Tämä tutkielma tarjoaa multimodaalisuuden tarkasteluun vaihtoehtoisen teoreettis-analyyttisen viitekehyksen, jota tässä työssä kutsutaan kognitiivisesti orientoituneeksi lähestymistavaksi. Kielitieteellisesti orientoitunut multimodaalisuustutkimus tarkastelee kuvan ja sanan vuorovaikutusta peilaamalla sitä teorioihin, jotka selittävät verbaalisen kielen rakentumista. Kognitiivisesti orientoitunut multimodaalisuustutkimus puolestaan tarkastelee kuvan ja sanan vuorovaikutusta peilaamalla sitä siihen, mitä kognitiotutkimus on osoittanut näiden moodien vuorovaikutuksesta kuvitettujen teknisten tekstien tulkinnassa. Lähestymistavan lähtökohtana on, että kognitiotutkimusten perusteella voimme olettaa näiden tekstien lukijoiden integroivan verbaalista ja visuaalista informaatiota luentansa aikana, ja että tästä syystä lukijoiden tulkintoja tarkastelemalla voidaan tehdä päätelmiä multimodaalisesta merkityksenrakentumisesta.

Tutkielma koostuu johdanto-osiosta sekä neljästä aiemmin julkaistusta tieteellisestä artikkelista. Ensimmäisessä artikkelissa muotoillaan teoreettinen viitekehys, joka kuvaa, kuinka kääntäjän voidaan olettaa rakentavan tulkintansa kuvitetusta teknisestä tekstistä. Toinen artikkeli esittää käännöskommenttien analyysin, jonka tarkoituksena on selvittää, kuinka erilaisin tavoin kääntäjäopiskelijat käsitteellistivät verbaalisen ja visuaalisen informaation vuorovaikutusta käännösprosessinsa aikana. Artikkelin menetelmänä on fenomenografinen analyysi, joka pyrkii havainnollistamaan, kuinka erilaisilla tavoilla ihmiset kokevat, ymmärtävät ja käsitteellistävät kohtaamiaan ilmiöitä. Kolmannessa artikkelissa tutkitaan opiskelijoiden käännöksiä valintaverkkoanalyysin (Choice Network Analysis) avulla. Analyysin tavoitteena on selvittää, perustuivatko opiskelijoiden käännökset pelkästään sanalliseen informaatioon vai kuvan ja sanan yhdistelmästä tehtyyn tulkintaan. Neljäs artikkeli asettaa tutkimuksen laajempaan, poikkitieteellisen multimodaalisuustutkimuksen viitekehykseen ja pyrkii osoittamaan käännöstieteellisen tutkimuksen annin multimodaalisen merkityksenrakentumisen tutkimukselle.

Tutkimuksen tuloksista voidaan päätellä, että kuvitetun tekstin kääntämisessä ei ole kyse pelkästään verbaalisen informaation välittämisestä kieleltä toiselle. Tutkimuksen empiiriset analyysit osoittivat, että lähdetekstin kuvat vaikuttivat lähdetekstistä tehtyyn tulkintaan useilla tavoilla, ja että kuvat osaltaan määrittelivät, kuinka verbaaliset elementit kulloinkin käännettiin. Analyysit osoittivat, että kuvitetun tekstin lukija (kääntäjä) saattaa pyrkiä integroimaan visuaalista ja verbaalista informaatiota silloinkin, kun kuvat ja sanat ovat keskenään ristiriidassa. Tutkimuksen anti käännöstieteen ulkopuoliselle multimodaalisuustutkimukselle kumpuaa työssä esitetystä uudesta teoreettis-analyyttisesta viitekehyksestä ja sen avulla tehdyistä havainnoista. Tutkimus osoittaa, että kuvan ja sanan vuorovaikutus on monisyinen, ennalta-arvaamaton prosessi, jota ei aina ole mahdollista mallintaa etukäteen laadittujen kategorioiden avulla, kuten useissa aiemmissa tutkimuksissa on esitetty.

This dissertation analyzes word–image interaction in technical translation by examining both empirical and theoretical material. The empirical analyses of the study examine how a group of Master’s level translation students translated an illustrated technical text from English into Finnish. Its data consists of the students’ translations as well as the translation diaries the students wrote during the translation assignment. The theoretical analyses of the dissertation consist of comparing cognitive studies of illustrated text comprehension with cognitive studies of translation, as well as evaluating theories of word–image interaction by comparing them to the insights gained during the empirical analysis.

The study has two central aims. First, it aims to shed light on the role of images in technical translation. It examines how word–image interaction in technical translation could be modelled theoretically, analyzes how the interaction is described by translation students, and investigates if and how the interaction is reflected in their translation solutions. By doing so, the study aims to further shift the traditional linguistic focus of Translation Studies towards a more multimodally-informed direction. The second aim of the study is to show that examining the translation of illustrated texts can inform research into word–image interaction also on a more general level – that research into translation offers one possible means to exemplify multimodal meaning construction in an empirical manner. The two types of empirical data examined in the present study are examples of products that reflect translators’ interpretations of a multimodal text. A translation diary is a document in which the translator reflects on reasons behind the translation solutions, and can therefore be used to shed light on how the translator’s interpretation was constructed. A translation, in turn, always reflects the translator’s interpretation of the text (e.g. Muñoz Martin 2010, 175–176). A translation of a multimodal text hence reflects how the translator interpreted the combination of the modes.

The theoretical and methodological approaches that are usually adopted in multimodally-oriented research are linguistically-inspired: they employ linguistic concepts to the analysis of all of the modes involved. The present study has adopted an alternative theoretical-analytical approach, referred to as a cognitively-grounded approach to multimodality. The linguistically-grounded approaches to multimodality describe how meaning is constructed from words and images based on theories of how verbal language functions. A cognitively-grounded approach describes how meaning is constructed from words and images based on what research into human cognition has suggested about the way in which we interpret the combination of words and images in illustrated technical texts. The starting point of the approach is that, based on this research, we may assume that the readers of such texts integrate words and images as they read, and that, for this reason, their interpretations reflect the way in which they interpreted the combination of the modes.

The dissertation consists of a summary and four previously published academic articles. The first article outlines a cognitively grounded theoretical framework that aims to describe how a translator’s interpretation of an illustrated technical text is likely to unfold. The second article presents the analysis of the translation diaries, which aims to characterize the variation in the ways in which the participants conceptualized the interaction of verbal and visual information while translating the multimodal text. The research approach adopted for this purpose is phenomenography, which sets out to map the different ways in which various aspects of the world are experienced, conceptualized, and understood by different people. The third article examines the students’ translations by means of Choice Network Analysis. The article aims to assess if the translations of the multimodal source text were based entirely on verbal information or on a negotiation of meaning from two different modes, the verbal and the visual. The fourth article situates the study in a wider scope of multimodality and aims to demonstrate the value of translational inquiry in the examination of multimodal meaning construction in an interdisciplinary context.

The study concludes that when dealing with illustrated material, translation should not be thought of as entirely verbal activity. The empirical analyses of the study strongly suggest that images played a significant role in source text comprehension and that images defined the way in which elements of the verbal text were translated. The analyses conclude that readers (translators) can make an effort to map visual and verbal information onto each other even when words and images contest or contradict each other. As for research into multimodality in an interdisciplinary context, the contributions of the study stem from working towards establishing novel theoretical and analytical approaches to multimodality. The study argues that word–image interaction is an unpredictable process that cannot always be modelled based on ready-made categories, as is done in several previous studies.