Comparable Corpora in Cross-Language Information Retrieval

Abstract

Kieltenvälisessä tiedonhaussa (engl. Cross-Language Information Retrieval, CLIR) pyritään etsimään relevantteja dokumentteja kyselyihin, jotka on esitetty eri kielellä kuin haettavat dokumentit. CLIR-järjestelmän käyttäjä voi tuottaa kyselyn esimerkiksi suomen kielellä (lähtökieli) ja hakea ruotsinkielisiä (kohdekieli) dokumentteja. Kieltenvälinen tiedonhaku on hyödyllistä muun muassa silloin, kun tiedonhakija ymmärtää kohdekielen tekstiä, mutta ei osaa tuottaa sitä. CLIR-järjestelmien kysyntä on kasvanut etenkin internetin nousun myötä, kun yhä enemmän tietoa on tarjolla yhä useammalla kielellä.

Kyselyn kääntämiseen käytetyn tietämyksen laatu on keskeistä kieltenvälisessä tiedonhaussa. Yksinkertaisin käännöstapa on korvata kyselyn sanat sanakirjasta löytyvillä käännösvastineilla. Toinen yleisesti käytetty tapa on hyödyntää käännöksessä monikielisistä tekstikokoelmista (korpuksista) hankittua tietämystä erilaisilla sanafrekvensseihin perustuvilla tilastollisilla menetelmillä. Näissä korpuksissa kahden kielen dokumentit on rinnastettu pareiksi siten, että rinnakkaiskorpuksissa (engl. parallel corpus) parit ovat toistensa käännöksi, kun taas vertailukorpuksissa (engl. comparable corpus) vastaavuus on heikompaa. Esimerkiksi Euroopan Unionin lakikokoelmaa on käytetty rinnakkaiskorpuksena; kukin dokumentti (lakipykälä) on käännetty usealle eri kielille. Toisaalta kokoelma ruotsin- ja suomenkielisiä Wikipedia-sivuja on esimerkki vertailukorpuksesta: artikkelit käsittelevät samoja asioita, mutta ne eivät ole toistensa käännöksiä. Sanakirjojen ja rinnakkaiskorpusten käännöstietämys on laadukasta, mutta joskus joudutaan turvautumaan vertailukorpuksiin, koska kyselyissä saattaa esiintyä luotettavammista lähteistä puuttuvia sanoja, joita ovat muun muassa harvinaisemmat erisnimet, uudet muoti-ilmaukset tai tietyn aihealueen erityissanasto. Vertailukorpusten käännöstietämys on huonompilaatuista, mutta heikommat rinnastukset helpommin tuotettavissa harvinaisemmille aihealueille ja kielipareille.

Väitöskirjatutkimuksessa esitetään uusia menetelmiä vertailukorpusten hankkimiseen, rinnastukseen ja niiden hyödyntämiseen kieltenvälisen tiedonhaun kyselynkäännöksessä. Hankintavaiheessa haetaan annetun aihealueen lähtö- ja kohdekielisiä dokumentteja internetistä. Rinnastusvaiheessa lähtökieliset dokumentit käännetään kohdekielelle käytettävissä olevilla käännösmenetelmillä, minkä jälkeen käännettyjä dokumentteja käytetään kyselyinä, joilla haetaan kohdekielen dokumenteista aiheeltaan vastaavia dokumentteja. Näin luodut rinnastukset muodostavat vertailukorpuksen, jota käytetään kyselynkäännöksessä hyödyntämällä tiedonhaun vektorimallia käänteisellä tavalla. Yleensä vektorimallia sovelletaan dokumenttihakuun, mutta nyt lähtökielen käännettävää sanaa ajatellaan kyselynä, jonka vastaukseksi haetaan kohdekielen sanoja, jotka mahdollisimman hyvin vastaavat lähtösanaa.

Väitöskirjassa esitettyjä menetelmiä arvioidaan tiedonhaun laboratoriomallin puitteissa. Tulokset osittavat, että esitellyillä menetelmillä voidaan parantaa CLIR-järjestelmän kykyä löytää relevantteja dokumentteja varsinkin, kun kyselyt käsittelevät aihealuetta, jonka sanastoa yleisemmät käännösresurssit (sanakirjat ja rinnakkaiskorpukset) eivät kata. Tällaisia aihealueita ovat muun muassa tekniikka (esimerkiksi geeniteknologia tai tietotekniikka) ja erilaiset alakulttuurit, joiden kieli ei pääse esiin virallisissa yhteyksissä. Väitöskirjan menetelmillä voidaan tuottaa myös käännöstietämystä kielille, joille ei ole saatavissa yleisempiä käännösresursseja.

Cross-language information retrieval (CLIR) enables users to express queries in a language different from the language of the documents to be retrieved. For example, a Finnish-speaking person could pose a query to a CLIR system in Finnish (the source language) to retrieve documents written in English (the target language). The language barrier is usually crossed by translating the query into the target language, after which the documents can be retrieved with the methods of monolingual information retrieval (IR).

Aligned text collections (corpora) are common query translation resources in CLIR. A parallel corpus is a collection where texts in one language are aligned with their translations in another language. The aligned texts of a comparable corpus are more loosely related. They are not translations, but share topics and include common vocabulary in the two languages. Both kinds of corpora can be used to train statistical translation models, but parallel corpora are preferred because more dependable translation knowledge can be derived from them. However, parallel corpora do not exist for all language pairs and domains. Hence, it is sometimes necessary to resort to noisier comparable corpora.

This thesis proposes new methods for the acquisition, alignment, and employment of comparable corpora. The acquisition method is based on language-aware focused web crawling, where web content written in specific languages and discussing specific topics of interest is obtained by employing the hyper-link structure of the web. In the alignment phase, the source language documents are used as CLIR queries to retrieve target language documents. The similarity of the query to the documents, and various other factors, are used as evidence to form alignments between the source and target language documents.

The constructed corpora were employed in query translation as a cross- language similarity thesaurus, a structure where target language words are ranked based on their similarity with a source language word that is given as input. The highest ranking words are assumed to be either translations of the input word or related to it in some other manner.

The methods were evaluated with extensive IR experiments that covered different language pairs, domains, and test data. The proposed CLIR approach was combined with approaches based on bilingual dictionaries. The combined approaches outperformed pure dictionary-based translation. In addition, the comparable corpus translation performed better in domain-specific CLIR than translation utilizing high-quality parallel corpora. This suggests that the proposed methods are particularly useful in domains where CLIR resources are scarce.