Context effects on surprisal and information structure of spoken Finnish in language models;An information-theoretic perspective

Abstract

Humans draw information from different sources when processing language. Each source, including general knowledge, situational context, and linguistic discourse, can be reflected in the modern LLMs, whose next token probability distribution is highly context dependent. Information-theoretic studies have used LLMs to estimate information content of words, using the token-level probability distribution. Using the concepts from information theory, the token-level probability can be converted into surprisal, which can be used to quantify the information content of sequences, such as utterances or speech transcripts.

Previous research has not considered the effect of situational context available to human interlocutors when using statistical models to study the information structure of spoken language. The previous work has primarily focused on English with only slight coverage of other languages. Especially in Finnish, there is little coverage in studies and none of them explicitly address spoken language. In this thesis, the effect of situational context on spoken Finnish was investigated using LLMs trained on Finnish. Situational context was constructed using prompt engineering and knowledge extracted from the situations speakers faced in the Lahjoita Puhetta speech corpus. In addition, the effect on surprisal distribution within transcripts was examined from the perspective of the UID hypothesis.

The situational context consistently reduced surprisal across the transcripts, using measures at transcript, utterance, and token levels. In addition, the effects of speaker knowledge, derived from metadata on speaker age, sex, and dialect, were examined when inserted into the situational context, and were found to further reduce the surprisal. The effect of situational context was especially pronounced in terms of reducing the largest surprisal peaks in the transcripts. The largest peaks and the greatest surprisal reductions were found at the beginning of the transcripts, and the effect of situational context started diminishing rapidly towards later discourse. From the perspective of the UID hypothesis, the surprisal distribution was not uniform across time, but the situational context had a slight smoothing effect on the distribution.

The scalability of the effect was also investigated using three models of different sizes. The situational context reduced the token surprisal in each model. The model size was found to have a clear influence as the surprisal decreased more for the two bigger models, though the difference was small and the precise relationship remained unclear.

This thesis showed that information structure is shaped by situational context. Thus, it should be considered when studying the information structure of language.

Ihmisen kokonaiskuva tekstin ja puheen prosessointiin rakentuu monesta eri lähteestä, kuten yleisestä opitusta tiedosta, tilannekontekstista sekä vähitellen rakentuvasta kielellisestä diskurssista, eli siitä mitä keskustelussa on käyty. Suuret kielimallit ovat tilastollisia malleja, jotka turvautuvat eri tiedonlähteisiin ennustaessaan seuraavaa tokenia. Kielimallin tiedonlähteitä voidaan tarkastella ihmisten näkökulmasta, ja koulutusdataa voidaan ajatella yleisesti opittuna tietona, tilannekontekstia kielimallille syötettynä kehotteena ja kielellistä diskurssia syötteenä. Informaatioteoria puolestaan tarjoaa tavan määritellä ja mitata informaatiota kommunikoinnissa. Kielimallien token-tason todennäköisyydet voidaan muuntaa niin kutsutuiksi surprisal-arvoiksi, jotka kertovat tokenin informaatioarvon.

Aikaisempi tutkimus ei ole käyttänyt tilannekontekstia, kun kielimalleja on käytetty informaatiorakenteen tutkimiseen. Tilannekontekstin vaikutusta ei myöskään ole tutkittu puhutulla suomen kielellä. Tässä työssä tarkasteltiin tilannekontekstin vaikutusta puhutun suomen informaatiorakenteeseen käyttäen suomen kielellä koulutettuja kielimalleja. Tilannekonteksti rakennettiin kehotesuunnittelulla joka jäljitteli kokonaiskuvaa tilanteesta, jonka puhujat Lahjoita Puhetta -kokoelmassa kohtasivat. Lisäksi tarkasteltiin mallin koon ja puhujan metatietojen vaikutusta sekä informaatiojakaumaa transkripteissä sekä lausahduksissa.

Tilannekontekstilla oli selkeä positiivinen vaikutus informaatiojakaumaan, sillä se johdonmukaisesti vähensi tokenien surprisal-arvoa. Puhujan metatiedoilla oli vahvistava vaikutus, kun tilannekonteksti sisälsi puhujan iän, sukupuolen ja murteen. Tilannekontekstin vaikutus oli suurin transkriptin alussa ja se väheni hiljalleen edeltävien tokenien määrän kasvaessa. Tämä viittaa siihen, että malli käytti alussa tilannekontekstia mutta myöhemmin kielellinen diskurssi oli pääasiallinen informaationlähde. Informaatiojakauma ei kuitenkaan saavuttanut UID-hypoteesin olettamaa tasaista jakaumaa, mutta kontekstilla havaittiin olevan tasaava vaikutus transkripteissä.

Mallin koon vaikutusta tarkasteltiin kolmella erikokoisella mallilla. Positiivinen vaikutus havaittiin kaikilla malleilla, mutta kaksi suurempaa mallia hyötyi siitä enemmän. Mallin koon ja vaikutuksen tarkka suhde jäi kuitenkin epäselväksi tämän tutkimuksen perusteella.

Tämä työ osoitti, että tilannekontekstia tulisi käyttää, kun kielimallilla tutkitaan informaatiorakennetta. Kuvaavalla ja informatiivisella tilannekontekstilla saavutettiin selkeä parannus informaatiojakaumaan.