Kvantisoinnin vaikutukset kielimallien toiminnallisuuteen

Abstract

Tässä kandidaatintutkielmassa tarkastellaan kvantisoinnin (engl. quantization) vaikutuksia kielimallien toiminnallisuuteen. Kvantisointi on neuroverkkojen kompressointitekniikka, jossa neuroverkon osia muutetaan korkeamman tarkkuuden datatyypistä pienemmän tarkkuuden datatyyppiin tarkoituksena vähentää muistin- sekä tilankulutusta ja nopeuttaa päättelyä (engl. inference). Kvantisointi nopeuttaa päättelynaikaista suorituskykyä, sekä pienentää muistin sekä tilankulutusta metodista riippuen eri määrin.

Kvantisointi kuitenkin tiivistää informaatioita pienempään tilaan ja vaikuttaa neuroverkkojen toiminnallisuuteen riippuen kvantisointitekniikasta sekä siitä, kuinka pienen tarkkuuden datatyyppiin informaatioita kompressoidaan. Toiminnallisuuden haittavaikutukset näkyvät kielimallien kontekstuaalisessa ymmärtämisessä, dialogissa sekä itsestään kehittyvissä kyvyissä (engl. emergent abilities – EA). Toiminnallisuuden muutoksia voidaan mitata erilaisilla analysointimetodeilla, joista kerrotaan tutkielmassa.

Ensin tutkielmassa tarkastellaan hieman keskeisimpiä syitä miksi kvantisointi on hyödyllinen kompressointitekniikka sekä kvantisoinnin matemaattisia periaatteita. Sen jälkeen kerrotaan hieman kielimallien analysointimetodeista jonka jälkeen esitellään tulokset. Lopuksi yhteenveto ja johtopäätökset luvussa esitetään mahdollisia jatkotutkimuskohteita.