Suurten kielimallien hyödyntäminen verkkosivujen A/B-testauksessa

Abstract

Tässä kandidaatintyössä esitellään A/B-testauksen perusteita ja kuvataan, miten suuret kieli- mallit (engl. large language models, LLM) toimivat. Työn tavoitteena oli löytää, miten suuria kieli- malleja voidaan hyödyntää verkkosivujen A/B-testausprosessin optimoimisessa.

Viime vuosina tapahtunut kehitys tekoälyn saralla on ollut nopeaa. Erityisesti suuriin kielimal- leihin pohjautuvat chat-pohjaiset avustajat, kuten OpenAI:n kehittämä ChatGPT, ovat mullistaneet sen, kuinka tekoälyn avulla voi kuka tahansa tuottaa tekstiä vaivattomasti. Suurten kielimallien mukanaan tuoma uusi teknologia luo lukuisia mielenkiintoisia mahdollisuuksia tehostaa toimintaa eri aloilla.

A/B-testaus on menetelmä, jolla pyritään löytämään esimerkiksi verkkosivuille tehtäviä muu- toksia, joilla organisaation tavoitteet saavutettaisiin paremmin. Tällaisiin tavoitteisiin voi kuulua esimerkiksi se, että verkkosivulla vierailevista käyttäjistä entistä suurempi osa saadaan rekiste- röitymään palvelun käyttäjäksi. Lyhyesti kuvailtuna testausprosessiin kuuluu se, että luodaan yksi tai useampi vaihtoehtoinen versio vaikkapa verkkosivulla olevasta tekstisisällöstä ja sivustolla vie- railevat käyttäjät jaetaan tasaisesti satunnaisryhmiin, joille näitä eri versioita kohdennetaan. Kun dataa on kerätty riittävästi siitä, miten eri versiot onnistuvat asetetun tavoitteen saavuttamisessa, voidaan jatkossa ottaa käyttöön parhaiten menestynyt versio.

Tutkimusten mukaan A/B-testauksella voidaan saavuttaa rahassa mitattavia ja käyttäjätyyty- väisyydessä ilmeneviä hyötyjä. Tämän vuoksi monille organisaatioille olisikin hyödyllistä tehdä A/B-testausta tuotteilleen. Suurissa ohjelmistoyrityksissä on jo vuosikymmenten ajan käytetty A/B- testausta parantamaan tuotteita sekä niiden käyttökokemusta. Itse A/B-testausprosessi on kuiten- kin työläs ja monilla pienillä organisaatioilla ei ole siihen valmiita toimintamalleja tai tarvittavaa osaamista.

Kirjallisuuskatsauksen ja käytännön esimerkkien perusteella suurilla kielimalleilla voidaan te- hostaa A/B-testausprosessia monissa sen vaiheissa. Suuria kielimalleja hyödyntämällä organi- saatioiden tarve palkata työntekijöitä tai ulkoisia resursseja A/B-testausta varten vähenee ja tes- tausprosessin vaiheet helpottuvat.