Synteettisen koulutusdatan vaikutus suurten kielimallien suorituskykyyn

Abstract

Tässä kirjallisuuskatsauksessa tarkastellaan synteettisen koulutusdatan vaikutuksia suurten kielimallien suorituskykyyn sekä niiden tulevaan kehitykseen. Synteettinen data on keinotekoista dataa, jota tuotetaan yhä kasvavissa määrin erityisesti tekoälyn avulla. Tulokset osoittavat, että oikein ja hallitusti käytettynä synteettinen data voi auttaa kehittämään parempia kielimalleja tilanteissa, joissa alkuperäistä dataa ei ole riittävästi saatavilla tai sen käyttöön liittyy yksityisyysriskejä. Synteettistä dataa voi kuitenkin päätyä koulutusdataan vahingossa saastuneiden aineistojen mukana, jolloin se voi heikentää mallin laatua ja äärimmäisissä tapauksissa johtaa mallin romahtamiseen.

Vaikka mahdollisia ongelmia on olemassa, työn tulosten perusteella synteettinen data ei ole merkittävä riski suurten kielimallien kehitykselle lähitulevaisuudessa. Synteettinen data ei tule täysin korvaamaan oikeaa dataa, vaan sitä tulee olemaan alkuperäisen datan rinnalla. Lisäksi huonoin mahdollinen skenaario, jossa malleja koulutetaan iteratiivisesti pelkästään yhden mallin tuottamalla synteettisellä datalla, on epätodennäköinen. Tämä johtuu siitä, että malleja on jo olemassa monia ja synteettistä dataa tuotetaan jatkuvasti eri malleilla. Koska nämä tekijät lieventävät merkittävästi synteettisen datan aiheuttamia haittoja, synteettinen data ei muodosta kriittistä uhkaa kielimallien kehitykselle. Sillä voi kuitenkin olla yksittäisiä haittavaikutuksia, ja liialliseen synteettisen datan käyttöön liittyvät riskit on syytä ottaa huomioon koulutusdataa kerätessä.