Suurten kielimallien energiankulutuksen vähentäminen

Abstract

Suurien kielimallien laajalle leviäminen viime vuosien aikana on herättänyt kysymyksiä niiden ympäristöystävällisyydestä. Suuret kielimallit muun muassa laajuutensa ja suuren koon vuoksi kuluttavat huomattavasti energiaa ja tämän vuoksi aiheuttavat paljon hiilidioksidipäästöjä.

Tässä tutkielmassa tarkastellaan suurien kielimallien kehitys- ja käyttövaiheiden suuren energiankulutuksen syitä sekä keinoja vähentää energiankulutusta ja energiatehokkaiden suurten kielimallien tulevaisuutta.

Tutkielmassa käy ilmi, että suurten kielimallien energiankulutukseen vaikuttavat mallien suuret koot ja miljardien parametrien määrät, käytetyt kehitysympäristöt sekä laitteistot ja itse kielimallin käytön aikana samojen prosessien toisto hyvin monia kertoja. Energiankulutusta pystytään vähentämään valitsemalla energiatehokkaita kehitysympäristön ja mallin yhdistelmiä, vähentämällä mallin kokoa ja parametrien määrää karsinta ja kvantisointi menetelmillä sekä energiatehokkailla malleilla ja algoritmeilla, kuten rajaamalla suuren kielimallin ajon aikana käytetyn GPU:n käyttämää energiaa.

Energiatehokkaista kielimalleista on tutkimusta jo hyvin ja kehittäjillä on hyvät lähtökohdat energiatehokkaiden kielimallien kehittämiseen. Kielimallien kehityksen alalle kaivattaisiin kuitenkin vielä lisää avoimuutta mallien kehityksestä, jotta energiatehokkaiden mallien tutkimus sekä kehitys helpottuisi. Olisi myös tärkeää, että kehittäjiä kannustettaisiin energiatehokkuuteen.