Suuret kielimallit fysiikan tehtävissä

Abstract

Suuriin kielimalleihin perustuvat sovellukset, kuten ChatGPT ja Copilot, ovat kasvavassa roolissa opiskelijoiden ja opettajien arjessa. Tekoälytyökalut pystyvät muun muassa ratkaisemaan fysiikan tehtäviä, auttamaan ongelmatilanteissa ja opettamaan fysiikkaa. Työkalut ovat ottaneet oman paikkansa fysiikan opetuksessa ja muuttavat varmasti fysiikan opetusta tulevaisuudessa. Ongelmakohtia unohtamatta kielimalleihin perustuvista tekoälytyökaluista on paljon apua ja ne voivat lisätä tehokkuutta. Käyttöön sisältyy kuitenkin myös suuri energiankulutus, eettiset ongelmat, tekijänoikeusrikkomukset ja tietoturvaongelmat. Tärkeää on lisätä tietoa tekoälyn kehityksestä sekä sen vastuullisesta käytöstä.

Tässä kandidaatintyössä tutustuttiin siihen, miten viestibotit ChatGPT sekä Copilot vastaavat eritasoisiin fysiikan tehtäviin suomen kielellä. Työssä tutkittiin kahta tehtävää, joista toinen oli lukiotason tehtävä ja toinen yliopistotason tehtävä. Molemmat tehtävät syötettiin samassa muodossa kerran viitenä eri päivänä. Aineiston keruu jaettiin useammalle päivälle käyttörajoitusten vuoksi. Useampi aineiston keräämispäivä mahdollisti myös erilaisten ratkaisujen saannin ja näytti, eroavatko vastaukset ajan kuluessa. Tehtävän syöttämisen jälkeen työkaluille annettiin lisäkysymyksiä, jotta ratkaisuja voitiin analysoida monipuolisemmin. Lisäsyötteiden avulla pyrittiin myös ohjaamaan työkalu oikeaan ratkaisuun, jos vastaus oli väärin tai puutteellinen. Ennen tehtävien ratkaisujen läpikäyntiä käsiteltiin sitä, miten tekoälytyökalut näkyvät fysiikan opetuksessa sekä tehtävissä. Työssä käytiin läpi hieman taustatietoa käytettävistä tekoälytyökaluista sekä niiden toiminnasta. Tehtävien malliratkaisut esiteltiin laajasti, jotta työkalujen ratkaisut ovat ymmärrettävämpiä.

Tekoälytyökalujen ratkaisuja verrattiin keskenään ja selvitettiin eroavatko vastaukset toisistaan. Tuloksissa esiteltiin kaksi taulukkoa, joiden perusteella Copilotin ratkaisut ovat ChatGPT:hen verrattuna tasaisempia ja useammin oikein. ChatGPT:n ratkaisuissa oli kuitenkin useammin kattavammat perustelut, enemmän välivaiheita sekä vastaukset olivat pidempiä. Yliopistotason pellehyppytehtävässä ChatGPT teki kolmannella kerralla virheen, jolloin tehtävä meni väärin. Muilla kerroilla ChatGPT ja Copilot ratkaisivat tehtävän oikein. Lukiotason maanvyörytehtävän a-kohdassa molemmat työkalut saivat kaikilla kerroilla 2 pistettä, kun täydet pisteet olivat 8 pistettä. Maanvyörytehtävän b-kohdassa Copilot sai aina täydet 7 pistettä. Puolestaan ChatGPT sai ensimmäisellä kerralla 2 pistettä ja kolmannella kerralla 5 pistettä. Muilla kerroilla myös ChatGPT sai b-kohdassa täydet pisteet. Ratkaisujen perusteella työkaluista Copilot suoriutui tehtävistä paremmin. Tulosten perusteella voidaan todeta, että tässä kandidaatintyössä tekoälytyökalut pärjäsivät paremmin yliopistotason tehtävässä.

ChatGPT ja Copilot ovat edistyneitä työkaluja, mutta siitä huolimatta ne eivät osaa kaikkea. Etenkin voimakuvioiden piirtäminen tuottaa vaikeuksia. Tulevaisuudessa fysiikan tehtävissä voitaisiin huomioida se, että ihminen osaa lukea rivien välistä eri tavalla kuin tekoälytyökalut. Tehtäviä suunnitellessa voisi miettiä sitä, millaisilla tehtävänannoilla saataisiin tehtävä suunnattua juuri opiskelijalle. Jatkossa voisi tutkia esimerkiksi sitä, miten ChatGPT pärjäisi yliopiston fysiikan kurssilla tai ylioppilaskokeissa. Tällaisen tiedon avulla voitaisiin löytää keinoja erottaa tekoälytyökalulla tehdyt tehtävät ihmisen tekemistä tehtävistä. Voisi myös tutkia sitä, kuinka moni fysiikan opiskelija hyödyntää opinnoissaan tekoälytyökaluja ja parantaako työkalujen käyttö heidän oppimistaan. Tärkeää on kuitenkin muistaa tekoälytyökalujen ympäristövaikutukset ja miettiä, onko tutkimuksista enemmän hyötyä vai haittaa.