Identification of Prepositional Verb Errors Using ChatGPT

Abstract

In recent years, the role of neural network based Large Language Models has increased significantly in computational linguistics (Naveed et al. 2025, 3), thanks to their ability to self-learn and analyze huge quantities of data without human supervision. These neural network AIs form the base for Large Language Models (LLMs) that can learn from English texts written by humans and then produce natural sounding text (Fang et al. 2023, 10). Since LLMs have already achieved high usage and are expected to improve even further in the future, assessing their present abilities and limitations is important. One example of recently released LLMs is ChatGPT-5 that has been trained with more data and higher complexity than the previous versions of itself and thus can be expected to accurately represent the abilities of current LLMs. The goal of this thesis is to test ChatGPT-5’s ability to identify errors with English prepositional verbs. The thesis focuses on prepositional verbs where the required preposition was omitted. This error type was chosen due to the verb consisting of two parts, from which omitting one part would be a clear method of producing an error. Additionally, the error itself should still be reasonably easy for fluent language users to identify. The research data was acquired from reputable online newspapers, modified to contain an erroneous prepositional verb, and passed to ChatGPT for grammatical analysis. ChatGPT was shown to have weaknesses with less common prepositional verbs and understanding of the type of verb being used. The analysis showed that ChatGPT can perform at a high level but sometimes misunderstands user’s instructions. However, the research was very limited in scope, and thus significant conclusions cannot be made about ChatGPT’s abilities. Future studies should be done on larger data sets and more varied prepositional verbs. Similar research should also be done with other prepositional verb errors like wrong prepositions or wrong location for a preposition, as well as testing other LLMs.

Neuroverkkoihin perustuvien suurien kielimallien (LLM) rooli tietokonelingvistiikassa on kasvanut merkittävästi viime vuosien aikana (Naveed et al. 2025, 3) johtuen niiden kyvystä oppia itsenäisesti ja käsitellä valtavaa määrää tietoa ilman ihmisvalvontaa. Neuroverkoilla kehitetyt tekoälyt muodostavat pohjan suurille kielimalleille, jotka pystyvät oppimaan ihmisen kirjoittamista englanninkielisistä teksteistä, ja tuottamaan sitten luonnollisen omaista tekstiä (Fang et al. 2023, 10). Koska niiden käyttö on lisääntynyt merkittävästi ja kehitys vaikuttaa jatkuvan tulevaisuudessa, isojen kielimallien kyvykkyyden ja rajoituksien arviointi nykyhetkellä on tärkeää. Eräs äskettäin julkistettu suuri kielimalli on ChatGPT-5, joka on edellisiä versioita kompleksisempi ja kehitetty runsaammalla koulutusdatalla, minkä takia sen voi olettaa edustavan tarkasti nykyisten isojen kielimallien kyvykkyyttä Tämän tutkielman tavoite on testata ChatGPT-5:n kykyä tunnistaa englannin kielen prepositioverbeillä tehtyjä virheitä. Tutkielma keskittyy prepositioverbeihin, joista prepositio on poistettu. Perusteena virhetyypin valinnalle oli verbin kaksiosainen rakenne, missä toisen osan poistaminen muodostaa selkeän virheen. Virheen on lisäksi oltava sellainen, että sujuva kielenkäyttäjä pystyisi tunnistamaan sen. Tutkimusmateriaali hankittiin luotettavista verkkolehdistä, muokattiin sisältämään virheellinen prepositionaaliverbi ja annettiin ChatGPT:lle kieliopillista analyysia varten. ChatGPT:n heikkouksiksi havaittiin harvinaisemmat prepositioverbit ja käytetyn verbityypin ymmärtäminen. Analyysi osoitti, että ChatGPT kykenee toimimaan korkeatasoisesti, mutta ymmärtää toisinaan käyttäjän ohjeistuksen väärin. Tutkimus oli kuitenkin mittakaavaltaan erittäin rajoittunut, eikä merkittäviä johtopäätöksiä voida tehdä ChatGPT:n kyvykkyydestä. Myöhemmät tutkimukset suositellaan toteutettavan laajemmalla aineistolla ja useammilla prepositioverbeillä, toisentyyppisillä virheillä kuten epäsopivilla tai väärin sijoitetuilla prepositioilla, sekä muilla suurilla kielimalleilla.