The capabilities and limitations of AI agents in software development

Abstract

Suurten kielimallien (Large Language Models, LLM) nopea kehitys on käynnistänyt ohjelmistotuotannossa paradigman muutoksen, jossa kehotepohjaisista avustajista siirrytään autonomisiin tekoälyagentteihin. Nykyiset tekoälymallit kuten GPT-5.4 ja Claude Opus 4.6 kykenevät tehokkaasti autonomiseen agenttipohjaiseen ohjelmointiin. Perinteinen ihmisten suorittama manuaalinen ohjelmointi vaatii merkittävästi resursseja esimerkiksi aikaa ja työpanosta, kun taas tekoälyagentit tarjoavat delegoitua autonomiaa. Agentit kykenevät tulkitsemaan itsenäisesti korkean tason tavoitteita ja toteuttamaan monimutkaisia sekä monivaiheisia kehitysprosesseja. Näiden järjestelmien kehittyessä tutkimusprototyypeistä teollisiksi työkaluiksi, on välttämätöntä arvioida kattavasti tekoälyagenttien käytännön tehokkuutta ja niihin liittyviä riskejä.

Tässä kandidaatintutkielmassa tehdään kirjallisuuskatsaus tekoälyagenttien nykytilasta ohjelmistotekniikan alalla. Analyysissä tarkastellaan keskeisten agenttipohjaisten kehysten käsitteellisiä perusteita, teknisiä ominaisuuksia sekä empiiristä suorituskykyä koskevaa tutkimustietoa. Katsaus seuraa erityisesti tekoälyavusteisen kehityksen teknologista kehitystä siirtyen intuitiivisesta ihmisen ja tekoälyn yhteisluomisesta kohti kehittyneitä agenttipohjaisia järjestelmiä. Modernit agenttipohjaiset järjestelmät hajauttavat tehtävät eri rooleihin, kuten arkkitehtuurin suunnitteluun, ohjelmiston toteutukseen ja laadunvarmistukseen, mahdollistaen toiminnan kaikissa kehitysvaiheissa.

Tulokset osoittavat, että autonomisilla agenteilla on merkittäviä kyvykkyyksiä, kuten tehtävien jakaminen pienempiin osiin, kehitystyökalujen itsenäinen organisointi sekä omaa toimintaa reflektoiva virheenkorjaus. Empiiriset tutkimukset viittaavat siihen, että tietyissä tutkimusasetelmissa tekoälyagentit ovat lisänneet tuottavuutta jopa 50 % rutiininomaisissa ohjelmointitehtävissä, sekä nopeuttaneet ominaisuuksien toteutusta tunneista minuutteihin. Tulosten yleistettävyys todellisiin ohjelmistokehitysympäristöihin on kuitenkin vielä osittain epäselvää, sillä vaikutukset riippuvat voimakkaasti tutkimusasetelmista, tehtävätyypeistä ja käytetyistä kehitysympäristöistä. Yleistettävyyden epävarmuuden lisäksi havaitaan useita operatiivisia rajoitteita. Agentit ovat alttiita niin sanotuille hallusinaatioille, jotka tuottavat usein olemattomia ohjelmistokirjastojen viittauksia tai ohittavat kriittisiä projektitavoitteita. Agenttien onnistumisprosentti laskee jyrkästi tehtävien monimutkaistuessa ja autonominen toiminta tuo mukanaan uusia tietoturvariskejä, kuten salaisuusvuotoja ja ohjelmistoriippuvuuksiin liittyvät hyökkäykset. Lisäksi agenttien päätöksentekoprosessien läpinäkymättömyys aiheuttaa haasteita arkkitehtuurin eheydelle ja vaikeuttaa inhimillistä valvontaa.

Tutkielman johtopäätöksenä esitetään, että tekoälyagentit ovat osoittautuneet tehokkaiksi työkaluiksi erityisesti rutiininomaisten kehitystehtävien automatisoinnissa ja yksinkertaisen prototyyppien nopeassa kehittämisessä. Tästä huolimatta niiden nykyinen kyvykkyys ei mahdollista ihmiskehittäjän täydellistä korvaamista, vaan ne toimivat parhaiten yhteistyötä tukevina järjestelminä. Tämän vuoksi strateginen inhimillinen ohjaus ja valvonta ovat edelleen välttämättömiä. Tämä parantaa luotettavuuteen liittyvien riskien hallitsemista, sekä varmistaa ohjelmistojen ylläpidettävyyden ja tietoturvan pitkällä aikavälillä.

The rapid advancement of Large Language Models (LLMs) has initiated a paradigm shift in software engineering, transitioning prompt-based assistants to autonomous AI agents. The new AI models like GPT-5.4 and Claude Opus 4.6 are capable of agentic coding. Traditional manual programming is labor-intensive and time-consuming, whereas autonomous agents offer delegated autonomy by independently interpreting high-level goals and executing complex, multi-step development workflows. As these systems evolve from research prototypes to industrial tools, a comprehensive evaluation of their practical effectiveness and associated risks is necessary.

This thesis conducts a literature review of the current landscape of autonomous AI agents within the field of software engineering. The analysis investigates the conceptual foundations, technical architectures, and empirical performance data associated with prominent agentic frameworks. The review specifically traces the technological evolution of AI assistance, moving from the intuitive human-AI co-creation found in so called vibe coding to advanced agentic systems. These contemporary systems employ specialized planners, executors, and AI toolchain modules to manage tasks across the entire software development life cycle.

The results indicate that autonomous agents possess significant capabilities, including the ability to perform task decomposition, orchestrate development tools like compilers and version control systems, and conduct self-reflective error correction. Empirical evidence suggests that, in certain research settings, agent-based AI tools have increased developer productivity by up to 50 % in routine programming tasks, and in some controlled settings accelerate the implementation of features from hours to minutes. However, the generalizability of these findings to real-world software development environments remains partially uncertain, as the observed effects are strongly dependent on the research setup, task type, and development environment used. Beyond these uncertainties, operational limitations are also evident. Agents are prone to hallucinations, often generating non-existent library references or skipping critical project goals. Their success rates drop sharply as task complexity increases, and their autonomous actions introduce new security vectors such as secret leakage and dependency confusion. Furthermore, the opaque nature of their decision-making processes poses challenges for architectural integrity and human oversight.

The thesis concludes that while AI agents are revolutionary tools for automating repetitive engineering tasks and rapid prototyping, they currently function best as intelligent collaborators rather than total replacements for human engineers. Strategic human supervision remains essential to mitigate reliability issues and ensure that agent-generated code aligns with long-term system maintainability and security standards.