AI-Driven Support Tools in Software Project Management : Design and Implementation of a Chatbot Prototype to Support Project Managers
Karjalainen, Esa (2025)
2025
Tietotekniikan DI-ohjelma - Master's Programme in Information Technology
Informaatioteknologian ja viestinnän tiedekunta - Faculty of Information Technology and Communication Sciences
Hyväksymispäivämäärä
2025-06-23
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:tuni-202506207372
https://urn.fi/URN:NBN:fi:tuni-202506207372
Tiivistelmä
Software project management has experienced constant change ever since the wide-spread adoption of agile development in conducting software projects. Agile methodologies have been shown to benefit the especially volatile landscape of software projects. Yet, despite thorough efforts, software projects keep failing at an alarming rate. Project management has been identified as the leading culprit of project failure. While a singular cause for the shortcomings of software project management cannot be named, risk management rises as the most significant factor. The importance of risk management has become more prevalent with the implementation of agile processes, which is not reflected by its application in practice.
Through recent developments in the broad topic of AI, interdisciplinary applications of Generative AI have emerged and gathered great attention. The technology has been identified to benefit project management with its data-centric processes. With integrated access to project metrics, systems such as chatbots are able to assist project managers by providing data-backed assistance in decision-making processes. Such a system allows users to easily generate project-specific guidance to their questions using a natural language interface.
In this thesis a literature review is conducted to identify the problems of software project management and the possible remedies provided by large language models. Influenced by the findings, a DSR study is conducted. The key output is the design and prototype implementation of a Retrieval-Augmented Generation (RAG) chatbot with access to project data. The primary purpose is to assist student project managers in an existing software project monitoring tool. A prototype implementation of the chatbot was created to validate the system architecture. The engineered prompts were further evaluated with a commercial LLM system to lay a solid basis for further development. Conclusively, the thesis proved the functionality of the designed system and found that project data can be efficiently utilized in a RAG chatbot to significantly enhance its usefulness. Ohjelmistoprojektinhallinta on ollut jatkuvassa muutoksessa ketteriin ohjelmistokehitysprosesseihin siirtymisen seurauksena. Ketterän ohjelmistokehityksen on todettu hyödyttävän ohjelmistoprojekteja niiden epävakaan luonteen vuoksi. Tästä huolimatta ohjelmistoprojektit epäonnistuvat huolestuttavan usein. Projektinhallinta on tunnistettu pääasialliseksi syyksi näille epäonnistumisille. Yksiselitteistä tekijää ohjelmistoprojektinhallinnan puutteisiin ei ole osoitettu, mutta riskienhallinta on näistä merkittävin. Ketterän ohjelmistokehityksen myötä riskienhallinnasta on tullut tärkeämpää, mutta tämä ei näy sen harjoittamisesta käytännössä.
Tekoälyn viimeaikaisen edistyksen myötä generatiivinen tekoäly on herättänyt kiinnostusta laajojen sovelluskohteidensa ansiosta. Tekoälyn on havaittu olevan hyödyksi projektinhallinnassa sen datakeskeisten prosessien vuoksi. Integroimalla pääsyn projektimetriikkaan, tekoälypohjaiset työkalut voivat tarjota kohdennettua ohjeistusta päätöksentekoprosesseissa. Esimerkiksi osana keskustelurobottia tällaisella järjestelmällä voidaan generoida projektikohtaista palautetta yksinkertaisesti luonnollista kieltä käyttämällä.
Tässä työssä toteutettiin kirjallisuuskatsaus, jolla tunnistettiin ohjelmistoprojektinhallinnan ongelmia, sekä näihin mahdollisia suurten kielimallien tarjoamia ratkaisuja. Löydöksien ohjaamana toteutettiin suunnittelutieteellinen tutkimus, joka sisältää suunnittelun ja prototyyppitoteutuksen projektidataa Retrieval-Augmented Generation (RAG) -tekniikalla hyödyntävästä keskustelurobotista. Robotin ensisijainen tarkoitus on avustaa projektinhallinnan opiskelijoita osana projektinseurantasovellusta. Järjestelmän prototyyppiä hyödynnettiin järjestelmäarkkitehtuurin pätevyyden osoittamiseksi. Lisäksi järjestelmän tekoälykehotteita arvioitiin hyödyntäen kaupallista kielimallia, millä voitiin varmistaa hyvät lähtökohdat järjestelmän jatkokehitykselle. Työ osoitti suunnitellun järjestelmän toimivuuden ja näytti että projektidataa voidaan tehokkaasti hyödyntää osana RAG-keskustelurobottia sen hyödyllisyyden huomattavaan kehittämiseen.
Through recent developments in the broad topic of AI, interdisciplinary applications of Generative AI have emerged and gathered great attention. The technology has been identified to benefit project management with its data-centric processes. With integrated access to project metrics, systems such as chatbots are able to assist project managers by providing data-backed assistance in decision-making processes. Such a system allows users to easily generate project-specific guidance to their questions using a natural language interface.
In this thesis a literature review is conducted to identify the problems of software project management and the possible remedies provided by large language models. Influenced by the findings, a DSR study is conducted. The key output is the design and prototype implementation of a Retrieval-Augmented Generation (RAG) chatbot with access to project data. The primary purpose is to assist student project managers in an existing software project monitoring tool. A prototype implementation of the chatbot was created to validate the system architecture. The engineered prompts were further evaluated with a commercial LLM system to lay a solid basis for further development. Conclusively, the thesis proved the functionality of the designed system and found that project data can be efficiently utilized in a RAG chatbot to significantly enhance its usefulness.
Tekoälyn viimeaikaisen edistyksen myötä generatiivinen tekoäly on herättänyt kiinnostusta laajojen sovelluskohteidensa ansiosta. Tekoälyn on havaittu olevan hyödyksi projektinhallinnassa sen datakeskeisten prosessien vuoksi. Integroimalla pääsyn projektimetriikkaan, tekoälypohjaiset työkalut voivat tarjota kohdennettua ohjeistusta päätöksentekoprosesseissa. Esimerkiksi osana keskustelurobottia tällaisella järjestelmällä voidaan generoida projektikohtaista palautetta yksinkertaisesti luonnollista kieltä käyttämällä.
Tässä työssä toteutettiin kirjallisuuskatsaus, jolla tunnistettiin ohjelmistoprojektinhallinnan ongelmia, sekä näihin mahdollisia suurten kielimallien tarjoamia ratkaisuja. Löydöksien ohjaamana toteutettiin suunnittelutieteellinen tutkimus, joka sisältää suunnittelun ja prototyyppitoteutuksen projektidataa Retrieval-Augmented Generation (RAG) -tekniikalla hyödyntävästä keskustelurobotista. Robotin ensisijainen tarkoitus on avustaa projektinhallinnan opiskelijoita osana projektinseurantasovellusta. Järjestelmän prototyyppiä hyödynnettiin järjestelmäarkkitehtuurin pätevyyden osoittamiseksi. Lisäksi järjestelmän tekoälykehotteita arvioitiin hyödyntäen kaupallista kielimallia, millä voitiin varmistaa hyvät lähtökohdat järjestelmän jatkokehitykselle. Työ osoitti suunnitellun järjestelmän toimivuuden ja näytti että projektidataa voidaan tehokkaasti hyödyntää osana RAG-keskustelurobottia sen hyödyllisyyden huomattavaan kehittämiseen.