Generatiivinen tekoäly vaatimusmäärittelyssä: Monimenetelmällinen monitapaustutkimus

Abstract

Generatiivisen tekoälyn ja suurten kielimallien nopea kehitys on avannut uusia mahdollisuuksia automatisoida ja tehostaa perinteisesti ihmisvoimin tehtyjä kognitiivisia tehtäviä. Ohjelmistokehityksen ytimessä oleva vaatimusmäärittely on kriittinen, mutta usein manuaalinen ja virhealtis prosessi, jonka tehostamiseen tekoäly tarjoaa merkittävää potentiaalia. Aihepiirin tutkimus on kasvussa, mutta empiirisistä tutkimuksista, joissa arvioidaan generatiivisen tekoälyn suorituskykyä käytännön työympäristöissä, on kuitenkin pulaa. Tämän diplomityön tavoitteena oli selvittää, kuinka hyvin generatiivinen tekoäly suoriutuu määrittelydokumentaation tuottamisesta verrattuna ihmisasiantuntijoihin. Tutkimuksen tavoitteen saavuttamiseksi asetettiin kaksi päätutkimuskysymystä tukevaa alatutkimuskysymystä: Mitkä ovat generatiivisen tekoälyn vahvuudet ja heikkoudet määrittelydokumentaation luonnissa? Miten kontekstuaaliset tekijät vaikuttavat tekoälyn tuottaman dokumentaation laatuun? Tutkimus toteutettiin monimenetelmällisenä monitapaustutkimuksena, ja se pohjautui konstruktiiviseen tutkimusotteeseen. Tutkimus koostui kirjallisuuskatsauksesta sekä empiirisestä tutkimusosuudesta. Kirjallisuuskatsauksessa perehdyttiin ohjelmistokehityksen ja vaatimusmäärittelyn tutkimukseen sekä kyseisen tutkimusalueen yleisimpiin malleihin ja viitekehyksiin. Lisäksi siinä perehdyttiin tekoälyn tutkimukseen ja tekoälyteknologian viimeisimpiin kehityskulkuihin, ja lopulta tekoälyn ja vaatimusmäärittelyn tutkimusalueiden leikkauspisteeseen. Empiirinen aineisto kerättiin viidestä aidosta määrittelytilaisuuden nauhoitteesta, joista luotiin DAG-muotoiset määrittelydokumentaatiot Googlen Gemini-kielimallien avulla. Näitä tekoälyn tuotoksia verrattiin ihmisasiantuntijoiden tuottamiin määrittelydokumentteihin määrällisiä ja laadullisia menetelmiä hyödyntäen. Tutkimustulokset osoittavat, että generatiivinen tekoäly ei vielä kykene korvaamaan ihmisasiantuntijaa vaatimusten dokumentoinnissa, mutta se voi toimia merkittävänä tukena ja työkaluna määrittelyprosessissa. Tekoälyn vahvuuksiksi tunnistettiin määriteltävien prosessien yleisen rakenteen ja logiikan hahmottaminen, ja sen heikkoudet liittyivät yksityiskohtien tarkkuuteen ja kattavuuteen. Merkittävin yksittäinen tekoälyn tuotosten laatuun vaikuttava tekijä oli lähdemateriaalin laatu. Lisäksi käytetyllä kielimallilla, kehotestrategialla ja mallin konfiguraatiolla oli merkittävä vaikutus lopputuloksen laatuun. Tutkimus vastasi kirjallisuudessa tunnistettuun tarpeeseen aihepiirin empiirisestä tutkimuksesta ja tuotti uutta, relevanttia tietoa myös multimodaalisten kielimallien ja kehotemuotoilun tutkimukseen. Tutkimus tarjosi myös arvokasta käytännön tietoa tekoälyn hyödyntämisestä ja rajoituksista vaatimus-määrittelyssä.

The rapid development of generative artificial intelligence and large language models has created new possibilities for automating and enhancing cognitive tasks traditionally performed by humans. Requirements engineering, a core component of software engineering, is a critical process in software development, but it is often manual and prone to errors. Artificial intelligence shows significant potential for improving requirements engineering. The research on the topic is growing, but suffers from a shortage of empirical studies evaluating the performance of generative artificial intelligence in real work environments. The aim of this thesis is to explore how well generative artificial intelligence performs in producing requirements documentation compared to human experts. To achieve this research objective, two sub-research questions were established to support the main research question: What are the strengths and weaknesses of generative artificial intelligence in creating requirements documentation? How do contextual factors affect the quality of the documentation produced by artificial intelligence? The research was conducted as a mixed-method multi-case study and it was based on a constructive research approach. The study consisted of a literature review and an empirical research section. The literature review introduced software engineering and requirements engineering research and the most common models and frameworks in this field of study. The literature review also examined research on artificial intelligence, the latest developments in AI technology, and finally, the intersection of AI and requirements engineering research. The empirical data was collected by generating requirements documentation in a DAG format from five authentic recordings of requirement definition sessions using Google’s Gemini language models. The outputs generated by AI were then compared against requirements documentation produced by human experts using both quantitative and qualitative methods. The findings of the research indicate that while generative artificial is not yet capable of replacing a human expert in this task, it can serve as a significant supporting tool in the re-quirements engineering process. The AI was able to comprehend the general structure and logic well, but it struggled with the accuracy and comprehensiveness of details. Quality of the source material was identified as the most significant factor affecting the quality of the AI-generated outputs. In addition, the language model used, the prompting strategy, and the model’s configuration also had a significant impact on the quality of the final output. The study addressed the research gap identified in the literaturefor empirical research and provided new, relevant information knowledge for the study of multimodal language models and prompt engineering as well. The research also provided valuable practical insights into the application and limitations of artificial intelligence in requirements engineering.