Digitaalisen maturiteettimallin hyödyntäminen osana suurten kielimallien implementoinnin kannattavuuden arviointia

Abstract

Suurten kielimallien nopea teknologinen kehitys ja yritysten kasvava kiinnostus teknologiaa kohtaan on aiheuttanut tarpeen tunnistaa käyttöönoton ja implementaation osa-alueita sekä ongelmakohtia. Organisaatiot tarvitsevat laajan käsityksen LLM- teknologian käyttöönottoprojektissa huomioitavista tekijöistä, riskeistä sekä hyödyistä, joita suurten kielimallien avulla voidaan saavuttaa. Työ toteutetaan suurelle globaalille teknologiatoimittajalle, missä on tunnistettu tarve strukturoidulle mallille, jota voidaan hyödyntää osana aikaisen vaiheen asiakaskeskusteluja määrittämään asiakasorganisaation teknologisen valmiuden nykytilaa liittyen suuriin kielimalleihin.

Tutkimuksen tavoitteena on muodostaa liiketoiminnallinen maturiteettimalli, jonka avulla organisaatiot pystyvät tunnistamaan suurten kielimallien käyttöönoton osa-alueita ja arvioida omaa kyvykkyyttään toimia teknologian aikaisena omaksujana. Työn aikana muodostetaan kirjallisuuskatsaukset LLM-teknologiasta sekä digitaalisista maturiteettimalleista ja näiden kehittämisprosesseista. LLM-teknologian osalta käsitellään teknologian yleiskuvaa ja nykytilannetta, liiketoiminnallisia hyötyjä ja haasteita sekä teknologian implementaation osatekijöitä. Maturiteettimalleihin kohdistuvassa kirjallisuuskatsauksessa keskitytään yleisiin maturiteettimalleihin ja näiden käyttötarkoituksiin sekä uuden kypsyysmallin kehittämisen prosesseihin ja vaiheisiin. Työn kirjallisuuskatsauksia täydennetään haastattelemalla teknologiatoimittajan asiantuntijoita. Asiantuntijoilta kerätään tietoa asiakkaiden asenteista liittyen suuriin kielimalleihin sekä mitä kehitettävän maturiteettimallin tulisi käyttökohteessaan sisältää ulkoasun ja sisällön osalta.

Tuloksina muodostettiin maturiteettimalli, joka kattaa käyttöönottoon ja kypsyyden arviointiin osa-alueet: teknologia, strategia & suunnittelu, data, organisaatiot & resurssit, prosessit sekä etiikka, tietosuoja & tietoturva. Kypsyystasoja määritettiin neljä, jotka olivat: aloitettu, määritelty, tuotannossa ja optimoitu. Maturiteettimallin muodostamisen jälkeen linjattiin kypsyystason saavuttamisesta aiheutuvat liiketoimintahyödyt kohdeorganisaatiolle. Muodostetun kypsyysmallin jatkokehitys ja testaus toteutetaan teknologiatoimittajan osalta diplomityön ulkopuolella. Maturiteettimallin sekä liiketoimintahyötyjä käsittelevän taulukon avulla voidaan jatkossa laajentaa organisaatioiden ymmärrystä suurten kielimallien käyttöönoton laajuuteen, riskeihin sekä hyötyihin liittyen.

The rapid technological development of large language models and the growing interest of companies in the technology has led to the need to identify LLM related areas in deployment, implementation, and risk management. Organizations need a broad understanding of the factors to be considered in LLM-technology deployment projects including risks and the benefits that can be achieved with large language models. The research is conducted for a major global technology provider where has been identified the need for a structured model that can be used as a part of early-stage client discussions to determine the current state of the organization ́s technological readiness for large language models.

The objective of this study is to build a digital maturity model that will enable organizations to identify the areas of implementation of large language models and assess their own ability to act as early adopter of the technology. The work will include a literature review of LLM-technology as well as digital maturity models and their development processes. For LLM-technology, the overview and current state of technology, the business benefits and challenges, and the elements of technology implementation will be discussed. The literature review of maturity models will focus on generic maturity models and their use cases, as well as on the processes and steps in the development of a new maturity model. The literature review will be complemented by interviews with experts from the technology provider. Expert interviews will focus on client attitudes towards large language models and what the maturity model should contain when this is used as part of customer discussions in the terms of layout and content.

Based on the literature reviews and the interviews done in the case organization, the maturity model was developed, covering the areas of technology, strategy & design, data, organizations & resources, processes, and ethics, data protection & security. Four maturity levels were defined: initiated, defined, in production and optimized. After forming the maturity model, the business benefits of achieving different maturity levels were outlined. The further development and testing of the developed maturity model will be carried out for the technology provider outside the scope of the thesis. The maturity model and the business benefits matrix will be used in the future to broaden the understanding of organizations regarding the scope, risks, and benefits of adopting large language models.