LLM-based framework for requirements-based test design in medical device software – Focusing on coverage, risk-based prioritization and traceability

Abstract

Medical device software testing must meet strict regulatory requirements to ensure patient safety. This highlights the importance of high-coverage software testing, traceability, and proper risk management. Test case design is cognitively demanding and requires strong domain knowledge of the system under testing and its related software requirements. Large Language Models (LLMs) have shown potential in test case generation particularly in enhancing test coverage. However, the lack of knowledge on how to practically leverage LLMs in test case generation remains widely unknown. Additionally, industrial validation in safety-critical use cases is lacking. This thesis aims to design a framework for LLM-based test design in the medical device software domain. Furthermore, a proof-of-concept prototype was implemented based on the proposed framework. The generated test cases of the prototype were evaluated using both quantitative and qualitative methods.

This study follows a design science research methodology. First, a thorough literature review was conducted regarding the latest AI techniques and regulatory context. The framework was developed by combining suitable AI techniques with specific design requirements. A simple prototype based on the framework was implemented using a locally hosted LLM and Retrieval-Augmented Generation (RAG) architecture. The generated test cases were compared with an existing set of test cases through categorization. Software quality experts were interviewed after they tried the prototype, focusing on the usefulness and reliability.

The implemented prototype generated more test cases than the existing baseline. Manual categorization of a small sample revealed the reasons for this. About half of the generated test cases were either partial or a direct match with the existing cases. However, while the prototype discovered relevant novel cases that were not included in the baseline, it also produced irrelevant cases and exhibited some logical issues. Furthermore, roughly 46% of the existing cases were missing from the generated test cases. This demonstrated that the prototype produced high diversity of test cases based on the requirements. Expert interviews confirmed that while the prototype's output strictly requires expert review, its primary value lies in brainstorming and crosschecking human-designed test suites. The prototype demonstrated unexpected value in requirement analysis by detecting weak testability and ambiguities from the requirements. Concerns about hallucinations and ungrounded output remain, likely caused by requirement quality and model assumptions on hidden domain knowledge.

The designed framework was successfully validated as an effective brainstorming tool by the prototype. The prototype suggested negative and edge cases enhancing coverage and supported regulatory conformance, specifically traceability and risk-based prioritization. A production-grade implementation from the framework would be needed for industry-wide evaluation.

Lääkinnällisten laitteiden ohjelmistotestauksen on täytettävä tiukat sääntelyvaatimukset varmistaakseen potilasturvallisuuden. Tämä korostaa korkean kattavuuden ohjelmistotestauksen, jäljitettävyyden ja asianmukaisen riskienhallinnan merkitystä. Testitapausten suunnittelu on kognitiivisesti vaativaa ja edellyttää vahvaa tuntemusta testattavasta järjestelmästä sekä siihen liittyvistä ohjelmistovaatimuksista. Suuret kielimallit (LLM) ovat osoittaneet potentiaalia testitapausten luomisessa, erityisesti testikattavuuden parantamisessa. Kuitenkin käytännön tietämys siitä, miten kielimalleja voidaan hyödyntää testitapausten generoinnissa, on edelleen laajalti puutteellista. Lisäksi validointi turvallisuuskriittisissä käyttötapauksissa puuttuu toistaiseksi.

Tämän työn tavoitteena on suunnitella LLM-pohjainen viitekehys testisuunnitteluun lääkinnällisten laitteiden ohjelmistoympäristössä. Lisäksi suunnitellun viitekehyksen pohjalta toteutettiin konseptitodennuksena (proof-of-concept) toimiva prototyyppi. Prototyypin luomia testitapauksia arvioidaan sekä määrällisillä että laadullisilla menetelmillä.

Tutkimus noudattaa suunnittelututkimuksen (design science research) metodologiaa. Ensin tehtiin perusteellinen kirjallisuuskatsaus uusimmista tekoälytekniikoista ja sääntely-ympäristöstä. Viitekehys kehitettiin yhdistämällä sopivia tekoälytekniikoita ja tarkkaan määriteltyjä suunnitteluvaatimuksia. Viitekehykseen perustuva yksinkertainen prototyyppi toteutettiin käyttämällä paikallista kielimallia ja RAG-arkkitehtuuria (Retrieval-Augmented Generation). Luotuja testitapauksia verrattiin olemassa olevaan testitapausjoukkoon luokittelun avulla. Ohjelmistotestauksen asiantuntijoita haastateltiin prototyypin kokeilemisen jälkeen, keskittyen sen hyödyllisyyteen ja luotettavuuteen.

Toteutettu prototyyppi loi enemmän testitapauksia kuin olemassa oleva vertailujoukko sisälsi. Pienen otoksen manuaalinen luokittelu paljasti tähän johtaneet syyt. Arviolta puolet luoduista testitapauksista vastasi olemassa olevia tapauksia joko osittain tai täysin. Vaikka prototyyppi löysi merkityksellisiä uusia tapauksia, joita ei ollut alkuperäisessä joukossa, se tuotti myös epäolennaisia tapauksia ja osoitti loogisia puutteita testitapauksissa. Lisäksi noin 46 % olemassa olevista tapauksista puuttui luoduista testitapauksista. Tämä osoitti, että prototyyppi tuotti vaatimusten pohjalta erittäin monipuolisen joukon testitapauksia. Asiantuntijahaastattelut vahvistivat, että vaikka prototyypin tuotokset edellyttävät ehdottomasti asiantuntijan katselmointia, sen ensisijainen arvo piilee ideoinnissa ja ihmisen suunnittelemien testikokonaisuuksien ristiintarkastuksessa.

Prototyyppi osoitti odottamatonta arvoa vaatimusten analysoinnissa havaitsemalla vaatimuksista heikkoa testattavuutta ja epäselvyyksiä. Huolet hallusinaatioista ja perusteettomista tulosteista pysyivät, mikä johtui todennäköisesti vaatimusten laadusta ja mallin tekemistä oletuksista piilevään toimialatietoon liittyen. Suunniteltu viitekehys validoitiin prototyypin avulla onnistuneesti tehokkaaksi ideointityökaluksi. Prototyyppi ehdotti negatiivisia ja rajatapauksia parantaen kattavuutta, ja se tuki säännösten mukaisuutta, erityisesti jäljitettävyyttä ja riskiperusteista priorisointia. Viitekehyksen tuotantotason toteutus vaadittaisiin laajempaa alanlaajuista arviointia varten.