Machine Learning-Based Classification of Medical Device Complaints by Reportability

Abstract

Medical device manufacturers are required to evaluate product complaints to determine whether they must be reported to regulatory authorities under the U.S. Food and Drug Administration Medical Device Reporting (FDA MDR) regulation. This process is typically performed manually by experts and can be time-consuming and inconsistent, particularly when complaint volumes are high. The aim of this thesis was to investigate whether supervised machine learning models can classify medical device complaints according to FDA MDR requirements. A dataset consisting of 420 medical device complaint descriptions was compiled from internal company complaint records and the FDA Manufacturer and User Facility Device Experience (MAUDE) database. Each complaint description was labelled as either non-reportable or reportable. Text data was preprocessed and transformed into numerical features using a term frequency-inverse document frequency representation. Three supervised classifiers were evaluated in this study: Multinomial Naïve Bayes, Logistic Regression, and Linear Support Vector Machine. All selected models achieved high classification performance, with overall accuracies ranging from 94% to 96%. The Linear Support Vector Machine demonstrated the best performance in identifying reportable complaints, achieving a recall of 96% for the reportable class. The results indicate that supervised machine learning models can effectively identify textual patterns associated with reportable events. The main limitations of this study concern dataset size, class imbalance, and the regulatory risks associated with misclassification. The findings indicate that machine learning has the potential to enhance the efficiency and consistency of complaint handling when combined with expert review.

Lääkinnällisten laitteiden valmistajien on arvioitava tuotevalitukset määrittääkseen, ovatko ne raportoitava viranomaisille Yhdysvaltain elintarvike- ja lääkeviraston (engl. U.S. Food and Drug Administration, FDA) lääkinnällisten laitteiden raportointia koskevan (engl. Medical Device Reporting, FDA MDR) asetuksen mukaisesti. Tämä prosessi suoritetaan tyypillisesti asiantuntijoiden toimesta manuaalisesti, ja se voi olla aikaa vievää sekä epäjohdonmukaista, erityisesti valitusmäärien ollessa suuria. Tämän tutkimuksen tavoitteena oli tutkia, voidaanko valvotuilla koneoppimismalleilla luokitella lääkinnällisten laitteiden valituksia FDA MDR -vaatimusten mukaisesti. Tutkimuksessa koottiin 420 valituksen kuvauksesta koostuva aineisto yrityksen sisäisestä valitusrekisteristä sekä FDA:n Manufacturer and User Facility Device Experience (MAUDE) -tietokannasta. Jokainen valitus merkittiin joko raportoitavaksi tai ei-raportoitavaksi. Tekstiaineisto esikäsiteltiin ja muunnettiin numeeriseen muotoon TF-IDF (eng. term frequency-inverse document frequency representation) esityksen avulla. Tutkimuksessa arvioitiin kolmen valvotun koneoppimismallin suorituskykyä, jotka olivat naiivi Bayes, logistinen regressio, sekä lineaarinen tukivektorikone. Kaikki tarkastellut mallit saavuttivat korkean luokittelutarkkuuden (94–96 %). Lineaarinen tukivektorikone suoriutui parhaiten raportoitavien tapausten tunnistamisessa saavuttaen 96 % recall-arvon raportoitavalle luokalle. Tulokset viittaavat siihen, että perinteiset koneoppimismenetelmät pystyvät tehokkaasti tunnistamaan raportoitaviin tapauksiin liittyviä tekstuaalisia piirteitä. Tutkimuksen keskeisimmät rajoitteet liittyivät aineiston kokoon, luokkien epätasapainoon, sekä virheellisestä luokittelusta aiheutuviin riskeihin. Tulokset viittaavat siihen, että koneoppimisella on potentiaalia parantaa valitusten käsittelyn tehokkuutta ja yhdenmukaisuutta, kun sitä hyödynnetään asiantuntija-arvion tukena.