Prediction of patient flow in the emergency department using Explainable AI

Abstract

Overcrowding in the emergency department (ED) is a widely prevalent issue affecting the whole hospital system. It is known to lead to worse patient outcomes, increased length of stay, and job dissatisfaction of hospital staff. There is no single cause behind the overcrowding, it is rather a sum of different causes. One of these causes is poor resource allocation, often originating from an unpredictable patient flow. Machine learning (ML) models have been studied to alleviate this problem, and they have been proven to perform better than traditional methods at least in the prediction of admission. To support the hospital staff in making earlier and more correct resource allocation decisions, this study aims to develop two ML models. The first model will predict admission at the time of triage, whereas the second model will predict the specialty of care that the admitted person requires. The specialty of care is derived from the ward they are first transferred to. By knowing the possibility of admission and required resources for each person, the hospital staff could contact the different wards earlier and the admission process could be optimized. This study utilizes the MIMIC-IV database provided by PhysioNet. The database is freely available and contains data from 425,000 patient visits to the ED. The data includes basic vital signs, medications, presentation information, diagnoses, and demographic information about the patients. The developed models use ensemble trees classifiers as the underlying classification algorithm. After model development, the study assesses the explainability of the models and investigates the feature importance. The best model was selected based on the balance between performance and explainability. Feature importance and feature relationships are calculated and presented using Shapley Additive exPlanations and models internal feature importance. The best classifier for both prediction modalities was XGBoost. The most balanced admission prediction model had an accuracy of 0.775 and an area under the receiver operating characteristic curve (AUROC) of 0.779. The most balanced resource prediction model achieved an AUROC of 0.783, using the one-vs-rest strategy for calculation. The models shared acuity and age in the three most important features whereas admission ratio and gender were the additional features for admission prediction and resource prediction, respectively. This study found that it is possible to predict the disposition ward at the ED triage. Compared to related studies, admission prediction model performed moderately, while resource prediction model showed better performance than a study with similar target classes. To understand the influence of the features on the ML models’ output this study supports the importance of explain-ability analysis. Further studies should implement these models into practice.

Päivystyksen ruuhkautuminen on yleinen ja koko sairaalaan vaikuttava ongelma. Aikaisemmissa tutkimuksissa on havaittu, että ruuhkautuminen johtaa huonompiin hoitotuloksiin, pidempään hoitoaikaan sekä sairaalan henkilökunnan työtyytymättömyyteen. Ruuhkautumisen taustalla ei ole mitään yksiselitteistä syytä, vaan se on pikemminkin eri syiden summa. Yksi näistä syistä on resurssienhallinnan haastavuus. Tämä usein johtuu vaikeasti ennustettavasta potilasvirrasta. Tämän ongelman helpottamiseksi viime aikoina on tutkittu laajasti koneoppimisen malleja. Niiden on todistettu suoriutuvan paremmin potilaan sisäänoton ennustuksessa verrattuna perinteisiin menetelmiin. Tässä tutkimuksessa kehitetään kaksi koneoppimismallia, joiden avulla sairaalan henkilökuntaa voidaan tukea tekemään aikaisempia ja kohdistetumpia päätöksiä resurssienhallinnan suhteen. Ensimmäinen malli ennustaa henkilön sisäänottoa hoidon tarpeen arvioinnin yhteydessä. Toinen malli ennustaa tarkemmin osastoa, johon potilas siirretään sisäänoton yhteydessä. Sisäänoton ja mahdollisten tarvittavien resurssien tietäminen prosessin aikaisemmassa vaiheessa mahdollistaa henkilökunnan aikaisemman yhteydenoton osastoihin sekä koko prosessin aikaisemman aloituksen. Tutkimuksessa hyödynnettiin PhysioNetin MIMIC-IV-aineistoa. Tämä aineisto on vapaasti käytettävissä ja se sisältää 425 000 päivystyksen potilaskäyntiä. Aineiston muuttujiin sisältyvät potilaan demografiset tiedot, lääkityshistoria, vitaalielintoiminnot, käyntitiedot sekä diagnoosikoodit ICD-tautiluokituksen mukaisesti. Kehitetyissä malleissa käytettiin luokittelualgoritmina ensemble-luokittelijoita. Mallien kehityksen jälkeen tutkimuksessa arvioitiin niiden selitettävyyttä sekä tutkittiin muuttujien tärkeyttä. Ennustukseen käytettävä paras malli valittiin selittävyyden ja suorituskyvyn välisen tasapainon perusteella. Muuttujien tärkeys ja niiden väliset yhteydet laskettiin käyttäen SHApley Additive exPlanations -arvoja sekä mallien sisäistä muuttujien tärkeyttä hyödyntäen. XGBoost oli paras algoritmi molemmille ennustusmodaliteeteille. Parhaimman sisäänottomallin tarkkuus oli 0,775 ja yleistä luokittelukykyä kuvaava AUROC-arvo oli 0,779. Paras resurssien ennustusmalli saavutti AUROC-arvon 0,783. Resurssien ennustusmallin evaluoinnissa käytettiin laskentaan yksi vastaan kaikki strategiaa. Molemmissa malleissa kiireellisyysluokitus ja ikä kuuluivat kolmen tärkeimmän muuttujan joukkoon. Lisäksi tärkeimpien muuttujien joukkoon sisäänoton ennustuksessa kuului aiempien sisäänottojen suhde kaikkien käyntien määrään ja vastaavasti resurssien ennustuksessa sukupuoli. Tutkimuksessa havaittiin, että resurssien tarvetta pystytään ennustamaan jo hoidon tarpeen arvioinnin yhteydessä. Verrattuna aiempiin aiheesta tehtyihin tutkimuksiin, sisäänoton ennustusmalli suoriutui keskivertaisesti, kun taas resurssien ennustusmalli osoitti parempaa suorituskykyä kuin aiempi tutkimus, joka käytti vastaavanlaisia luokituksia osastoille. Tämä tutkimus tukee selitettävyysanalyysin merkityksen tärkeyttä koneoppimismallien sisäisten riippuvuuksien ymmärtämiseksi. Tulevat tutkimukset voisivat selvittää mallien käytettävyyttä.