Purchase invoice automation across company boundaries: A classification framework for the hybrid machine learning approach

Abstract

Machine learning models for purchase invoice automation are typically deployed either as a single generic model trained across an entire customer base or as a fully tailored model trained for one specific company. An intermediate hybrid approach – using a single model for a structurally similar subset of companies – has received little attention in the academic literature, in part because no empirically grounded method exists for determining which companies belong in the same subset. This thesis develops and validates such a method.

Approximately five million purchase invoices from 25 073 Finnish companies are converted into decision-footprint vectors capturing each company’s purchase invoice bookkeeping conventions. Density-based clustering separates the companies into seven dense process typologies and a large noise category. The relationship between cluster membership and external company attributes is then modelled in a sequential two-stage regression pipeline: a Stage 1 binary logit predicts whether a company conforms to any valid cluster, and a Stage 2 regularized multinomial logit predicts which cluster a conforming company belongs to.

The Stage 1 conformity model achieves a McFadden’s pseudo-R² of 0.29, indicating good fit. The model shows that roughly 41 % of the studied companies are structurally similar enough to benefit from cross-company automation, while the remaining 59 % require individualized treatment. The Stage 2 typology model achieves a McFadden’s pseudo-R² of 0.79 with a five-fold cross-validated naive accuracy of 92.9 % and balanced accuracy of 69.4 %. A drop-in-deviance analysis shows that accounting office size and accounting software jointly account for roughly 79 % of the explained deviance in typology membership, while industry contributes only 6.7 %. The predictor hierarchy differs meaningfully between the two stages: legal form and industry mainly distinguish whether a company’s purchase invoice bookkeeping process is standardized at all, while accounting-office scale mainly distinguishes which typology a standardized company belongs to. Accounting software is a strong and decisive attribute in both stages.

The findings invert the baseline intuition that industry-specific conventions would dominate accounting process similarity: technological infrastructure and accounting office scale override most of the industry-level variation. The empirical separation between software platforms is sharp enough to trigger quasi-complete separation in the Stage 2 regression, supporting a walled-gardens interpretation of platform-level boundaries. At the same time, the Stage 1 conformity model shows that only 41 % of studied companies fall into a cohesive typology, positioning hybrid automation as a best-effort supplement to tailored models rather than as a universal replacement. The thesis proposes a practical seven-typology classification framework with concrete implications for how software vendors should partition data for hybrid machine learning automation and how accounting offices should structure their internal practices to become more automation-ready.

Ostolaskujen käsittelyn automaatioon tarkoitetut tekoälymallit koulutetaan tyypillisesti joko koko asiakaskunnan dataa hyödyntävänä yleismallina, tai yrityskohtaisesti räätälöitynä mallina. Hybridiratkaisua, jossa samaa tekoälymallia hyödynnetään tietylle asiakaskunnan osajoukolle, ei ole juurikaan käsitelty akateemisessa kirjallisuudessa osittain sen vuoksi, että empiiristä menetelmää tällaisten osajoukkojen määrittämiseen ei ole. Tässä diplomityössä kehitetään tällainen menetelmä.

Noin viisi miljoonaa ostolaskua 25 073 suomalaiselta yritykseltä muunnetaan yrityskohtaisiksi vektoreiksi, jotka kuvastavat kunkin yrityksen ostolaskujen käsittelyn päätösprosessia ja käytäntöjä. Yritykset jaotellaan tiheyspohjaisen klusteroinnin avulla seitsemään yhtenäiseen prosessitypologiaan sekä suureen kohinaluokkaan. Yritysten ulkoisten attribuuttien ja typologiaklusterin välinen suhde mallinnetaan kaksivaiheisella regressioanalyysillä. Vaiheessa 1 logistinen regressio ennustaa soveltuvuutta johonkin klusteriin ja vaiheessa 2 multinomiaalinen logistinen regressio ennustaa, mihin klusteriin soveltuva yritys kuuluu.

Vaiheen 1 soveltuvuusmalli saavuttaa McFaddenin pseudo-R² -arvon 0,29, mikä viittaa hyvään selitysasteeseen. Mallin perusteella 41 % tutkituista yrityksistä on rakenteellisesti riittävän samankaltaisia hyötyäkseen yritysrajat ylittävästä automaatiosta, kun taas 59 %:n kirjanpidon käytännöt ovat liian yksilöllisiä. Vaiheen 2 typologiamalli saavuttaa McFaddenin pseudo-R² -arvon 0,79 ja yltää 5-kertaisessa ristiinvalidoinnissa 92,9 %:n naiiviin ja 69,4 %:n tasapainotettuun ennustustarkkuuteen. Analyysi osoittaa, että tilitoimiston koko ja käytetty kirjanpito-ohjelmisto määrittävät 79 % siitä, mihin typologiaan yritys kuuluu, toimialan osuuden ollessa vain 6,7 %. Selittävien tekijöiden painotus eroaa merkittävästi vaiheiden välillä: yhtiömuoto ja toimiala ennustavat ennen kaikkea sitä, onko yrityksen ostolaskujen käsittelyprosessi ylipäätään standardoitu, kun taas tilitoimiston koko määrittää pitkälti sitä, mihin typologiaan yritys kuuluu. Käytetty kirjanpito-ohjelmisto on vahva ja ratkaiseva tekijä molemmissa vaiheissa.

Löydökset ovat ristiriidassa sen lähtöoletuksen kanssa, että toimialakohtaiset käytännöt määrittäisivät kirjanpidon prosessien samankaltaisuutta: teknologinen infrastruktuuri ja tilitoimiston koko vaikuttavat enemmän. Käytäntöjen erot ohjelmistojen välillä ovat niin voimakkaat, että vaiheen 2 mallissa havaitaan lähes täydellinen separaatio, mikä tukee tulkintaa ohjelmistotason ”aidatuista puutarhoista”. Toisaalta vaiheen 1 malli osoittaa vain 41 %:n yrityksistä kuuluvan yhtenäiseen typologiaan, mikä viittaa hybridiautomaation toimivan täydennyksenä räätälöityjen koneoppimismallien ohella niiden korvaamisen sijasta. Diplomityö esittelee seitsemän tyypin käytännöllisen luokittelumenetelmän sekä konkreettisia päätelmiä siitä, miten ohjelmistotoimittajien tulisi jaotella datansa hybridiautomaatiota varten ja miten tilitoimistojen pitäisi mukauttaa käytäntöjään automaatiovalmiuden parantamiseksi.