Rationality in Artificial Intelligence Decision-making

Abstract

Organisaatioiden päätöksenteossa käytetään enenevissä määrin tekoälyä, jonka odotetaan luovan kilpailuetua sitä käyttäville. Kuitenkin uusien mahdollisuuksien ja hyötyjen myötä päädytään myös uusien ongelmien ja haasteiden pariin. Tekoälyn osalta merkittävä osa näistä haasteista koskee rationaliteettia, jolla tässä tarkoitetaan päätöksenteon takana olevia syitä, niiden suhteita toisiinsa, sekä prosessia, jonka tuloksena ne saadaan. Tekoälyn luomat haasteet päästä näkemään ja ymmärtämään päätösten takana olevia rationaliteetteja luo huolta päätöksenteon reiluudesta, vastuusta, ja luottamuksesta päätöksentekoprosessiin. Lisäksi tekoälyn käyttämän rationaliteetin katsotaan luovan haasteita moraaliselle, refleksiiviselle harkintakyvylle päätöksenteossa.

Rationaliteetti sekä toimijuus ovat molemmat oleellisia päätöksenteon kannalta, mutta toimijuus on käsitteenä kehittynyt suuntaan, jossa teknologia ja ihminen nähdään erottamattomia toimijuuden suhteen. Niiden katsotaan muodostavan yhdessä yhteinen toimijuus. Tekoälykeskusteluissa rationaaliteettiin sen sijaan on juurtunut syvälle dualistinen ajattelu, joka on toimijuuden suhteen jo hylätty. Dualistisen ajattelutavan rationaliteetin suhteen voidaan katsoa ylläpitävän tunnistettuja ongelmia tekoälyn suhteen. Tekoälyn rationaliteetin laatua on käsitelty teoreettisesti, mutta tutkimuskentältä puuttuu vielä empiirinen tutkimus aiheesta.

Tämä väitöskirja käyttää postfenomenologiaa empiiriseen tutkimukseen siitä, miten tekoälyn käyttö muuttaa päätöksenteon rationaliteettia. Postfenomenologia on yhteensopiva toimijuuden kanssa, joka ymmärretään ei-dualistiseksi. Sen sijaan post- fenomenologia käsittää teknologian “välittäjänä” ihmisten toimijuudelle. Tämä väitöskirja käyttää vastaavaa näkemystä rationaliteetin tarkasteluun, ja siten tuo rationaliteetin ei-dualistisen tarkastelun tasa-arvoiseksi toimijuuden kanssa päätöksenteossa. Esitetty tutkimuskysymys on “Kuinka tekoäly toimii välittäjänä rationaliteetille päätöksenteossa?” Postfenomenologinen analyysi on tarkoitettu käytettäväksi kun tutkitaan tiettyjä teknologioita ja sitä, miten ne toimivat välittäjinä ihmisten olemiselle ja kokemuksille. Nämä välitykset voidaan jakaa ulottuvuuksiin, jotka tässä väitöskirjassa ovat piilottaminen–paljastaminen, mahdollistava–rajoittava, sekä vieraannuttava– osallistava.

Empiiriset tutkimukset luovat postfenomenologiassa perustan filosofiselle ja konseptuaaliselle analyysille. Tyypillisesti nämä ovat tapaustutkimuksia konkreettisista teknologioista, jotka voivat olla primäärisiä omia tutkimuksia, perustua sekundääriseen materiaaliin, tai olla tutkijan omaa reflektiota. Vaikka väitöskirjan julkaisut eivät itsessään ole olleet tapaustutkimuksia, käytetty postfenomenologinen tutkimusote käsittää ne sellaisina muodostaen väitöskirjasta monitapaustutkimuksen. Neljä ensimmäistä julkaisua ovat empiirisiä tekoälysovelluksia erilaisilla, mutta verrattavissa olevilla datoilla ja tutkimusasetelmilla. Viimeinen julkaisu on teoreettinen, ja se täydentää aiempia julkaisuita tarjoamalla näkökulman tarkasteltavaan vieraannuttava– osallistava-ulottuvuuteen.

Tekoälyn havaittiin piilottavan päätöksien rationaliteettia useissa eri päätöksentekoprosessin vaiheissa, mutta toisaalta myös paljastavan tiettyjä uusia rationaliteettimahdollisuuksia. Piilotuksesta löydettiin kaksi eri tasoa. Ensimmäisellä tasolla rationaliteetin sisältö on piilossa, mutta on nähtävissä, että jotain rationaliteettia on käytetty. Toisella tasolla on piilossa, että päätökseen on edes käytetty rationaliteettia. Sen sijaan päätös vaikuttaa tapahtuneen ilman syitä ikää kuin “automaattisesti.” Rationaliteeteista muodostui abstraktimpeja ja jäykempiä riippumatta tekoälyn käytöstä päätöksenteossa, mikä kuitenkin tyypillisesti paljasti rationaliteetin sisältöä kun päätöksenteko oli osallistavaa, kun taas vieraantuneessa päätöksenteossa tämä prosessi ja rationaliteetti jäi piiloon. Tekoäly luonteensa vuoksi rajoitti rationaliteetteja vertailemaan datan erilaisuuksia ja samanlaisuuksia. Tulokset vihjaavat, että ihmiset ovat itse osallistuvat omaan vieraantumiseensa päätöksenteossa tekoälyn kanssa erityisesti rationaliteetin piilottamisen kautta.

Tämä väitöskirja tarjoaa uusia näkemyksiä ja tarkemman tarkastelutason rationaliteettiin ja sen moraaliin tekoälyavusteisessa päätöksenteossa. Väitöskirja myös tarjoaa testattavia väitteitä tekoälyn välityksistä, joita voidaan käyttää teorian kehittämiseen tekoälyn reiluuden ja vastuun näkökulmista. Lisäksi väitöskirja vie rationaliteetin ja organisaatioiden päätöksenteon tutkimuskenttää eteenpäin jättämällä tarpeettoman dualismin pois rationaliteetin osalta. Löydökset myös auttavat ammattilaisia löytämään oleellisia tekoälyn vaikutuksia, jotka on syytä huomioida onnistuneen tekoälyn käytön kannalta.

Artificial intelligence (AI) has become increasingly ubiquitous in a variety of organizations for decision-making, and it promises competitive advantages to those who use it. However, with the novel insights and benefits of AI come unprecedented side-effects and externalities, which circle around a theme of rationality. A rationality for a decision is the reasons, the relationships between the reasons, and the process of their emergence. Lack of access to the decision rationality of AI is posed to cause issues with trust in AI due to lack of fairness and accountability. Moreover, AI rationality in moral decisions is seen to pose threats to reflective moral capabilities.

While rationality and agency are both fundamental to decision-making, agency has seen a shift into more relational views in which the technical and social are seen as inseparable and co-constituting of each other. However, AI rationality discussions are still heavily entrenched in dualism that has been overcome regarding agency. This entrenchment can contribute to a variety of the issues noted around AI. Moreover, while the types of AI rationality have been considered theoretically, currently the field lacks empirical work to support the discussions revolving around AI rationality.

This dissertation uses postphenomenology as a methodology to study empiri- cally how AI in decision-making impacts rationality. Postphenomenology honours anti-dualistic agency: Technology mediates and co-constitutes agency with people in intra-action. This dissertation uses this approach to study the mediation of <i>rationality</i>. Thus, it helps views on rationality to catch up with agency in terms of overcoming unnecessary dualism. The posed research question is “How does AI mediate rationality in decision-making?” Postphenomenological analysis is meant to be used at the level of the technological mediations of a specific technology, such as AI mediation of rationality in decision-making. Mediations can be considered in dimensions. This dissertation considers revealing–concealing, enabling–constraining, and involving–alienating dimensions of mediation to answer the posed research question.

In postphenomenology a basis for analysis is provided by empirical works, which are typically case studies of concrete intra-actions between humans and technologies. Postphenomenology as a methodology allows secondary empirical work by others, primary self-conducted studies, and first-person reflection as basis for empirical case analysis. Thus, while the publications of this dissertation are not published as case studies, postphenomenology considers them as such, making this dissertation a multiple case study. The first four publications are empirical works of applied AI with various different types of combinations of human and AI decision-making tasks with different yet comparable data. Data and methodology remain similar across studies in the empirical publications and are well comparable for postphenomenological analysis as case studies. The last publication is a theoretical paper, which provides a complement to the empirical publications on the involving–alienating dimension.

AI was found to conceal decision rationality in various stages of AI decision making, while in some cases AI also revealed possibilities for specific, novel rationalities. Two levels of rationality concealment were discovered: The contents of a rationality could become concealed, but also the presence of a rationality in the first place could become concealed. Rationality became more abstract and formalized regardless of whether the rationality was constructed with an AI or not. This formalization constrained rationality by ruling out other valid rationalities. Constraint also happened due to rationalities necessarily taking the specific form of similarities versus differences in the data. The results suggest that people can become involved in their alienation from rationality in AI decision-making. Study of the relationships between the mediation dimensions suggest that the constraint of formalization was revealing with involvement. Otherwise, formalization was both concealed because of and resulted in alienation from AI in decision-making. Results point to the direction that people may be involved in their own alienation via rationality concealment.

This dissertation contributes new insights and levels of analysis for AI rationality in decision-making and its moral implications. It provides testable claims about technological mediations that can be used to develop theory and posits that they can be useful in theorizing how to increase AI fairness, accountability, and transparency. Moreover, the dissertation contributes to the field of rationality in management and organizational decision-making by developing rationality beyond unnecessary dualism. For practitioners, the findings guide them to identify relevant AI mediations in decision-making to consider to ensure successful AI adoption and mitigation of its issues in their specific contexts.