Kompleksisen arvioinnin sedimenteistä peruskallioon: Kompleksisen arvioinnin ristiaallokossa

Abstract

Kompleksisuustieteitä ja arviointitutkimusta on lähestytty laajasti erilaisista näkökulmista. Näitä kahta tutkimusalaa on tutkittu myös näennäisesti yhteisistä lähtökohdista. Pääsääntöisesti kompleksisen arvioinnin tutkimus ei kuitenkaan erittele, minkälaisesta kompleksisuudesta on kyse ja minkälaisten taustaolettamusten varassa järjestelmien luonnetta käsitellään. Tämä tutkielma muodostuu teoreettisesta ja empiirisestä tutkimuskysymyksestä: Miten kompleksisuutta ja arviointeja on tutkittu sekä miten tulkinnat Suomen Akatemian toiminnasta heijastuvat kompleksisen arvioinnin tieteelliseen keskusteluun? Tutkimuskysymyksillä pyritään avaamaan kompleksisuuden ja arviointien sekä niiden yhteistä tieteellistä keskustelua ja reflektoimaan näitä näkökulmia empiiriseen aineistoon. Tämä tutkimus on laadullinen tutkimus, teorialähtöisellä sisällönanalyysillä. Tutkimuksen kohdeorganisaatio on Suomen Akatemia, joka on suurin kansallisen tieteenrahoittaja. Haastatteluaineisto koostuu arvioinnin järjestämisestä vastuussa olevien tiedeasiantuntijoiden näkemyksistä. Puolistrukturoiduilla teemahaastatteluilla pyritään selvittämään arviointiprosesseihin osallistuvien henkilöiden tulkintoja ja merkityksiä, joita he asettavat kohtaamilleen asioille. Näitä näkemyksiä abstrahoidaan kompleksisen arvioinnin teoreettiseen keskusteluun. Tutkimuskysymysten teoreettisessa ja empiirisessä analyysissä on hyödynnetty metaforista tarkastelua tutkimusmenetelmänä.

Teoreettisen tarkastelun tuloksena muodostuu kompleksisen arvioinnin ristiaallokon metafora, joka kuvastaa aiheista käytyä pirstaleista tieteellistä keskustelua. Ristiaallokko pitää sisällään neljä ulottuvuutta, jotka nostavat esille teoreettisen analyysin perusteella keskeisimmät painotukset kompleksisuuden, arvioinnin ja kompleksisen arvioinnin tieteellisestä keskustelusta. Teoreettisen analyysin mallinnus jäsentää aineistoa teorialähtöisesti ja luo rakenteen empiirisille tuloksille. Tuloksien valossa Suomen Akatemia on ristiriitainen kokonaisuus erilaisia tulkintoja kokonaisuuksista, kausaalisuhteista, osallisuudesta, menetelmistä sekä arvioinnin luonteesta. Tulkinnat painottavat maailman moninaisuutta ja järjestelmän hallinnan vaikeutta. Johtopäätöksissä todetaan, että tulkinnat Suomen Akatemian arviointiprosesseista ja arviointi-instrumentista ovat paradoksaalisia ja radikaalin kompleksisuuden perusolettamuksien mukaisia. Sosiaalisesta vuorovaikutuksesta kumpuavaa muutosta painottava radikaali kompleksisuus muodostaa empiirisen tarkastelun perusteella peruskallion kompleksisen arvioinnin ristiaallokon pohjalle. Aallot huuhtoessaan tuovat mukanaan ainesta, joka kumuloituu sedimenteiksi. Sedimentit kuvastavat muun muassa erilaisia laskennallisia käsityksiä järjestelmästä sekä julkisen sektorin toimintapolitiikan interventioiden tutkimuksen tieteellisiä paradigmoja. Tutkielman johtopäätökset tarjoavat asetelman jatkotutkimusaiheille. Kompleksisten ilmiöiden arvioinnin kriittinen näkökulma voi tarjota lähtökohdat esimerkiksi tutkimukselle laadullisen tiedon hyödyntämisestä osana sosiaalipalvelujen vaikuttavuuden arviointia.