The Promise of Responsible Research Assessment

Abstract

Tässä väitöskirjassa tarkastellaan mitä vastuullisuus tutkimuksen arvioinnissa tarkoittaa, miksi sitä tarvitaan ja miten sitä toteutetaan käytännössä. Lisäksi tutkimus käy läpi vastuullisen tutkimuksen arvioinnin kohtaamia haasteita sekä arvioi sen tulevaisuuden näkymiä.

Vastuullisessa tutkimuksen arvioinnissa huomio siirtyy tutkimuksen arviointiin liittyvien ongelmien kuvaamisesta ratkaisujen kehittämiseen ja toteuttamiseen. Sen näkökulmasta keskeinen ratkaistava ongelma on liian kapeiden kriteerien ja indikaattorien käyttö arvioinnissa, minkä nähdään aiheuttavan muun muassa vääristyneitä kannustimia ja kestämättömiä paineita tutkijoille.

Vastuullisempaa tutkimuksen arviointia korostava kansainvälinen liike sai alkunsa 2010-luvun alussa. Väitöskirja pyrkii selvittämään, miten viimeisen reilun kymmenen vuoden aikana julkaistuissa vastuullisen tutkimuksen arvioinnin julistuksissa ja periaatteissa ehdotetaan ratkaistavan tutkimuksen arviointiin liittyviä haasteita, toisin sanoen mikä on vastuullisen tutkimuksen arvioinnin lupaus. Tutkimuksen arviointiin liittyviä haasteita tarkastellaan kolmen arviointiin keskeisesti liittyvän elementin kautta: arvioinnin konteksti, arviointikriteerit ja arvioinnissa käytetyt menetelmät. Haasteisiin ehdotetut ratkaisut määritellään käyttäen viittä kansainvälisesti tunnettua julkaisua: San Franciscon julistus tutkimuksen arvioinnista (nk. DORA-julistus), Leidenin manifesti, Metric Tide, Hongkongin periaatteet ja eurooppalainen sopimus tutkimuksen arvioinnin uudistamisesta. Näiden asiakirjojen voidaan katsoa vaikuttaneen eniten siihen, miten vastuullinen tutkimuksen arviointi ymmärretään, erityisesti Euroopassa.

Väitöskirjassa tutkitaan myös, kuinka hyvin vastuullinen tutkimuksen arviointi lunastaa lupauksensa. Tätä tutkitaan tarkastelemalla vastuullisen tutkimuksen arvioinnin nykytilannetta: kuinka hyvin se ratkaisee tunnistettuja haasteita, ja kohtaako se vai luoko se jopa omia uusia haasteitaan. Tutkimuksen arviointiin liittyviä haasteita ja vastuullisen tutkimuksen arvioinnin nykytilannetta tarkastellaan tämän väitöskirjan osana julkaistujen artikkeleiden pohjalta. Artikkelit käydään läpi esimerkkitapauksina, jotka korostavat väitöskirjan yhteenvetoluvussa esiin nostettuja aiheita, ja niiden tuloksia käsitellään yhteenvetoluvun tutkimuskysymysten valossa.

Tutkimus päätyy siihen, että vastuullisen tutkimuksen arvioinnin lupaus muodostuu sen pyrkimyksestä kattaa ja ratkaista ensimmäistä kertaa useita tutkimuksen arviointiin liittyviä tunnettuja haasteita sen sijaan, että niitä tarkasteltaisiin yksittäisten menetelmien, tieteenalojen tai käytäntöjen näkökulmasta. Vastuullisen tutkimuksen arvioinnin julistuksissa ja periaatteissa huomioidaan kaikki kolme tutkimuksen arvioinnin keskeistä elementtiä ja ehdotetaan ratkaisuja näihin haasteisiin. Kontekstiin ja kriteereihin liittyvien haasteiden osalta keskeinen ratkaisu on tutkimuksen ja tutkijoiden monimuotoisuuden tunnustaminen ja kunnioittaminen. Menetelmiin liittyvien haasteiden osalta keskeinen ratkaisu on laadullisen arvioinnin käyttäminen ensisijaisena menetelmänä vastuullisesti käytettyjen määrällisten menetelmien tukemana. Mitä tulee siihen, kuinka hyvin vastuullinen tutkimuksen arviointi lunastaa lupauksensa, tutkimuksessa osoitetaan, että se samanaikaisesti ratkaisee, kohtaa ja luo haasteita. Ratkaisee siinä mielessä, että sen esiin nostamat haasteet heijastavat hyvin tutkijoiden kokemuksia eri arviointitilanteista. Se kohtaa haasteita siinä mielessä, että joitakin haitallisia mutta vakiintuneita arviointikäytäntöjä ei voida ratkaista pelkästään vastuullisen tutkimuksen arvioinnin avulla. Ja se luo omia uusia haasteitaan siinä mielessä, että vastuullinen tutkimuksen arviointi vaatii uudistusta tutkimuksen vakiintuneisiin arviointitapoihin, mutta järjestelmä ei ole (vielä) kaikilta osin valmis tähän.

Vastataksemme siihen, lunastaako vastuullinen tutkimuksen arviointi lupauksensa, tarvitaan lisää tutkimusta pidemmällä aikaperspektiivillä kuin tällä hetkellä on mahdollista. Sen käsittelemät haasteet ovat osuvia, mutta vastuullisempien arviointikäytäntöjen toteuttamiseksi tarvitaan vielä paljon yhteistyötä koko tutkimusyhteisön kesken. Suurimmat esteet vastuullisemmille arviointikäytännöille ovat syvälle tutkimuskulttuuriin juurtuneet vakiintuneet tavat: kapea ymmärrys laadusta ja vaikuttavuudesta sekä vielä kapeammat tavat arvioida niitä.

This summary chapter explores responsible research assessment (RRA), where it is rooted, how it is defined and implemented, what kinds of challenges is it facing, and what seems to be ahead for it. RRA is defined in a continuum of different declarations and guidelines building on each other published during the last decade or so. It marks an attention shift from describing problems related to research assessment towards developing and implementing solutions. The core problem RRA aims to solve is the use of narrow criteria and indicators in assessment causing distorted incentives, unsustainable pressures on researchers and standardisation of research missions and purposes.

The study seeks to find out what is the promise of RRA, referring to how RRA proposes to solve a multitude of challenges related to research assessment. And furthermore, how well is RRA delivering on its promise. Here the focus of attention is on the current reality for RRA in terms of how well it is solving the challenges, or if it is facing, or even creating a set of challenges of its own.

The challenges related to research assessment are examined through three key elements of research assessments: context, criteria and methods, and the proposed solutions to the challenges regarding the key elements of assessment are defined using the internationally well-known five documents, San Francisco Declaration on Research Assessment, Leiden Manifesto, Metric Tide, Hong Kong Principles and the Agreement on Reforming Research Assessment, that have arguably contributed the most on how RRA is understood today. In addition, the challenges related to research assessment as well as the current reality for RRA are scrutinized based on the articles published as part of this thesis. The articles are revisited as example case studies highlighting the issues raised in the summary chapter and their results are discussed in light of the research questions of the summary chapter.

The study concludes that the promise of RRA is its attempt to encompass and solve for the first time many of the well-known challenges related to research assessment, as opposed to looking at them from the point of view of individual methods, disciplines or practices. RRA considers challenges related to all three key elements of research assessment and proposes solutions to those challenges. In terms of challenges related to both context and criteria, the main solution is recognizing and respecting diversity. In terms of challenges related to methods the main solution is using qualitative assessment as the primary methods with the support of responsibly used quantitative methods. And regarding how well RRA is delivering on its promise, it is argued that it is at the same time solving, facing and creating challenges. Solving challenges in the sense that it addresses the challenges researchers experience in different evaluation situations. Facing challenges in the sense that some detrimental yet established evaluation practices cannot be solved by RRA alone as the change is dependent on individuals and organisations changing their behaviour. And creating challenges of its own in the sense that RRA requires a reform on how research is assessed, but the system is not (yet) ready for such reform, at least not everywhere. And for RRA to become the established way of research assessment, it needs to be accepted and implemented globally.

Answering the question if RRA is delivering on its promise still needs further research, with a longer time perspective than is possible for the moment. The challenges RRA addresses are the right ones, but a lot of determined cooperation involving the entire research community is needed to realise the reform as the biggest obstacles to more responsible assessment practices are established ways deeply rooted in research culture: narrow understanding of excellence and impact, and even more narrow ways of evaluating them.