Miten mittari toimii? Tutkimus työelämän kyselymittarin rakentumisesta

Abstract

Yhteiskuntatieteellisiä kvantitatiivisia tutkimusmenetelmiä ja kvantitatiivista tiedonmuodostusta on tutkittu sosiaalitieteellisin käsittein vähän, vaikka kvantitatiiviset tutkimusmenetelmät ovat empiirisen yhteiskuntatutkimuksen tekemisen keskeinen elementti. Tässä tutkimuksessa tarkastelen, kuinka yhteiskuntatieteellisen tiedon tuottamisen keskeinen väline, kyselymittari, rakentuu yhteiskuntatieteellisissä tutkimuskäytännöissä.

Tutkimus avaa uuden näkökulman valtavirraltaan tilastotieteelliseen ja kognitiiviseen vastaajapsykologiseen kyselymittarien tutkimiseen. Tutkimuksellani osallistun erityisesti kyselytutkimuksen metodologiasta käytyihin niin teoreettisiin kuin kyselytutkimuksen käytäntöjä koskeviin menetelmäkeskusteluihin. Toisin kuin monissa aiemmissa kyselymittareita koskevissa tutkimuksissa, tavoitteeni ei ole arvioida kyselymittarien luotettavuutta. Sen sijaan tarkastelen kyselymittarien avulla erityisesti kyselytiedon ontologiaan liittyviä kysymyksiä, kuten millaisista elementeistä kyselymittarit koostuvat sekä miten ne tutkimuskäytännöissä toimivat. Teoreettisesti ja metodologisesti tutkimus sijoittuu sosiaalitieteellisen tutkimusmenetelmätutkimuksen sekä tieteen- ja teknologiantutkimuksen alueille.

Toteutan tutkimuksen tapaustutkimuksena. Tutkittava tapaus on vuosina 2008–2011 käynnissä ollut määräaikaisten ja toistaiseksi voimassa olevassa työsuhteessa työskentelevien työntekijöiden hyvinvointia käsitellyt tutkimusprojekti, jonka tutkijana myös itse työskentelin. Projektissa tehtiin empiiristä työelämäntutkimusta. Kohdistan tutkimukseni yhden aihealueen kyselymittareihin: Kohteena ovat projektissa käytetyt määräaikaisten työntekijöiden motiiveja mittaavat kyselymittarit, joiden tavoitteena oli erotella määräaikaista työtä joko vapaaehtoisesti tai vastentahtoisesti tekevät työntekijät. Tutkimuksen aineistona ovat tutkimusprojektin kuluessa tutkijoiden käyttöön laaditut dokumentit ja projektin aikana kirjoitetut julkaisut, kuten kokousmuistiot, kyselylomakkeiden versiot sekä vertaisarvioidut tieteelliset artikkelit.

Tutkimuskysymykseni on, millainen sosiomateriaalinen kokoonpano on valmiin tieteen ja keskeneräisen tieteen motiivimittari. Tutkin kyselymittarien rakentumista kahdella toisiaan täydentävällä tavalla: Tutkin valmiina tieteenä tutkijoiden julkai-suihin motiivimittareista tuottamaa metodologiapuhetta ja keskeneräisenä tieteenä motiivimittarien muodostamiseen liittyviä tutkimuskäytäntöjä, kuten sitä, miten motiivimittarit rakentuvat kyselymetodologisissa tutkimuskäytännöissä, kun kysely-tietoa kerätään ja kyselyaineistoa muodostetaan.

Tutkimuksen teoreettis-metodologisena viitekehyksenä on toimijaverkostoteoria, jonka juuret ovat tieteen- ja teknologiantutkimuksissa. Toimijaverkostoteoriassa toimijuus ymmärretään ihmistoimijuutta laajemmalle ulottuvana. Analysoin toimijaverkostoteorian käsitteillä motiivimittareita sosiomateriaalisina kokoonpanoina, jotka muodostuvat inhimillisten toimijoiden sekä ei-inhimillisten toimijoiden, kuten erilaisten teknologioiden, yhteenliittyminä.

Tulokset osoittavat, että valmiin tieteen motiivimittari on kirjaustyökalu, jolla luokitellaan vastaajia vapaaehtoisiksi ja vastentahtoisiksi määräaikaisiksi työntekijöiksi. Tulosten mukaan motiivimittarit ovat erilaisia riippuen tarkastelukontekstista. Tunnistin aineistosta kahdenlaisia valmiin tieteen motiivimittareita: yleistajuisen ja akateemisen motiivimittarin.

Keskeneräisessä tieteessä motiivimittari rakentuu erilaisissa kyselymetodologisissa tutkimuskäytännöissä. Tulokset osoittavat, että motiivimittarit eivät ole muuttumattomia kokoonpanoja kolmivuotisen aineistonkeruun aikana. Tutkimus nostaa esille muun muassa tietoteknologisten toimijoiden merkityksen kyselytiedon tuottamisen prosessissa. Keskeneräisen tieteen motiivimittarien analysoinnin myötä myös keskeiset kyselymetodologiset tutkimuskäytännöt, kuten lomakesuunnittelu, kyselymittarin uudelleen koodaaminen ja samaa asiaa mittaavien kyselymittarien lukumäärä tulkitaan uudella tavalla inhimillisten ja ei-inhimillisten toimijoiden yhteenkietoutumina.

Tutkimuksessa kyselytietoa tarkastellaan sosiomateriaalisesti rakentuvana verkostollisena kokonaisuutena, ja kyselytietoa tarkastellaan ihmistoimijoita laajemmassa yhteisössä. Ei-inhimillisten toimijoiden olemassa olon huomioiminen on merkityksellistä, kun ajatellaan sitä, millaista tietoa yhteiskuntatieteissä keskeisellä menetelmällä kyselytutkimuksella tutkimuskohteista tuotetaan ja millaisin ehdoin. Tutkimustulokset laajentavat käsitystämme kyselytutkimuksen tutkimuskäytännöistä ja osoittavat kyselytutkimuksen käytännöistä ammentavin käytännöllisin esimerkein, kuinka tiedon tuottamisen prosessi on siihen sisältyvien lukuisten toimijoiden ja valintojen myötä myös yhteiskunta- ja tiedonpoliittinen kysymys.

Quantitative research methods are one key element of empirical social research. However, social scientific quantitative research methods and quantitative knowledge-making have been relatively seldom analysed with social scientific concepts. In this dissertation, I study how a survey measure is constructed in social scientific research practices.

Prior studies on survey measures have focused on the analysis of their statistical and cognitive psychological aspects. This study approaches survey measures from a different angle: it focuses on the ontological aspects of survey knowledge instead of questions of reliability and validity. Questions such as ‘which elements constitute survey measures?’ and ‘how do measures act in research practices?’ are foundational in the context of this study. It aims to contribute to social scientific discussions concerning the theory and practices of doing survey research, and it draws theoretically and methodologically from social scientific research methodology studies and science and technology studies.

This is a case study of a four-year-long research project (2008–2011) in the field of working life research. The aim of the project was to compare the well-being of temporary and permanent employees. I worked on the project as a researcher from 2008 to 2011. I analyse a particular type of survey measure – the motive measures that were used in the course of the project to differentiate temporary employees based on their voluntary and involuntary motives. The data consist of documents that the project researchers wrote and used during the survey data collection, such as project meeting memos, versions of survey questionnaires, and peer-reviewed journal articles.

In this study, I ask the following question: ‘What kind of socio-material assemblages motive measures are in ready made science and science in the making?’ First, the construction of survey measures is investigated as ready made science in the form of research results. The analysis of ready made survey measures focuses on the methodology speech that researchers wrote in the form of different textual documents. Second, the construction of survey measures is studied as science in the making. In this second approach, I analyse the construction of survey measures in survey methodological research practices in which survey measures are designed and formed.

The theoretical and methodological framework draws on Actor-Network Theory (ANT), an approach that has its roots in science and technology studies. ANT concepts make it possible to consider both human and non-human actors as key constructing elements in survey measures. Motive measures are thus analysed as socio-material assemblages.

The empirical findings indicate the ready made motive measure is an inscription device that classifies respondents into voluntary and involuntary temporary employees. In addition, the results show that ready made motive measures are different in the diverse contexts in which they were analysed. In the course of the analysis, I identified two types of ready made motive measures: the popular and the academic motive measure.

Motive measures in the making are constructed through diverse socio-material research practices. According to my findings, motive measures were mutable assemblages the three-year-long survey data collection period. For example, the importance of information technological actors is made visible with ANT concepts. The analysis shows how central social scientific research practices – such as questionnaire design, the recoding of variables, and the number of measures measuring the same topic – can be interpreted in a different way when the measures are analysed in the making.

As stated, I approach survey knowledge as a socio-material network. Survey knowledge consists not only of human actors but also of non-human actors, so taking these non-human actors into account is relevant when reflecting on what kind of knowledge we produce with social scientific research methods and our objects of research. The results widen our conception of how we understand survey research practices. Furthermore, by using practical examples, the results also highlight how knowledge-making is both a socio-political question and a question of the politics of knowledge.