”Ei voi kehittää, jos ei arvioi” : Henkilöstön kokemuksia Valssi -laadunarviointijärjestelmän käyttöönotosta

Abstract

Tässä pro gradu- tutkielmassa tutkin varhaiskasvatuksen henkilöstön kuvauksia laadunarviointijärjestelmä Valssin käytöstä ja sen seurauksista. Valssi on uusi varhaiskasvatuksen arviointivelvoitteen tueksi kehitetty järjestelmä, jonka käyttöönotosta vastaa Kansallinen koulutuksen arviointikeskus Karvi. Tutkielmassani tarkastelen, mitä Valssin avulla kerätty data tuottaa varhaiskasvatuksen arkeen, miten dataa tuotetaan ja mitä sillä tehdään. Tutkielman teoriaosuus käsittelee arviointia ja sen seurauksia. Tarkkailen arviointia, laadunhallintaa ja datafikaatiota varhaiskasvatuksen näkökulmasta ja esittelen kehittävää ja performatiivista arviointitapaa. Tutkielma on laadullinen ja sen aineisto koostuu 13 teemahaastattelusta. Aineisto analysoitiin sisällönanalyysilla. Haastattelun kohderyhmänä olivat Valssin pilotointiin osallistuneen kunnan kentällä työskentelevät ja arviointia toteuttavat varhaiskasvatuksen opettajat sekä viranhaltija ja johtajat, jotka vastaavat siitä, miten ja mitä arviointivälineitä kunnan varhaiskasvatuksessa käytetään. Tutkielman tulokset osoittivat, että Valssin avulla varhaiskasvatuksen velvoittavaa arviointia voidaan toteuttaa samalla menetelmällä koko kunnan tasolla ja näin olla askel lähempänä tasalaatuista varhaiskasvatusta. Valssi näyttäytyi positiivisena verraten aiempiin arvioinnin ongelmakohtiin. Käyttäjät kuvasivat Valssia hyvänä itsearvioinnin, yhteisen pohdinnan ja kehittämisen välineenä, joka on selkeä ja varhaiskasvatuksen arjessa kiinni. Arviointiprosessi toi selkeästi esiin arvioitavan teeman vahvuudet ja kehittämiskohteet ja hyödytti ensisijaisesti henkilöstöä ja lapsiryhmää. Valssin arviointikeskustelun pohjalta tuotettu kirjallinen data herätti kritiikkiä paikkansapitävyydestä – tuleeko kaikkien ääni esiin tiimi- ja yksikkökeskusteluissa ja onko data rehellisesti tuotettua. Osa käyttäjistä jäi kaipaamaan numeerista yksikkökohtaista dataa, jota voisi vertailla. Lisäksi käyttäjät toivoivat lisäaikaa kehittämistyölle. Tutkimuksessa tarkastelluissa Valssi -laadunarviointiprosesseissa oli viitteitä sekä kehittävän että performatiivisen eli valvovan arvioinnin tavoista, minkä seurauksena arviointiprosessit näyttäytyivät näiden kahden hybridinä.

The purpose of this study was to investigate how early childhood education and care (ECEC) personnel describe the use and consequences of Valssi, a new national quality evaluation system. Finnish Education Evaluation Centre (FINEEC) designed Valssi to support the quality management of ECEC organizers and service providers. In my thesis, I examine what the data collected with Valssi produces in the daily life of ECEC, how the data is produced and what is done with it. The theoretical framework of this study consists of evaluation and its consequences. I observe evaluation, quality management and datafication from the point of view of ECEC and investigate enhancement-led and performative evaluation methods. The research material of his qualitative study consists of 13 interviews and was analyzed with content analysis. The interviewees were ECEC teachers, heads of early education centers and one municipal official from a municipality that had taken part in the piloting of Valssi. The study’s results showed that with the help of Valssi the municipality was able to conduct an evaluation process that included all the ECEC centers and personnel with the aim of developing the quality of ECEC. Valssi was described as a simple tool for self-evaluation, joint reflection and development that was in connection with ECEC’s everyday life. The evaluation process highlighted the strengths and development areas and primarily benefited the staff and the children of ECEC. The validity of the written data received some criticism. Some of the interviewees would have preferred numerical center-specific data instead of written data. The personnel wanted more time for development. The Valssi quality management process at hand showed aspects of both enhancement-led and performative evaluation methods and was therefore seen as a hybrid of the two.