Quality Assurance and Evaluation as a Mode of Local Education Governance : The Case of Russian Schools

Abstract

Tutkimuksen tarkoitus oli selvittää, miten koulutusta hallitaan paikallistasolla laadunvarmistuksen ja -arvioinnin (engl. ”QAE”, quality assurance and evaluation) työkaluilla. Tutkimus tarkastelee ensiksi sitä, millaisia koulutushallinnan muotoja on ilmennyt uusien laadunvarmistuksen ja -arvioinnin menettelytapojen myötä. Toiseksi tutkimuksessa pohditaan paikallistoimijoiden, kuten opettajien, koulujen hallintohenkilökunnan tai paikallisten kouluviranomaisten roolia hallinnoinnin rakentamisessa laadunvarmistuksen ja -arvioinnin avulla. Tutkimuksessa problematisoidaan väitettä siitä, että uusien laadunvarmistuksen ja -arvioinnin mekanismien esiintulo muuttaisi hallinnointia perusteellisesti. Sen sijaan tutkimuksessa nostetaan esille monimutkaisuuksia, ristiriitaisuuksia ja jatkumoja entisten ja nykyisten koulutushallinnan tapojen sisältä ja väliltä. Huomiota kiinnitetään myös paikallistoimijoiden toimijuuteen: Miten paikallistoimijat rakentavat yhdessä paikallisia laadunvarmistuksen ja -arvioinnin käytänteitä reagoimalla niihin ja hyödyntämällä niitä resurssien ja vaikutuksen saamiseksi.

Koulutuksen laatuun on viime vuosikymmeninä kiinnitetty yhä enemmän huomiota, sillä sitä pidetään avaimena tietoyhteiskunnan vaurauteen ja kansainvälisen kilpailukyvyn kasvattamiseen. Laadunvarmistus ja -arviointi ovat kehittyneet nopeasti tämän suuntauksen vanavedessä, ja tällä hetkellä niillä on merkittävä rooli kansallisten koulutuksen ohjauksessa. Niiden avulla muun muassa arvioidaan ja pyritään kehittämään koulutusjärjestelmien tuloksellisuutta. Erityisesti laajat oppimistulosten arvioinnit, niiden pohjalta tuotetut vertailut ja oppilasarvioinnin perusteella tehdyt koulutusinstituutioiden ja henkilökunnan arvioinnit ovat saavuttaneet merkittävän aseman ja ovat siten enenevässä määrin herättäneet myös tutkijoiden kiinnostusta. Laadunvarmistuksen ja -arvioinnin käytänteiden nähdään tuovan isoja muutoksia koulutuksen hallintatapoihin. Tutkijat puhuvat ”käänteentekevästä muutoksesta”, joka ilmenee ”uusien tilivelvollisuuksien” syntymisenä julkisella sektorilla (Strathern, 2000). Lisäksi on keskusteltu koulutuksen ”jälkibyrokraattisesta hallintajärjestelmästä” (Maroy, 2008) sekä hyvinvointivaltion jälkeisestä ajasta (Gewirtz, 2002).

Tutkimus ottaa kriittisen kannan sitä väitettä kohtaan, jonka mukaan ottamalla tiettyjä laadunvarmistuksen ja -arvioinnin työkaluja käyttöön valtio väistämättä muuttaa hallinnan tapojaan. Tutkimus haastaa myös idean siitä, että erilliset ja täysin erilaiset hallintomallit ovat olemassa historiallisina todellisuuksina. Tämä näkemys on saanut inspiraatiota kriittisestä uusliberalismin tutkimuksesta ja erityisesti jälkisosialistisesta tutkimusperinteestä. Tutkijat, jotka ovat vaikuttaneet tähän perinteeseen (kuten Collier, 2011; Silova, 2010; Kipnis, 2008), osoittavat, ettei uusliberalismi ole yhtenäinen doktriini, joka ilmenee samalla tavalla ympäri maailmaa, vaan käytännössä se on aina osittainen, moniarvoinen ja epätäydellinen ja ilmenee vastareaktiona tiettyihin paikallisiin olosuhteisiin. Lisäksi se riippuu institutionaalisten viitekehysten jatkuvuudesta. Tutkijat painottavat paikallisten käytänteiden huomioimista, korostavat eri subjektien toimijuutta ja vaativat hallintajärjestelmien tarkkaa tutkimista mallien oletettujen ilmentymien tarkastelun sijasta. Tämä tutkimus kontribuoi kriittisen jälkisosialistisen tutkimuksen perinteeseen ja tarkastelee laadunvarmistuksen ja - arvioinnin työkaluja paikallistason hallinnan näkökulmasta.

Tutkimuksen aineisto on kerätty eräältä Venäjän alueelta, jonka laadunvarmistus ja -arviointijärjestelmä koki äskettäin muutoksia. Uudet laadunvarmistuksen ja -arvioinnin menettelytavat, joita otetaan tällä hetkellä käyttöön ympäri Venäjää, sisältävät korkeapanoksisen opiskelijoiden suoriutumisen arvioinnin ja suoriutumisperustaisen opettajien palkkausjärjestelmän, jotka vastaavat muiden maiden kiisteltyjä koulujen tulosvastuureformeja. Tutkimuksen rakenne oli seuraava: Ensiksi tarkasteltiin Venäjän kansallisen laadunvarmistuksen ja -arvioinnin menettelytapojen kehitystä sodanjälkeisestä neuvostoajasta nykypäivään. Toiseksi koulutuksen laadunvarmistuksen ja -arvioinnin paikallisjärjestelmää analysoitiin normatiivisten asiakirjojen avulla; miten koulutustoimijat raportoivat siitä, ja miten se ilmeni jokapäiväisissä koulujen käytänteissä. Tutkimuksessa kiinnitettiin erityistä huomiota uusien laadunvarmistuksen ja -arvioinnin osaalueiden paikkaan ja rooleihin paikallisen koulutushallintatavan kokonaisjärjestelmässä. Lopuksi keskityttiin niihin tapoihin, joilla hallintohenkilökunta ja opettajat reagoivat laadunvarmistuksen ja -arvioinnin menettelytapoihin ja rakentavat ja muokkaavat niitä paikallisesti. Tutkimuksen empiirinen aineisto koostui havainnoista ja haastatteluista, jotka toteutettiin kouluissa ja paikallisviranomaisten kanssa.

Analyysin perusteella paikalliset laadunvarmistuksen ja -arvioinnin menettelytavat sisälsivät sekä perinteisiä että uusia laadunvarmistuksen elementtejä. Uudistus oli enneminkin asteittainen kuin hajottava, ja lopputuloksena syntyneillä menettelytavoilla oli kerroksellinen luonne. Uudemmat laadunvarmistuksen ja -arvioinnin työkalut vahvistivat vanhoja työkaluja paikallisen tason hallinnassa sen sijaan, että ne olisivat korvanneet ne. Uudet työkalut loivat yhteyksiä säädösten toteutuksen ja resurssienjaon välille sekä helpottivat viranomaisten pääsyä koulujen sisäisiin prosesseihin muodollistamalla ne ja tuomalla ne viranomaiskontrollin alaisiksi.

Paikallistoimijoiden asemien ja intressien monimuotoisuus edistää laadunvarmistuksessa ja -arvioinnissa käytettyjen työkalujen ja toimintatapojen moninaisuutta. Esimerkiksi ne koulut, joiden opiskelijat suoriutuvat paremmin, voivat saada resursseja ja vaikutusvaltaa laadunvarmistuksen ja -arvioinnin mekanismien avulla. Siispä tällaiset koulut pitävät näitä mekanismeja hyödyllisinä ja edistävät niiden käyttöönottoa. Vastaavasti taas ne koulut, joissa suoriutuminen on heikompaa, saattavat joutua vaikeaan kierteeseen, jossa ne jatkuvasti menettävät vaikutusvallan resursseja ja mahdollisuuksia Tämän tutkimuksen valossa perinteinen laadunvarmistus ja -arviointi, joka keskittyy lain noudattamiseen ja riittävien koulutuspanostusten valmisteluun, on suoritusperustaisia työkaluja hyödyllisempi sellaisille kouluille, jotka toimivat epäedullisissa konteksteissa tai joilla on vähemmän resursseja.

Yksittäisten toimijoiden, kuten opettajien, hallintohenkilökunnan tai viranomaisedustajien käytös saattaa vaikuttaa paikallisen laadunvarmistuksen ristiriitaiseen luonteeseen. Jotkut koulujen hallintohenkilökunnan jäsenet ottivat aktiivisesti käyttöön suoriutumisperustaisia työkaluja johtaakseen opetushenkilökuntaa, kun taas toiset pyrkivät rajoittamaan kyseisten työkalujen käyttöä välttääkseen kilpailun aiheuttamat ristiriidat opettajien välillä. Myös viranomaisedustajien välillä oli eroja: Kun toisten mielestä uudet arviointityökalut olivat tehokkaita koulujen muutoksen edistämisessä, toiset lähinnä käyttivät niitä raportoidakseen esimiesasemassa oleville viranomaisille ja käyttivät perinteisimpiä tapoja toteuttaakseen interventioita kouluissa. Haastatelluilla opettajilla oli epäilevä asenne uusia laadunvarmistuksen ja -arvioinnin työkaluja kohtaan, ja he etäännyttivät itsensä ammatillisesti uusista menettelytavoista. Opettajat kuitenkin välttivät avointa vastarintaa ja ilmaisivat ”teeskenneltyä tukea” (Yurchak, 1997) uudenlaista laadunvarmistusta ja - arviointia kohtaan toteuttamalla sitä ainoastaan muodollisesti tai hyötymällä uusista suoriutumisperustaisista mahdollisuuksista palkkojensa korotuksiin. Tämänkaltainen paikallistoimijoiden toiminta epäilemättä vahvistaa kiisteltyä laadunvarmistuksen ja -arvioinnin menettelytapojen tuottamaa auditointikulttuuria, mutta toisaalta se mahdollisesti horjuttaa sitä pidemmällä aikavälillä.

Tulkitakseen laadunvarmistuksen ja -arvioinnin monimuotoisuutta paikallistasolla tämä tutkimus esittää eri hallinnan teoriat yhdistävää tutkimusotetta. Tutkimus myös laajentaa laadunvarmistuksen ja -arvioinnin teoreettisia lähestymistapoja nostamalla keskusteluun arvioinnin ja laadunvarmistuksen toimintoja perinteisessä byrokratiassa, uudessa julkisjohtamisessa (engl. NPM, new public management) ja etäältä hallinnassa. Lisäksi se osoittaa, että erilaisille hallintamalleille tunnusomaiset osa-alueet ja piirteet ovat samanaikaisesti läsnä paikallisissa menettelytavoissa ja käytännössä.

This doctoral dissertation investigates how education is governed at the local level through the instruments of quality assurance and evaluation (QAE). First, it examines what mode of education governance has emerged locally with the arrival of new QAE policies. Second, it discusses the role of local actors, including teachers, school administrators, and local educational authorities, in constructing governance through QAE. The dissertation problematizes the claim about a fundamental change in governance with the arrival of the new mechanisms of QAE, and highlights complexities, contradictions and continuities within and between previous and present regimes of education governance. It also draws attention to the agency of local actors who co-construct local QAE policy and practice by reacting to it and utilizing it to gain resources and influence.

Attention to education quality has greatly increased in recent decades because education quality is viewed as a key to economic prosperity and international competitiveness of a country in the age of knowledge economy. QAE developed rapidly as a part of this trend, and currently it occupies a major place in national education policies as a way to assess and increase the productivity of education systems. Specifically, largescale assessments of student learning achievement, rankings stemming from them, and evaluations of educational institutions and personnel on the basis of student performance, have gained prominence and attract increasing attention on the part of scholars. The rise of these QAE policies is considered to bring major changes to education governance. Scholars speak about an “epochal change” occurring with the emergence of ”new accountabilities” in the public sector (Strathern, 2000) and about the arrival of the ‘postbureaucratic regime’ (Maroy, 2008) and ”post-welfarism” (Gewirtz, 2002) in education.

The dissertation assumes a critical stance towards the claim that by introducing certain QAE instruments the state necessarily changes the mode of governance. It also challenges the idea that distinct and entirely different governance models exist as historical realities. This standpoint is inspired by critical studies of neoliberalism and specifically by the post-socialist research tradition. Scholars that contributed to this tradition (such as Collier, 2011; Silova, 2010; Kipnis, 2008) revealed that neoliberalism is not a coherent doctrine which is applied in a uniform way across the globe, but in practice it is always partial, plural, and incomplete, emerges as a response to specific local circumstances, and depends on the legacies of inherited institutional frameworks. They emphasize attentiveness to local practices, appreciate the consideration of subjects’ agency, and call for the research of actually existing regimes, rather than their models. This dissertation advances this strand of critical post-socialist research by examining governance through QAE tools from the perspective of the local level.

The local case for this investigation is a particular area in Russia that recently experienced transformations of the QAE system. The new QAE policy, currently enacted all over Russia, includes high-stakes large-scale assessment of student achievement and performance-based teacher salaries, which makes it similar to the disputed school accountability policies in other countries. The study unfolded as follows. First, the development of Russian national QAE policy from the post-war Soviet period to the present time was reviewed. Then, the local system for education QAE was analyzed as reflected in the normative documents, reported by educational actors, and observed in everyday school practices. Specific attention was payed to the place and roles of the new elements of QAE in the overall system of local education governance. Finally, the research focused on the ways in which administrators and teachers reacted to the changes in QAE policy, and pondered their roles in constructing local governance through QAE. The core empirical data for the research were participant observations and interviews conducted in schools and local educational authorities.

The analysis revealed that local QAE policy encompassed both traditional and new QAE elements. The reform was incremental rather than disruptive, and the resulting policy had a layered character. Newer QAE instruments reinforce older ones rather than replace them in the local governance. They create new connections between the implementation of regulations and the provision of resources, and facilitate greater access to internal school processes, formalizing them and subjecting them to control by the authorities. The diversity of the positions and interests of local actors promotes the diversity of the QAE tools actually used. For example, schools with high student achievement can gain resources and influence through the QAE mechanisms, so they regard them as helpful and contribute to their implementation. At the same time, in the case of low performance, the school may find itself ensnared in a vicious cycle, continuously losing resources and opportunities to exert influence. Traditional QAE focusing on compliance with the law and the provision of sufficient inputs for schooling are more beneficial than performance-based instruments to those schools that operate in disadvantaged contexts or have meager resources. The behavior of individual actors, such as teachers, administrators, or representatives of the authorities, also contributes to the mixed character of the local QAE. Some school administrators chose to actively employ performance-based instruments to manage teaching staff, while other sought to limit the application of such tools to avoid competition-induced conflicts between teachers. Representatives of the authorities also assumed different positions: while some considered the new evaluation tools effective in promoting change in schools, others mainly used them to report to the supervising authorities and employed more traditional means for making interventions in schools. Teachers interviewed demonstrated a skeptical attitude towards the new QAE instruments and distanced themselves professionally from the new policy. However, they avoided overt resistance, and exhibited a “simulated support” (Yurchak, 1997) for new QAE, complying with it only formally or capitalizing on its performancebased opportunities to improve their salaries. Such behavior of local actors arguably perpetuates the controversial audit culture produced by QAE policies, but on the other hand has a potential for undermining it in the long run.

To interpret the diversity of the actually existing QAE at the local level, the dissertation argues for the combined application of governance theories. It elaborates on the main theoretical approaches to QAE as a mode of governance, discussing the functions of evaluation and quality assurance in traditional bureaucracy, new public management, and governance at a distance, and further demonstrates that elements characteristic of these different governance models are simultaneously present in local policy and practice.