The Effects of Test Automation Implementation on IT Service Organization

Abstract

Jatkuva muutos liiketoimintaympäristössä pakottaa yrityksiä jatkuvaan tietojärjestelmien kehitykseen. Samanaikaisesti yritysten IT-organisaatioiden tulee taata tietojärjestelmien luotettavuus liiketoiminnalle. Yksi keino tarjota luotettavuutta ja tehokkuutta on ottaa käyttöön tietojärjestelmien automatisoitu testaus. Automatisoidun testauksen käyttöönotto aiheuttaa tietynlaisia vaikutuksia organisaatiolle, joka tarjoaa IT-palveluja sisäiselle asiakkaalle. Tämän tutkimuksen tavoitteena oli ymmärtää, mitä vaikutuksia käyttöönotettu testiautomaatio oli luonut kohdeorganisaation prosesseille. Havaittujen vaikutusten perusteella kohdeorganisaation johdolle pystyttiin tarjoamaan ohjeistuksia.

Tämä tutkimus toteutettiin tapaustutkimuksena kohdeorganisaatio Metson IT-osastolle. Tutkimus rakennettiin teoreettisesta osuudesta laajalla kirjallisuuskatsauksella, sekä empiirisestä osuudesta, joka toteutettiin kohdeorganisaatioon. Teoreettinen osuus rakennettiin kahdesta kokonaisuudesta, joista ensimmäinen rakentui testauksen hallinnasta, testiautomaatiosta ja kypsyysmalleista, ja toinen ITIL palvelutransitioon pohjautuvista prosesseista. Teoreettisesta osuudesta oli mahdollista johtaa vaikutuksia, jotka olivat työn tavoitteen kannalta oleellisia. Työn empiirinen osuus testasi teoreettisen osuuden väitettyjä vaikutuksia kohdeorganisaatio Metsossa. Empiirinen osuus toteutettiin pääasiallisesti puolistrukturoiduilla haastatteluilla, kun taas osallistuva havainnointi ja sisäinen dokumentaatio tuottivat täydentävää dataa haastatteludatan lisäksi.

Tutkimuksen tuloksena pystyttiin tunnistamaan vaikutuksia, joita testiautomaation käyttöönotto on tuottanut kohdeorganisaation prosesseille. Vaikutukset kategorisoitiin ITIL palvelutransition prosesseihin ja erilaisiin organisatorisiin aspekteihin. Empiirisen ja teoreettisen osuuden välinen keskustelu teki mahdolliseksi muuttaa tunnistetut vaikutukset kohdeorganisaation ohjeistukseksi. Ohjeistus oli kohdennettu Metson IT-organisaation johdolle, jotta käyttöönotetun testiautomaation toimintaa olisi mahdollista kehittää. Keskeiset ohjeistukset painottivat muutoksenhallinnan jäljitettävyyden merkitystä testiautomaatiossa, testauksen suunnittelun sisällyttämistä muutoksenhallintaan, omistajuuden ja vastuualueiden määritystä, asiantuntijatiedon säilytyksen mahdollisuutta, konfiguraationhallinnan tärkeyttä, julkistusaikataulun tehokkuuden arvioimista, testauksenhallinnan ja testidatanhallinnan kehittämistä ja testiautomaation relevanssin ylläpitoa riittävällä näkyvyydellä, sitoutumisella ja määritellyillä prosesseilla. Kokonaisuudessaan tuloksien tarkoituksena oli tuottaa IT-organisaation johdolle ajatuksia, miten testiautomaation toimintaa voi kehittää kypsemmäksi tunnistettujen vaikutuksien pohjalta.

Constant change in business environment forces companies to keep their information systems in constant development. At the same time, IT organizations need to provide reliability of information systems to the business. One way to provide reliability and efficiency is to implement automated testing of information systems. An implementation of test automation causes certain effects for an organization that provides IT services for internal business customer. The objective of this study was to understand, what effects the implementation of test automation had generated on the processes of the case organization. Based on the identified effects, the purpose was to provide directions for the management of the case organization.

This study was conducted as a case study to the IT department of the case organization Metso. This study was constructed to consist of a theoretical part with extensive literature review and an empirical part, which was conducted in the case organization. The theoretical part was built on two equal parts, where the first part discussed about test management, test automation and maturity models and the second part about organizational processes based on ITIL service transition framework. From the theoretical part, it was possible to derive effects that are essential in the scope of this study. The empirical part tested the claimed effects of the theoretical part in the case organization Metso. The empirical part was mainly conducted with semi-structured interviews. Participant observation and internal documentation supplemented the collected data from the interviews.

As a result, it was possible to identify the effects which test automation implementation had caused on the processes of the case organization. The effects were categorized to include ITIL service transition processes and different organizational aspects. A discussion between the theoretical and empirical part made it possible to transform the identified effects into considerations for the case organization. The considerations were aimed for the management of Metso IT organization, in order to develop the operations of implemented test automation. The main considerations were to ensure traceability of change management in test automation, incorporate test planning into change management, assignment of ownership and responsibilities, storage of expert knowledge, importance of configuration management, assessing the effectiveness of release schedule, further development of test and test data management and maintaining the relevance of test automation with visibility, commitment and appropriate processes. In conclusion, the results were meant to develop insight for the IT management in order to develop more mature operations of implemented test automation.