An Evaluation Method for Virtual Learning Applications

Abstract

Tietojärjestelmien ja sovellusten evaluointimenetelmät ovat olleet tutkimuskohteena jo 1970 alkaen. Tutkijat ovat pyrkineet kehittämään erilaisia evaluointimenetelmiä päätöksenteon tueksi. Erityisesti tietojärjestelmien hankinnat ja niiden perusteluihin käytettävät menetelmät ovat olleet aikaisemmin tutkimuskohteina. Investointien arviointi ja takaisinmaksuaikojen laskeminen on muodostanut tärkeän tutkimuskohteen monissa tutkimuksissa. Nykyään erilaisten sovellusten hankkiminen voi tapahtua ns. valmissovelluksina.

Julkishallinnolliset organisaatiot ovat kiinnostuneet hankkimaan valmissovelluksia. Opetusta tarjoavat yhteisöt kuten yliopistot ja ammattikorkeakoulut ovat lisänneet virtuaaliopintoja, jolloin esille on kohonnut tarve hankkia käyttöön soveltuva tai soveltuvia virtuaalisia oppimissovelluksia. Usein virtuaalisovellusten käyttö alkoi asiasta kiinnostuneiden opettajien toimesta. Koko organisaation näkökulmasta strategiset, taktiset ja operatiiviset tavoitteet jäivät taka-alalle. Tarve löytää evaluointimenetelmä, jossa voidaan ottaa huomioon erilaiset tavoitteet ja eri asianomaisryhmien tarpeet systemaattisesti on ollut tämän tutkimuksen tausta-ajatuksena.

Ennen hankintapäätöstä tarvitaan ns. ex-ante evaluointimenetelmä, missä voidaan ottaa huomioon keskeisten vaikuttajaryhmien opiskelijoiden, opettajien, tietohallinnon ja johdon tavoitteet muodostavat tutkimuksen keskeisen tavoitteen asettelun. Evaluointimenetelmän kehittäminen perustuu valittuun opetusmenetelmään; yhteisöllinen ongelmalähtöinen opetusmenetelmä, johon perustuen on johdettu evaluointimenetelmän arviointkohteet ja kriteerit. Opiskelijoiden, opettajien, tietohallinnon ja johdon vaatimuksiin perustuvassa arviointimenetelmässä arviointikriteereiden arvojen laskenta perustuu analyyttiseen hierarkkiseen menetelmään (AHP).

Tutkimusprosessissa käytetään hyväksi suunnittelutieteen tutkimusmetodia, josta on muokattu tähän tarkoitukseen soveltuva metodi. Kehitetty arviointimenetelmä on demonstroitu käyttämällä yhtä tapausta. Demonstraation avulla voidaan osoittaa, että kehitetty evaluointimenetelmä tuottaa käyttökelpoisia suosituksia päätöksenteon tueksi.

Tieteellisenä tuotoksena tutkimusprosessissa on saatu kehitettyä evaluointimenetelmä virtuaalisia oppimissovelluksia varten. Menetelmä ottaa huomioon neljä asianosaisryhmää samanaikaisesti, eikä erillisinä prosesseina.

The importance of evaluation methods has been recognized as research subjects since the 1970s. Researchers suggest evaluation methods to use, as a tool for producing valuable information to support decision-making and justifying information system investments within organizations. An evaluation situation is a unique phenomenon in an organization and depends on time. Evaluation processes are identified by ex-ante, ongoing and ex-post evaluation. Off-the-shelf packages are considered to a small and medium sized organization as a solution, when decision-makers are solving the needs of information systems. At formal learning organizations, in many cases, the use of virtual learning environments is based on teacher s actions, not systematic evaluation and decision-making in previous years. At the organizational level, decision-makers are slowly recognizing the need for strategic and tactical aspects, and the need for systematic evaluation before making a decision; which kind of virtual learning environment meets the strategic, tactical and operative requirements and satisfies properties of a learning model.

This dissertation investigates an evaluation situation and evaluation process, and it identifies stakeholders roles in the evaluation process as an evaluator and a decision-maker. The purpose is to develop an evaluation method based on requirements of strategic, tactical and operative levels of organization. The evaluation criteria are also identified by using the collaborative problem based learning method.

An ex-ante evaluation method for a virtual learning application is developed and demonstrated. The developed ex-ante evaluation method utilizes the analytic hierarchy process (AHP)-method as a calculation tool, which is used to demonstrate the evaluation method s usability. The purpose of demonstration is to show how the developed evaluation method can be used in ex-ante evaluation.

The result of this thesis is an evaluation method for a virtual learning application, showing that an evaluation method can be used in the specified evaluation situation at a formal learning organization. The developed ex-ante evaluation method takes into account requirements of four stakeholder groups: students, teachers, ICT-staff, and executives, properties of learning method and derived features of a virtual learning application.