General upper secondary school e-learning platform usability: a heuristic evaluation

Abstract

Digital learning materials are widely used in Finnish upper secondary education, yet there is limited published research on the usability of commercial e-learning platforms. This thesis evaluates the usability of the Sanoma Digikirja 2.0 platform, using upper secondary biology course material (Bios 3) as the evaluation target. The evaluation was conducted using Nielsen’s (1992) ten usability heuristics. Three evaluators with software development and UI/UX backgrounds independently inspected the platform in a laptop-based setup reflecting typical classroom use. Each evaluation session lasted two hours and included a warm-up exercise. Usability problems were recorded using a structured web form and rated based on Nielsen’s five-point severity scale. The data was analyzed quantitatively by mapping violations to heuristics and severity levels, and qualitatively through thematic analysis based on the evaluators’ written descriptions. A total of 85 usability problems were identified, of which 63 were unique, resulting in 144 heuristic violations across all ten heuristics. The most frequent violations were related to “Consistency and standards” (26) and “Flexibility and efficiency of use” (18). Most problems were rated as minor or major, although seven were classified as usability catastrophes. The qualitative analysis highlighted navigation-related issues as the most prominent problem area, followed by problems in accessibility tool usage and settings. The findings suggest that the platform lacks a consistent and well-integrated interaction model, leading to increased cognitive load and inefficient interaction, particularly in navigation. These results align with previous research on e-learning usability. While the study is limited by the small number of evaluators and the use of general-purpose heuristics, it demonstrates that heuristic evaluation can effectively identify critical usability problems in real-world educational platforms. The results provide practical insights for improving the usability of digital learning environment.

Digitaaliset oppimateriaalit ovat laajasti käytössä suomalaisessa toisen asteen koulutuksessa, mutta kaupallisten verkko-oppimisalustojen käytettävyydestä on julkaistu vain vähän tutkimusta. Tässä diplomityössä arvioidaan Sanoma Digikirja 2.0 -oppimisalustan käytettävyyttä käyttäen tarkastelukohteena lukion biologian kurssimateriaalia (Bios 3). Arviointi toteutettiin Nielsenin (1992) kymmenen käytettävyysheuristiikan pohjalta. Kolme ohjelmistokehityksen ja UI/UX-suunnittelun taustan omaavaa arvioijaa tarkasteli oppimisalustaa itsenäisesti kannettavalla tietokoneella, joka vastasi tyypillistä luokkahuonekäyttöä. Kukin arviointisessio kesti kaksi tuntia ja sisälsi lämmittelyharjoituksen. Käytettävyysongelmat kirjattiin verkkolomakkeeseen ja arvioitiin Nielsenin viisiportaisella vakavuusasteikolla. Aineisto analysoitiin kvantitatiivisesti luokittelemalla havainnot heuristiikkojen ja vakavuusluokkien mukaan sekä kvalitatiivisesti temaattisen analyysin avulla arvioijien kirjallisten kuvausten perusteella. Arvioinnissa tunnistettiin yhteensä 85 käytettävyysongelmaa, joista 63 oli uniikkeja. Näistä muodostui 144 heuristista rikkomusta kaikissa kymmenessä heuristiikassa. Eniten rikkomuksia havaittiin heuristiikoissa ”Konsistenssi ja standardit” (26) sekä ”Joustava ja tehokas käyttö” (18). Suurin osa ongelmista luokiteltiin vakavuudeltaan vähäisiksi tai merkittäviksi, mutta seitsemän ongelmaa arvioitiin käytettävyyskatastrofeiksi. Kvalitatiivinen analyysi osoitti navigointiin liittyvät ongelmat selvästi yleisimmäksi ongelma-alueeksi, jota seurasivat saavutettavuustyökalujen käyttöön ja asetuksiin liittyvät ongelmat. Tulokset viittaavat siihen, että alustalta puuttuu yhtenäinen ja hyvin integroitu vuorovaikutusmalli, mikä lisää kognitiivista kuormitusta ja heikentää käytön tehokkuutta erityisesti navigoinnin osalta. Havainnot ovat linjassa aiemman verkko-oppimisen käytettävyystutkimuksen kanssa. Tutkimusta rajoittavat pieni arvioijamäärä sekä yleiskäyttöisten heuristiikkojen käyttö, mutta tulokset osoittavat, että heuristinen evaluaatio soveltuu hyvin kriittisten käytettävyysongelmien tunnistamiseen todellisissa oppimisympäristöissä. Tulokset tarjoavat käytännön näkökulmia digitaalisten oppimisympäristön kehittämiseen.