Tampereen yliopiston OPSI-opintotietojärjestelmä: kahden tiedonhakujärjestelmän vertailu interaktiivisessa asetelmassa

Abstract

Tutkimuksessa toteutettiin vuorovaikutteinen tiedonhaun tutkimus Tampereen yliopiston OPSI-opintotietojärjestelmässä, jossa vertailtiin kahta tiedonhakujärjestelmää. Vertailtavat järjestelmät olivat Google sekä Apache Lucene vektorihakukirjastolla toteutettu hakujärjestelmä. Tutkimuksessa haluttiin selvittää, kummalla järjestelmällä opiskelijat löytävät tietoa paremmin ja nopeammin, sekä lisäksi antaa pohjatietoa sivustojen omien hakujärjestelmien (Apache Lucene) sekä ulkopuolisten toimijoiden (Google) keskinäisistä tuloksellisuussuhteista. Hypoteesin mukaan Apache Lucenella toteutettu järjestelmä on tarkempi, ja Googlella opiskelijat joutuvat tekemään useampia kyselyjä sekä selaamaan tulosjoukkoa enemmän. Tutkimukseen osallistui kymmenen koehenkilöä, jotka olivat kaikki Tampereen yliopiston pääaineopiskelijoita. Koehenkilöt tekivät opintotietoihin liittyviä simuloituja tiedontarpeita sisältäviä koetehtäviä. Lisäksi tutkimuksessa toteutettiin järjestelmäsuuntautunutta tiedonhaun tutkimusta edustava koe, jossa saatiin viitteitä siitä, että molemmat järjestelmät ovat miltei yhtä tuloksellisia mitattuna ensimmäisen relevantin dokumentin keskisijoituksella tulosjoukossa.

Tutkimuksen taustalla on ajatus kandidaatintutkielman jo tehneestä tai sitä parhaillaan tekevästä opiskelijasta, joka tutkii opinto-oppaita tarkistaakseen, onko kaikki tarvittavat opinnot jo suoritettu ja millaisia opintoja hän voisi vielä suorittaa tutkintojaan täydentämään. Varsin pitkälle edenneiden opiskelijoiden valitsemisella koehenkilöiksi haluttiin varmistaa, ettei tiedonhaku ole vaikeaa substanssitiedon puutteesta johtuen. Opintojen alkuvaiheessa oleville opiskelijoille koetehtävien suunnittelu olisi myös haastavaa. Tutkimuksessa ei käytetty saantikantaa, vaan koehenkilöt määrittivät itse relevantit dokumentit oman opiskelutaustansa perusteella. Kokeen tarkkailija tarkisti, että relevanteiksi määriteltyjä dokumentteja voidaan pitää relevantteina koetehtävä ja koehenkilön tausta huomioiden.

Tutkimuksessa havaittiin, että järjestelmät ovat hyvin saman tasoisia sen suhteen kuinka tehokkaasti tietoa löydetään OPSI-järjestelmästä. Koehenkilöt painoivat koetehtävissä tilastollisesti merkitsevästi keskimäärin useampaa linkkiä Googlella. Tehtyjen hakujen määrän osalta tilastollinen testi ei onnistunut paljastamaan merkitsevää eroa järjestelmien välillä, mutta hypoteesin vastaisesti Lucenella tehtiin useampia hakuja. Koetehtävien suorittamiseen kului kokonaisuudessaan molemmilla järjestelmillä täsmälleen saman verran aikaa, mutta Apache Lucenella vietettiin enemmän aikaa hakulomakkeella. Kun käyttäjät tottuvat käyttämään Apache Lucenen hakulomaketta, olisi tiedonhaku oletettavasti nopeampaa sillä, koska hakulomakkeella vietetty aika tällöin luultavasti pienenisi. Koehenkilöt onnistuivat tekemään joukon koetehtäviä täydellisellä suorituksella, ja näiden määrässä on painotus Apache Lucenen hyväksi. Koehenkilöt arvioivat itsensä miltei yhtä tyytyväisiksi molempiin järjestelmiin. Tutkimuksen aineiston perusteella Apache Lucene on aavistuksen tuloksellisempi käyttäjien kannalta, mutta ero ei ole suuri verrattuna Googleen. Jos omaa hakujärjestelmää aletaan toteuttaa, sen on syytä olla ilmaisuvoimainen, mutta samalla korkealla tasolla käytettävyyden suhteen, jotta se on hyödyksi käyttäjille. Tutkimuksessa havaittiin laitosrajauksen olevan huono valinta rajausvaihtoehdoksi, sillä opiskelijat hahmottavat aineiston perusteella opinto-oppaat selvästi oppiaineen mukaan.

Asiasanat:internet, tiedonhaku, tiedonhakujärjestelmät, vuorovaikutteinen tiedonhaun tutkimus