Rakenne-ehtojen merkitys XML-tiedonhaussa: INEX’03:n ja INEX’04:n CAS-hakutehtävien ja saantikantojen tarkastelua
MARJAMAA, MINNA (2008)
2008
Informaatiotutkimus - Information Studies
Informaatiotieteiden tiedekunta - Faculty of Information Sciences
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2008-06-11
Julkaisun pysyvä osoite on
https://urn.fi/urn:nbn:fi:uta-1-18858
https://urn.fi/urn:nbn:fi:uta-1-18858
Tiivistelmä
Tutkimus käsittelee rakenne-ehtojen merkitystä XML-tiedonhaussa hakutehtävien ja saantikantojen tilastollisen tarkastelun avulla. Tutkimukseni liittyy kansainvälisen XML-tiedonhakujärjestelmien evaluointihankeen INEX:in (The Initiative for the Evaluation of XML-retrieval) koeasetelman kehittämiseen ja arviointiin. Tutkimusmateriaalina on INEX:in vuoden 2003 ja 2004 sekä XML-rakennetta että sisältöä hyväkseen käyttävät kyselyt (content and stucture, CAS) ja niiden pohjalta tehdyt relevanssiarviot.
Rakenne-ehdon lisääminen kyselyyn on oletettu parantavan haun tarkuutta, mutta tätä ei INEX:in testauksissa ole ainakaan toistaiseksi havaittu. Syytä on etsitty kyselyiden rakentamiseen sekä relevanssiarviointimenettelyyn liittyvistä ongelmista. Työni selvittää tarkemmin, millaisia kyselyt ja relevanssiarviot ovat ja kuinka tutkimusasetelma mahdollisesti vaikuttaa evaluointituloksiin.
Tutkimukseni pohjalta piirtyy kuva siitä, että INEX:in tutkimusasetelma ei ole päässyt kovinkaan kauas perinteisistä tekstitiedonhakukokoelmien lähtöoletuksista. CAS-kyselyt olettavat käyttäjän haluavan vastauksina perinteisiä tekstitiedonhakutyyppisiä laajoja kokonaisuuksia. Käyttäjän ei oleteta haluavan juuri hyödyntää XML:n rakennetta. Relevanssiarvioiden pohjalta taas piirtyy kuva siitä, että saantikannoissa kyselyjen rakenne-ehtojen rooli on epämääräinen: Vuodesta 2003 vuoteen 2004 rakenne-ehdon käyttö on vähentynyt dramaattisesti niin että vuonna 2004 relevanssiarvioissa ei tunnu CAS-kyselyiden rakennetta käytetyn enää lainkaan. Ei siis ihme, että tarkuus ei ole parantunut rakenne-ehdon lisäämisen myötä, sillä rakennetta on käytetty varsin näennäisesti sekä kyselyitä että relevanssiarviointia tehdessä.
Tutkimukseni tulos kiinnittää huomion INEX:in ohjeistukseen ja suunnitteluun: Relevanssiarvioitsijoita on ohjeistettu vuonna 2003 käyttämään rakennetta vain jossain määrin hyödykseen, vuonna 2004 rakenne kehotetaan ohittamaan täysin ja keskittymään vain sisältöön. Jos sumea logiikka CAS-kyselyiden kohdalla tarkoittaa sitä, että kyselyt tehdään tietokantaorientoituneesti kyselykielen avulla, mutta niihin relevanteiksi arvioidut elementit taas valitaan lähinnä sisällön perusteella, herää kysymys, mitä koeasetelma todellisuudessa heijastaa. CAS-hakutehtävien rooli koko tutkimus-asetelmassa jää häilyväksi. Tutkimukseni osoittaa, että rakenne ja sisältö –orientoitunutta lähestymistapaa INEX:in tutkimusasetelmassa kannattaisi täsmentää – muuten jää epäselväksi mitä koeasetelmalla oikeastaan mitataan ja minkälaisin periaattein.
Asiasanat: XML, tiedonhaku, arviointi, relevanssi
Rakenne-ehdon lisääminen kyselyyn on oletettu parantavan haun tarkuutta, mutta tätä ei INEX:in testauksissa ole ainakaan toistaiseksi havaittu. Syytä on etsitty kyselyiden rakentamiseen sekä relevanssiarviointimenettelyyn liittyvistä ongelmista. Työni selvittää tarkemmin, millaisia kyselyt ja relevanssiarviot ovat ja kuinka tutkimusasetelma mahdollisesti vaikuttaa evaluointituloksiin.
Tutkimukseni pohjalta piirtyy kuva siitä, että INEX:in tutkimusasetelma ei ole päässyt kovinkaan kauas perinteisistä tekstitiedonhakukokoelmien lähtöoletuksista. CAS-kyselyt olettavat käyttäjän haluavan vastauksina perinteisiä tekstitiedonhakutyyppisiä laajoja kokonaisuuksia. Käyttäjän ei oleteta haluavan juuri hyödyntää XML:n rakennetta. Relevanssiarvioiden pohjalta taas piirtyy kuva siitä, että saantikannoissa kyselyjen rakenne-ehtojen rooli on epämääräinen: Vuodesta 2003 vuoteen 2004 rakenne-ehdon käyttö on vähentynyt dramaattisesti niin että vuonna 2004 relevanssiarvioissa ei tunnu CAS-kyselyiden rakennetta käytetyn enää lainkaan. Ei siis ihme, että tarkuus ei ole parantunut rakenne-ehdon lisäämisen myötä, sillä rakennetta on käytetty varsin näennäisesti sekä kyselyitä että relevanssiarviointia tehdessä.
Tutkimukseni tulos kiinnittää huomion INEX:in ohjeistukseen ja suunnitteluun: Relevanssiarvioitsijoita on ohjeistettu vuonna 2003 käyttämään rakennetta vain jossain määrin hyödykseen, vuonna 2004 rakenne kehotetaan ohittamaan täysin ja keskittymään vain sisältöön. Jos sumea logiikka CAS-kyselyiden kohdalla tarkoittaa sitä, että kyselyt tehdään tietokantaorientoituneesti kyselykielen avulla, mutta niihin relevanteiksi arvioidut elementit taas valitaan lähinnä sisällön perusteella, herää kysymys, mitä koeasetelma todellisuudessa heijastaa. CAS-hakutehtävien rooli koko tutkimus-asetelmassa jää häilyväksi. Tutkimukseni osoittaa, että rakenne ja sisältö –orientoitunutta lähestymistapaa INEX:in tutkimusasetelmassa kannattaisi täsmentää – muuten jää epäselväksi mitä koeasetelmalla oikeastaan mitataan ja minkälaisin periaattein.
Asiasanat: XML, tiedonhaku, arviointi, relevanssi