TREC-lähestymistavan soveltuvuus hahmopohjaisten kuvanhakualgoritmien arviointiin.
VAKKARI, MIKAEL (2003)
Tässä tietueessa ei ole kokotekstiä saatavilla Treposta, ainoastaan metadata.
2003
Informaatiotutkimus - Information Studies
Informaatiotieteiden tiedekunta - Faculty of Information Sciences
Hyväksymispäivämäärä
2003-04-11Tiivistelmä
Tutkimuksessa perehdytään hahmopohjaisten kuvanhakualgoritmien evaluointiin ja siihen liittyviin ongelmiin. Mahdollista ratkaisua pyritään hakemaan TREC-mallista. TREC (Text Retrieval Experts Conference) on jo useita vuosia toiminut tekstitiedonhaun kehittämiseen ja ongelmiin keskittynyt kansainvälinen projekti.
Hahmopohjaiset kuvanhakujärjestelmät ovat suhteellisen uusi tapa hakea kuvia tietokannasta. Haku kohdistetaan asiasanojen sijasta esimerkkikuvalla tietokannassa sijaitsevien kuvien visuaalisiin ominaisuuksiin, kuten väriin, tekstuuriin tai kuvan hahmoihin. Menetelmä on saanut osakseen kiinnostusta ja sitä on tutkittu sekä kehitetty eri puolilla maailmaa.
Hahmopohjaisia hakualgoritmien tehokkuutta on evaluoitu useissa tutkimuksissa mutta monissa tapauksissa evaluointimenetelmät ovat olleet kyseenalaisia. Ongelmaksi ovat nousseet mm. relevanssiarviot, algoritmien ja testiaineiston räätälöinti, testikysymyksien vähäinen määrä ja epärealistisen pienet tietokannat. Nämä ongelmat ovat joissain tutkimuksissa johtaneet arveluttaviin johtopäätöksiin. Käytössä ei ole yhtenevää ja yleisesti hyväksyttyä evaluointimallia, kuten tekstitiedonhaun puolella TREC:issä. Tutkimuksen tarkoitus on etsiä mahdollisuuksia soveltaa tekstitiedonhaun evaluointimenetelmiä hahmopohjaisten kuvanhakualgoritmien evaluoinnissa.
Hahmopohjaisten kuvanhakualgoritmien evaluoinnissa tulisi ottaa huomioon kolme vaatimusta jotta arviointi on käytännössä mielekästä ja että käytettyihin menetelmiin voidaan luottaa. Nämä kolme vaatimusta ovat validisuus, luotettavuus ja taloudellisuus.
Validisuus voidaan taata, jos testikokoelma ja testausjärjestelyt vastaavat algoritmien ajateltua käyttötarkoitusta. Hakutehtävien ja relevanssiarvioiden tulee olla käyttäjien tavoitteita vastaavia
Luotettavuuteen vaikuttaa ensisijaisesti testitehtävien määrä, relevanttien dokumenttien määrä testitehtävää kohden ja käytetyt tuloksellisuusmittarit.
Taloudellisuuteen vaikuttavat pääasiassa tutkimuksen relevanssiarvioiden kustannukset ja käytettävän kuva-aineiston hankintakustannukset.
Hahmopohjaiset kuvanhakujärjestelmät ovat suhteellisen uusi tapa hakea kuvia tietokannasta. Haku kohdistetaan asiasanojen sijasta esimerkkikuvalla tietokannassa sijaitsevien kuvien visuaalisiin ominaisuuksiin, kuten väriin, tekstuuriin tai kuvan hahmoihin. Menetelmä on saanut osakseen kiinnostusta ja sitä on tutkittu sekä kehitetty eri puolilla maailmaa.
Hahmopohjaisia hakualgoritmien tehokkuutta on evaluoitu useissa tutkimuksissa mutta monissa tapauksissa evaluointimenetelmät ovat olleet kyseenalaisia. Ongelmaksi ovat nousseet mm. relevanssiarviot, algoritmien ja testiaineiston räätälöinti, testikysymyksien vähäinen määrä ja epärealistisen pienet tietokannat. Nämä ongelmat ovat joissain tutkimuksissa johtaneet arveluttaviin johtopäätöksiin. Käytössä ei ole yhtenevää ja yleisesti hyväksyttyä evaluointimallia, kuten tekstitiedonhaun puolella TREC:issä. Tutkimuksen tarkoitus on etsiä mahdollisuuksia soveltaa tekstitiedonhaun evaluointimenetelmiä hahmopohjaisten kuvanhakualgoritmien evaluoinnissa.
Hahmopohjaisten kuvanhakualgoritmien evaluoinnissa tulisi ottaa huomioon kolme vaatimusta jotta arviointi on käytännössä mielekästä ja että käytettyihin menetelmiin voidaan luottaa. Nämä kolme vaatimusta ovat validisuus, luotettavuus ja taloudellisuus.
Validisuus voidaan taata, jos testikokoelma ja testausjärjestelyt vastaavat algoritmien ajateltua käyttötarkoitusta. Hakutehtävien ja relevanssiarvioiden tulee olla käyttäjien tavoitteita vastaavia
Luotettavuuteen vaikuttaa ensisijaisesti testitehtävien määrä, relevanttien dokumenttien määrä testitehtävää kohden ja käytetyt tuloksellisuusmittarit.
Taloudellisuuteen vaikuttavat pääasiassa tutkimuksen relevanssiarvioiden kustannukset ja käytettävän kuva-aineiston hankintakustannukset.