Simulating Search Sessions in Interactive Information Retrieval Evaluation

Abstract

Väitöskirjatyössä tutkittiin tiedonhakijoiden ominaisuuksien ja relevanssipalautteen vaikutuksia haun tehokkuuteen. Todellisten testihenkilöiden käyttöön liittyviä kustannuksia vältettiin tarkastelemalla tiedonhakijoiden käyttäytymisen vaikutuksia simulaatioiden avulla.

Tutkimuksessa tarkasteltiin uuden, koneoppimiseen perustuvan luokittelumenetelmän kykyä parantaa haun tulosta simuloidun relevanssipalautteen perusteella. Tutkimuksessa havaittiin, että relevanssipalaute, jossa on realistinen määrä virheitä, ei heikennä haun tehokkuutta merkitsevästi lyhyitä kyselyitä käytettäessä.

Tutkimuksessa havaittiin myös, että perinteiset kokeellisen tiedonhaun evaluointimittarit voivat antaa harhaanjohtavia tuloksia vertailtaessa hakustrategioita eri ympäristöissä, jos aikatekijä otetaan huomioon.

Tutkimuksessa tarkasteltiin lisäksi kyselynmuotoilustrategioiden vaikutuksia, generoimalla kattavasti kaikki muotoilustrategiat rajallisen hakusanajoukon pohjalta. Tällöin havaittiin, että ei ole löydettävissä yleisstrategiaa, joka toimisi parhaiten kaikilla käytetyillä eri hakuaiheilla.

Tutkimus kiinnittää huomion siihen, että perinteisessä kokeellisen tiedonhaun tutkimuksessa ei ole ollut tapana mallintaa eräitä muuttujia, jotka ovat keskeinen osa hakuprosessia ja joilla voi olla vaikutusta haun tuloksellisuuteen. Tällaisia ovat esimerkiksi kyselyjen muotoilustrategiat ja hakutulosten selailuun ja relevanssiarviointiin liittyvät piirteet. Näiden muuttujien vaikutukset tulisikin ottaa huomioon evaluoitaessa vuorovaikutteista tiedonhakua.

In the present thesis, the effects of users’ characteristics and the relevance feedback behavior on search effectiveness were examined via user simulations. While conducting interactive experiments with test persons is costly in terms of time and resources, experiments of the thesis are based on user behavior simulations.

A novel classification approach based on machine learning were tested to improve the subsequent search results with the help of searcher’s feedback on the initial results. Further, a realistic level of fallibility in the feedback process does not deteriorate the search outcomes for short queries significantly.

We found that traditional evaluation metrics may deliver misleading conclusions in IR experiments when time is taken into account by comparing the different search environments and strategies.

Moreover, we examined all possible query formulation strategies with limited search vocabulary. Our experiments indicate that there is no single winning strategy that performs best across all topical search tasks.

Finally, we show that conventional IR experiments are not aware of user-dependent search variables such as query formulation, result scanning and assessing behavior, which govern the subtasks of the search process and the effectiveness of IIR. Therefore, the effect of these variables should be taken into account in the IIR evaluation process.