Yksimielisyyden mittaamisen tilastolliset menetelmät
SIREN, TARJA (2008)
2008
Tilastotiede - Statistics
Informaatiotieteiden tiedekunta - Faculty of Information Sciences
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2008-09-29
Julkaisun pysyvä osoite on
https://urn.fi/urn:nbn:fi:uta-1-19384
https://urn.fi/urn:nbn:fi:uta-1-19384
Tiivistelmä
Arvioijien yksimielisyyden mittaaminen on monen tutkimusalan peruskysymyksiä. Esimerkiksi teollisen tuotantoprosessin kehittämisessä voidaan olla kiinnostuneita siitä, antaako uusi tehokkaampi menetelmä yhtä hyviä tuloksia kuin vanha menetelmä. Tässä tutkimuksessa rajoitutaan tarkastelemaan tilanteita, joissa kaksi arvioijaa luokittelee samat havainnot toisistaan riippumattomasti kahteen luokkaan. Tutkimuksessa keskitytään Cohenin kappaan, joka on yksi tunnetuimmista ja sovelletuimmista yksimielisyyden indeksimitoista (Cohen 1960). Kuitenkin voidaan näyttää, että joissain erikoistilanteissa se käyttäytyy epäjohdonmukaisesti, mistä syystä sille on esitetty monia vaihtoehtoja.
Yhtä Cohenin kapan muunnosta kutsutaan modifioiduksi kapaksi. Se parantaa Cohenin kapan käyttäytymistä täydellisen erimielisyyden tapauksessa. Tutkimuksessa osoitetaan, että modifioitu kappa on itseisarvoltaan suurempi tai yhtä suuri kuin Cohenin kappa. Modifioitu kappa yliarvioi siis Cohenin kapan arvon. Voidaan kuitenkin näyttää esimerkiksi simulointikokeiden avulla, että näiden kappojen erotus jää käytännön sovelluksissa useimmiten pieneksi. Edelleen on kuitenkin tilanteita, joissa Cohenin kappa ja modifioitu kappa käyttäytyvät epäjohdonmukaisesti. Tästä syystä tutkimuksessa esitellään vielä kaksi muunnosta, jotka perustuvat Cohenin kapan tai modifioidun kapan standardointiin, kun jokin tekijä on vakioitu. Yksityiskohtaisen tarkastelun tuloksena voidaan kuitenkin osoittaa yllättävä tulos, että vakioinnin seurauksena standardoidut kapat eivät enää mittaa yksimielisyyttä.
Koska muunnokset eivät tarjoa yksikäsitteisesti parempaa vastinetta Cohenin kapalle, otetaan tutkimuksessa kantaa siihen, miten Cohenin kappaa tulisi soveltaa käytännössä. Ensinnäkin otoskoko tulisi määrittää siten, että testauksessa ja väliestimoinnissa saavutetaan haluttu tarkkuus. Riittävä otoskoko voidaan määrittää ennen tutkimuksen suorittamista Cohenin kapan suurten otosten hajonnan maksimointiin perustuvalla menetelmällä. Toiseksi Cohenin kapan tulkinnassa tulee huomioida muun muassa arvioijien ammattitaito, kontingenssitaulukon rakenne ja hajonta.
Asiasanat: Cohenin kappa, modifioitu kappa, havaittu yksimielisyys, sattumayksimielisyys, esiintyvyys, harha
Yhtä Cohenin kapan muunnosta kutsutaan modifioiduksi kapaksi. Se parantaa Cohenin kapan käyttäytymistä täydellisen erimielisyyden tapauksessa. Tutkimuksessa osoitetaan, että modifioitu kappa on itseisarvoltaan suurempi tai yhtä suuri kuin Cohenin kappa. Modifioitu kappa yliarvioi siis Cohenin kapan arvon. Voidaan kuitenkin näyttää esimerkiksi simulointikokeiden avulla, että näiden kappojen erotus jää käytännön sovelluksissa useimmiten pieneksi. Edelleen on kuitenkin tilanteita, joissa Cohenin kappa ja modifioitu kappa käyttäytyvät epäjohdonmukaisesti. Tästä syystä tutkimuksessa esitellään vielä kaksi muunnosta, jotka perustuvat Cohenin kapan tai modifioidun kapan standardointiin, kun jokin tekijä on vakioitu. Yksityiskohtaisen tarkastelun tuloksena voidaan kuitenkin osoittaa yllättävä tulos, että vakioinnin seurauksena standardoidut kapat eivät enää mittaa yksimielisyyttä.
Koska muunnokset eivät tarjoa yksikäsitteisesti parempaa vastinetta Cohenin kapalle, otetaan tutkimuksessa kantaa siihen, miten Cohenin kappaa tulisi soveltaa käytännössä. Ensinnäkin otoskoko tulisi määrittää siten, että testauksessa ja väliestimoinnissa saavutetaan haluttu tarkkuus. Riittävä otoskoko voidaan määrittää ennen tutkimuksen suorittamista Cohenin kapan suurten otosten hajonnan maksimointiin perustuvalla menetelmällä. Toiseksi Cohenin kapan tulkinnassa tulee huomioida muun muassa arvioijien ammattitaito, kontingenssitaulukon rakenne ja hajonta.
Asiasanat: Cohenin kappa, modifioitu kappa, havaittu yksimielisyys, sattumayksimielisyys, esiintyvyys, harha