Multimodaalisten syötteiden käsittely: modaliteettien käyttö ja fuusiomenetelmät
MALMBERG, TANJA (2007)
2007
Tietojenkäsittelyoppi - Computer Science
Informaatiotieteiden tiedekunta - Faculty of Information Sciences
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2007-06-12
Julkaisun pysyvä osoite on
https://urn.fi/urn:nbn:fi:uta-1-17074
https://urn.fi/urn:nbn:fi:uta-1-17074
Tiivistelmä
Multimodaaliset järjestelmät ovat yritys muuttaa ihmisen ja tietokoneen välistä vuorovaikutusta luonnollisempaan suuntaan tarjoamalla uusia tapoja kommunikoida tietokoneiden kanssa. Syöte voidaan antaa useiden eri vuorovaikutuskanavien kautta, eikä käyttäjien tarvitse pitäytyä teennäisissä kommunikaatiotavoissa, joita perinteiset käyttöliittymät suosivat. Toisaalta multimodaalisuus tuo mukanaan useiden syötteiden tulkitsemiseen ja yhdistämiseen liittyvät ongelmat, joiden ratkaiseminen on edellytys tehokkaalle ja luotettavalle multimodaaliselle vuorovaikutukselle.
Tässä tutkielmassa käsitellään modaliteettien käyttöön liittyviä erityispiirteitä ja tutkimustuloksia, jotka tulee ottaa huomioon suunniteltaessa eri modaliteeteilta tulleiden syötteiden yhdistämistä. Ennen varsinaisia fuusiomenetelmiä fuusioprosessia käsitellään yleisluontoisesti: sen tasoja, toteutusta ja ongelmia. Syötteiden käsittely on multimodaalisissa järjestelmissä keskeisessä asemassa, sillä tulkinnan onnistuminen pitkälti määrittää järjestelmän toimintavarmuuden. Fuusiomenetelmien toteuttamistekniikoiden lisäksi niiden yhteydessä pyritäänkin käsittelemään syöteongelmien ratkaisemiseksi kehiteltyjä virheiden käsittelytekniikoita. Tutkielmassa käydään läpi useita erilaisia fuusiotekniikoita, joista jokainen pyrkii ratkaisemaan multimodaalisten syötteiden yhdistämiseen liittyvät hankaluudet omalla tavallaan. Lopuksi esitellään vielä lyhyesti EMMA-merkintäkieli, joka on tiedonsiirtoformaatti multimodaalisia järjestelmiä varten. Lisäksi se tarjoaa useita elementtejä ja attribuutteja ohjaamaan ja avustamaan multimodaalisten syötteiden yhdistämistä.
Avainsanat ja -sanonnat: multimodaalisuus, modaliteetti, fuusiomenetelmät, EMMA.
Tässä tutkielmassa käsitellään modaliteettien käyttöön liittyviä erityispiirteitä ja tutkimustuloksia, jotka tulee ottaa huomioon suunniteltaessa eri modaliteeteilta tulleiden syötteiden yhdistämistä. Ennen varsinaisia fuusiomenetelmiä fuusioprosessia käsitellään yleisluontoisesti: sen tasoja, toteutusta ja ongelmia. Syötteiden käsittely on multimodaalisissa järjestelmissä keskeisessä asemassa, sillä tulkinnan onnistuminen pitkälti määrittää järjestelmän toimintavarmuuden. Fuusiomenetelmien toteuttamistekniikoiden lisäksi niiden yhteydessä pyritäänkin käsittelemään syöteongelmien ratkaisemiseksi kehiteltyjä virheiden käsittelytekniikoita. Tutkielmassa käydään läpi useita erilaisia fuusiotekniikoita, joista jokainen pyrkii ratkaisemaan multimodaalisten syötteiden yhdistämiseen liittyvät hankaluudet omalla tavallaan. Lopuksi esitellään vielä lyhyesti EMMA-merkintäkieli, joka on tiedonsiirtoformaatti multimodaalisia järjestelmiä varten. Lisäksi se tarjoaa useita elementtejä ja attribuutteja ohjaamaan ja avustamaan multimodaalisten syötteiden yhdistämistä.
Avainsanat ja -sanonnat: multimodaalisuus, modaliteetti, fuusiomenetelmät, EMMA.