How can I help you?: The usability of answers provided by the customer service chatbots of student housing associations
Eskelinen, Susanna (2020)
2020
Monikielisen viestinnän ja käännöstieteen maisteriohjelma - Master's Degree Programme in Multilingual Communication and Translation Studies
Informaatioteknologian ja viestinnän tiedekunta - Faculty of Information Technology and Communication Sciences
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2020-05-12
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:tuni-202004273918
https://urn.fi/URN:NBN:fi:tuni-202004273918
Tiivistelmä
Chatbots are becoming more common in customer service. Because chatbots have a greater importance, the usability of their answers is also more important. This study evaluates the usability of the answers provided by customer service chatbots. The customer service chatbots examined in this study are from Finnish student housing associations. There are six associations from different parts of Finland.
The theoretical framework of this study comprises usability and the chatbots in the framework of technical communication. This study sees the answers of the customer service chatbots as part of technical communication and as instructional texts.Therefore, usability heuristics for documentation are included to the theoretical framework.
Cognitive walkthrough is used to analyse the usability of each chatbot’s answers. Due to the evaluation method, the focus in the usability evaluation is on the learnability of the answers. For the cognitive walkthrough, the user profile is defined as a new user of the services which student housing associations provide.
The study material was gathered with a set of questions to the chatbots. These questions were developed from the frequently asked questions on the websites of the associations. The questions were placed on a simplified customer journey map which was created for this study. The simplified customer journey map was created to reflect the customer experience a user might have with any of the associations in this study.
The individual evaluations revealed several places for improving the usability of the answers. For example, the answers could use more approachable terminology and address the user directly while instructing them. This study could be used as a basis for creating comprehensive usability testing for the answers. This usability testing could include entire user tasks to perform with a chatbot. Chatboteista on tulossa koko ajan tärkeämpi osa asiakaspalvelua, joten niiden vastausten käytettävyydelläkin on yhä suurempi merkitys. Tässä tutkimuksessa tarkastellaan asiakaspalveluun käytettävien chatbottien vastausten käytettävyyttä. Tutkimuksessa käytettävät chatbotit ovat kuuden suomalaisen opiskelija-asuntosäätiön chatbotteja. Säätiöt ovat eri puolilta Suomea.
Tämän tutkimuksen tieteellinen viitekehys pohjautuu käytettävyyteen ja chatbottien tarkasteluun teknisen viestinnän näkökulmasta. Tässä tutkimuksessa asiakaspalvelun chatbottien vastaukset nähdään teknisen viestinnän tuotteina ja ohjeteksteinä. Siten tutkimuksen teoreettisessa kehyksessä hyödynnetään myös dokumentaation käytettävyysheuristiikoita.
Yksittäisten chatbottien vastausten käytettävyyden arviointiin käytetään kognitiivista läpikäyntiä. Arvioinnissa korostuu opittavuus, koska metodina kognitiivinen läpikäynti korostaa sitä. Läpikäyntiä varten tutkimuksessa määritellään käyttäjäksi uusi opiskelija, joka ei ole aikaisemmin käyttänyt opiskelija-asuntosäätiön palveluita. Tutkimusmateriaali on kerätty kysymyslistalla chatboteilta. Nämä kysymykset on kehitetty säätiöiden nettisivuilta löytyvistä yleisimmin kysytyistä kysymyksistä. Sen jälkeen ne on asetettu tutkimusta varten kehitetylle yksinkertaistetulle asiakkaan palvelupolulle. Yksinkertaistettu asiakkaan palvelupolku on kehitetty heijastelemaan asiakaspolkua minkä tahansa tutkimukseen kuuluvan säätiön kohdalla.
Yksittäisissä arvioinneissa havaittiin, että vastausten käytettävyyttä voitaisiin parantaa monilla tavoilla. Vastauksissa voitaisiin esimerkiksi käyttää lähestyttävämpää terminologiaa ja puhutella käyttäjää suoraan ohjeistamisen aikana. Tätä tutkimusta voitaisiin kehittää vastausten laajemman käytettävyystutkimuksen suuntaan. Tällaisessa käytettävyystutkimuksessa voitaisiin huomioida vastausten luonne tarkemmin ja sisällyttää kokonaisia käyttäjätehtäviä suoritettavaksi chatbotin kanssa.
The theoretical framework of this study comprises usability and the chatbots in the framework of technical communication. This study sees the answers of the customer service chatbots as part of technical communication and as instructional texts.Therefore, usability heuristics for documentation are included to the theoretical framework.
Cognitive walkthrough is used to analyse the usability of each chatbot’s answers. Due to the evaluation method, the focus in the usability evaluation is on the learnability of the answers. For the cognitive walkthrough, the user profile is defined as a new user of the services which student housing associations provide.
The study material was gathered with a set of questions to the chatbots. These questions were developed from the frequently asked questions on the websites of the associations. The questions were placed on a simplified customer journey map which was created for this study. The simplified customer journey map was created to reflect the customer experience a user might have with any of the associations in this study.
The individual evaluations revealed several places for improving the usability of the answers. For example, the answers could use more approachable terminology and address the user directly while instructing them. This study could be used as a basis for creating comprehensive usability testing for the answers. This usability testing could include entire user tasks to perform with a chatbot.
Tämän tutkimuksen tieteellinen viitekehys pohjautuu käytettävyyteen ja chatbottien tarkasteluun teknisen viestinnän näkökulmasta. Tässä tutkimuksessa asiakaspalvelun chatbottien vastaukset nähdään teknisen viestinnän tuotteina ja ohjeteksteinä. Siten tutkimuksen teoreettisessa kehyksessä hyödynnetään myös dokumentaation käytettävyysheuristiikoita.
Yksittäisten chatbottien vastausten käytettävyyden arviointiin käytetään kognitiivista läpikäyntiä. Arvioinnissa korostuu opittavuus, koska metodina kognitiivinen läpikäynti korostaa sitä. Läpikäyntiä varten tutkimuksessa määritellään käyttäjäksi uusi opiskelija, joka ei ole aikaisemmin käyttänyt opiskelija-asuntosäätiön palveluita. Tutkimusmateriaali on kerätty kysymyslistalla chatboteilta. Nämä kysymykset on kehitetty säätiöiden nettisivuilta löytyvistä yleisimmin kysytyistä kysymyksistä. Sen jälkeen ne on asetettu tutkimusta varten kehitetylle yksinkertaistetulle asiakkaan palvelupolulle. Yksinkertaistettu asiakkaan palvelupolku on kehitetty heijastelemaan asiakaspolkua minkä tahansa tutkimukseen kuuluvan säätiön kohdalla.
Yksittäisissä arvioinneissa havaittiin, että vastausten käytettävyyttä voitaisiin parantaa monilla tavoilla. Vastauksissa voitaisiin esimerkiksi käyttää lähestyttävämpää terminologiaa ja puhutella käyttäjää suoraan ohjeistamisen aikana. Tätä tutkimusta voitaisiin kehittää vastausten laajemman käytettävyystutkimuksen suuntaan. Tällaisessa käytettävyystutkimuksessa voitaisiin huomioida vastausten luonne tarkemmin ja sisällyttää kokonaisia käyttäjätehtäviä suoritettavaksi chatbotin kanssa.