Electroencephalography in Evaluating Mental Workload of Gaming
Ahonen, Ville (2020)
2020
Johtamisen ja tietotekniikan DI-ohjelma - Master's Programme in Management and Information Technology
Tekniikan ja luonnontieteiden tiedekunta - Faculty of Engineering and Natural Sciences
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2020-11-30
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:tuni-202011308331
https://urn.fi/URN:NBN:fi:tuni-202011308331
Tiivistelmä
In this thesis, the feasibility of the electroencephalography (EEG) analysis in evaluating the mental workload of gaming was studied, primarily by giving an overview on the related research, and secondarily as a proof-of-concept type experiment on existing EEG recordings, with a tool implemented for the purpose. In a relation to the EEG analysis, a selective overview on underlying mathematical methods and techniques was given as well.
As a result of the review on various studies and their outcome, it was evident that the EEG analysis provides a plausible means to objectively measure and evaluate mental load imposed by gaming. The EEG indicators, that had been successfully deployed in mental load evaluation in the reviewed studies, utilized power spectrum, event related potential and brain connectivity related measurement methods.
In the experimental part of the thesis, a tool to process EEG signals and to calculate EEG metrics, was implemented in Matlab environment. The existing EEG recordings (20 recordings in total), that were used in the experiment, had been acquired by groups of students and staff of Tampere University during n-back gaming sessions, as a part of course projects. The ratio of theta and alpha power, calculated over the EEG signal segments that were time-locked to game events, was selected as EEG metrics for mental load evaluation. The expectation, based on the reviewed studies, was that the value of the calculated ratio should increase with increasing mental load. The Wilcoxon rank-sum test was applied to test this hypothesis for the ratio values combined from all recordings. The rank-sum test results revealed that the theta-alpha power ratio performed as a confident indicator for the evaluation and comparison of mental load. It should be noted that this was valid only for the frontal channels Fp1 and Fp2, of the recordings, and at the highest game difficulty level the calculated ratio values started to appear inconsistent, which could be a consequence of possible concentration issues, as the task became too demanding. Tässä diplomityössä selvitettiin aivosähkökäyräanalyysin soveltuvuutta pelaamisesta aiheutuvan kuormituksen arvioinnissa. Ensisijaisesti selvitys toteutettiin katsauksena aiheesta julkaistuihin tutkimuksiin. Tämän lisäksi työn kokeellisessa osuudessa analysoitiin olemassa olevia EEG-rekisteröintejä tätä tarkoitusta varten toteutetun ohjelmistotyökalun avulla. Työssä myös esiteltiin valikoidusti EEG-analyysiin liittyviä matemaattisia menetelmiä ja tekniikoita.
Useita tutkimuksia käsittäneen katsauksen perusteella oli ilmeistä, että EEG-analyysi on käyttökelpoinen menetelmä pelaamisesta aiheutuvan kuormituksen objektiiviseen mittaamiseen ja arviointiin. Näissä tutkimuksissa kuormituksen arvioinnissa käytetyt EEG-mittarit perustuivat joko EEG:n tehospektriä, tapahtumasidonnaista herätepotentiaalia tai aivojen kytkeytyneisyyttä hyödyntäviin mittausmenetelmiin.
Kokeellisessa osuudessa toteutettiin Matlab-ympäristössä ohjelmistotyökalu EEG-signaalien prosessoimiseksi ja EEG-mittareiden laskemiseksi. Kokeilussa käytettiin Tampereen yliopiston opiskelijoiden ja henkilökunnan aiemmissa kurssiprojekteissa ”n-back”-pelin pelaamisen yhteydessä taltioimia EEG-rekisteröintejä, joita oli yhteensä 20. Kuormituksen arviointiin käytettäväksi EEG-mittariksi valittiin theeta- ja alfa-taajuuskaistojen tehojen välinen suhde. Tehosuhde laskettiin EEG-signaalin segmenteille, jotka olivat sidoksissa pelitapahtumiin. Tutkimuskatsauksen perusteella odotuksena oli, että tehosuhde kasvaa kuormituksen kasvaessa. Tämän hypoteesin paikkansapitävyyttä arvioitiin Wilcoxonin järjestyssummatestillä. Testin tulokset osoittivat, että theeta- ja alfa-taajuuskaistojen välinen tehosuhde on varsin luotettava mittari kuormituksen arviointiin ja kuormitusten väliseen vertailuun. Huomioitavaa on, että mitatuista EEG-kanavista tämä tulos pätee ainoastaan etukanaville Fp1 ja Fp2. Lisäksi korkeimmalla pelin vaikeustasolla mittarin antamat arvot olivat epäyhtenäisiä, mikä saattoi olla seurausta mahdollisista keskittymisongelmista pelin vaikeustason kasvaessa liiallisesti.
As a result of the review on various studies and their outcome, it was evident that the EEG analysis provides a plausible means to objectively measure and evaluate mental load imposed by gaming. The EEG indicators, that had been successfully deployed in mental load evaluation in the reviewed studies, utilized power spectrum, event related potential and brain connectivity related measurement methods.
In the experimental part of the thesis, a tool to process EEG signals and to calculate EEG metrics, was implemented in Matlab environment. The existing EEG recordings (20 recordings in total), that were used in the experiment, had been acquired by groups of students and staff of Tampere University during n-back gaming sessions, as a part of course projects. The ratio of theta and alpha power, calculated over the EEG signal segments that were time-locked to game events, was selected as EEG metrics for mental load evaluation. The expectation, based on the reviewed studies, was that the value of the calculated ratio should increase with increasing mental load. The Wilcoxon rank-sum test was applied to test this hypothesis for the ratio values combined from all recordings. The rank-sum test results revealed that the theta-alpha power ratio performed as a confident indicator for the evaluation and comparison of mental load. It should be noted that this was valid only for the frontal channels Fp1 and Fp2, of the recordings, and at the highest game difficulty level the calculated ratio values started to appear inconsistent, which could be a consequence of possible concentration issues, as the task became too demanding.
Useita tutkimuksia käsittäneen katsauksen perusteella oli ilmeistä, että EEG-analyysi on käyttökelpoinen menetelmä pelaamisesta aiheutuvan kuormituksen objektiiviseen mittaamiseen ja arviointiin. Näissä tutkimuksissa kuormituksen arvioinnissa käytetyt EEG-mittarit perustuivat joko EEG:n tehospektriä, tapahtumasidonnaista herätepotentiaalia tai aivojen kytkeytyneisyyttä hyödyntäviin mittausmenetelmiin.
Kokeellisessa osuudessa toteutettiin Matlab-ympäristössä ohjelmistotyökalu EEG-signaalien prosessoimiseksi ja EEG-mittareiden laskemiseksi. Kokeilussa käytettiin Tampereen yliopiston opiskelijoiden ja henkilökunnan aiemmissa kurssiprojekteissa ”n-back”-pelin pelaamisen yhteydessä taltioimia EEG-rekisteröintejä, joita oli yhteensä 20. Kuormituksen arviointiin käytettäväksi EEG-mittariksi valittiin theeta- ja alfa-taajuuskaistojen tehojen välinen suhde. Tehosuhde laskettiin EEG-signaalin segmenteille, jotka olivat sidoksissa pelitapahtumiin. Tutkimuskatsauksen perusteella odotuksena oli, että tehosuhde kasvaa kuormituksen kasvaessa. Tämän hypoteesin paikkansapitävyyttä arvioitiin Wilcoxonin järjestyssummatestillä. Testin tulokset osoittivat, että theeta- ja alfa-taajuuskaistojen välinen tehosuhde on varsin luotettava mittari kuormituksen arviointiin ja kuormitusten väliseen vertailuun. Huomioitavaa on, että mitatuista EEG-kanavista tämä tulos pätee ainoastaan etukanaville Fp1 ja Fp2. Lisäksi korkeimmalla pelin vaikeustasolla mittarin antamat arvot olivat epäyhtenäisiä, mikä saattoi olla seurausta mahdollisista keskittymisongelmista pelin vaikeustason kasvaessa liiallisesti.