Emotion expression in the singing voice : testing a parameter modulation technique for improving communication of emotions through voice qualities

Abstract

Tässä tutkimuksessa tarkastellaan tunneilmaisua lauluäänessä ja sen opetettavuutta parametrimodulaatiotekniikan avulla. Tutkimus on kokeellinen vertailututkimus, jossa käytetään kuuntelijoiden arvioita, akustisia analyysejä ja tilastollista päättelyä lauluäänen tunneilmaisevuuden arvioimiseksi lyhyistä vokaalinäytteistä ja lauletuista fraaseista. Tutkimus koostuu kolmesta osatutkimuksesta, joista ensimmäisessä selvitetään kuulonvaraista tunteen tunnistamista klassisella ja ei-klassisella laulutekniikalla lauletuista näytteistä kolmelta eri sävelkorkeudelta laulettuna. Toinen tutkimus vertailee tunneilmaisun akustisia parametreja klassisessa ja ei-klassisessa laulutekniikassa akustisen analyysin keinoin. Kolmas osatutkimus keskittyy parametrimodulaatio-tekniikan opettamiseen näyttelijäntyön opiskelijoille. Siinä vertaillaan tunneilmaisun selkeyttä opetusta saavan ja verrokkiryhmän välillä ennen ja jälkeen koulutusintervention. Tunneilmaisun selkeyden mittareina tässä tutkimuksessa pidetään tunneilmaisun kuulonvaraista tunnistamista ja ääniparametrien vaihtelua eri tunneilmaisujen välillä.

Tutkimukseen osallistui 29 (tutkimus I) ja 32 (tutkimus III) ääninäytteiden kuuntelijaa, 11 naislaulajaa (6 klassisen laulutekniikan koulutuksen ja 5 populaarimusiikin laulutekniikan koulutuksen saaneita) (tutkimukset I & II), 2 mieslaulajaa (1 klassisen laulutekniikan koulutuksen ja 1 populaarimusiikin laulutekniikan koulutuksen saanut)(tutkimus I) sekä 6 + 6 laulunäytteitä antanutta näyttelijäopiskelijaa, joista toinen ryhmä osallistui parametrimodulaatiokoulutukseen ja toinen ryhmä sai tavanomaista laulukoulutusta (tutkimus III). Kuuntelijat tunnistivat neutraaleja ilmaisuja ja ilon, lempeyden, surun ja vihan tunteiden ilmaisua lyhyistä vokaalinäytteistä ja fraaseista. Laulajat ilmaisivat tunteita lyhyisiin (16-tahtia tutkimuksissa I & II & 8-tahtia tutkimuksessa III) melodioihin, joista ääninäytteet leikattiin. Pitkät [a:]-vokaalinäytteet analysoitiin Praat-äänenanalyysiohjelmalla. Äänestä mitattiin perustaajuus (<i>fo</i>), äänenpainetaso (SPL), formanttitaajuudet (F1-F5), hälyn suhde periodiseen ääneen (HNR), energian suhde spektrin ylempien ja alempien taajuuksien välillä (Alpha ratio), epäsäännöllinen syklinen variaatio perustaajuudessa (Jitter rap & ppq5), epäsäännöllinen syklinen variaatio amplitudissa (Shimmer apq3 ja apq5), vibratot (fo-vaihtelun taajuus ja laajuus & amplitudivaihtelun taajuus ja laajuus) sekä amplitudikontuurin muoto (äänen voimakkuuskäyrän muoto vokaalin aikana): isku, pidätys ja haipuminen (attack, sustain, release).

Tutkimuksen tulokset osoittivat, että tunneilmaisu on mahdollista tunnistaa lauluäänestä, kun laulajat ilmaisevat tunnetta (tutkimukset I & III). Tässä tutkimuksessa tunneilmaisun tunnistaminen tuli helpommaksi sen jälkeen, kun laulajat saivat ohjeet parametrimodulaatiotekniikan käytöstä (tutkimus III). Tunneilmaisu tunnistettiin paremmin ei-klassisella tyylillä lauletuista laulunäytteistä (tutkimus I). Äänenkorkeudella, äänenpaineen tasolla sekä tunteen valenssilla (positiivinen/negatiivinen) ja aktivaatiotasolla (korkea/matala) oli vaikutusta tunteen tunnistamiseen (tutkimukset I-III). SPL, Alpha ratio ja HNR arvot kohosivat korkean aktiviteetin tunteissa (viha ja ilo) ja laskivat matalan aktiviteetin tunteissa (suru ja lempeys), mikä viittaa suurempaan lihasaktiivisuuteen ja tiukempaan äänihuulisulkuun korkean energian tunteissa (tutkimukset II & III). Formantit pakkautuivat korkean energian tunteissa ja sirottuivat matalan energian tunteissa, joka viittaa ääntöväylän muokkaukseen tunneilmaisussa (tutkimukset II & III). Jitteriä ja shimmeriä esiintyi enemmän matalan energian tunteissa, joka viittaa matalampaan lihasaktiivisuuteen (tutkimus II), fo-vibrato oli hitaampaa klassisesti koulutetuilla laulajilla (tutkimus II), kun taas ei-klassisilla laulajilla amplitudivibrato erotteli tunteita (tutkimus II). Äänen lopetukset olivat tilastollisesti merkitseviä tunneilmaisun kannalta ei-klassisella laulutekniikalla laulavilla laulajilla (tutkimus II).

Tutkimuksen pääkysymys oli, onko mahdollista integroida vokologista tutkimustietoa tunneilmaisun akustisista parametreista laulunopetukseen ja sillä tavoin tehostaa tunneilmaisua lauluäänessä. Käytimme tutkimuksessa parametrimodulaatiotekniikkaan keskittyvää seitsemän viikon harjoitusohjelmaa, jossa opetettiin erilaisten äänenlaatujen käyttöä näyttelijäopiskelijaryhmälle. Samanlainen näyttelijäopiskelijaryhmä, joka ei saanut erityiskoulutusta, toimi kontrolliryhmänä. Testiryhmä lisäsi erilaisten äänenlaatujen käyttöä tunneilmaisun välineenä koulutuksen jälkeen. Tämä tulos vahvistettiin kuuntelijoiden arvioinneilla ja akustisilla analyyseillä. Tällaista vaikutusta ei näkynyt kontrolliryhmällä. Koulutuksen jälkeen testiryhmä näytti käyttävän taktisesti systemaattisemmin ensimmäistä formanttitaajuutta, äänenpainetasoa, hälyn määrää äänessä ja Alpha ratiota tunneilmaisuun.

Tutkimus osoitti, että äänenpainetaso ja tapa, jolla energia jakautuu äänispektrissä, olivat kaksi tyypillisintä äänen tunnepiirteiden indikaattoria. Tutkimuksessa todetaan, että erilaisten äänenlaatujen kouluttaminen voi auttaa ilmaisemaan tunteita lauluäänessä.

This study examines emotional expression in singing and its teachability using a novel parameter modulation technique. The work is an experimental comparative study using listener evaluations, acoustic analyses, and statistical deduction to assess the emotional expressiveness of the singing voice from short vocal samples and sung phrases. The investigation consists of three sub-studies, the first of which explores the auditory recognition of emotion from samples sung with Classical and non-Classical singing techniques at three different pitches. The second study compares the qualitative features of emotional expression in Classical and non-Classical singing techniques by means of acoustic analysis. The third sub-study focuses on teaching the parameter modulation technique to acting students. It compares the clarity of emotional expression between the instructional and control groups before and after the training intervention. The measures of emotional expression clarity in this study are considered to be the auditory recognition of emotional expression and the qualitative variation of the voice between different emotional expressions.

The study involved 29 (Study I) and 32 (Study III) listeners of sound samples, 11 female singers (six with Classical singing technique training and five with popular music singing technique training) (Studies I & II), two male singers (one with Classical singing technique training and one with popular singing technique training) (Study I), and six + six acting students who gave song samples, one group of whom participated in the parameter modulation training while the other group received standard singing training (Study III). Listeners were to classify samples into neutral expressions and expressions of joy, tenderness, sadness, and anger from short vowel samples and phrases. The emotions were chosen because of their opposite positioning on the valence-activation scale. Singers sang spontaneous emotional expression into short melodies (16 bars in Studies I & II & 8 bars in Study III) from which sound samples were cut. Samples of the sung [a:] vowel were analyzed with the Praat sound analysis program. The samples were analyzed for fundamental frequency (<i>fo</i>), sound pressure level (SPL), formant frequencies (F1-F5), harmonics- to-noise ratio (HNR), energy ratio between upper and lower frequencies of the spectrum (Alpha ratio), irregular cycle-to-cycle variation of fundamental frequency (Jitter rap & ppq5), irregular cycle-to-cycle variation of amplitude (apq3 & apq5), vibratos (<i>fo</i> rate and extent & rate and extent of amplitude), and amplitude contour: attack, sustain, release.

The results of the study showed that emotional expression can be identified from the singing voice when singers express emotion spontaneously (Studies I & III). In this study, the identification of emotional expression became easier after singers received instructions on the use of the parameter modulation technique (Study III). Emotional expression was better identified from song samples sung in a non-Classical style (Study I). Pitch, SPL, emotional valence (positive / negative), and activation level (high / low) had an effect on emotional recognition (Studies I-III). SPL, Alpha ratio, and HNR values increased in expressions of high activity emotions (anger and joy) and decreased in expressions of low activity emotions (sadness and tenderness), suggesting increased muscle activity and tighter vocal fold adduction in high energy emotions (Studies II & III). Formants packed in high-energy emotions and scattered in low-energy emotions, suggesting a modification of the vocal tract for the expression of different emotions (Studies II & III). Jitter and shimmer were more prevalent in low-energy emotions, suggesting lower muscle activity (Study II). Fundamental frequency vibrato was slower in Classically trained singers (Study II), whereas in non-Classical singers, amplitude vibrato was statistically significant in differentiating emotions (Study II). Vocal offsets were statistically significant in terms of emotional expression in singers singing with a non-Classical singing technique (Study II).

The main question of the study was whether it is possible to integrate vocological research data on the acoustic parameters of emotional expression into practical singing exercises and thus enhance emotional expression in the singing voice. In the study, we used a seven-week training program focusing on parameter modulation techniques that taught the use of different sound qualities to a group of acting students. A similar group of acting students who did not receive special training served as a control group. The test group increased the use of different sound qualities as a means of emotional expression after training. This result was confirmed by acoustic analyses and improved recognition of emotions by the listeners. The control group did not show such an effect. After training, the test team appeared to use F1, SPL, HNR, and alpha ratio for emotional expression more systematically.

The study showed that the sound pressure level and the way energy is distributed in the sound spectrum were the two most typical indicators of the emotional characteristics of sound. The study finds that training in different sound qualities can help with the expression of emotions in the singing voice.