Playing and Making Music: Exploring the Similarities between Video Games and Music-Making Software

Abstract

Tampereen yliopistossa tarkastettavassa väitöstutkimuksessa selvitetään millaisia periaatteita tulisi soveltaa kun pelillisyys halutaan yhdistää musiikin tekemiseen.

Sony PlayStation 2 videopelikonsolilla käytettävillä musiikinteko-ohjelmistoilla tehdään musiikkia valitsemalla, muuntelemalla ja yhdistelemällä digitaalisia äänitiedostoja niiden visuaalisten representaatioiden kautta. Tällainen musiikin tekemisen menetelmä määritellään tutkimuksessa epälineaariseksi moniraitasäveltämiseksi. Tutkimuksen tavoitteena on taustoittaa sellaisten videopelien suunnittelua, joissa pelaaminen yhdistyy epälineaariseen moniraitasäveltämiseen.

Tutkimuksessa osoitetaan miten musiikinteko-ohjelmistot ovat yhteensopivia moniraitastudioiden laitteiden kanssa. Musiikinteko-ohjelmistoilla pystytään toteuttamaan seuraavat epälineaarisen moniraitasäveltämisen tekniikat: samplaaminen, äänisuunnittelu, miksaaminen, ohjelmointi, äänen spatialisointi ja remiksaaminen. Tutkimuksessa määritellään näiden tekniikoiden taustat ja annetaan esimerkkejä siitä miten tekniikoita on hyödynnetty musiikin tekemisessä.

Tutkimuksessa vertaillaan musiikinteko-ohjelmistoja seuraaviin videopelien ominaisuuksiin: formaalit elementit, dramaattiset elementit, videopelit systeemeinä ja simulaatioina, sekä jäljittely pelaamisessa. Musiikin tekemistä videopeleillä ja musiikinteko-ohjelmistoilla tarkastellaan käsitteiden ludus ja paidia kautta. Ludus määritellään pelaamiseksi, jossa on tavoitteena tuottaa esim. voittaja tai ennätystulos. Paidia määritellään vapaammaksi leikkimiseksi, jossa ei ole tällaisia tavoitteita.

Musiikinteko-ohjelmistoille ja videopeleille osoitetaan seuraavat olennaiset yhtäläisyydet. Musiikinteko-ohjelmistot muistuttavat videopelejä joissa pelaaminen yhdistyy luomiseen ja kokeiluun. Kuten videopeleissä joissa on pyrkimyksenä rakentaminen, myös musiikinteko-ohjelmistoilla tehdään objekteja valitsemalla, muuntelemalla ja sijoittelemalla esivalmistettuja komponentteja. Musiikinteko-ohjelmistot tulkitaan avoimiksi simulaatioiksi eli eräänlaisiksi "leikkikentiksi", jotka tarjoavat välineet ja materiaalit musiikin tekemiseen paidia lähestymistavalla.

Musiikinteko-ohjelmistoille ja videopeleille osoitetaan seuraavat keskeiset eroavuudet. Musiikinteko-ohjelmistoissa ei ole monien pelien tapaan yksiselitteisiä tavoitteita, joiden saavuttaminen päättäisi musiikin tekemisen. Musiikinteko-ohjelmistot eivät motivoi musiikin tekemistä samoilla tavoilla kun pelit motivoivat pelaajia (esim. palkkioilla ja mukauttamalla haasteellisuutta taitoja vastaavaksi), eivätkä anna pelien tapaan palautetta. Resurssien hallinta on keskeistä useassa pelissä. Musiikinteko-ohjelmistojen toiminnot ja äänitiedostot eivät ole resursseja, sillä niiden käyttöä ei ole rajoitettu. Musiikinteko-ohjelmistot eivät vaikuta musiikintekijän käyttäytymiseen kuten pelit vaikuttavat pelaajien käyttäytymiseen määrittelemällä tietyt pelaamisen lopputuloksista toisia arvokkaammiksi. Musiikinteko-ohjelmistoissa ei ole konfliktia kuten ludus-tyyppisissä peleissä koska musiikin tekemiseen ei liity kilpailua eikä sen lopputuloksena ole voittajia ja häviäjiä, eikä pistein tai muuten määrällisesti mitattua tulosta. Täten musiikin tekeminen musiikinteko-ohjelmistoilla ei ole ludus-tyyppistä pelaamista.

Tutkimuksen tuloksena esitetään suunnitteluperiaatteita uusille videopeleille, joissa epälineaarinen moniraitasäveltäminen yhdistyy pelaamiseen. Ludus-tyyppistä pelaamista ja epälineaarista moniraitasäveltämistä yhdistävien pelien sääntöjen tulee määritellä lopputulos joka on vaihteleva, määrällisesti mitattavissa oleva ja arvotettu. Tällaisiin lopputuloksiin päästään esim. määrittelemällä musiikin tekemisen välineet ja materiaalit resursseiksi ja mittaamalla niiden käyttöä.

Music-making software titles are special applications for the Sony PlayStation 2 video game console. Music is made with music-making software by selecting, modifying, and arranging digital sound files through their visual representations. This music-making activity is defined as nonlinear multitrack composing. The theory of video games as semiotic domains by the educational linguist James Paul Gee is adapted to define the semiotic domain of multitrack composing, which includes, among other things, the techniques of using multitrack studio equipment in music-making and the meanings given to the resulting music.

The purpose of the study is to determine how nonlinear multitrack composing can be combined with play activities, and to define the design foundations of future video games that involve nonlinear multitrack composing.

The research material includes three music-making software titles (Magix Music Maker, MTV Music Generator 2, and eJay Clubworld) and seven music-themed video games. The research methods include comparing the three music-making software titles with each other and with various definitions of video games. Nonlinear multitrack composing is compared to play activities to demonstrate the similarities and differences. The three music-making software titles are compared in order to identify their common functionality, and through defining a metaterminology of the functions of multitrack studio equipment, it is shown how the features of music-making software relate to the semiotic domain of multitrack composing. A model of the nonlinear multitrack composing process is defined to contain the phases of selecting, sampling, modifying, arranging, and mixdown. The model is used to structure the analyses.

The similarity of music-making software to multitrack studio equipment is demonstrated. The following nonlinear multitrack composing techniques can be realized with music-making software as well as multitrack studio equipment: Sampling, sound design, mixing, programming, sound spatialization, and remixing. The backgrounds of the techniques are defined on the basis of earlier literature. Examples are presented of how the techniques have been used in music-making.

Music-making software titles are compared to the following aspects of video games: Formal elements, dramatic elements, video games as systems and simulations, and mimicry in play. These definitions are based on earlier studies and literature. Making music with video games and music-making software is compared to ludus and paidia types of play activities as defined by the game researcher Gonzalo Frasca. Ludus is defined as playing a game with the objective of producing a winner or a record result, whereas paidia is defined as playing without such objectives.

The following essential similarities between music-making software and video games are identified. Music-making software titles resemble video games that combine playing with creating and experimenting. As in video games with the objective of construction, so also in music-making software immaterial objects are made by selecting, modifying, and arranging prefabricated components. Music-making software titles are interpreted as open simulations, that is, a kind of "playgrounds" that offer the tools and materials for making music with the approach of paidia play.

The following key differences are shown between music-making software and video games. Music-making software titles do not specify explicit goals as games do. There are no predefined end conditions for the music-making. Music-making software titles do not give feedback and motivate music-makers as games motivate players, for instance by giving rewards and adapting the challenge to match the ability. Managing resources is essential in many games. The tools and materials of music-making software are not resources because they can be used unlimitedly. Music-making software titles do not influence the behavior of the music-maker as games influence the behavior of the player by valorizing certain outcomes of the play activity over others. Because there is no competition and the outcomes are not measured through scores or in terms of winning and losing, music-making software titles do not set up a conflict as ludus type of games do. Thus, making music with music-making software is not ludus type of play.

The results of the study are design foundations of future video games that involve nonlinear multitrack composing. The design foundations are based on the established similarities and differences between music-making software and video games. Following the definition by the game researcher Jesper Juul, the rules of ludus type of video games that involve nonlinear multitrack composing should define outcomes that are variable, quantifiable, and valued. Such outcomes can be achieved, for example, if the material and tools for music-making are defined as resources and their use is measured. The methods that video games use to facilitate learning should be utilized to assist learning nonlinear multitrack composing.