Audiolatenssi mobiilialustoilla
Suksi, Jari (2012)
Suksi, Jari
2012
Tietotekniikan koulutusohjelma
Tieto- ja sähkötekniikan tiedekunta - Faculty of Computing and Electrical Engineering
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2012-04-04
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:tty-201204241104
https://urn.fi/URN:NBN:fi:tty-201204241104
Tiivistelmä
Audiokeskeisistä sovelluksista on muodostunut tärkeä segmentti sovelluskaupoille. Toisaalta sovelluskaupat ovat tärkeä osa mobiiliekosysteemejä ja sitä kautta merkittävä vaikuttaja tietyn laitteen tai alustan menestykseen mobiilimarkkinoilla. Kuluttajat ovat jo tottuneet sulavaan käyttötuntumaan ja turhautuvat herkästi, jos vaikutelma ei vastaa totuttua. Esimerkiksi Apple on asettanut riman monessa suhteessa hyvin korkealle eikä vähiten audion toistossa.
Tämän työn keskeisenä teemana on audiolatenssi eri mobiilialustoilla. Yleisesti ottaen latenssi mobiililaitteissa tuntuu olevan suuri etenkin soitannollisesta näkökulmasta. Latenssi koostuu kosketustapahtuman ja äänentoiston aiheuttamasta viiveestä. Lisäksi latenssiin vaikuttaa muu suoritinkuorma. Työssä mitattiin eri mobiilialustojen ja audiokirjastojen soveltuvuutta soitannollisten ohjelmien toteuttamiseen. Tutkittavia alustoja olivat Nokian Series 40-, Symbian-, ja MeeGo 1.2 Harmattan -alustat, Research In Motionin BlackBerry 6.0, Microsoftin Windows Phone 7,Googlen Android sekä Applen iOS.
Latensseja määritettiin yksinkertaisen mittausjärjestelyn avulla, jossa kosketusnäyttöä napautetaan voimakkaasti, minkä johdosta mittauksia varten alustalle toteutettu audiosovellus toistaa lyhyen äänimerkin. Tapahtumaketju nauhoitetaan mikrofonilla ja nauhoitteen aaltokuviosta mitataan napautuksen ja äänimerkin aikaväli. Mittauksia varten valittiin suorituskyvyltään mahdollisimman tasavertaisia laitteita kahteen eri testiryhmään, joista toinen edustaa mallistojen heikkotehoisempia laitteita ja toinen tehokkaimpia laitteita.
Mitatut latenssit ja keskihajonnat on koottu taulukkoon, josta voidaan löytää sopivimmat kon guraatiot alhaisen latenssin saavuttamiseksi. Tulosten perusteella on analysoitu alustakohtaisesti eri kirjastojen soveltuvuutta alhaista audiolatenssia vaativiin ohjelmistoihin. Lisäksi kirjastojen ja rajapintojen käyttöä on havainnollistettu koodiesimerkein. Audio focused applications have become an important segment for mobile app stores. In addition, app stores are a crucial part of mobile ecosystems and therefore play a big part in whether a device or platform succeeds on the mobile market. Users have already got used to fluid user experience and will easily get frustrated, if the impression doesn't correspond to the expected. For example Apple has set the bar high and not least over audio playback.
This thesis is about audio latency on mobile platforms. Generally speaking, the latency seems to be quite disruptive at least for musical applications, that require keeping up to a certain rhythm for example. The overall latency consists of touch latency and the delay caused by audio playback along with other processor load. This study evaluates the feasibility of various mobile platforms and audio libraries for implementing instrumental applications. The platforms under investigation were Nokia Series 40, Symbian and MeeGo 1.2 Harmattan, BlackBerry 6.0 by Research In Motion, Microsoft Windows Phone 7, Google Android and Apple iOS.
Latencies were measured using a simple experimental arrangement, where a touch screen gets tapped strongly and as a result an audio application, implemented just for the measuring purposes, plays a sound effect. The chain of events is being recorded with a microphone. Then the time difference between tap impact and sound effect can be measured from the wave form using an audio editor such as Audacity. Two groups of devices were selected for the measurements: one that represents the flagship smartphones of the vendors and one with lower priced devices, that generally do not perform as well as the more pricy models.
The measured latencies and standard deviations have been gathered into a table, which can be examined for the best confi gurations in aim of gaining low latency. Additionally, the audio libraries have been compared to each other in light of the measured latencies and the usage of the libraries has been demonstrated with short code examples.
Tämän työn keskeisenä teemana on audiolatenssi eri mobiilialustoilla. Yleisesti ottaen latenssi mobiililaitteissa tuntuu olevan suuri etenkin soitannollisesta näkökulmasta. Latenssi koostuu kosketustapahtuman ja äänentoiston aiheuttamasta viiveestä. Lisäksi latenssiin vaikuttaa muu suoritinkuorma. Työssä mitattiin eri mobiilialustojen ja audiokirjastojen soveltuvuutta soitannollisten ohjelmien toteuttamiseen. Tutkittavia alustoja olivat Nokian Series 40-, Symbian-, ja MeeGo 1.2 Harmattan -alustat, Research In Motionin BlackBerry 6.0, Microsoftin Windows Phone 7,Googlen Android sekä Applen iOS.
Latensseja määritettiin yksinkertaisen mittausjärjestelyn avulla, jossa kosketusnäyttöä napautetaan voimakkaasti, minkä johdosta mittauksia varten alustalle toteutettu audiosovellus toistaa lyhyen äänimerkin. Tapahtumaketju nauhoitetaan mikrofonilla ja nauhoitteen aaltokuviosta mitataan napautuksen ja äänimerkin aikaväli. Mittauksia varten valittiin suorituskyvyltään mahdollisimman tasavertaisia laitteita kahteen eri testiryhmään, joista toinen edustaa mallistojen heikkotehoisempia laitteita ja toinen tehokkaimpia laitteita.
Mitatut latenssit ja keskihajonnat on koottu taulukkoon, josta voidaan löytää sopivimmat kon guraatiot alhaisen latenssin saavuttamiseksi. Tulosten perusteella on analysoitu alustakohtaisesti eri kirjastojen soveltuvuutta alhaista audiolatenssia vaativiin ohjelmistoihin. Lisäksi kirjastojen ja rajapintojen käyttöä on havainnollistettu koodiesimerkein.
This thesis is about audio latency on mobile platforms. Generally speaking, the latency seems to be quite disruptive at least for musical applications, that require keeping up to a certain rhythm for example. The overall latency consists of touch latency and the delay caused by audio playback along with other processor load. This study evaluates the feasibility of various mobile platforms and audio libraries for implementing instrumental applications. The platforms under investigation were Nokia Series 40, Symbian and MeeGo 1.2 Harmattan, BlackBerry 6.0 by Research In Motion, Microsoft Windows Phone 7, Google Android and Apple iOS.
Latencies were measured using a simple experimental arrangement, where a touch screen gets tapped strongly and as a result an audio application, implemented just for the measuring purposes, plays a sound effect. The chain of events is being recorded with a microphone. Then the time difference between tap impact and sound effect can be measured from the wave form using an audio editor such as Audacity. Two groups of devices were selected for the measurements: one that represents the flagship smartphones of the vendors and one with lower priced devices, that generally do not perform as well as the more pricy models.
The measured latencies and standard deviations have been gathered into a table, which can be examined for the best confi gurations in aim of gaining low latency. Additionally, the audio libraries have been compared to each other in light of the measured latencies and the usage of the libraries has been demonstrated with short code examples.