Acoustic feature selection for emergency vehicle siren classification using convolutional neural networks in noisy environments

Abstract

Autonomous vehicles need sound sensing systems to assist visual sensors in detecting events that are more easily caught by their sounds like emergency vehicles in high traffic areas. To create robust and efficient acoustic event classification systems feature selection is crucial in representing the sound in a comprehensible format for the machine learning system while retaining as much of the information as possible in limited space. This study compares various acoustic feature representations performance in emergency vehicle classification. A study was performed where multiple emergency vehicle siren sounds in traffic noise datasets were created at various signal to noise ratios to test a collection of acoustic features. Each feature was tested on various neural network configurations at different signal to noise ratios to see how they performed compared to other features. The results showed that the simple network architectures used in this study were not able to perform meaningfully on more noisy datasets, while still maintaining good results in less noisy datasets. Also the widely used mel-spectrogram feature performed consistently slightly worse the two other linearly scaled and band-limited spectrogram variants. In conclusion, the study project offers meaningful insight into feature selection when working with environmental sounds and the limits of convolutional neural networks with noisy sound data.

Autonomiset ajoneuvot tarvitsevat äänentunnistusjärjestelmiä auttamaan visuaalisia antureita havaitsemaan tapahtumia, jotka ovat helpommin havaittavissa niiden äänistä, kuten hälytysajoneuvo vilkkaan liikennöidyllä alueella. Tehokkaiden ja virheensietokykyisten akustisten tapahtumien luokittelujärjestelmien rakentamiseksi piirteiden valinta on ratkaisevan tärkeää, jotta ääni voidaan esittää ymmärrettävässä muodossa koneoppimisjärjestelmälle, säilyttäen mahdollisimman paljon tietoa rajoitetussa tilassa. Tässä tutkimuksessa verrataan eri akustisten piirteiden suorituskykyä hälytysajoneuvojen luokituksessa. Tutkimuksessa luotiin useita datasettejä hälytysajoneuvojen sireeniäänistä liikenteen melussa eri signaali-melusuhteilla eri akustisten piirteiden testaamiseksi. Jokainen piirre testattiin erilaisissa neuroverkkokokoonpanoissa eri signaali-kohinasuhteilla nöhdöksemme, kuinka ne toimivat muihin piirteisiin verrattuna. Tulokset osoittivat, että tässä tutkimuksessa käytetyt yksinkertaiset neuroverkkoarkkitehtuurit eivät kyenneet enää toimimaan mielekkäästi meluisammissa dataseteissä, mutta pystyivät silti saamaan hyviä tuloksia vähemmän meluisissa dataseteissä. Lisäksi laajalti käytetty mel-spektrogrammi piirre suoriutui tasaisesti hieman huonommin kuin kaksi muuta piirrettä; lineaarisesti skaalattu ja kaistarajoitettu spektrogrammivariantti. Yhteenvetona tutkimusprojekti tarjoaa informaatiota piirteiden valinnasta ympäristöäänien kanssa toimittaessa sekä konvoluutioneuroverkkojen rajoista meluisan äänidatan kanssa.