Evaluation of the Correlation Between Subjective Quality and Objective Metrics in Artificial Foley

Abstract

Foley is the reproduction of custom sound effects, added in post-production of films, TV shows, and video games, synchronized with on-screen actions to create a more realistic audio-visual experience. Foley production is labor-intensive and time-consuming, which has motivated the development of deep learning-based video-to-audio (V2A) generation models that can create artificial Foley sounds based on a video, with some models supporting text input.

V2A models employ objective evaluation metrics as proxies for subjective quality, which is a standard practice for evaluating their performance. The metrics have not been comprehensively studied for their correlation with subjective quality, especially in the field of artificial Foley. This thesis aims to evaluate how well the objective evaluation metrics correspond to subjective quality, and possible alternative metrics to improve the evaluation.

A subjective evaluation study was conducted with 34 participants who evaluated four V2A models alongside a ground truth reference on audio quality, semantic alignment, and temporal alignment across six video samples. Alongside the subjective study, established objective evaluation metrics and candidate metrics were computed for the models with the same samples. Spearman’s correlation was calculated between the objective and the subjective MOS scores.

KL divergence showed the strongest correlation with all three quality aspects among the distribution-based metrics. DeSync confirmed its intended purpose as a temporal alignment metric with perfect correlation. Candidate metric LanguageBind (V1.5) outperformed ImageBind, the widely adopted metric, on semantic alignment.

The major limitation of this study was the small sample size (n = 5), which affects the reliability of the findings. The results should be interpreted with caution, and the study should be validated at a larger scale with a larger number of models, videos, and participants.

Foley tarkoittaa räätälöityjen äänitehosteiden jälkituotantoa, joita lisätään elokuviin, TV-ohjelmiin ja videopelikehitykseen synkronoidakseen ne näytön tapahtumien kanssa luodakseen realistisemman audiovisuaalisen kokemuksen. Foley-tuotanto on työlästä ja aikaa vievää, mikä on motivoinut syväoppimiseen perustuviin video-to-audio (V2A) -mallien kehittämistä. Nämä mallit kykenevät tuottamaan keinotekoisia Foley-ääniä videosisällön perusteella, ja jotkin malleista tueten tekstisyötettä.

V2A-mallit käyttävät objektiivisia arviointimetriikoita subjektiivisen laadun mittareina, mikä on vakiintunut käytäntö niiden suorituskyvyn arvioinnissa. Kuitenkin näiden metriikoiden korrelaatiota subjektiiviseen laatuun, erityisesti keinotekoisen Foley-äänen alalla, ei ole kattavasti tutkittu. Tämä tutkielma pyrkii arvioimaan, kuinka hyvin objektiiviset metriikat vastaavat subjektiivista laatua sekä etsimään mahdollisia vaihtoehtoisia metriikoita arvioinnin parantamiseksi.

Työssä tehtiin subjektiivinen kuuntelutesti, johon osallistui 34 henkilöä. He arvioivat neljää V2A-mallia sekä vertailukohtana toimivaa alkuperäistä ääntä kuuden videonäytteen perusteella. Arvioinnin kohteina olivat äänenlaatu, semanttinen kohdistus ja ajallinen kohdistus. Samojen videonäytteiden perusteella laskettiin arvot vakiintuneille objektiivisille arviointimetriikoille sekä ehdokasmetriikoille. Lopuksi laskettiin Spearmanin korrelaatio objektiivisten metriikoiden ja subjektiivisten MOS-pisteiden välille.

KL-divergenssi osoitti vahvimman korrelaation kaikkien kolmen laadun ulottuvuuden kanssa jakaumapohjaisten metriikoiden joukossa. DeSync-metriikka vahvisti tarkoituksensa ajallisen kohdistuksen mittarina täydellisellä korrelaatiolla. Ehdokasmetriikka LanguageBind (V1.5) suoriutui ImageBindia, laajasti käytettyä metriikkaa, paremmin semanttisessa kohdistuksessa.

Työn suurin rajoitus oli pieni otoskoko (n = 5), mikä heikentää tulosten luotettavuutta. Tuloksia tulee tulktia varoen, ja tutkimusta tulisi validoida laajemmassa mittakaavassa käyttämällä useampia malleja, videoita ja osallistujia.