Infant-directed speech synthesis without in-domain training data with a zero-shot text-to-speech model

Abstract

Infant-directed speech (IDS) is a distinctive manner of speaking used when addressing infants and young children, and it has been suggested to support infants’ early language development. Recent work has proposed that IDS could be used as input to computational models of early language acquisition, enabling controlled simulation studies of early language development. However, recordings of IDS are typically noisy or otherwise of non-ideal quality due to uncontrolled recording conditions in natural environments. There are also ethical considerations related to the use of privacy-sensitive real-world data from infants’ everyday interactions. Synthetic IDS has been proposed as an alternative to real recordings; however, no text-to-speech (TTS) system currently produces high-quality, realistic IDS. This is primarily because neural TTS models require high-quality training data, while publicly available datasets for IDS are often of insufficient quality. To address these limitations, the present study investigates whether a reference-based zero-shot neural TTS system can produce intelligible, style-consistent IDS when using natural IDS as reference speech. The original IDS recordings were first enhanced using a neural speech enhancer to improve their audio quality. The enhanced reference speech was then paired with IDS transcripts in order to synthesize the text in the style of the reference speech. The transcripts were generated by a neural language model designed to capture the simplified linguistic structures typical of IDS. The TTS and enhancement systems were evaluated for their ability to preserve key prosodic characteristics of IDS, including mean and variability of fundamental frequency, as well as speaking rate. Results indicated that the system adequately transferred F0-related statistics and produced intelligible speech. Neural enhancement had a slight positive effect on prosodic transfer from reference to synthetic speech and the intelligibility of the synthesized speech. However, certain features, such as syllable duration, were not accurately preserved, revealing limitations in the investigated TTS model’s ability to transfer prosody from the source signal. Overall, the findings demonstrate that reference-encoder-based neural TTS can synthesize IDS from naturalistic recordings with reasonable fidelity, without necessitating the use of models trained directly on source IDS data. The study highlights the potential and current constraints of the approach, providing a promising ground for efficiently creating high-quality synthetic IDS.

Vauvoille suunnattu puhe (IDS, Infant-Directed Speech) on erityinen puhetapa, jota käytetään vauvoille ja pienille lapsille puhuttaessa, ja sen on esitetty tukevan lasten varhaista kielenkehitystä. Viimeaikainen tutkimus on ehdottanut, että IDS:ää voitaisiin käyttää syötteenä varhaisen kielenomaksumisen laskennallisissa malleissa, mahdollistaen kontrolloituja simulaatioita varhaisen kielenkehityksen tutkimiseksi. IDS-äänitteet ovat kuitenkin tyypillisesti kohinaisia tai muutoin heikkolaatuisia johtuen puhetyylin luonnollisten tallennusympäristöjen kontrolloimattomista olosuhteista. Lisäksi lapsiperheiden arkisista vuorovaikutustilanteista nauhoitettu aineisto on yksityisyyden suojan kannalta herkkää, ja sen käyttöön liittyy useita eettisiä kysymyksiä. Synteettinen IDS on siten esitetty vaihtoehdoksi todellisille äänitteille; kuitenkaan yksikään tekstistä puheeksi -järjestelmä (TTS, text-to-speech) ei tällä hetkellä ole osoittautunut kykeneväksi tuottamaan korkealaatuista ja luonnollista IDS:ää, pääasiassa siksi, että neuroverkkoihin perustuvat TTS-mallit edellyttävät korkealaatuista opetusdataa, ja julkisesti saatavilla olevat aineistot ovat usein laadultaan heikkoja ja siten riittämättömiä. Tässä tutkimuksessa selvitetään, voisiko referenssi-enkooderipohjainen zero-shot TTS-järjestelmä tuottaa ymmärrettävää ja tyyliltään johdonmukaista IDS:ää, kun luonnollisia IDS-äänitteitä käytetään referenssipuheena, josta IDS-tyylin akustisia piirteitä siirretään synteettiseen puheeseen. Alkuperäisiä IDS-äänitteitä ehostettiin neuroverkkoon perustuvalla puheen ehostusjärjestelmällä niiden laadun parantamiseksi. TTS-mallin syötteenä käytettiin ehostetun referenssipuheen lisäksi IDS-tyylille ominaista kielisisältöä sisältäviä tekstejä. Tekstit tuotettiin kielimallilla, joka erikoistuu IDS:lle tyypillisten yksinkertaistettujen kielirakenteiden tuottamiseen. TTS- ja puheen ehostusjärjestelmiä arvioitiin sen perusteella, kuinka hyvin ne säilyttävät IDS:n keskeiset prosodiset piirteet. Piirteisiin lukeutuvat esimerkiksi fundamentaalisen taajuuden (F0) taso ja vaihtelu sekä puhenopeus. Tulokset osoittivat, että IDS-referensseihin ehdollistettuna järjestelmä kykeni siirtämään F0:aan liittyviä tilastollisia ominaisuuksia ja tuotti ymmärrettävää puhetta. Puheen ehostuksella oli lievä positiivinen vaikutus prosodian siirtymiseen referenssipuheesta synteettiseen puheeseen sekä synteettisen puheen ymmärrettävyyteen. Joitakin piirteitä, kuten tavunkestoja, ei kuitenkaan siirtynyt johdonmukaisesti referenssistä synteesiin, mikä paljasti nykyisen TTS-mallin rajoituksia. Tulokset osoittavat, että referenssi-enkoodereihin perustuva zero-shot TTS-järjestelmä pystyy tuottamaan IDS:ää luonnollisista äänitteistä kohtuullisella tarkkuudella ilman, että mallia tarvitsee kouluttaa suoraan IDS-aineistolla. Tutkimus korostaa lähestymistavan mahdollisuuksia ja nykyisiä rajoituksia sekä tarjoaa lupaavan perustan korkealaatuisen synteettisen IDS:n tehokkaalle tuottamiselle.