Dėl pažangos mašininio mokymosi srityje balso klonavimas per pastaruosius metus smarkiai patobulėjo, atsirado įspūdingi teksto į kalbą sprendimai. Vienas svarbiausių pasiekimų – zero-shot metodas, sukėlęs didelį susidomėjimą technologijų sektoriuje. Šiame straipsnyje pristatysime zero-shot balso klonavimą ir tai, kaip jis pakeitė šią industriją.
Zero-shot mašininio mokymosi paaiškinimas
Balso klonavimo tikslas – atkartoti kalbėtojo balsą, sintezuojant jo tembrą ir spalvą naudojant tik nedidelį įrašo kiekį. Kitaip tariant, balso klonavimas – tai pažangi AI technologija, skirta sukurti balsą, labai panašų į konkretaus asmens. Skiriami trys pagrindiniai klonavimo metodai:
One-shot mokymasis
One-shot mokymasis – modelis treniruojamas su viena naujo objekto nuotrauka, bet vis tiek turi atpažinti kitus to paties objekto vaizdus.
Few-shot mokymasis
Few-shot mokymasis – kai modeliui parodomos kelios naujo objekto nuotraukos ir jis geba atpažinti panašius objektus net tada, kai jie šiek tiek skiriasi.
Zero-shot mokymasis
Zero-shot mokymasis – tai mokyti modelį atpažinti naujus objektus ar sąvokas, kurių jis anksčiau nematė, naudojant duomenų rinkinį, pvz., VCTK, jų apibūdinimui. Modeliui nauji dalykai pristatomi be pavyzdžių ar paveikslėlių – jam pateikiamas tik naujo objekto požymių sąrašas.
Kas yra balso klonavimas?
Balso klonavimas – tai kalbėtojo balso atkartojimas naudojant mašininio mokymosi metodus. Klonavimo tikslas – atkurti kalbėtojo toną naudojant tik nedidelį įrašo kiekį. Klonavimo procese kalbėtojo kodavimo priemonė paverčia žmogaus kalbą kodu, kurį galima transformuoti į vektorių, naudojant kalbėtojo embeddings. Tas vektorius naudojamas sintezatoriui (arba vokoderiui) treniruoti – jis kuria kalbą, kuri skamba kaip tikro žmogaus balsas. Sintezatorius naudoja kalbėtojo embedding vektorių ir mel spektrogramą (garsinio signalo vizualizaciją) kaip įvestį. Tai pagrindinis balso klonavimo procesas. Rezultatas – garso banga, t. y. girdima kalba. Šis procesas dažniausiai atliekamas naudojant gilųjį mokymąsi. Taip pat galima naudoti įvairius duomenų rinkinius ir metrikas kokybei įvertinti. Balso klonavimas taikomas:
- Balso konvertavimas – galimybė vieno žmogaus kalbą paversti taip, kad skambėtų kaip kito.
- Kalbėtojo patvirtinimas – kai tikrinama, ar žmogaus balsas tikrai priklauso nurodytam asmeniui.
- Kelių kalbėtojų tekstas į kalbą – kalbos kūrimas iš spausdinto teksto ir raktažodžių
Populiariausi balso klonavimo algoritmai: WaveNet, Tacotron2, Zero-shot Multispeaker TTS ir Microsoft VALL-E. Taip pat yra daug atvirojo kodo algoritmų GitHub'e, kurie duoda puikius rezultatus. Norite daugiau sužinoti apie balso klonavimą? ICASSP, Interspeech, IEEE konferencijos – puikios vietos pradėti.
Zero-shot mokymosi taikymas balso klonavime
Zero-shot balso klonavimui naudojamas kalbėtojo koduotojas kalbos vektoriams išgauti iš mokomųjų duomenų. Šie vektoriai panaudojami signalų apdorojimui kalbėtojams, kurie anksčiau nebuvo įtraukti į mokymo rinkinius (dar vadinami nematytais kalbėtojais). Tai galima pasiekti neuroniniais tinklais, naudojant įvairius metodus:
- Konvoliuciniai modeliai – neuroniniai tinklai, skirti vaizdų klasifikavimui.
- Autoregresiniai modeliai – prognozuoja ateities reikšmes pagal praeities duomenis.
Vienas iš iššūkių zero-shot balso klonavime – užtikrinti, kad sintetinė kalba būtų kokybiška ir skambėtų natūraliai. Šiai problemai spręsti naudojami kokybės vertinimo rodikliai:
- Kalbėtojo panašumas parodo, kaip stipriai sintetinė kalba atitinka originalų kalbėtoją.
- Kalbos natūralumas – kiek natūraliai skamba sukurtas balsas.
Realaus pasaulio duomenų garsiniai įrašai, naudojami AI modeliams mokyti ir tikrinti, vadinami baziniais (ground truth reference audio). Jie naudojami treniravimui ir normalizavimui. Taip pat pasitelkiamos stiliaus perkėlimo technikos, kad pagerėtų modelio adaptacija. Stiliaus perkėlimas naudoja dvi įvestis – vieną turiniui, kitą stiliaus atskaitai – kad modelis geriau apdorotų naujus duomenis. Tai reiškia, kad modelis geriau susitvarko su naujomis situacijomis.
Išbandykite naujausias balso klonavimo technologijas su Speechify Studio
Speechify Studio AI balso klonavimas leidžia susikurti asmeninę AI balso versiją – tai puikus sprendimas pasakojimams, prekės ženklo nuoseklumui užtikrinti ar tiesiog norint pridėti pažįstamą atspalvį projektams. Įrašykite pavyzdį, o Speechify pažangūs modeliai sukurs skaitmeninę kopiją, kuri skamba kaip jūs. Norite dar daugiau galimybių? Integruotas balso keitiklis leidžia perkeisti įrašus į bet kurį iš 1 000+ AI balsų, suteikdamas kūrybinę laisvę pasirinkti stilių ir toną. Tiek kuriant savo balsą, tiek keičiant jį skirtingiems poreikiams – Speechify Studio siūlo profesionalias balso personalizavimo galimybes.
DUK
Kam reikalingas balso klonavimas?
Balso klonavimas skirtas kurti kokybišką, natūraliai skambantį balsą ir panaudoti jį įvairiose srityse, kad būtų patobulinta žmogaus ir mašinos sąveika.
Kuo skiriasi balso konvertavimas nuo klonavimo?
Balso konvertavimas – kai vieno žmogaus kalba pakeičiama taip, kad skambėtų kaip kito, o klonavimas – kai sukuriamas naujas balsas, identiškas tikram asmeniui.
Kokia programa gali nukopijuoti balsą?
Galimų variantų daug: Speechify, Resemble.ai, Play.ht ir kitos.
Kaip atpažinti suklastotą balsą?
Viena dažniausių metodikų atpažinti audio deepfake – spektrinė analizė, kuri leidžia išnarstyti garso signalą ir aptikti unikalius balso bruožus.
