A gépi tanulás fejlődésének köszönhetően a hangklónozás az utóbbi években hatalmasat lépett előre, és mára rendkívül lenyűgöző szövegfelolvasó megoldások születtek. Az egyik legfontosabb újítás a zero-shot technológia, amely komoly visszhangot kelt a technológiai szektorban. Ebben a cikkben bemutatjuk, mi az a zero-shot hangklónozás, és hogyan formálja át az iparágat.
A zero-shot gépi tanulás röviden
A hangklónozás célja, hogy néhány hangfelvétel alapján lemásolja egy beszélő hangját, vagyis visszaadja a hangszínt és a hanglejtést. Más szavakkal, a hangklónozás egy korszerű technológia, amely mesterséges intelligenciát használ egy adott személy hangjához nagyon hasonló hang létrehozására. A technológián belül három fő hangklónozási megközelítést különböztetünk meg:
One-shot tanulás
A one-shot tanulás azt jelenti, hogy a modellt csak egyetlen új képen tanítják be valamire, de ennek ellenére képesnek kell lennie felismerni más, ugyanarról a dologról készült képeket is.
Few-shot tanulás
A few-shot tanulás során a modell néhány új képen keresztül tanul, majd ezután már azokat az objektumokat is fel tudja ismerni, amelyek csak hasonlítanak az eredeti példákra, de kissé eltérnek tőlük.
Zero-shot tanulás
A zero-shot tanulás során a modellt úgy tanítják meg új tárgyak vagy fogalmak felismerésére, hogy azokról korábban nem kapott konkrét képeket, példákat vagy egyéb adatokat – helyette egy adathalmaz (például a VCTK) tulajdonságait, jellemzőit ismeri meg. Vagyis a modellt pusztán a leírás vagy a tulajdonságlista alapján készítik fel arra, hogy felismerje ezeket az új elemeket.
Mi a hangklónozás?
A hangklónozás során a beszélő hangját gépi tanulási technikákkal másolják le. Célja, hogy a beszélő hangszínét és beszédstílusát mindössze néhány felvétel alapján újraalkossa. A hangklónozásban egy "speaker encoder" alakítja át a beszédet egy olyan kóddá, amelyből később egy vektor képződik a beszélőre jellemző lenyomatként (speaker embedding). Ezt a vektort egy "szintetizátor" (más néven vocoder) betanítására használják, így utánozva az adott hangot. A szintetizátor bemenetként használja a beszélő lenyomat-vektort és egy mel-spektrogramot (ami a beszéd vizuális megjelenítése), majd hullámformát állít elő, vagyis létrehozza a tényleges szintetizált hangot. Ez az alapja a hangklónozásnak. A folyamat általában gépi tanulási, például mélytanulási módszerekkel valósul meg. Emellett különböző adathalmazok és mérőszámok használhatók a generált hang minőségének értékelésére. A hangklónozás felhasználási területei lehetnek például:
- Hangkonverzió – egy felvételen egy személy hangját átalakítja, hogy úgy hangozzon, mintha egy másik ember mondta volna.
- Beszélőazonosítás – amikor valaki azt állítja, hogy ő egy adott személy, és a hangja alapján ellenőrzik ezt.
- Több beszélős szövegfelolvasás – beszéd generálása nyomtatott szövegből és kulcsszavakból
A népszerű hangklónozási algoritmusok közé tartozik a WaveNet, a Tacotron2, a Zero-shot Multispeaker TTS és a Microsoft VALL-E. Emellett számos más nyílt forráskódú algoritmus is elérhető a GitHubon, amelyek szintén kiváló eredményeket adnak. Ha szeretne mélyebben elmerülni a hangklónozás technikáiban, az ICASSP, az Interspeech és az IEEE International Conference előadásai, publikációi ideális kiindulópontot jelentenek.
Zero-shot tanulás a hangklónozásban
A zero-shot hangklónozás eléréséhez a beszélőkódoló (speaker encoder) segítségével a tanuló adatokból hangvektorokat nyerünk ki. Ezeket a hangvektorokat aztán olyan beszélők hangjának feldolgozására is fel lehet használni, akik korábban nem szerepeltek a tanuló adathalmazban (vagyis ismeretlen beszélők). Ez különböző neurális hálózat-alapú technológiák alkalmazásával valósítható meg, például:
- Konvolúciós modellek – olyan neurális hálózati modellek, amelyeket jellemzően képosztályozási feladatok megoldására használnak.
- Autoregresszív modellek – ezek képesek az előző értékek alapján a jövőbeli értékeket becsülni, előrejelezni.
A zero-shot hangklónozás egyik fő kihívása, hogy a szintetizált hang a hallgatók számára természetesnek, életszerűnek hasson, és jó minőségű legyen. Ennek mérésére különféle mérőszámokat alkalmaznak a beszédszintézis eredményeinek értékelésére:
- Beszélői hasonlóság – azt méri, mennyire hasonlít a szintetizált hang az eredeti cél-beszélő beszédmintáihoz.
- Beszéd természetessége – azt mutatja, mennyire hangzik természetesnek, emberinek a szintetizált beszéd.
A való világból származó, az AI modellek tanítására és értékelésére használt tényleges adatokat földi igazság vonatkozási hangnak (ground truth reference audio) nevezzük. Ezeket az adatokat tréningre és normalizálásra használják. Emellett stílustranszfer technikákat is bevetnek a modellek általánosítási képességének javítására – ez azt jelenti, hogy két bemenetet használnak: egyet a fő tartalomhoz, egy másikat pedig a stílus referenciájaként. Így a modell új adatok esetén is jobb teljesítményt nyújt, és könnyebben boldogul az új szituációkkal.
Próbálja ki működés közben a legújabb hangklónozó technológiát a Speechify Studióval
A Speechify Studio MI-alapú hangklónozása lehetővé teszi, hogy saját hangjából egyedi mesterséges intelligencia-hangprofilt hozzon létre—tökéletes a narráció személyre szabásához, márkaarculat építéséhez vagy egy ismerős hangulat hozzáadásához bármilyen projekthez. Egyszerűen rögzítsen egy mintát, és a Speechify fejlett MI-modelljei élethű digitális másolatot készítenek, amely pontosan úgy hangzik, mint Ön. Még nagyobb rugalmasságra vágyik? A beépített hangváltó segítségével bármely meglévő felvételt átalakíthatja a Speechify Studio több mint 1000 mesterséges intelligenciával készült hangjának bármelyikévé, így teljes kreatív kontrollt élvezhet a hangszín, a stílus és az előadásmód felett. Akár saját hangját szeretné tökéletesíteni, akár különböző helyzetekhez igazítaná a hanganyagot, a Speechify Studio professzionális szintű hangtestreszabást ad az Ön kezébe.
GYIK
Mi a hangklónozás célja?
A hangklónozás célja, hogy kiváló minőségű, természetes hangzású beszédet hozzon létre, amely számos területen megkönnyíti az emberek és gépek közötti kommunikációt és interakciót.
Mi a különbség a hangkonverzió és a hangklónozás között?
Hangkonverzió esetén egy ember beszédét úgy alakítják át, hogy az egy másik ember hangjaként szólaljon meg, míg hangklónozáskor egy teljesen új, szintetizált hang jön létre, amely egy adott beszélőre hasonlít.
Milyen szoftverekkel lehet valakinek a hangját klónozni?
Számos megoldás közül választhat, például a Speechify, a Resemble.ai, a Play.ht és még sok más hasonló szolgáltatás áll rendelkezésre.
Hogyan lehet felismerni egy hamis hangot?
Az egyik leggyakrabban használt módszer a hang deepfake felismerésére a spektrális elemzés, amely az audiójel vizsgálatával teszi azonosíthatóvá a hangban megjelenő jellegzetes mintázatokat.
