Berkat kemajuan machine learning, voice cloning berkembang pesat dalam beberapa tahun terakhir dan melahirkan solusi text to speech yang sangat canggih. Salah satu terobosan utamanya adalah zero shot, yang kini banyak menyita perhatian dunia teknologi. Artikel ini akan membahas zero-shot voice cloning dan dampaknya bagi industri.
Penjelasan Zero-shot Machine Learning
Tujuan voice cloning adalah meniru suara pembicara dengan mensintesis nada dan karakternya hanya dari sedikit rekaman suara. Singkatnya, voice cloning adalah teknologi AI canggih untuk membuat suara yang terdengar mirip individu tertentu. Ada tiga proses utama dalam voice cloning:
One-shot Learning
One-shot learning berarti model dilatih dengan satu gambar objek baru, tetapi tetap mampu mengenali gambar lain dari objek yang sama.
Few-shot Learning
Few-shot learning adalah saat model diperlihatkan beberapa gambar dari objek baru dan bisa mengenali gambar serupa meski ada sedikit perbedaan.
Zero-shot Learning
Zero-shot learning mengajarkan model mengenali objek atau konsep baru tanpa pernah dilatih langsung sebelumnya, dengan memanfaatkan dataset seperti VCTK untuk mendeskripsikannya. Model diajar mengenali hal baru tanpa gambar atau contoh, hanya berbekal daftar karakteristik yang mendefinisikan item tersebut.
Apa Itu Voice Cloning?
Voice cloning adalah proses meniru suara seseorang menggunakan machine learning. Tujuannya mereplikasi nada dan karakter suara hanya dari rekaman singkat. Dalam voice cloning, speaker encoder mengubah ucapan menjadi kode, kemudian menjadi vektor lewat speaker embedding. Vektor ini dipakai melatih synthesizer/vocoder agar ucapan terdengar seperti suara aslinya. Synthesizer membutuhkan speaker embedding dan mel spectrogram (representasi visual suara) sebagai input. Proses ini menghasilkan output waveform, yaitu suara sintesis, dengan teknik seperti deep learning. Bisa juga digunakan berbagai dataset dan metrik untuk menilai kualitas suara. Voice cloning dapat dimanfaatkan untuk:
- Voice conversion - mengubah rekaman suara satu orang agar terdengar seperti suara orang lain.
- Speaker verification - memverifikasi identitas seseorang lewat kecocokan suaranya.
- Multispeaker text to speech - menghasilkan suara dari teks dan kata kunci tercetak
Beberapa algoritma voice cloning populer: WaveNet, Tacotron2, Zero-shot Multispeaker TTS, dan Microsoft’s VALL-E. Banyak algoritma open source lain di GitHub yang menawarkan hasil mengesankan. Jika ingin mendalami teknik voice cloning, konferensi seperti ICASSP, Interspeech, dan IEEE International Conference sangat layak diikuti.
Zero-shot Learning pada Voice Cloning
Speaker encoder dipakai untuk mengekstrak vektor suara dari data pelatihan agar sistem bisa melakukan zero-shot voice cloning. Vektor ini kemudian digunakan untuk memproses suara dari pembicara baru di luar data training (unseen speakers). Caranya antara lain dengan melatih neural network menggunakan:
- Model konvolusi: model neural network yang umum dipakai untuk masalah klasifikasi gambar.
- Model autoregresif: meramalkan nilai berikutnya berdasarkan data sebelumnya.
Salah satu tantangan zero-shot voice cloning adalah memastikan suara hasil sintesis tetap berkualitas dan terdengar alami. Beragam metrik digunakan untuk mengevaluasi kualitas suara ini:
- Speaker similarity: mengukur seberapa mirip suara sintesis dengan pembicara asli.
- Speech naturalness: menilai seberapa natural suara yang dihasilkan.
Data asli dari dunia nyata yang dipakai untuk mengajarkan dan menguji model AI disebut ground truth reference audio. Data ini digunakan untuk pelatihan sekaligus normalisasi. Selain itu, teknik style transfer dimanfaatkan untuk meningkatkan kemampuan generalisasi model. Style transfer memakai dua input — satu konten utama dan satu referensi gaya — agar performa model makin baik saat menghadapi data baru.
Lihat Teknologi Voice Cloning Terkini di Speechify Studio
AI voice cloning Speechify Studio memungkinkan Anda membuat versi AI khusus dari suara sendiri — ideal untuk narasi personal, branding konsisten, atau menambah sentuhan pribadi pada proyek apa pun. Cukup rekam contoh suara, lalu AI Speechify akan menghasilkan replika digital yang sangat mirip suara Anda. Butuh fleksibilitas lebih? voice changer bawaan memungkinkan Anda mengubah rekaman apa pun ke lebih dari 1.000+ suara AI Speechify, memberi Anda kendali kreatif penuh atas nada, gaya, dan intonasi. Baik ingin memoles suara sendiri maupun mengubah audio untuk berbagai kebutuhan, Speechify Studio menghadirkan kustomisasi suara profesional langsung di tangan Anda.
FAQ
Apa tujuan voice cloning?
Voice cloning bertujuan menghasilkan suara berkualitas tinggi dan natural untuk berbagai aplikasi, sehingga interaksi antara manusia dan mesin terdengar lebih alami.
Apa beda voice conversion dan voice cloning?
Voice conversion mengubah suara seseorang agar terdengar seperti suara orang lain, sedangkan voice cloning menciptakan suara baru yang menyerupai manusia tertentu.
Software apa yang bisa clone suara seseorang?
Ada banyak pilihan, misalnya Speechify, Resemble.ai, Play.ht, dan masih banyak lagi.
Bagaimana cara mendeteksi suara palsu?
Salah satu teknik paling umum adalah analisis spektral, yaitu menganalisis sinyal audio untuk mendeteksi pola suara khas deepfake.
