Para peneliti telah meluncurkan sistem AI baru yang disebut TANGO yang dapat menghasilkan video manusia yang berbicara seluruh tubuh secara realistis, menunjukkan sejauh mana kemajuan penciptaan media sintetis.
A serangkaian video telah dibuat untuk memamerkan alat tersebutdipublikasikan di situs webnya dan YouTube, termasuk menunjukkan bagaimana gerakan dapat dipalsukan melalui teknologi agar sesuai dengan rekaman audio apa pun.
Dalam satu contoh, 10 video terpisah dari individu berbeda terlihat mengulangi skrip yang sama – semuanya dengan gerakan tangan ekspresif yang terlihat alami.
Tim di belakang alat AI telah menambahkannya ke Hugging Face yang berfokus pada komunitas, di mana orang dapat mencobanya sendiri menggunakan sembilan video demo.
“Dengan adanya video referensi satu pembicara dan audio ucapan target berdurasi beberapa menit, TANGO menghasilkan video dengan fidelitas tinggi dengan gerakan tubuh yang tersinkronisasi,” tulis para peneliti dalam makalah yang diserahkan pada 5 Oktober.
menghasilkan video berbicara seluruh tubuh dengan audio ucapan! tersedia di Hugging face Space. Anda dapat mengunggah audio Anda, atau mengkloningnya untuk memproses karakter khusus Anda. https://t.co/RztXMghbWIekstensi untuk menari atau olahraga juga akan hadir! pic.twitter.com/2cYwnTRk9F
– Haiyang Liu (@HaiyangLiu3) 13 Oktober 2024
Bagaimana cara kerja TANGO AI untuk menghasilkan klip palsu yang realistis?
TANGO dibangun berdasarkan Gesture Video Reenactment yang membagi dan mengambil klip video menggunakan struktur grafik.
Dua batasan kemudian telah diatasi dan diselesaikan yang mencakup ketidakselarasan gerakan audio dan artefak virtual dalam bingkai transisi yang dihasilkan GAN.
Untuk memastikan TANGO beroperasi dengan lancar, tim telah mengambil isyarat yang relevan menggunakan jarak fitur laten untuk meningkatkan penyelarasan lintas moda. Hubungan antara audio ucapan dan gerakan isyarat kemudian dibangun sehingga video yang realistis dan tersinkronisasi audio dapat dibuat.
Para peneliti yakin ini adalah karya pertama yang dibuat untuk menyajikan “Pembelajaran kontrastif Seperti CLIP tentang modalitas audio dan gerak, dan ini adalah grafik gerak sumber terbuka pertama dan saluran pembuatan video berbasis audio.”
Tim berharap dapat memperluas kemampuan TANGO di masa depan, sehingga dapat mencakup seni tari, olah raga, dan lainnya.
Proyek AI muncul di tengah berkembangnya wacana tentang penggunaan AI dalam pembuatan konten video, karena beberapa perangkat lunak pengeditan video kini menyertakan beberapa bentuk AI generatif.
YouTube, bisa dibilang platform paling populer yang berfokus pada video, memperkenalkan a alat pengungkapan di Creator Studio kembali pada bulan Maret tahun ini.
Melalui ini, pembuat konten diminta untuk mengungkapkan apakah 'konten realistis' mereka dibuat dengan media yang diubah atau sintetis, termasuk AI generatif.
Pos Peneliti mengungkap TANGO, sistem AI yang menghasilkan pembicara manusia yang realistis muncul pertama kali pada BacaTulis.
Mohon maaf, Foto memang tidak relevan. Jika keberatan atau harus diedit baik Artikel maupun foto Silahkan Klik Laporkan. Terima Kasih
