Pada uji sinkronisasi SyncNet standar, model wajah berbicara VASA-1 mendapat skor 8,841, lebih tinggi daripada 7,640 yang diperoleh video asli sebagai pembandingnya (Microsoft Research Asia, makalah VASA-1 2024). Satu angka itu menjelaskan sebagian besar bidang ini pada 2026: model kini mengalahkan rekaman asli pada metrik yang dibuat untuk menilainya, sehingga studi pengguna dan angka kecepatan menjadi lebih penting dari sebelumnya. Model wajah telepresensi waktu nyata memenangkan 84,59% perbandingan A/B melawan DiffPoseTalk yang lebih lambat (Meta dan Seoul National University, SIGGRAPH Asia 2025), dan data pelatihan 3D tumbuh dari umumnya di bawah 1 jam menjadi 18,5 jam (makalah UniTalker, arXiv 2024). Sementara itu, penonton manusia mendeteksi deepfake pada 55,54%, nyaris setara lempar koin (Diel dkk., Computers in Human Behavior Reports 2024). Kami menghimpun data dari NVIDIA Research, ByteDance, European Broadcasting Union, Unity, dan selusin makalah tolok ukur dari laboratorium universitas dan industri. Jika Anda datang dari sisi pengenalan dari masalah ini, statistik pembacaan bibir dan pengenalan ucapan visual kami membahas tugas sebaliknya: membaca kata dari bibir, bukan menghasilkan bibir dari kata.
TL;DR
- VASA-1 mencetak keyakinan SyncNet 8,841 pada VoxCeleb2 vs 7,640 untuk video asli (Microsoft Research Asia, makalah VASA-1 2024).
- LatentSync menurunkan FVD HDTF menjadi 162,74 dari 304,35 milik Wav2Lip (ByteDance, makalah LatentSync 2025).
- Galat simpul bibir pada BIWI-Test-A turun dari 6,5563 (VOCA) menjadi 4,3646 (TalkingStyle) x 10^-4 mm (makalah GLDiTalker, arXiv 2025).
- UniTalker menaikkan data pelatihan wajah 3D dari umumnya di bawah 1 jam menjadi 18,5 jam (makalah UniTalker, arXiv 2024).
- 92,47% penilaian A/B memilih CodeTalker dibandingkan VOCA untuk sinkronisasi bibir BIWI (makalah CodeTalker, arXiv 2023).
- Model wajah telepresensi waktu nyata berjalan dalam 10 ms waktu GPU vs 1,3 dtk untuk Audio2Photoreal (Meta dan Seoul National University, SIGGRAPH Asia 2025).
- Audio2Face-3D v3.0 mencapai 3.269 FPS pada satu RTX 4090 dengan TensorRT (NVIDIA, makalah Audio2Face-3D 2025).
- 36% profesional gim menggunakan alat AI generatif, dan 52% menyatakan AI generatif merugikan industri (GDC, 2026 State of the Game Industry).
- Hanya sekitar 12,4% waktu ucapan hasil dubbing di layar yang mempertahankan viseme yang sama dengan versi aslinya (AWS AI Labs dan MIT, Dubbing in Practice, TACL 2023).
- Sinkronisasi bibir siaran harus tetap dalam batas 40 ms lebih awal dan 60 ms lebih lambat secara ujung ke ujung (EBU Recommendation R37-2007).
- Deteksi deepfake oleh manusia rata-rata 55,54% (CI 95% 48,87 hingga 62,10) pada 86.155 partisipan (Diel dkk., Computers in Human Behavior Reports 2024).
- Detektor video deepfake sumber terbuka kehilangan 50% AUC mereka pada konten dunia nyata 2024 (tolok ukur Deepfake-Eval-2024, 2025).
1. Tolok Ukur Akurasi Sinkronisasi Bibir untuk Video Wajah Berbicara
Dua keluarga angka mendominasi makalah sinkronisasi bibir 2D. Keyakinan SyncNet (dilaporkan sebagai LSE-C atau Sync_conf, semakin tinggi semakin baik) dan jarak SyncNet (LSE-D, semakin rendah semakin baik) berasal dari jaringan yang dilatih untuk menilai apakah gerakan mulut cocok dengan audio. FID dan FVD (Frechet Inception Distance dan Frechet Video Distance, semakin rendah semakin baik) mengukur seberapa jauh frame dan klip hasil generasi menyimpang dari yang asli.
Sorotan utamanya adalah sebuah paradoks. VASA-1 mencatat keyakinan SyncNet 8,841 pada VoxCeleb2, sementara video asli mendapat skor 7,640 (Microsoft Research Asia, makalah VASA-1 2024). Model yang ‘lebih sinkron daripada kenyataan’ pada uji ini tidak lebih realistis: FVD25-nya 105,88 dibandingkan 29,25 untuk video asli. Dari sisi metrik, sinkronisasi hampir terpecahkan; realisme visual belum. LatentSync menunjukkan tuas lainnya: menghapus pengawasan SyncNet menurunkan keyakinan sinkronisasinya dari 8,9 menjadi 4,6, sejalan dengan temuan para penulis bahwa model difusi laten menangkap jalan pintas visual alih-alih hubungan audio-bibir kecuali penilai sinkronisasi dibangun ke dalam pelatihan (ByteDance, makalah LatentSync 2025).
| Metrik | Nilai | Sumber |
|---|---|---|
| Keyakinan SyncNet pada set uji VoxCeleb2: VASA-1 vs video asli (semakin tinggi semakin baik) | 8,841 vs 7,640 | Microsoft Research Asia, makalah VASA-1 2024 |
| FVD25 pada set OneMin-32: VASA-1 vs video asli vs SadTalker (semakin rendah semakin baik) | 105,88 vs 29,25 vs 214,51 | Microsoft Research Asia, makalah VASA-1 2024 |
| Keyakinan SyncNet (Sync_conf) pada HDTF: LatentSync vs Wav2Lip vs MuseTalk | 8,9 vs 8,2 vs 6,8 | ByteDance, makalah LatentSync 2025 |
| FVD pada HDTF: LatentSync vs Wav2Lip (semakin rendah semakin baik) | 162,74 vs 304,35 | ByteDance, makalah LatentSync 2025 |
| FID pada HDTF: LatentSync vs Wav2Lip (semakin rendah semakin baik) | 7,22 vs 12,5 | ByteDance, makalah LatentSync 2025 |
| Sync_conf pada HDTF: LatentSync tanpa pengawasan SyncNet vs dengan SyncNet di ruang piksel | 4,6 vs 8,9 | ByteDance, makalah LatentSync 2025 |
| Akurasi penilai SyncNet pada set uji HDTF: StableSyncNet vs yang terbaik sebelumnya | 94% vs 91% | ByteDance, makalah LatentSync 2025 |
Catatan konteks: Wav2Lip, model 2020 yang mempopulerkan pelatihan berbasis SyncNet (makalah Wav2Lip, ACM Multimedia 2020), masih muncul sebagai pembanding dasar di hampir setiap tabel 2025. Skornya berubah-ubah antarmakalah: LatentSync melaporkan Sync_conf 8,2 pada HDTF, sedangkan evaluasi terpisah melaporkan LSE-C 9,054 pada HDTF (lihat bagian 3). Angka tolok ukur hanya dapat dibandingkan dalam satu pengaturan evaluasi makalah.
2. Wajah 3D Berbasis Ucapan: Galat Simpul Bibir dan Data Pelatihan
Untuk wajah 3D (mesh yang dipakai dalam gim, VR, dan film), metrik standarnya adalah galat simpul bibir (LVE): jarak per frame terbesar antara simpul bibir hasil generasi dan hasil rekaman, dirata-ratakan di seluruh frame. Semakin rendah semakin baik. Pada tolok ukur BIWI-Test-A, LVE turun dari 6,5563 untuk VOCA menjadi 4,3646 untuk TalkingStyle (x 10^-4 mm), penurunan 33% menurut hitungan kami (2,1917 dibagi 6,5563) di beberapa generasi model (makalah GLDiTalker, arXiv revisi 2025).
Cerita yang lebih besar adalah kelangkaan data. Dua set data tolok ukur yang menjadi bahan pelatihan bidang ini sangat kecil: VOCASET berisi 480 sekuens masing-masing sekitar 4 detik, dan BIWI memiliki 14 pembicara yang membaca 40 kalimat (makalah CodeTalker, arXiv 2023). UniTalker menyerang hambatan itu dengan menggabungkan delapan set data dan menaikkan data pelatihan menjadi 18,5 jam, yang memangkas LVE sebesar 9,2% pada BIWI dan 13,7% pada VOCASET (makalah UniTalker, arXiv 2024). Peningkatan sebesar itu dari data saja menunjukkan bahwa lompatan berikutnya akan datang dari anggaran perekaman, bukan arsitektur.
| Metrik | Nilai | Sumber |
|---|---|---|
| Galat simpul bibir pada BIWI-Test-A: VOCA vs FaceFormer (x 10^-4 mm, semakin rendah semakin baik) | 6,5563 vs 5,3077 | Makalah GLDiTalker, arXiv 2025 (Tabel 1) |
| Galat simpul bibir pada BIWI-Test-A: CodeTalker vs FaceDiffuser (x 10^-4 mm) | 4,7914 vs 4,7823 | Makalah GLDiTalker, arXiv 2025 (Tabel 1) |
| Galat simpul bibir pada BIWI-Test-A: TalkingStyle vs GLDiTalker (x 10^-4 mm) | 4,3646 vs 4,6440 | Makalah GLDiTalker, arXiv 2025 (Tabel 1) |
| Data pelatihan wajah 3D: set data yang umum dipakai vs UniTalker | umumnya di bawah 1 jam vs 18,5 jam | Makalah UniTalker, arXiv 2024 |
| Penurunan galat simpul bibir dari pelatihan terpadu UniTalker: BIWI vs VOCASET | 9,2% vs 13,7% | Makalah UniTalker, arXiv 2024 |
| Rata-rata penurunan galat pada tolok ukur A2F-Bench | 6,3% | Makalah UniTalker, arXiv 2024 |
| Ukuran VOCASET: sekuens, pembicara, laju perekaman, simpul mesh | 480 sekuens, 12 pembicara, 60 fps, 5.023 simpul | Makalah CodeTalker, arXiv 2023 |
| Ukuran BIWI: pembicara, kalimat, laju perekaman, simpul mesh | 14 pembicara, 40 kalimat, 25 fps, 23.370 simpul | Makalah CodeTalker, arXiv 2023 |
Catatan konteks: GLDiTalker adalah satu-satunya model dalam tabel itu yang dirancang untuk menghasilkan keluaran yang jelas bervariasi (skor keragaman 8,2176, vs 0 untuk sebagian besar pesaing), pilihan desain yang bertentangan dengan upaya mencocokkan satu jejak bibir hasil rekaman secara persis. Data terbaru yang tersedia untuk dua deskripsi set data tersebut: makalah 2023.
3. Tingkat Preferensi dalam Studi Pengguna
Karena LVE menghukum setiap gerakan mulut yang berbeda dari yang direkam, bahkan ketika alternatifnya tampak benar, makalah-makalah bersandar pada penilai manusia. Polanya konsisten di seluruh studi: model baru menggilas pembanding paling lama, tetapi sering hanya unggul tipis atas generasi sebelumnya. CodeTalker memenangkan 92,47% penilaian sinkronisasi bibir BIWI melawan VOCA tetapi hanya 53,76% melawan FaceFormer, nyaris setara lempar koin (makalah CodeTalker, arXiv 2023).
Sistem waktu nyata kini juga memenangkan uji-uji ini. Model telepresensi kausal, yang tidak menggunakan audio masa depan, dipilih dalam 84,59% perbandingan A/B melawan DiffPoseTalk dan 69,17% melawan Audio2Photoreal (Meta dan Seoul National University, SIGGRAPH Asia 2025). Dan kesenjangan antara metrik dan persepsi dapat diukur: dalam studi Karlsruhe Institute of Technology, Wav2Lip memiliki LSE-C HDTF terbaik dari semua metode tetapi skor sinkronisasi penilaian manusia hanya 2,91, dibandingkan 3,92 untuk model para penulis (Karlsruhe Institute of Technology, makalah pakar AV-HuBERT 2024).
| Metrik | Nilai | Sumber |
|---|---|---|
| Penilaian A/B yang memilih CodeTalker dibandingkan VOCA untuk sinkronisasi bibir pada BIWI-Test-B | 92,47% | Makalah CodeTalker, arXiv 2023 (31 partisipan) |
| Penilaian A/B yang memilih CodeTalker dibandingkan FaceFormer untuk sinkronisasi bibir pada BIWI-Test-B | 53,76% | Makalah CodeTalker, arXiv 2023 |
| Preferensi A/B untuk model wajah telepresensi waktu nyata dibandingkan DiffPoseTalk | 84,59% | Meta dan Seoul National University, SIGGRAPH Asia 2025 |
| Preferensi A/B untuk model wajah telepresensi waktu nyata dibandingkan Audio2Photoreal | 69,17% | Meta dan Seoul National University, SIGGRAPH Asia 2025 |
| Skor opini rata-rata untuk sinkronisasi bibir pada VOCASET (1 hingga 5): GLDiTalker vs FaceFormer | 4,05 vs 3,08 | Makalah GLDiTalker, arXiv 2025 (20 partisipan) |
| Skor sinkronisasi penilaian manusia pada HDTF: model terbaik vs Wav2Lip, sementara Wav2Lip memiliki LSE-C tertinggi sebesar 9,054 | 3,92 vs 2,91 | Karlsruhe Institute of Technology, makalah pakar AV-HuBERT 2024 (10 partisipan) |
Catatan konteks: ukuran sampel kecil. Studi di atas menggunakan 10, 20, dan 31 penilai, yang lazim di bidang ini dan menjadi alasan untuk berhati-hati terhadap selisih preferensi satu digit. Desain studi CodeTalker menghasilkan 372 entri penilaian per set data dari 120 pasang sampel.
4. Performa Waktu Eksekusi dan Latensi
Kecepatan telah bergeser dari hambatan menjadi masalah yang terpecahkan untuk rig 3D. Jaringan difusi Audio2Face-3D v3.0 sumber terbuka berjalan pada 3.269 frame per detik pada satu GeForce RTX 4090 dengan TensorRT (NVIDIA, makalah Audio2Face-3D 2025). Triknya adalah distilasi: model dilatih dengan 1.000 langkah difusi tetapi melakukan inferensi dengan 2 langkah. Bagi studio, angka praktisnya adalah konkurensi: jaringan regresi v2.3 yang lebih lama menggerakkan 128 trek animasi serentak (satu per karakter yang berbicara) dalam 1,3 GB memori GPU.
Video fotorealistis masih jauh lebih berat. VASA-1 menyiarkan video 512x512 hingga 40 FPS setelah jeda awal 170 ms pada RTX 4090 (Microsoft Research Asia, makalah VASA-1 2024), dan MuseTalk menghasilkan 30 FPS hanya pada 256x256 di GPU pusat data V100 (makalah MuseTalk, arXiv 2024). Perlombaan latensi ini mencerminkan apa yang terjadi pada sintesis ucapan, yang kami bahas dalam statistik faktor waktu nyata TTS dan biaya inferensi kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Kecepatan jaringan difusi Audio2Face-3D v3.0, 1 trek, TensorRT, RTX 4090 | 3.269 frame per detik | NVIDIA, makalah Audio2Face-3D 2025 |
| Kecepatan Audio2Face-3D v2.3 (Claire), TensorRT, RTX 4090: 1 trek vs 8 trek serentak | 453 vs 413 frame per detik | NVIDIA, makalah Audio2Face-3D 2025 |
| Memori GPU Audio2Face-3D v2.3 dengan TensorRT: 8 trek vs 128 trek | 0,6 GB vs 1,3 GB | NVIDIA, makalah Audio2Face-3D 2025 |
| Generasi daring VASA-1 pada 512x512 di satu RTX 4090: laju frame dan latensi awal | hingga 40 FPS, 170 ms | Microsoft Research Asia, makalah VASA-1 2024 |
| Waktu GPU per frame model wajah telepresensi waktu nyata pada A100 | 10 ms (100 FPS), tanpa antisipasi audio sama sekali | Meta dan Seoul National University, SIGGRAPH Asia 2025 |
| Pembanding luring dalam perbandingan yang sama: Audio2Photoreal vs DiffPoseTalk dengan gaya | 1,3 dtk vs 11,4 dtk | Meta dan Seoul National University, SIGGRAPH Asia 2025 |
| Keluaran video sinkronisasi bibir MuseTalk pada GPU V100 | 30 FPS pada 256x256 | Makalah MuseTalk, arXiv 2024 |
Catatan konteks: model telepresensi 130 kali lebih cepat daripada Audio2Photoreal menurut hitungan kami (1.300 ms dibagi 10 ms), konsisten dengan klaim makalah itu sendiri yang menyebut 100 hingga 1.000 kali lebih cepat daripada pembanding luring. FPS Audio2Face-3D menghitung frame keluaran jaringan, bukan adegan gim yang dirender.
5. Adopsi di Gim dan Sentimen Pengembang
Animasi berbasis audio sudah dirilis, tetapi ke industri yang berbalik tajam melawan AI generatif. 52% profesional gim kini menyatakan AI generatif merugikan industri, naik dari 30% setahun sebelumnya dan 18% tahun sebelumnya lagi (GDC, 2026 State of the Game Industry). Kelompok paling negatif adalah seni visual dan teknis sebesar 64%, orang-orang yang sama yang pekerjaan animasi wajahnya diotomatiskan oleh alat-alat ini.
Angka penggunaan berbeda tergantung siapa yang menjawab. Survei profesional individu di atas menemukan 36% menggunakan AI generatif, sementara survei tingkat studio melaporkan 96% studio menggunakan alat AI dalam alur kerja tertentu (Unity, Gaming Report 2025). Dari sisi pasokan, model Audio2Face, SDK, dan kerangka pelatihannya menjadi sumber terbuka pada 24 September 2025, dengan sembilan perusahaan disebut sudah mengintegrasikannya (NVIDIA Developer Blog 2025). Separuh bagian suara dari alur ini dilacak dalam statistik adopsi suara AI dalam dialog NPC gim kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Profesional industri gim yang menggunakan alat AI generatif dalam pekerjaan mereka | 36% (dari lebih dari 2.300 responden) | GDC, 2026 State of the Game Industry |
| Penggunaan AI generatif: responden di studio gim vs di penerbit, dukungan, dan firma pemasaran/hubungan masyarakat | 30% vs 58% | GDC, 2026 State of the Game Industry |
| Responden yang menyatakan AI generatif berdampak negatif pada industri: 2026 vs tahun sebelumnya vs dua tahun sebelumnya | 52% vs 30% vs 18% | GDC, 2026 State of the Game Industry |
| Profesional seni visual dan teknis dengan pandangan tidak menyenangkan terhadap AI generatif | 64% | GDC, 2026 State of the Game Industry |
| Responden yang menyatakan AI generatif berdampak positif: 2026 vs 2025 | 7% vs 13% | GDC, 2026 State of the Game Industry |
| Studio yang menggunakan alat AI dalam alur kerja tertentu | 96% | Unity, Gaming Report 2025 |
| Responden yang merasa positif terhadap alat AI dalam pengembangan gim | 79% | Unity, Gaming Report 2025 |
| Perusahaan yang disebut sebagai pengadopsi Audio2Face saat peluncuran sumber terbuka (klaim vendor itu sendiri) | 9 perusahaan, ditambah 2 judul yang sudah dirilis dicantumkan | NVIDIA Developer Blog, 24 September 2025 |
Catatan konteks: sembilan pengadopsi yang disebut adalah Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs, dan UneeQ; dua judulnya adalah Alien: Rogue Incursion Evolved Edition (Survios) dan Chernobylite 2: Exclusion Zone (The Farm 51). Tidak ada kutipan studio yang mencantumkan angka untuk waktu yang dihemat.
6. Realitas Dubbing dan Toleransi Sinkronisasi Siaran
Dubbing visual berbasis AI menjanjikan ucapan terjemahan yang cocok dengan mulut aktor. Pembanding dasar yang dihadapinya lebih longgar daripada yang dikira kebanyakan orang. Dalam 319,57 jam tayangan TV dan film yang di-dubbing secara profesional dari bahasa Inggris ke Jerman dan dari bahasa Inggris ke Spanyol, hanya sekitar 12,4% waktu ucapan di layar yang memiliki viseme sama pada dubbing dan versi aslinya (AWS AI Labs dan MIT, Dubbing in Practice, TACL 2023). Viseme adalah bentuk mulut yang terlihat untuk sekelompok bunyi (misalnya, p, b, dan m semuanya menutup bibir). Pengisi suara manusia mencocokkan bentuk mulut sedikit lebih sering ketika pembicara terlihat di layar, namun para penulis menyimpulkan bahwa kealamian suara dan kualitas terjemahan lebih penting bagi para profesional daripada sinkronisasi bibir yang ketat.
Pewaktuan adalah kendala yang lebih ketat. Isokroni (ucapan dubbing yang mulai dan berhenti bersamaan dengan ucapan aslinya) rata-rata menghasilkan tumpang tindih 0,658. Sementara itu, lembaga penyiaran menetapkan batas keras pada selisih audio-video: suara boleh mendahului gambar paling lama 40 ms dan tertinggal paling lama 60 ms, nilai yang ditetapkan pada titik ketika ketidakcocokan mulai terasa oleh 50% pengamat (EBU Recommendation R37-2007). Setiap alur avatar langsung mewarisi anggaran itu, sehingga latensi awal generator (170 ms untuk VASA-1, lihat bagian 4) harus diserap dengan menunda audio agar sesuai, atau hasilnya gagal dalam pemeriksaan siaran.
| Metrik | Nilai | Sumber |
|---|---|---|
| Korpus hasil dubbing profesional yang dianalisis: jam, judul, episode | 319,57 jam, 54 judul, 674 episode | AWS AI Labs dan MIT, Dubbing in Practice, TACL 2023 |
| Porsi waktu ucapan di layar dengan viseme yang sama pada versi asli dan dubbing | sekitar 12,4% | AWS AI Labs dan MIT, Dubbing in Practice, TACL 2023 |
| Rata-rata (median) tumpang tindih waktu ucapan antara dialog asli dan dialog dubbing | 0,658 (0,731) | AWS AI Labs dan MIT, Dubbing in Practice, TACL 2023 |
| Tumpang tindih waktu ucapan untuk pembicara di layar vs pembicara di luar layar | 0,684 vs 0,662 | AWS AI Labs dan MIT, Dubbing in Practice, TACL 2023 |
| Dialog dubbing yang minimal 10% lebih panjang dalam karakter daripada sumber bahasa Inggris: Jerman vs Spanyol | 53% vs 30% | AWS AI Labs dan MIT, Dubbing in Practice, TACL 2023 |
| Batas siaran ujung ke ujung untuk suara relatif terhadap gambar: suara lebih awal vs suara lebih lambat | paling lama 40 ms vs paling lama 60 ms | EBU Recommendation R37-2007 |
| Akurasi sinkronisasi yang diperlukan pada setiap tahap produksi: suara lebih awal vs suara lebih lambat | 5 ms vs 15 ms | EBU Recommendation R37-2007 |
Catatan konteks: data terbaru yang tersedia: studi korpus dubbing, 2023, dan EBU R37, 2007 (masih menjadi rekomendasi EBU saat ini). Studi dubbing itu juga menemukan bahwa 4,3% dialog dubbing tidak memiliki tumpang tindih waktu sama sekali dengan versi aslinya, dan bahwa skor kualitas terjemahan tidak berbeda signifikan antara dialog di layar dan di luar layar (COMET-QE p = 0,349).
7. Persepsi dan Sudut Pandang Deteksi Deepfake
Model yang sama yang menganimasikan karakter gim dapat memalsukan ucapan orang sungguhan. Deteksi tidak seimbang. Dari 56 makalah dan 86.155 partisipan, orang mendeteksi deepfake dengan akurasi 55,54% (CI 95% 48,87 hingga 62,10), tidak signifikan di atas peluang, dan hanya 57,31% untuk video (Diel dkk., Computers in Human Behavior Reports 2024). Pelatihan dengan umpan balik, bantuan AI, atau karikaturisasi menaikkan akurasi menjadi 65,14%.
Mesin yang dikhususkan untuk sinkronisasi bibir bekerja jauh lebih baik di laboratorium, tetapi generalisasi menjadi titik lemahnya. Detektor LipFD, yang mencari ketidakcocokan pewaktuan antara audio dan gerakan bibir, melaporkan akurasi rata-rata lebih dari 95,3% dan hingga 90,2% dalam situasi dunia nyata seperti panggilan video WeChat (Lips Are Lying, makalah LipFD, arXiv 2024). Pada deepfake yang benar-benar beredar pada 2024, detektor video sumber terbuka kehilangan 50% AUC mereka dibandingkan tolok ukur yang lebih lama (AUC adalah luas di bawah kurva ROC, dengan 1,0 sempurna dan 0,5 setara peluang) (tolok ukur Deepfake-Eval-2024, 2025).
| Metrik | Nilai | Sumber |
|---|---|---|
| Akurasi deteksi deepfake oleh manusia (gabungan), semua jenis media | 55,54% (CI 95% 48,87 hingga 62,10, k = 67) | Diel dkk., Computers in Human Behavior Reports 2024 |
| Akurasi deteksi oleh manusia khusus untuk video deepfake | 57,31% (CI 95% 47,80 hingga 66,57, k = 26) | Diel dkk., Computers in Human Behavior Reports 2024 |
| Akurasi deteksi oleh manusia dengan pelatihan umpan balik, bantuan AI, atau karikaturisasi | 65,14% (CI 95% 55,21 hingga 74,46, k = 15) | Diel dkk., Computers in Human Behavior Reports 2024 |
| Detektor deepfake sinkronisasi bibir LipFD: akurasi rata-rata vs skenario dunia nyata | lebih dari 95,3% vs hingga 90,2% | Makalah Lips Are Lying (LipFD), arXiv 2024 |
| Penurunan AUC detektor sumber terbuka pada deepfake dunia nyata 2024 vs tolok ukur sebelumnya: video, audio, gambar | 50%, 48%, 45% | Tolok ukur Deepfake-Eval-2024, 2025 |
| Set data Deepfake-Eval-2024: jam video, situs web, bahasa | 45 jam, 88 situs web, 52 bahasa | Tolok ukur Deepfake-Eval-2024, 2025 |
| Akurasi detektor milik para penulis VASA-1 sendiri dalam membedakan video asli dari keluaran VASA-1 | 97,8% | Microsoft Research Asia, makalah VASA-1 2024 |
Catatan konteks: angka 97,8% mencakup keluaran satu model dengan detektor yang dilatih untuknya. Hasil Deepfake-Eval-2024 menunjukkan apa yang terjadi ketika detektor bertemu generator yang tidak mereka pelajari.
Ringkasan: Animasi Wajah Berbasis Audio dan Sinkronisasi Bibir dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Keyakinan SyncNet pada VoxCeleb2: VASA-1 vs video asli | 8,841 vs 7,640 | Microsoft Research Asia, makalah VASA-1 2024 |
| FVD pada HDTF: LatentSync vs Wav2Lip | 162,74 vs 304,35 | ByteDance, makalah LatentSync 2025 |
| Akurasi penilai SyncNet pada HDTF: StableSyncNet vs yang terbaik sebelumnya | 94% vs 91% | ByteDance, makalah LatentSync 2025 |
| Galat simpul bibir pada BIWI-Test-A: VOCA vs TalkingStyle (x 10^-4 mm) | 6,5563 vs 4,3646 | Makalah GLDiTalker, arXiv 2025 |
| Data pelatihan wajah 3D: set data umum vs UniTalker | di bawah 1 jam vs 18,5 jam | Makalah UniTalker, arXiv 2024 |
| Penilaian A/B yang memilih CodeTalker dibandingkan VOCA untuk sinkronisasi bibir pada BIWI | 92,47% | Makalah CodeTalker, arXiv 2023 |
| Preferensi A/B untuk model wajah telepresensi waktu nyata dibandingkan DiffPoseTalk | 84,59% | Meta dan Seoul National University, SIGGRAPH Asia 2025 |
| Skor sinkronisasi penilaian manusia pada HDTF: model terbaik vs Wav2Lip meski Wav2Lip memiliki LSE-C tertinggi | 3,92 vs 2,91 | Karlsruhe Institute of Technology, 2024 |
| Kecepatan Audio2Face-3D v3.0 pada satu RTX 4090 dengan TensorRT | 3.269 frame per detik | NVIDIA, makalah Audio2Face-3D 2025 |
| Waktu GPU per frame model wajah telepresensi waktu nyata | 10 ms | Meta dan Seoul National University, SIGGRAPH Asia 2025 |
| Profesional gim yang menggunakan alat AI generatif | 36% | GDC, 2026 State of the Game Industry |
| Studio yang menggunakan alat AI dalam alur kerja tertentu | 96% | Unity, Gaming Report 2025 |
| Waktu ucapan hasil dubbing di layar dengan viseme yang sama seperti versi aslinya | sekitar 12,4% | AWS AI Labs dan MIT, TACL 2023 |
| Rata-rata tumpang tindih waktu ucapan antara dialog asli dan dialog dubbing | 0,658 | AWS AI Labs dan MIT, TACL 2023 |
| Batas sinkronisasi bibir siaran ujung ke ujung: suara lebih awal vs suara lebih lambat | 40 ms vs 60 ms | EBU Recommendation R37-2007 |
| Akurasi deteksi deepfake oleh manusia (gabungan) | 55,54% | Diel dkk., Computers in Human Behavior Reports 2024 |
| Penurunan AUC detektor video deepfake sumber terbuka pada konten dunia nyata 2024 | 50% | Tolok ukur Deepfake-Eval-2024, 2025 |
Metodologi dan Sumber
- NVIDIA: Audio2Face-3D, Audio-driven Realistic Facial Animation for Digital Avatars (arXiv 2508.16401, 2025) untuk angka kecepatan inferensi, memori, dan langkah difusi, serta pengumuman sumber terbuka Audio2Face, 24 September 2025 untuk pengadopsi yang disebut (klaim vendor itu sendiri).
- Microsoft Research Asia, makalah VASA-1 (arXiv 2404.10667, direvisi 2024): skor sinkronisasi, FVD, laju frame, latensi, akurasi detektor.
- Meta Codec Avatars Lab dan Seoul National University, Audio Driven Real-Time Facial Animation for Social Telepresence (SIGGRAPH Asia 2025): latensi dan preferensi A/B.
- ByteDance, Beijing Jiaotong University, dan Monash University, LatentSync (arXiv 2412.09262, direvisi 2025): sinkronisasi HDTF dan VoxCeleb2, FID dan FVD.
- Makalah GLDiTalker, Beihang University dan lainnya (arXiv 2408.01826, direvisi 2025): tabel galat simpul bibir BIWI dan skor opini rata-rata.
- Makalah CodeTalker (arXiv 2301.02379, 2023): tingkat preferensi A/B dan deskripsi set data.
- Makalah UniTalker (arXiv 2408.00762, 2024): skala data pelatihan dan penurunan galat.
- Karlsruhe Institute of Technology, Istanbul Technical University, dan Carnegie Mellon University, makalah pakar AV-HuBERT (arXiv 2405.04327, 2024): LSE-C/LSE-D vs studi pengguna.
- Makalah MuseTalk (arXiv 2410.10122, direvisi 2025): laju frame waktu nyata.
- Makalah Wav2Lip (ACM Multimedia 2020): latar belakang model pembanding dasar, tidak ada angka yang dikutip langsung darinya.
- GDC, 2026 State of the Game Industry: penggunaan dan sentimen AI generatif.
- Unity, tulisan peluncuran Gaming Report 2025 (17 Maret 2025): penggunaan dan sentimen AI di studio.
- AWS AI Labs dan MIT Media Lab, Dubbing in Practice (TACL vol. 11, 2023): statistik korpus dubbing profesional.
- EBU Recommendation R37-2007: batas pewaktuan suara dan gambar.
- Diel dkk., Human performance in detecting deepfakes, Computers in Human Behavior Reports vol. 16 (2024): meta-analisis deteksi oleh manusia.
- Makalah Lips Are Lying (LipFD) (arXiv 2401.15668, 2024): akurasi deteksi deepfake sinkronisasi bibir.
- Tolok ukur Deepfake-Eval-2024 (arXiv 2503.02857, 2025): performa detektor di dunia nyata.
- Catatan data: (1) Konflik antara metrik dan persepsi itu nyata: VASA-1 mengalahkan video asli pada keyakinan SyncNet, dan skor HDTF Wav2Lip berbeda antarmakalah (Sync_conf 8,2 dalam evaluasi LatentSync vs LSE-C 9,054 dalam evaluasi Karlsruhe), sehingga bandingkan skor hanya dalam satu makalah. (2) Angka penggunaan AI 36% dan 96% di bagian 5 mengukur populasi yang berbeda (profesional individu vs studio, dan ukuran sampel survei studio tidak dinyatakan di halaman peluncurannya), sehingga tidak boleh dibaca sebagai kontradiksi. (3) Kami tidak menemukan hasil studi pengguna dalam teks makalah Audio2Face-3D yang kami baca, sehingga kualitas persepsinya tidak dibahas di sini. (4) CodeTalker (2023), studi korpus dubbing (2023), dan EBU R37 (2007) adalah data terbaru yang tersedia untuk metrik masing-masing; makalah SIGGRAPH dan CVPR yang lebih baru mungkin memperbarui angka LVE dan preferensi. (5) Satuan LVE berbeda antartolok ukur dan antarmakalah, sehingga nilainya hanya dapat dibandingkan dalam tabel yang sama. (6) Studi pengguna di bidang ini bergantung pada 10 hingga 31 penilai, sehingga selisih preferensi kecil tidak kokoh.
Terakhir diperbarui: 6 November 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika laporan GDC 2027 State of the Game Industry dipublikasikan.