W standardowym teście synchronizacji SyncNet model mówiącej twarzy VASA-1 uzyskuje 8,841, czyli więcej niż 7,640 zdobyte przez prawdziwe nagrania, z którymi jest porównywany (Microsoft Research Asia, artykuł o VASA-1 2024). Ta jedna liczba wyjaśnia większość tej dziedziny w 2026 roku: modele pokonują prawdziwe nagrania w metryce stworzonej do ich oceny, więc badania użytkowników i dane o szybkości działania liczą się bardziej niż kiedykolwiek. Model twarzy do telepresence działający w czasie rzeczywistym wygrywa 84,59% porównań A/B z wolniejszym DiffPoseTalk (Meta i Seoul National University, SIGGRAPH Asia 2025), a dane treningowe 3D wzrosły z typowo poniżej 1 godziny do 18,5 godziny (artykuł o UniTalker, arXiv 2024). Tymczasem ludzie wykrywają deepfake’i z trafnością 55,54%, ledwie powyżej rzutu monetą (Diel i in., Computers in Human Behavior Reports 2024). Zebraliśmy dane z NVIDIA Research, ByteDance, Europejskiej Unii Nadawców, Unity oraz kilkunastu artykułów z benchmarkami z laboratoriów uniwersyteckich i przemysłowych. Jeśli trafiłeś tu od strony rozpoznawania, nasze statystyki odczytu z ruchu warg i wizualnego rozpoznawania mowy obejmują zadanie odwrotne: odczytywanie słów z ust zamiast generowania ust ze słów.
TL;DR
- VASA-1 uzyskuje pewność SyncNet 8,841 na VoxCeleb2 wobec 7,640 dla prawdziwego wideo (Microsoft Research Asia, artykuł o VASA-1 2024).
- LatentSync obniża FVD na HDTF do 162,74 z 304,35 dla Wav2Lip (ByteDance, artykuł o LatentSync 2025).
- Błąd wierzchołków ust na BIWI-Test-A spadł z 6,5563 (VOCA) do 4,3646 (TalkingStyle) x 10^-4 mm (artykuł o GLDiTalker, arXiv 2025).
- UniTalker zwiększył dane treningowe twarzy 3D z typowo poniżej 1 godziny do 18,5 godziny (artykuł o UniTalker, arXiv 2024).
- 92,47% ocen A/B wskazało CodeTalker zamiast VOCA pod względem lip-sync na BIWI (artykuł o CodeTalker, arXiv 2023).
- Model twarzy do telepresence działającej w czasie rzeczywistym potrzebuje 10 ms czasu GPU wobec 1,3 s dla Audio2Photoreal (Meta i Seoul National University, SIGGRAPH Asia 2025).
- Audio2Face-3D v3.0 osiąga 3.269 FPS na jednej karcie RTX 4090 z TensorRT (NVIDIA, artykuł o Audio2Face-3D 2025).
- 36% specjalistów od gier używa narzędzi generatywnej AI, a 52% twierdzi, że szkodzi ona branży (GDC, 2026 State of the Game Industry).
- Tylko około 12,4% czasu dubbingowanej mowy widocznej na ekranie zachowuje ten sam wizem co oryginał (AWS AI Labs i MIT, Dubbing in Practice, TACL 2023).
- Lip-sync w transmisji musi mieścić się w granicach 40 ms wcześniej i 60 ms później w całym torze (zalecenie EBU R37-2007).
- Ludzka trafność wykrywania deepfake’ów wynosi średnio 55,54% (95% przedział ufności od 48,87 do 62,10) wśród 86.155 uczestników (Diel i in., Computers in Human Behavior Reports 2024).
- Detektory deepfake’ów wideo o otwartym kodzie tracą 50% AUC na treściach z 2024 roku z rzeczywistych źródeł (benchmark Deepfake-Eval-2024, 2025).
1. Benchmarki dokładności lip-sync dla wideo z mówiącą głową
W artykułach o lip-sync 2D dominują dwie rodziny liczb. Pewność SyncNet (podawana jako LSE-C lub Sync_conf, im wyżej, tym lepiej) i odległość SyncNet (LSE-D, im niżej, tym lepiej) pochodzą z sieci wytrenowanej do oceny, czy ruch ust pasuje do dźwięku. FID i FVD (odległość Frécheta dla obrazów Inception i dla wideo, im niżej, tym lepiej) mierzą, jak daleko wygenerowane klatki i klipy odbiegają od prawdziwych.
Nagłówek to paradoks. VASA-1 uzyskuje pewność SyncNet 8,841 na VoxCeleb2, podczas gdy prawdziwe nagrania mają 7,640 (Microsoft Research Asia, artykuł o VASA-1 2024). Model, który jest ‘lepiej zsynchronizowany niż rzeczywistość’ w tym teście, nie jest bardziej realistyczny: jego FVD25 wynosi 105,88 wobec 29,25 dla prawdziwego wideo. Synchronizacja jest według tej metryki niemal rozwiązana, realizm wizualny nie. LatentSync pokazuje drugą dźwignię: usunięcie nadzoru SyncNet obniża jego pewność synchronizacji z 8,9 do 4,6, co zgadza się z ustaleniem autorów, że modele dyfuzji latentnej uczą się wizualnych skrótów zamiast powiązań dźwięk-usta, o ile do treningu nie wbuduje się sędziego synchronizacji (ByteDance, artykuł o LatentSync 2025).
| Metryka | Wartość | Źródło |
|---|---|---|
| Pewność SyncNet na zbiorze testowym VoxCeleb2: VASA-1 wobec prawdziwego wideo (im wyżej, tym lepiej) | 8,841 wobec 7,640 | Microsoft Research Asia, artykuł o VASA-1 2024 |
| FVD25 na zbiorze OneMin-32: VASA-1 wobec prawdziwego wideo wobec SadTalker (im niżej, tym lepiej) | 105,88 wobec 29,25 wobec 214,51 | Microsoft Research Asia, artykuł o VASA-1 2024 |
| Pewność SyncNet (Sync_conf) na HDTF: LatentSync wobec Wav2Lip wobec MuseTalk | 8,9 wobec 8,2 wobec 6,8 | ByteDance, artykuł o LatentSync 2025 |
| FVD na HDTF: LatentSync wobec Wav2Lip (im niżej, tym lepiej) | 162,74 wobec 304,35 | ByteDance, artykuł o LatentSync 2025 |
| FID na HDTF: LatentSync wobec Wav2Lip (im niżej, tym lepiej) | 7,22 wobec 12,5 | ByteDance, artykuł o LatentSync 2025 |
| Sync_conf na HDTF: LatentSync bez nadzoru SyncNet wobec LatentSync z SyncNet w przestrzeni pikseli | 4,6 wobec 8,9 | ByteDance, artykuł o LatentSync 2025 |
| Trafność sędziego SyncNet na zbiorze testowym HDTF: StableSyncNet wobec poprzedniego najlepszego | 94% wobec 91% | ByteDance, artykuł o LatentSync 2025 |
Uwaga kontekstowa: Wav2Lip, model z 2020 roku, który spopularyzował trening oparty na SyncNet (artykuł o Wav2Lip, ACM Multimedia 2020), wciąż pojawia się jako punkt odniesienia w niemal każdej tabeli z 2025 roku. Jego wyniki różnią się między artykułami: LatentSync podaje Sync_conf 8,2 na HDTF, a osobna ocena podaje LSE-C 9,054 na HDTF (zob. sekcja 3). Wyniki benchmarków są porównywalne tylko w obrębie konfiguracji oceny jednego artykułu.
2. Twarze 3D sterowane mową: błąd wierzchołków ust i dane treningowe
Dla twarzy 3D (siatek używanych w grach, VR i filmie) standardową metryką jest błąd wierzchołków ust (LVE): największa odległość w klatce między wygenerowanymi a zarejestrowanymi wierzchołkami ust, uśredniona po klatkach. Im niżej, tym lepiej. Na benchmarku BIWI-Test-A LVE spadł z 6,5563 dla VOCA do 4,3646 dla TalkingStyle (x 10^-4 mm), czyli o 33% według naszych obliczeń (2,1917 podzielone przez 6,5563) w ciągu kilku generacji modeli (artykuł o GLDiTalker, arXiv wersja poprawiona 2025).
Większa historia to głód danych. Dwa zbiory benchmarkowe, na których uczy się ta dziedzina, są maleńkie: VOCASET zawiera 480 sekwencji po około 4 sekundy każda, a BIWI ma 14 mówców czytających 40 zdań (artykuł o CodeTalker, arXiv 2023). UniTalker zaatakował to wąskie gardło, łącząc osiem zbiorów danych i zwiększając dane treningowe do 18,5 godziny, co obniżyło LVE o 9,2% na BIWI i o 13,7% na VOCASET (artykuł o UniTalker, arXiv 2024). Zyski takiej wielkości wyłącznie z danych sugerują, że kolejne skoki wezmą się z budżetów na rejestrację, a nie z architektury.
| Metryka | Wartość | Źródło |
|---|---|---|
| Błąd wierzchołków ust na BIWI-Test-A: VOCA wobec FaceFormer (x 10^-4 mm, im niżej, tym lepiej) | 6,5563 wobec 5,3077 | Artykuł o GLDiTalker, arXiv 2025 (tabela 1) |
| Błąd wierzchołków ust na BIWI-Test-A: CodeTalker wobec FaceDiffuser (x 10^-4 mm) | 4,7914 wobec 4,7823 | Artykuł o GLDiTalker, arXiv 2025 (tabela 1) |
| Błąd wierzchołków ust na BIWI-Test-A: TalkingStyle wobec GLDiTalker (x 10^-4 mm) | 4,3646 wobec 4,6440 | Artykuł o GLDiTalker, arXiv 2025 (tabela 1) |
| Dane treningowe twarzy 3D: powszechnie używane zbiory wobec UniTalker | typowo poniżej 1 godziny wobec 18,5 godziny | Artykuł o UniTalker, arXiv 2024 |
| Redukcja błędu wierzchołków ust dzięki zunifikowanemu treningowi UniTalker: BIWI wobec VOCASET | 9,2% wobec 13,7% | Artykuł o UniTalker, arXiv 2024 |
| Średnia redukcja błędu w benchmarku A2F-Bench | 6,3% | Artykuł o UniTalker, arXiv 2024 |
| Rozmiar VOCASET: sekwencje, mówcy, częstotliwość rejestracji, wierzchołki siatki | 480 sekwencji, 12 mówców, 60 fps, 5.023 wierzchołki | Artykuł o CodeTalker, arXiv 2023 |
| Rozmiar BIWI: mówcy, zdania, częstotliwość rejestracji, wierzchołki siatki | 14 mówców, 40 zdań, 25 fps, 23.370 wierzchołków | Artykuł o CodeTalker, arXiv 2023 |
Uwaga kontekstowa: GLDiTalker to jedyny model w tej tabeli zaprojektowany tak, by dawać wyraźnie zróżnicowane wyniki (wskaźnik różnorodności 8,2176, wobec 0 dla większości rywali), a taki wybór projektowy działa przeciwko dokładnemu dopasowaniu do jednej zarejestrowanej ścieżki ust. Najnowsze dostępne dane dla opisów obu zbiorów to artykuł z 2023 roku.
3. Wskaźniki preferencji w badaniach użytkowników
Ponieważ LVE karze każdy ruch ust różniący się od zarejestrowanego, nawet gdy alternatywa wygląda poprawnie, artykuły opierają się na ludzkich oceniających. Wzorzec w badaniach jest spójny: nowe modele miażdżą najstarsze punkty odniesienia, ale poprzednią generację często pokonują o niewielki margines. CodeTalker wygrał 92,47% ocen lip-sync na BIWI z VOCA, ale tylko 53,76% z FaceFormer, czyli blisko rzutu monetą (artykuł o CodeTalker, arXiv 2023).
Systemy czasu rzeczywistego również wygrywają te testy. Przyczynowy model telepresence, który nie używa przyszłego dźwięku, był preferowany w 84,59% porównań A/B z DiffPoseTalk i w 69,17% z Audio2Photoreal (Meta i Seoul National University, SIGGRAPH Asia 2025). A luka między metryką a percepcją jest mierzalna: w badaniu Karlsruhe Institute of Technology Wav2Lip miał najlepszy LSE-C na HDTF spośród wszystkich metod, a mimo to ludzka ocena synchronizacji wyniosła tylko 2,91, wobec 3,92 dla modelu autorów (Karlsruhe Institute of Technology, artykuł eksperta AV-HuBERT 2024).
| Metryka | Wartość | Źródło |
|---|---|---|
| Oceny A/B wskazujące CodeTalker zamiast VOCA pod względem lip-sync na BIWI-Test-B | 92,47% | Artykuł o CodeTalker, arXiv 2023 (31 uczestników) |
| Oceny A/B wskazujące CodeTalker zamiast FaceFormer pod względem lip-sync na BIWI-Test-B | 53,76% | Artykuł o CodeTalker, arXiv 2023 |
| Preferencja A/B dla modelu twarzy do telepresence działającego w czasie rzeczywistym wobec DiffPoseTalk | 84,59% | Meta i Seoul National University, SIGGRAPH Asia 2025 |
| Preferencja A/B dla modelu twarzy do telepresence działającego w czasie rzeczywistym wobec Audio2Photoreal | 69,17% | Meta i Seoul National University, SIGGRAPH Asia 2025 |
| Średnia ocena opinii (MOS) dla lip-sync na VOCASET (od 1 do 5): GLDiTalker wobec FaceFormer | 4,05 wobec 3,08 | Artykuł o GLDiTalker, arXiv 2025 (20 uczestników) |
| Ludzka ocena synchronizacji na HDTF: najlepszy model wobec Wav2Lip, mimo że Wav2Lip miał najwyższy LSE-C 9,054 | 3,92 wobec 2,91 | Karlsruhe Institute of Technology, artykuł eksperta AV-HuBERT 2024 (10 uczestników) |
Uwaga kontekstowa: próby są małe. Powyższe badania wykorzystały 10, 20 i 31 oceniających, co jest typowe dla tej dziedziny i powodem, by z ostrożnością traktować jednocyfrowe różnice preferencji. Konstrukcja badania CodeTalker dała 372 oceny na zbiór danych z 120 par próbek.
4. Wydajność w czasie rzeczywistym i opóźnienia
Szybkość przeszła z wąskiego gardła do problemu rozwiązanego dla rigów 3D. Sieć dyfuzyjna Audio2Face-3D v3.0 o otwartym kodzie działa z prędkością 3.269 klatek na sekundę na jednej karcie GeForce RTX 4090 z TensorRT (NVIDIA, artykuł o Audio2Face-3D 2025). Sztuczka to destylacja: model trenuje się z 1.000 kroków dyfuzji, ale wnioskuje w 2. Dla studiów praktyczną liczbą jest współbieżność: starsza sieć regresyjna v2.3 obsługuje 128 jednoczesnych ścieżek animacji (po jednej na mówiącą postać) w 1,3 GB pamięci GPU.
Wideo fotorealistyczne jest wciąż znacznie cięższe. VASA-1 strumieniuje wideo 512x512 z prędkością do 40 FPS po opóźnieniu startowym 170 ms na RTX 4090 (Microsoft Research Asia, artykuł o VASA-1 2024), a MuseTalk daje 30 FPS przy zaledwie 256x256 na V100, karcie GPU do centrów danych (artykuł o MuseTalk, arXiv 2024). Wyścig o opóźnienia odzwierciedla to, co stało się w syntezie mowy, opisaną w naszych statystykach współczynnika czasu rzeczywistego i kosztów wnioskowania TTS.
| Metryka | Wartość | Źródło |
|---|---|---|
| Szybkość sieci dyfuzyjnej Audio2Face-3D v3.0, 1 ścieżka, TensorRT, RTX 4090 | 3.269 klatek na sekundę | NVIDIA, artykuł o Audio2Face-3D 2025 |
| Szybkość Audio2Face-3D v2.3 (Claire), TensorRT, RTX 4090: 1 ścieżka wobec 8 jednoczesnych ścieżek | 453 wobec 413 klatek na sekundę | NVIDIA, artykuł o Audio2Face-3D 2025 |
| Pamięć GPU Audio2Face-3D v2.3 z TensorRT: 8 ścieżek wobec 128 ścieżek | 0,6 GB wobec 1,3 GB | NVIDIA, artykuł o Audio2Face-3D 2025 |
| Generowanie online VASA-1 w 512x512 na jednej karcie RTX 4090: liczba klatek i opóźnienie startowe | do 40 FPS, 170 ms | Microsoft Research Asia, artykuł o VASA-1 2024 |
| Czas GPU na klatkę modelu twarzy do telepresence działającego w czasie rzeczywistym na A100 | 10 ms (100 FPS), bez żadnego wyprzedzenia audio | Meta i Seoul National University, SIGGRAPH Asia 2025 |
| Punkty odniesienia offline w tym samym porównaniu: Audio2Photoreal wobec DiffPoseTalk ze stylem | 1,3 s wobec 11,4 s | Meta i Seoul National University, SIGGRAPH Asia 2025 |
| Wyjście wideo lip-sync MuseTalk na GPU V100 | 30 FPS w 256x256 | Artykuł o MuseTalk, arXiv 2024 |
Uwaga kontekstowa: model do telepresence jest 130 razy szybszy od Audio2Photoreal według naszych obliczeń (1.300 ms podzielone przez 10 ms), co zgadza się z twierdzeniem samego artykułu, że jest 100 do 1.000 razy szybszy od punktów odniesienia offline. FPS Audio2Face-3D liczy klatki wyjściowe sieci, a nie wyrenderowaną scenę gry.
5. Wdrożenia w grach i nastroje wśród deweloperów
Animacja sterowana dźwiękiem trafia na rynek, ale do branży, która ostro odwróciła się od generatywnej AI. 52% specjalistów od gier mówi teraz, że generatywna AI szkodzi branży, wobec 30% rok wcześniej i 18% dwa lata temu (GDC, 2026 State of the Game Industry). Najbardziej negatywna jest grupa grafików wizualnych i technicznych, 64%, czyli ci sami ludzie, których pracę nad animacją twarzy te narzędzia automatyzują.
Wskaźniki użycia różnią się w zależności od tego, kto odpowiada. Powyższe badanie indywidualnych specjalistów pokazuje, że 36% używa generatywnej AI, podczas gdy badanie na poziomie studiów podaje, że 96% studiów używa narzędzi AI w wybranych procesach pracy (Unity, 2025 Gaming Report). Po stronie podaży modele Audio2Face, SDK i framework treningowy zostały udostępnione jako open source 24 września 2025 roku, z dziewięcioma firmami wymienionymi jako już je integrujące (NVIDIA Developer Blog 2025). Połowę związaną z głosem w tym potoku śledzimy w naszych statystykach wdrożeń głosu AI w dialogach postaci niezależnych w grach.
| Metryka | Wartość | Źródło |
|---|---|---|
| Specjaliści branży gier używający w pracy narzędzi generatywnej AI | 36% (spośród ponad 2.300 respondentów) | GDC, 2026 State of the Game Industry |
| Użycie generatywnej AI: respondenci ze studiów gier wobec respondentów z wydawców, firm wsparcia i marketingu/PR | 30% wobec 58% | GDC, 2026 State of the Game Industry |
| Respondenci twierdzący, że generatywna AI ma negatywny wpływ na branżę: 2026 wobec poprzedniego roku wobec dwóch lat wcześniej | 52% wobec 30% wobec 18% | GDC, 2026 State of the Game Industry |
| Specjaliści od grafiki wizualnej i technicznej z negatywnym stosunkiem do generatywnej AI | 64% | GDC, 2026 State of the Game Industry |
| Respondenci twierdzący, że generatywna AI ma pozytywny wpływ: 2026 wobec 2025 | 7% wobec 13% | GDC, 2026 State of the Game Industry |
| Studia używające narzędzi AI w wybranych procesach pracy | 96% | Unity, 2025 Gaming Report |
| Respondenci pozytywnie nastawieni do narzędzi AI w tworzeniu gier | 79% | Unity, 2025 Gaming Report |
| Firmy wymienione jako użytkownicy Audio2Face przy premierze open source (własne twierdzenie dostawcy) | 9 firm, plus 2 wydane tytuły wskazane z nazwy | NVIDIA Developer Blog, 24 września 2025 |
Uwaga kontekstowa: dziewięciu wymienionych użytkowników to Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs i UneeQ; dwa tytuły to Alien: Rogue Incursion Evolved Edition (Survios) i Chernobylite 2: Exclusion Zone (The Farm 51). Żaden z cytatów ze studiów nie podawał liczby oszczędzonego czasu.
6. Rzeczywistość dubbingu i tolerancje synchronizacji w transmisji
Dubbing wizualny z użyciem AI obiecuje dopasować przetłumaczoną mowę do ust aktora. Punkt odniesienia, z którym konkuruje, jest luźniejszy, niż większość ludzi zakłada. W 319,57 godziny profesjonalnie dubbingowanych programów telewizyjnych i filmów z angielskiego na niemiecki i z angielskiego na hiszpański tylko około 12,4% czasu mowy widocznej na ekranie miało w dubbingu ten sam wizem co w oryginale (AWS AI Labs i MIT, Dubbing in Practice, TACL 2023). Wizem to widoczny kształt ust dla grupy dźwięków (na przykład p, b i m zamykają wargi). Aktorzy dubbingowi dopasowują kształty ust nieco częściej, gdy mówca jest na ekranie, ale autorzy wnioskują, że dla profesjonalistów naturalność głosu i jakość tłumaczenia są ważniejsze niż ścisły lip-sync.
Czas to ostrzejsze ograniczenie. Izochronia (rozpoczynanie i kończenie mowy dubbingu w tych samych momentach co mowa oryginalna) osiągnęła średnie pokrycie 0,658. Nadawcy ze swojej strony wyznaczają twarde limity przesunięcia audio-wideo: dźwięk może wyprzedzać obraz najwyżej o 40 ms i opóźniać się najwyżej o 60 ms, a wartości te ustalono tam, gdzie niedopasowanie staje się zauważalne dla 50% obserwatorów (zalecenie EBU R37-2007). Każdy potok awatarów na żywo dziedziczy ten budżet, więc opóźnienie startowe generatora (170 ms dla VASA-1, zob. sekcja 4) trzeba zrekompensować, opóźniając dźwięk, inaczej wynik nie przejdzie kontroli transmisji.
| Metryka | Wartość | Źródło |
|---|---|---|
| Przeanalizowany korpus profesjonalnych dubbingów: godziny, tytuły, odcinki | 319,57 godziny, 54 tytuły, 674 odcinki | AWS AI Labs i MIT, Dubbing in Practice, TACL 2023 |
| Udział czasu mowy widocznej na ekranie z tym samym wizemem w oryginale i dubbingu | około 12,4% | AWS AI Labs i MIT, Dubbing in Practice, TACL 2023 |
| Średnie (mediana) pokrycie czasu mowy między kwestią oryginalną a dubbingowaną | 0,658 (0,731) | AWS AI Labs i MIT, Dubbing in Practice, TACL 2023 |
| Pokrycie czasu mowy dla mówców widocznych na ekranie wobec mówców poza ekranem | 0,684 wobec 0,662 | AWS AI Labs i MIT, Dubbing in Practice, TACL 2023 |
| Kwestie dubbingowane o co najmniej 10% dłuższe w znakach niż angielski oryginał: niemiecki wobec hiszpańskiego | 53% wobec 30% | AWS AI Labs i MIT, Dubbing in Practice, TACL 2023 |
| Limit transmisyjny dla dźwięku względem obrazu w całym torze: dźwięk wcześniej wobec dźwięku później | najwyżej 40 ms wobec najwyżej 60 ms | Zalecenie EBU R37-2007 |
| Dokładność synchronizacji wymagana na każdym etapie produkcji: dźwięk wcześniej wobec dźwięku później | 5 ms wobec 15 ms | Zalecenie EBU R37-2007 |
Uwaga kontekstowa: najnowsze dostępne dane: badanie korpusu dubbingu z 2023 roku i EBU R37 z 2007 roku (wciąż obowiązujące zalecenie EBU). Badanie dubbingu wykazało też, że 4,3% kwestii dubbingowanych nie miało żadnego pokrycia czasowego z oryginałem oraz że oceny jakości tłumaczenia nie różniły się istotnie między kwestiami widocznymi na ekranie a poza ekranem (COMET-QE p = 0,349).
7. Percepcja i wykrywanie deepfake’ów
Te same modele, które animują postaci w grach, mogą podrabiać mowę prawdziwej osoby. Wykrywanie jest nierówne. W 56 artykułach i wśród 86.155 uczestników ludzie wykrywali deepfake’i z trafnością 55,54% (95% przedział ufności od 48,87 do 62,10), nieistotnie wyższą od przypadku, a dla wideo tylko 57,31% (Diel i in., Computers in Human Behavior Reports 2024). Trening ze sprzężeniem zwrotnym, wsparcie AI lub karykaturyzacja podniosły trafność do 65,14%.
Maszyny wyspecjalizowane w lip-sync radzą sobie w laboratorium znacznie lepiej, ale słabym punktem jest uogólnianie. Detektor LipFD, który szuka niedopasowań czasowych między dźwiękiem a ruchem ust, podaje średnią trafność powyżej 95,3% i do 90,2% w warunkach rzeczywistych, takich jak rozmowy wideo w WeChat (Lips Are Lying, artykuł o LipFD, arXiv 2024). Na deepfake’ach faktycznie krążących w 2024 roku detektory wideo o otwartym kodzie traciły 50% AUC (pole pod krzywą ROC, gdzie 1,0 oznacza idealny wynik, a 0,5 przypadek) w porównaniu ze starszymi benchmarkami (benchmark Deepfake-Eval-2024, 2025).
| Metryka | Wartość | Źródło |
|---|---|---|
| Łączna trafność ludzkiego wykrywania deepfake’ów, wszystkie rodzaje mediów | 55,54% (95% przedział ufności od 48,87 do 62,10, k = 67) | Diel i in., Computers in Human Behavior Reports 2024 |
| Trafność ludzkiego wykrywania konkretnie deepfake’ów wideo | 57,31% (95% przedział ufności od 47,80 do 66,57, k = 26) | Diel i in., Computers in Human Behavior Reports 2024 |
| Trafność ludzkiego wykrywania ze szkoleniem ze sprzężeniem zwrotnym, wsparciem AI lub karykaturyzacją | 65,14% (95% przedział ufności od 55,21 do 74,46, k = 15) | Diel i in., Computers in Human Behavior Reports 2024 |
| Detektor deepfake’ów lip-sync LipFD: średnia trafność wobec scenariuszy rzeczywistych | ponad 95,3% wobec do 90,2% | Artykuł o Lips Are Lying (LipFD), arXiv 2024 |
| Spadek AUC detektorów o otwartym kodzie na deepfake’ach z 2024 roku z rzeczywistych źródeł wobec wcześniejszych benchmarków: wideo, audio, obraz | 50%, 48%, 45% | Benchmark Deepfake-Eval-2024, 2025 |
| Zbiór danych Deepfake-Eval-2024: godziny wideo, strony internetowe, języki | 45 godzin, 88 stron, 52 języki | Benchmark Deepfake-Eval-2024, 2025 |
| Trafność własnego detektora autorów VASA-1 w odróżnianiu prawdziwych nagrań od wyników VASA-1 | 97,8% | Microsoft Research Asia, artykuł o VASA-1 2024 |
Uwaga kontekstowa: liczba 97,8% dotyczy wyników jednego modelu i detektora wytrenowanego właśnie na nim. Wynik Deepfake-Eval-2024 pokazuje, co się dzieje, gdy detektory spotykają generatory, na których nie były trenowane.
Podsumowanie: animacja twarzy sterowana dźwiękiem i lip-sync w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Pewność SyncNet na VoxCeleb2: VASA-1 wobec prawdziwego wideo | 8,841 wobec 7,640 | Microsoft Research Asia, artykuł o VASA-1 2024 |
| FVD na HDTF: LatentSync wobec Wav2Lip | 162,74 wobec 304,35 | ByteDance, artykuł o LatentSync 2025 |
| Trafność sędziego SyncNet na zbiorze testowym HDTF: StableSyncNet wobec poprzedniego najlepszego | 94% wobec 91% | ByteDance, artykuł o LatentSync 2025 |
| Błąd wierzchołków ust na BIWI-Test-A: VOCA wobec TalkingStyle (x 10^-4 mm) | 6,5563 wobec 4,3646 | Artykuł o GLDiTalker, arXiv 2025 |
| Dane treningowe twarzy 3D: typowe zbiory wobec UniTalker | poniżej 1 godziny wobec 18,5 godziny | Artykuł o UniTalker, arXiv 2024 |
| Oceny A/B wskazujące CodeTalker zamiast VOCA pod względem lip-sync na BIWI | 92,47% | Artykuł o CodeTalker, arXiv 2023 |
| Preferencja A/B dla modelu twarzy do telepresence działającego w czasie rzeczywistym wobec DiffPoseTalk | 84,59% | Meta i Seoul National University, SIGGRAPH Asia 2025 |
| Ludzka ocena synchronizacji na HDTF: najlepszy model wobec Wav2Lip mimo najwyższego LSE-C Wav2Lip | 3,92 wobec 2,91 | Karlsruhe Institute of Technology, 2024 |
| Szybkość Audio2Face-3D v3.0 na jednej karcie RTX 4090 z TensorRT | 3.269 klatek na sekundę | NVIDIA, artykuł o Audio2Face-3D 2025 |
| Czas GPU na klatkę modelu twarzy do telepresence działającego w czasie rzeczywistym | 10 ms | Meta i Seoul National University, SIGGRAPH Asia 2025 |
| Specjaliści od gier używający narzędzi generatywnej AI | 36% | GDC, 2026 State of the Game Industry |
| Studia używające narzędzi AI w wybranych procesach pracy | 96% | Unity, 2025 Gaming Report |
| Czas dubbingowanej mowy widocznej na ekranie z tym samym wizemem co w oryginale | około 12,4% | AWS AI Labs i MIT, TACL 2023 |
| Średnie pokrycie czasu mowy między kwestiami oryginalnymi a dubbingowanymi | 0,658 | AWS AI Labs i MIT, TACL 2023 |
| Limit lip-sync w transmisji w całym torze: dźwięk wcześniej wobec dźwięku później | 40 ms wobec 60 ms | Zalecenie EBU R37-2007 |
| Łączna trafność ludzkiego wykrywania deepfake’ów | 55,54% | Diel i in., Computers in Human Behavior Reports 2024 |
| Spadek AUC detektorów deepfake’ów wideo o otwartym kodzie na treściach z 2024 roku z rzeczywistych źródeł | 50% | Benchmark Deepfake-Eval-2024, 2025 |
Metodologia i źródła
- NVIDIA: Audio2Face-3D, Audio-driven Realistic Facial Animation for Digital Avatars (arXiv 2508.16401, 2025) dla danych o szybkości wnioskowania, pamięci i krokach dyfuzji oraz ogłoszenie udostępnienia Audio2Face jako open source, 24 września 2025 dla wymienionych użytkowników (własne twierdzenie dostawcy).
- Microsoft Research Asia, artykuł o VASA-1 (arXiv 2404.10667, wersja poprawiona 2024): wyniki synchronizacji, FVD, liczba klatek, opóźnienie, trafność detektora.
- Meta Codec Avatars Lab i Seoul National University, Audio Driven Real-Time Facial Animation for Social Telepresence (SIGGRAPH Asia 2025): opóźnienie i preferencje A/B.
- ByteDance, Beijing Jiaotong University i Monash University, LatentSync (arXiv 2412.09262, wersja poprawiona 2025): synchronizacja na HDTF i VoxCeleb2, FID i FVD.
- Artykuł o GLDiTalker, Beihang University i inni (arXiv 2408.01826, wersja poprawiona 2025): tabela błędu wierzchołków ust na BIWI i średnie oceny opinii.
- Artykuł o CodeTalker (arXiv 2301.02379, 2023): wskaźniki preferencji A/B i opisy zbiorów danych.
- Artykuł o UniTalker (arXiv 2408.00762, 2024): skala danych treningowych i redukcje błędu.
- Karlsruhe Institute of Technology, Istanbul Technical University i Carnegie Mellon University, artykuł eksperta AV-HuBERT (arXiv 2405.04327, 2024): LSE-C/LSE-D wobec badania użytkowników.
- Artykuł o MuseTalk (arXiv 2410.10122, wersja poprawiona 2025): liczba klatek w czasie rzeczywistym.
- Artykuł o Wav2Lip (ACM Multimedia 2020): tło dotyczące modelu bazowego, bez bezpośrednio cytowanych z niego liczb.
- GDC, 2026 State of the Game Industry: użycie generatywnej AI i nastroje.
- Unity, wpis premierowy 2025 Gaming Report (17 marca 2025): użycie AI przez studia i nastroje.
- AWS AI Labs i MIT Media Lab, Dubbing in Practice (TACL tom 11, 2023): statystyki korpusu profesjonalnych dubbingów.
- Zalecenie EBU R37-2007: limity czasowe dźwięku i obrazu.
- Diel i in., Human performance in detecting deepfakes, Computers in Human Behavior Reports tom 16 (2024): metaanaliza ludzkiego wykrywania.
- Artykuł o Lips Are Lying (LipFD) (arXiv 2401.15668, 2024): trafność wykrywania deepfake’ów lip-sync.
- Benchmark Deepfake-Eval-2024 (arXiv 2503.02857, 2025): skuteczność detektorów na treściach z rzeczywistych źródeł.
- Uwaga o danych: (1) Konflikty między metryką a percepcją są realne: VASA-1 pokonuje prawdziwe wideo pod względem pewności SyncNet, a wynik Wav2Lip na HDTF różni się między artykułami (Sync_conf 8,2 w ocenie LatentSync wobec LSE-C 9,054 w ocenie z Karlsruhe), więc wyniki należy porównywać tylko w obrębie jednego artykułu. (2) Wartości 36% i 96% użycia AI w sekcji 5 mierzą różne populacje (indywidualni specjaliści wobec studiów, a wielkość próby badania studiów nie jest podana na stronie premierowej), więc nie należy ich czytać jako sprzeczności. (3) W przeczytanym tekście artykułu o Audio2Face-3D nie znaleźliśmy wyników badań użytkowników, dlatego jego jakość percepcyjna nie jest tu omówiona. (4) CodeTalker (2023), badanie korpusu dubbingu (2023) i EBU R37 (2007) to najnowsze dostępne dane dla swoich metryk; nowsze artykuły z SIGGRAPH i CVPR mogą zaktualizować wartości LVE i preferencji. (5) Jednostki LVE różnią się między benchmarkami i artykułami, więc wartości są porównywalne tylko w obrębie tej samej tabeli. (6) Badania użytkowników w tej dziedzinie opierają się na 10 do 31 oceniających, więc małe różnice preferencji nie są odporne.
Ostatnia aktualizacja: 6 listopada 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnej aktualizacji spodziewamy się po publikacji raportu GDC 2027 State of the Game Industry.