No teste padrão de sincronia do SyncNet, o modelo de rosto falante VASA-1 marca 8,841, acima dos 7,640 obtidos pelos vídeos reais com os quais é comparado (Microsoft Research Asia, artigo do VASA-1, 2024). Esse único número explica a maior parte deste campo em 2026: os modelos já superam as filmagens reais na métrica criada para julgá-los, e por isso estudos com usuários e dados de tempo de execução importam mais do que nunca. Um modelo de rosto para telepresença em tempo real vence 84,59% das comparações A/B contra o DiffPoseTalk, mais lento (Meta e Seoul National University, SIGGRAPH Asia 2025), e os dados de treino 3D passaram de tipicamente menos de 1 hora para 18,5 horas (artigo do UniTalker, arXiv 2024). Enquanto isso, espectadores humanos detectam deepfakes em 55,54% dos casos, pouco acima de cara ou coroa (Diel et al., Computers in Human Behavior Reports 2024). Agregamos dados da NVIDIA Research, da ByteDance, da European Broadcasting Union, da Unity e de uma dúzia de artigos de benchmark de laboratórios universitários e industriais. Se você chegou aqui pelo lado do reconhecimento do problema, nossas estatísticas de leitura labial e reconhecimento visual de fala cobrem a tarefa inversa: ler palavras a partir dos lábios, em vez de gerar lábios a partir de palavras.
TL;DR
- O VASA-1 marca 8,841 de confiança SyncNet no VoxCeleb2 contra 7,640 do vídeo real (Microsoft Research Asia, artigo do VASA-1, 2024).
- O LatentSync reduz o FVD no HDTF para 162,74, contra 304,35 do Wav2Lip (ByteDance, artigo do LatentSync, 2025).
- O erro de vértices labiais no BIWI-Test-A caiu de 6,5563 (VOCA) para 4,3646 (TalkingStyle) x 10^-4 mm (artigo do GLDiTalker, arXiv 2025).
- O UniTalker ampliou os dados de treino faciais 3D de tipicamente menos de 1 hora para 18,5 horas (artigo do UniTalker, arXiv 2024).
- 92,47% dos julgamentos A/B preferiram o CodeTalker ao VOCA na sincronia labial do BIWI (artigo do CodeTalker, arXiv 2023).
- Um modelo de rosto para telepresença em tempo real roda em 10 ms de tempo de GPU, contra 1,3 s do Audio2Photoreal (Meta e Seoul National University, SIGGRAPH Asia 2025).
- O Audio2Face-3D v3.0 chega a 3.269 FPS em uma RTX 4090 com TensorRT (NVIDIA, artigo do Audio2Face-3D, 2025).
- 36% dos profissionais de jogos usam ferramentas de IA generativa, e 52% dizem que ela prejudica o setor (GDC, 2026 State of the Game Industry).
- Apenas cerca de 12,4% do tempo de fala dublado em cena mantém o mesmo visema do original (AWS AI Labs e MIT, Dubbing in Practice, TACL 2023).
- A sincronia labial em radiodifusão deve ficar dentro de 40 ms de adiantamento e 60 ms de atraso, de ponta a ponta (Recomendação EBU R37-2007).
- A detecção humana de deepfakes tem média de 55,54% (IC 95% de 48,87 a 62,10) em 86.155 participantes (Diel et al., Computers in Human Behavior Reports 2024).
- Detectores de vídeo deepfake de código aberto perdem 50% do AUC em conteúdo real de 2024 (benchmark Deepfake-Eval-2024, 2025).
1. Benchmarks de Precisão de Sincronia Labial para Vídeo de Rosto Falante
Duas famílias de números dominam os artigos de sincronia labial em 2D. A confiança do SyncNet (informada como LSE-C ou Sync_conf, maior é melhor) e a distância do SyncNet (LSE-D, menor é melhor) vêm de uma rede treinada para julgar se o movimento da boca corresponde ao áudio. FID e FVD (Frechet Inception Distance e Frechet Video Distance, menor é melhor) medem o quanto os quadros e clipes gerados se afastam dos reais.
A manchete é um paradoxo. O VASA-1 registra confiança SyncNet de 8,841 no VoxCeleb2, enquanto os vídeos reais marcam 7,640 (Microsoft Research Asia, artigo do VASA-1, 2024). Um modelo ‘mais sincronizado que a realidade’ nesse teste não é mais realista: seu FVD25 é 105,88 contra 29,25 do vídeo real. A sincronia está perto de ser resolvida pela métrica; o realismo visual não. O LatentSync mostra a outra alavanca: remover a supervisão do SyncNet derruba sua confiança de sincronia de 8,9 para 4,6, o que confirma a conclusão dos autores de que modelos de difusão latente aprendem atalhos visuais em vez de vínculos entre áudio e lábios, a menos que um juiz de sincronia esteja embutido no treinamento (ByteDance, artigo do LatentSync, 2025).
| Métrica | Valor | Fonte |
|---|---|---|
| Confiança SyncNet no conjunto de teste do VoxCeleb2: VASA-1 vs vídeo real (maior é melhor) | 8,841 vs 7,640 | Microsoft Research Asia, artigo do VASA-1, 2024 |
| FVD25 no conjunto OneMin-32: VASA-1 vs vídeo real vs SadTalker (menor é melhor) | 105,88 vs 29,25 vs 214,51 | Microsoft Research Asia, artigo do VASA-1, 2024 |
| Confiança SyncNet (Sync_conf) no HDTF: LatentSync vs Wav2Lip vs MuseTalk | 8,9 vs 8,2 vs 6,8 | ByteDance, artigo do LatentSync, 2025 |
| FVD no HDTF: LatentSync vs Wav2Lip (menor é melhor) | 162,74 vs 304,35 | ByteDance, artigo do LatentSync, 2025 |
| FID no HDTF: LatentSync vs Wav2Lip (menor é melhor) | 7,22 vs 12,5 | ByteDance, artigo do LatentSync, 2025 |
| Sync_conf no HDTF: LatentSync sem supervisão do SyncNet vs com SyncNet no espaço de pixels | 4,6 vs 8,9 | ByteDance, artigo do LatentSync, 2025 |
| Precisão do juiz SyncNet no conjunto de teste do HDTF: StableSyncNet vs o melhor anterior | 94% vs 91% | ByteDance, artigo do LatentSync, 2025 |
Nota de contexto: o Wav2Lip, modelo de 2020 que popularizou o treinamento baseado em SyncNet (artigo do Wav2Lip, ACM Multimedia 2020), ainda aparece como linha de base em quase todas as tabelas de 2025. Suas pontuações variam entre artigos: o LatentSync informa Sync_conf de 8,2 no HDTF, enquanto outra avaliação informa LSE-C de 9,054 no HDTF (ver seção 3). Os números de benchmark só são comparáveis dentro da configuração de avaliação de um mesmo artigo.
2. Rostos 3D Guiados por Fala: Erro de Vértices Labiais e Dados de Treino
Para rostos 3D (malhas usadas em jogos, RV e cinema), a métrica padrão é o erro de vértices labiais (LVE): a maior distância por quadro entre os vértices labiais gerados e os capturados, com média ao longo dos quadros. Menor é melhor. No benchmark BIWI-Test-A, o LVE caiu de 6,5563 no VOCA para 4,3646 no TalkingStyle (x 10^-4 mm), uma redução de 33% pelas nossas contas (2,1917 dividido por 6,5563) ao longo de várias gerações de modelos (artigo do GLDiTalker, arXiv revisado em 2025).
A história maior é a escassez de dados. Os dois conjuntos de benchmark usados para treinar na área são minúsculos: o VOCASET reúne 480 sequências de cerca de 4 segundos cada, e o BIWI tem 14 falantes lendo 40 frases (artigo do CodeTalker, arXiv 2023). O UniTalker atacou esse gargalo unindo oito conjuntos de dados e ampliando os dados de treino para 18,5 horas, o que reduziu o LVE em 9,2% no BIWI e em 13,7% no VOCASET (artigo do UniTalker, arXiv 2024). Ganhos desse tamanho apenas com dados sugerem que os próximos saltos virão de orçamentos de captura, não de arquitetura.
| Métrica | Valor | Fonte |
|---|---|---|
| Erro de vértices labiais no BIWI-Test-A: VOCA vs FaceFormer (x 10^-4 mm, menor é melhor) | 6,5563 vs 5,3077 | Artigo do GLDiTalker, arXiv 2025 (Tabela 1) |
| Erro de vértices labiais no BIWI-Test-A: CodeTalker vs FaceDiffuser (x 10^-4 mm) | 4,7914 vs 4,7823 | Artigo do GLDiTalker, arXiv 2025 (Tabela 1) |
| Erro de vértices labiais no BIWI-Test-A: TalkingStyle vs GLDiTalker (x 10^-4 mm) | 4,3646 vs 4,6440 | Artigo do GLDiTalker, arXiv 2025 (Tabela 1) |
| Dados de treino faciais 3D: conjuntos comumente usados vs UniTalker | tipicamente menos de 1 hora vs 18,5 horas | Artigo do UniTalker, arXiv 2024 |
| Redução do erro de vértices labiais com o treinamento unificado do UniTalker: BIWI vs VOCASET | 9,2% vs 13,7% | Artigo do UniTalker, arXiv 2024 |
| Redução média de erro no benchmark A2F-Bench | 6,3% | Artigo do UniTalker, arXiv 2024 |
| Tamanho do VOCASET: sequências, falantes, taxa de captura, vértices da malha | 480 sequências, 12 falantes, 60 fps, 5.023 vértices | Artigo do CodeTalker, arXiv 2023 |
| Tamanho do BIWI: falantes, frases, taxa de captura, vértices da malha | 14 falantes, 40 frases, 25 fps, 23.370 vértices | Artigo do CodeTalker, arXiv 2023 |
Nota de contexto: o GLDiTalker é o único modelo da tabela construído para produzir resultados claramente variados (pontuação de diversidade de 8,2176, contra 0 para a maioria dos concorrentes), uma escolha de projeto que atua contra a reprodução exata de uma única trilha labial capturada. Dados mais recentes disponíveis para as duas descrições de conjuntos de dados: um artigo de 2023.
3. Taxas de Preferência em Estudos com Usuários
Como o LVE pune qualquer movimento de boca diferente do capturado, mesmo quando a alternativa parece correta, os artigos recorrem a avaliadores humanos. O padrão entre os estudos é consistente: os modelos novos esmagam as linhas de base mais antigas, mas muitas vezes superam a geração anterior por margens estreitas. O CodeTalker ganhou 92,47% dos julgamentos de sincronia labial no BIWI contra o VOCA, mas só 53,76% contra o FaceFormer, perto de cara ou coroa (artigo do CodeTalker, arXiv 2023).
Os sistemas em tempo real também já vencem esses testes. Um modelo causal de telepresença, que não usa áudio futuro, foi preferido em 84,59% das comparações A/B contra o DiffPoseTalk e em 69,17% contra o Audio2Photoreal (Meta e Seoul National University, SIGGRAPH Asia 2025). E a distância entre métrica e percepção é mensurável: em um estudo do Karlsruhe Institute of Technology, o Wav2Lip teve o melhor LSE-C no HDTF entre todos os métodos, mas uma nota humana de sincronia de apenas 2,91, contra 3,92 do modelo dos autores (Karlsruhe Institute of Technology, artigo AV-HuBERT expert, 2024).
| Métrica | Valor | Fonte |
|---|---|---|
| Julgamentos A/B que preferiram o CodeTalker ao VOCA na sincronia labial no BIWI-Test-B | 92,47% | Artigo do CodeTalker, arXiv 2023 (31 participantes) |
| Julgamentos A/B que preferiram o CodeTalker ao FaceFormer na sincronia labial no BIWI-Test-B | 53,76% | Artigo do CodeTalker, arXiv 2023 |
| Preferência A/B pelo modelo de rosto para telepresença em tempo real sobre o DiffPoseTalk | 84,59% | Meta e Seoul National University, SIGGRAPH Asia 2025 |
| Preferência A/B pelo modelo de rosto para telepresença em tempo real sobre o Audio2Photoreal | 69,17% | Meta e Seoul National University, SIGGRAPH Asia 2025 |
| Nota média de opinião (MOS) para sincronia labial no VOCASET (1 a 5): GLDiTalker vs FaceFormer | 4,05 vs 3,08 | Artigo do GLDiTalker, arXiv 2025 (20 participantes) |
| Nota humana de sincronia no HDTF: melhor modelo vs Wav2Lip, que tinha o maior LSE-C, de 9,054 | 3,92 vs 2,91 | Karlsruhe Institute of Technology, artigo AV-HuBERT expert, 2024 (10 participantes) |
Nota de contexto: as amostras são pequenas. Os estudos acima usaram 10, 20 e 31 avaliadores, o que é típico da área e um motivo para tratar com cautela diferenças de preferência de um dígito. O desenho do estudo do CodeTalker produziu 372 julgamentos por conjunto de dados a partir de 120 pares de amostras.
4. Desempenho em Tempo de Execução e Latência
A velocidade deixou de ser o gargalo e virou um problema resolvido para rigs 3D. A rede de difusão de código aberto Audio2Face-3D v3.0 roda a 3.269 quadros por segundo em uma única GeForce RTX 4090 com TensorRT (NVIDIA, artigo do Audio2Face-3D, 2025). O segredo é a destilação: o modelo é treinado com 1.000 passos de difusão, mas infere com 2. Para os estúdios, o número prático é a concorrência: a rede de regressão v2.3, mais antiga, aciona 128 trilhas de animação simultâneas (uma por personagem falante) em 1,3 GB de memória de GPU.
O vídeo fotorrealista continua muito mais pesado. O VASA-1 transmite vídeo em 512x512 a até 40 FPS após um atraso inicial de 170 ms em uma RTX 4090 (Microsoft Research Asia, artigo do VASA-1, 2024), e o MuseTalk entrega 30 FPS em apenas 256x256 em uma GPU de data center V100 (artigo do MuseTalk, arXiv 2024). A corrida pela latência espelha o que aconteceu na síntese de fala, tema de nossas estatísticas de fator de tempo real e custo de inferência de TTS.
| Métrica | Valor | Fonte |
|---|---|---|
| Velocidade da rede de difusão Audio2Face-3D v3.0, 1 trilha, TensorRT, RTX 4090 | 3.269 quadros por segundo | NVIDIA, artigo do Audio2Face-3D, 2025 |
| Velocidade do Audio2Face-3D v2.3 (Claire), TensorRT, RTX 4090: 1 trilha vs 8 trilhas simultâneas | 453 vs 413 quadros por segundo | NVIDIA, artigo do Audio2Face-3D, 2025 |
| Memória de GPU do Audio2Face-3D v2.3 com TensorRT: 8 trilhas vs 128 trilhas | 0,6 GB vs 1,3 GB | NVIDIA, artigo do Audio2Face-3D, 2025 |
| Geração online do VASA-1 em 512x512 em uma RTX 4090: taxa de quadros e latência inicial | até 40 FPS, 170 ms | Microsoft Research Asia, artigo do VASA-1, 2024 |
| Tempo de GPU por quadro do modelo de rosto para telepresença em tempo real em uma A100 | 10 ms (100 FPS), com zero antecipação de áudio | Meta e Seoul National University, SIGGRAPH Asia 2025 |
| Linhas de base offline na mesma comparação: Audio2Photoreal vs DiffPoseTalk com estilo | 1,3 s vs 11,4 s | Meta e Seoul National University, SIGGRAPH Asia 2025 |
| Saída de vídeo com sincronia labial do MuseTalk em uma GPU V100 | 30 FPS em 256x256 | Artigo do MuseTalk, arXiv 2024 |
Nota de contexto: o modelo de telepresença é 130 vezes mais rápido que o Audio2Photoreal pelas nossas contas (1.300 ms dividido por 10 ms), de acordo com a afirmação do próprio artigo de ser de 100 a 1.000 vezes mais rápido que as linhas de base offline. Os FPS do Audio2Face-3D contam quadros de saída da rede, não uma cena de jogo renderizada.
5. Adoção em Jogos e Sentimento entre os Desenvolvedores
A animação guiada por áudio já está sendo entregue, mas em um setor que se voltou com força contra a IA generativa. 52% dos profissionais de jogos agora dizem que a IA generativa está prejudicando o setor, contra 30% um ano antes e 18% no ano anterior a esse (GDC, 2026 State of the Game Industry). O grupo mais negativo é o de arte visual e técnica, com 64%, justamente as pessoas cujo trabalho de animação facial essas ferramentas automatizam.
Os números de uso divergem conforme quem responde. A pesquisa com profissionais individuais acima constata que 36% usam IA generativa, enquanto uma pesquisa em nível de estúdio informa que 96% dos estúdios usam ferramentas de IA em fluxos de trabalho selecionados (Unity, 2025 Gaming Report). Do lado da oferta, os modelos, o SDK e o framework de treinamento do Audio2Face se tornaram código aberto em 24 de setembro de 2025, com nove empresas citadas como já os integrando (NVIDIA Developer Blog, 2025). A metade de voz desse pipeline é acompanhada em nossas estatísticas de adoção de voz de IA em diálogos de NPCs de jogos.
| Métrica | Valor | Fonte |
|---|---|---|
| Profissionais da indústria de jogos que usam ferramentas de IA generativa no trabalho | 36% (de mais de 2.300 respondentes) | GDC, 2026 State of the Game Industry |
| Uso de IA generativa: respondentes de estúdios de jogos vs de editoras, empresas de suporte e de marketing/RP | 30% vs 58% | GDC, 2026 State of the Game Industry |
| Respondentes que dizem que a IA generativa tem impacto negativo no setor: 2026 vs ano anterior vs dois anos antes | 52% vs 30% vs 18% | GDC, 2026 State of the Game Industry |
| Profissionais de arte visual e técnica com visão desfavorável da IA generativa | 64% | GDC, 2026 State of the Game Industry |
| Respondentes que dizem que a IA generativa tem impacto positivo: 2026 vs 2025 | 7% vs 13% | GDC, 2026 State of the Game Industry |
| Estúdios que usam ferramentas de IA em fluxos de trabalho selecionados | 96% | Unity, 2025 Gaming Report |
| Respondentes com sentimento positivo em relação às ferramentas de IA no desenvolvimento de jogos | 79% | Unity, 2025 Gaming Report |
| Empresas citadas como adotantes do Audio2Face no lançamento do código aberto (afirmação do próprio fornecedor) | 9 empresas, mais 2 títulos lançados creditados | NVIDIA Developer Blog, 24 de setembro de 2025 |
Nota de contexto: os nove adotantes citados são Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs e UneeQ; os dois títulos são Alien: Rogue Incursion Evolved Edition (Survios) e Chernobylite 2: Exclusion Zone (The Farm 51). Nenhuma das citações dos estúdios associou um número ao tempo economizado.
6. A Realidade da Dublagem e as Tolerâncias de Sincronia em Radiodifusão
A dublagem visual por IA promete fazer a fala traduzida combinar com a boca do ator. A referência com a qual ela compete é mais frouxa do que a maioria das pessoas imagina. Em 319,57 horas de TV e cinema dublados profissionalmente do inglês para o alemão e para o espanhol, apenas cerca de 12,4% do tempo de fala em cena tinha o mesmo visema na dublagem e no original (AWS AI Labs e MIT, Dubbing in Practice, TACL 2023). Um visema é o formato visível da boca para um grupo de sons (por exemplo, p, b e m fecham os lábios). Os dubladores humanos combinam os formatos da boca um pouco mais vezes quando o falante aparece em cena, mas os autores concluem que a naturalidade vocal e a qualidade da tradução importam mais para os profissionais do que a sincronia labial estrita.
O tempo é a restrição mais apertada. A isocronia (a fala dublada começar e terminar quando a fala original começa e termina) teve sobreposição média de 0,658. As emissoras, por sua vez, estabelecem limites rígidos para o deslocamento entre áudio e vídeo: o som pode adiantar a imagem no máximo 40 ms e atrasar no máximo 60 ms, valores definidos no ponto em que a diferença se torna perceptível para 50% dos observadores (Recomendação EBU R37-2007). Qualquer pipeline de avatar ao vivo herda esse orçamento, de modo que a latência inicial de um gerador (170 ms no VASA-1, ver seção 4) precisa ser absorvida atrasando o áudio para acompanhá-la, ou o resultado reprova em uma verificação de radiodifusão.
| Métrica | Valor | Fonte |
|---|---|---|
| Corpus dublado profissionalmente analisado: horas, títulos, episódios | 319,57 horas, 54 títulos, 674 episódios | AWS AI Labs e MIT, Dubbing in Practice, TACL 2023 |
| Parcela do tempo de fala em cena com o mesmo visema no original e na dublagem | cerca de 12,4% | AWS AI Labs e MIT, Dubbing in Practice, TACL 2023 |
| Sobreposição média (mediana) do tempo de fala entre a fala original e a dublada | 0,658 (0,731) | AWS AI Labs e MIT, Dubbing in Practice, TACL 2023 |
| Sobreposição do tempo de fala para falantes em cena vs fora de cena | 0,684 vs 0,662 | AWS AI Labs e MIT, Dubbing in Practice, TACL 2023 |
| Falas dubladas com pelo menos 10% mais caracteres que o original em inglês: alemão vs espanhol | 53% vs 30% | AWS AI Labs e MIT, Dubbing in Practice, TACL 2023 |
| Limite de radiodifusão de ponta a ponta do som em relação à imagem: som adiantado vs som atrasado | no máximo 40 ms vs no máximo 60 ms | Recomendação EBU R37-2007 |
| Precisão de sincronia exigida em cada etapa da produção: som adiantado vs som atrasado | 5 ms vs 15 ms | Recomendação EBU R37-2007 |
Nota de contexto: dados mais recentes disponíveis: o estudo do corpus de dublagem, de 2023, e a EBU R37, de 2007 (ainda a recomendação vigente da EBU). O estudo de dublagem também constatou que 4,3% das falas dubladas tinham sobreposição de tempo zero com o original e que as pontuações de qualidade de tradução não diferiram de forma significativa entre falas em cena e fora de cena (COMET-QE p = 0,349).
7. Percepção e o Ângulo da Detecção de Deepfakes
Os mesmos modelos que animam personagens de jogos podem falsificar a fala de uma pessoa real. A detecção é desigual. Em 56 artigos e 86.155 participantes, as pessoas detectaram deepfakes com precisão de 55,54% (IC 95% de 48,87 a 62,10), sem diferença significativa em relação ao acaso, e de apenas 57,31% para vídeo (Diel et al., Computers in Human Behavior Reports 2024). Treinamento com feedback, apoio de IA ou caricaturização elevaram a precisão para 65,14%.
Máquinas especializadas em sincronia labial se saem muito melhor em laboratório, mas a generalização é o ponto fraco. O detector LipFD, que procura incompatibilidades de tempo entre áudio e movimento labial, informa precisão média acima de 95,3% e de até 90,2% em situações reais, como videochamadas do WeChat (Lips Are Lying, artigo do LipFD, arXiv 2024). Em deepfakes que de fato circulavam em 2024, detectores de vídeo de código aberto perderam 50% do AUC (área sob a curva ROC, em que 1,0 é perfeito e 0,5 é o acaso) em comparação com benchmarks mais antigos (benchmark Deepfake-Eval-2024, 2025).
| Métrica | Valor | Fonte |
|---|---|---|
| Precisão agregada de detecção humana de deepfakes, todos os tipos de mídia | 55,54% (IC 95% de 48,87 a 62,10, k = 67) | Diel et al., Computers in Human Behavior Reports 2024 |
| Precisão de detecção humana especificamente para vídeo deepfake | 57,31% (IC 95% de 47,80 a 66,57, k = 26) | Diel et al., Computers in Human Behavior Reports 2024 |
| Precisão de detecção humana com treinamento com feedback, apoio de IA ou caricaturização | 65,14% (IC 95% de 55,21 a 74,46, k = 15) | Diel et al., Computers in Human Behavior Reports 2024 |
| Detector de deepfake de sincronia labial LipFD: precisão média vs cenários reais | mais de 95,3% vs até 90,2% | Artigo Lips Are Lying (LipFD), arXiv 2024 |
| Queda do AUC de detectores de código aberto em deepfakes reais de 2024 vs benchmarks anteriores: vídeo, áudio, imagem | 50%, 48%, 45% | Benchmark Deepfake-Eval-2024, 2025 |
| Conjunto de dados Deepfake-Eval-2024: horas de vídeo, sites, idiomas | 45 horas, 88 sites, 52 idiomas | Benchmark Deepfake-Eval-2024, 2025 |
| Precisão do detector próprio dos autores do VASA-1 em distinguir vídeos reais da saída do VASA-1 | 97,8% | Microsoft Research Asia, artigo do VASA-1, 2024 |
Nota de contexto: o número de 97,8% cobre a saída de um único modelo com um detector treinado para ele. O resultado do Deepfake-Eval-2024 mostra o que acontece quando os detectores encontram geradores para os quais não foram treinados.
Resumo: Animação Facial por Áudio e Sincronia Labial em Números
| Métrica | Valor | Fonte |
|---|---|---|
| Confiança SyncNet no VoxCeleb2: VASA-1 vs vídeo real | 8,841 vs 7,640 | Microsoft Research Asia, artigo do VASA-1, 2024 |
| FVD no HDTF: LatentSync vs Wav2Lip | 162,74 vs 304,35 | ByteDance, artigo do LatentSync, 2025 |
| Precisão do juiz SyncNet no HDTF: StableSyncNet vs o melhor anterior | 94% vs 91% | ByteDance, artigo do LatentSync, 2025 |
| Erro de vértices labiais no BIWI-Test-A: VOCA vs TalkingStyle (x 10^-4 mm) | 6,5563 vs 4,3646 | Artigo do GLDiTalker, arXiv 2025 |
| Dados de treino faciais 3D: conjuntos típicos vs UniTalker | menos de 1 hora vs 18,5 horas | Artigo do UniTalker, arXiv 2024 |
| Julgamentos A/B que preferiram o CodeTalker ao VOCA na sincronia labial no BIWI | 92,47% | Artigo do CodeTalker, arXiv 2023 |
| Preferência A/B pelo modelo de rosto para telepresença em tempo real sobre o DiffPoseTalk | 84,59% | Meta e Seoul National University, SIGGRAPH Asia 2025 |
| Nota humana de sincronia no HDTF: melhor modelo vs Wav2Lip, apesar do maior LSE-C do Wav2Lip | 3,92 vs 2,91 | Karlsruhe Institute of Technology, 2024 |
| Velocidade do Audio2Face-3D v3.0 em uma RTX 4090 com TensorRT | 3.269 quadros por segundo | NVIDIA, artigo do Audio2Face-3D, 2025 |
| Tempo de GPU por quadro do modelo de rosto para telepresença em tempo real | 10 ms | Meta e Seoul National University, SIGGRAPH Asia 2025 |
| Profissionais de jogos que usam ferramentas de IA generativa | 36% | GDC, 2026 State of the Game Industry |
| Estúdios que usam ferramentas de IA em fluxos de trabalho selecionados | 96% | Unity, 2025 Gaming Report |
| Tempo de fala dublado em cena com o mesmo visema do original | cerca de 12,4% | AWS AI Labs e MIT, TACL 2023 |
| Sobreposição média do tempo de fala entre falas originais e dubladas | 0,658 | AWS AI Labs e MIT, TACL 2023 |
| Limite de sincronia labial em radiodifusão de ponta a ponta: som adiantado vs som atrasado | 40 ms vs 60 ms | Recomendação EBU R37-2007 |
| Precisão agregada de detecção humana de deepfakes | 55,54% | Diel et al., Computers in Human Behavior Reports 2024 |
| Queda do AUC de detectores de vídeo deepfake de código aberto em conteúdo real de 2024 | 50% | Benchmark Deepfake-Eval-2024, 2025 |
Metodologia e Fontes
- NVIDIA: Audio2Face-3D, Audio-driven Realistic Facial Animation for Digital Avatars (arXiv 2508.16401, 2025) para velocidade de inferência, memória e número de passos de difusão, e o anúncio do código aberto do Audio2Face, 24 de setembro de 2025 para os adotantes citados (afirmação do próprio fornecedor).
- Microsoft Research Asia, artigo do VASA-1 (arXiv 2404.10667, revisado em 2024): pontuações de sincronia, FVD, taxa de quadros, latência, precisão do detector.
- Meta Codec Avatars Lab e Seoul National University, Audio Driven Real-Time Facial Animation for Social Telepresence (SIGGRAPH Asia 2025): latência e preferência A/B.
- ByteDance, Beijing Jiaotong University e Monash University, LatentSync (arXiv 2412.09262, revisado em 2025): sincronia, FID e FVD no HDTF e no VoxCeleb2.
- Artigo do GLDiTalker, Beihang University e outros (arXiv 2408.01826, revisado em 2025): tabela de erro de vértices labiais no BIWI e notas médias de opinião.
- Artigo do CodeTalker (arXiv 2301.02379, 2023): taxas de preferência A/B e descrições dos conjuntos de dados.
- Artigo do UniTalker (arXiv 2408.00762, 2024): escala dos dados de treino e reduções de erro.
- Karlsruhe Institute of Technology, Istanbul Technical University e Carnegie Mellon University, artigo AV-HuBERT expert (arXiv 2405.04327, 2024): LSE-C/LSE-D vs estudo com usuários.
- Artigo do MuseTalk (arXiv 2410.10122, revisado em 2025): taxa de quadros em tempo real.
- Artigo do Wav2Lip (ACM Multimedia 2020): contexto sobre o modelo de linha de base, sem números citados diretamente dele.
- GDC, 2026 State of the Game Industry: uso e sentimento em relação à IA generativa.
- Unity, post de lançamento do 2025 Gaming Report (17 de março de 2025): uso de IA e sentimento nos estúdios.
- AWS AI Labs e MIT Media Lab, Dubbing in Practice (TACL vol. 11, 2023): estatísticas do corpus de dublagem profissional.
- Recomendação EBU R37-2007: limites de tempo entre som e imagem.
- Diel et al., Human performance in detecting deepfakes, Computers in Human Behavior Reports vol. 16 (2024): metanálise da detecção humana.
- Artigo Lips Are Lying (LipFD) (arXiv 2401.15668, 2024): precisão na detecção de deepfakes de sincronia labial.
- Benchmark Deepfake-Eval-2024 (arXiv 2503.02857, 2025): desempenho de detectores em conteúdo real.
- Nota sobre os dados: (1) Os conflitos entre métrica e percepção são reais: o VASA-1 supera o vídeo real na confiança SyncNet, e a pontuação do Wav2Lip no HDTF difere entre artigos (Sync_conf de 8,2 na avaliação do LatentSync vs LSE-C de 9,054 na avaliação de Karlsruhe), portanto compare pontuações apenas dentro de um mesmo artigo. (2) Os números de uso de IA de 36% e 96% na seção 5 medem populações diferentes (profissionais individuais vs estúdios, e o tamanho da amostra da pesquisa com estúdios não é informado em sua página de lançamento), portanto não devem ser lidos como uma contradição. (3) Não encontramos resultados de estudos com usuários no texto do artigo do Audio2Face-3D que lemos, de modo que sua qualidade perceptiva não está coberta aqui. (4) O CodeTalker (2023), o estudo do corpus de dublagem (2023) e a EBU R37 (2007) são os dados mais recentes disponíveis para suas métricas; artigos mais novos do SIGGRAPH e do CVPR podem atualizar os números de LVE e de preferência. (5) As unidades de LVE variam entre benchmarks e artigos, portanto os valores só são comparáveis dentro da mesma tabela. (6) Os estudos com usuários nesta área se apoiam em 10 a 31 avaliadores, portanto pequenas diferenças de preferência não são robustas.
Última atualização: 6 de novembro de 2026. Atualizamos este levantamento trimestralmente, e a próxima revisão é esperada quando o relatório GDC 2027 State of the Game Industry for publicado.