En la prueba estándar de sincronía de SyncNet, el modelo de rostro parlante VASA-1 obtiene 8,841, más que los 7,640 de los videos reales con los que se compara (Microsoft Research Asia, artículo de VASA-1, 2024). Esa sola cifra explica la mayor parte de este campo en 2026: los modelos ya superan a las grabaciones reales en la métrica creada para juzgarlos, por lo que los estudios con usuarios y los datos de tiempo de ejecución importan más que nunca. Un modelo de rostro para telepresencia en tiempo real gana el 84,59% de las comparaciones A/B frente al más lento DiffPoseTalk (Meta y Seoul National University, SIGGRAPH Asia 2025), y los datos de entrenamiento 3D han pasado de típicamente menos de 1 hora a 18,5 horas (artículo de UniTalker, arXiv 2024). Mientras tanto, los espectadores humanos detectan deepfakes en el 55,54% de los casos, apenas por encima de lanzar una moneda (Diel et al., Computers in Human Behavior Reports 2024). Agregamos datos de NVIDIA Research, ByteDance, la European Broadcasting Union, Unity y una docena de artículos de benchmark de laboratorios universitarios e industriales. Si llegaste aquí desde el lado del reconocimiento del problema, nuestras estadísticas de lectura de labios y reconocimiento visual del habla cubren la tarea inversa: leer palabras a partir de los labios en lugar de generar labios a partir de palabras.
TL;DR
- VASA-1 obtiene una confianza SyncNet de 8,841 en VoxCeleb2 frente a 7,640 del video real (Microsoft Research Asia, artículo de VASA-1, 2024).
- LatentSync reduce el FVD en HDTF a 162,74 desde los 304,35 de Wav2Lip (ByteDance, artículo de LatentSync, 2025).
- El error de vértices labiales en BIWI-Test-A bajó de 6,5563 (VOCA) a 4,3646 (TalkingStyle) x 10^-4 mm (artículo de GLDiTalker, arXiv 2025).
- UniTalker amplió los datos de entrenamiento faciales 3D de típicamente menos de 1 hora a 18,5 horas (artículo de UniTalker, arXiv 2024).
- El 92,47% de los juicios A/B prefirió CodeTalker frente a VOCA en la sincronía labial de BIWI (artículo de CodeTalker, arXiv 2023).
- Un modelo de rostro para telepresencia en tiempo real se ejecuta en 10 ms de tiempo de GPU frente a 1,3 s de Audio2Photoreal (Meta y Seoul National University, SIGGRAPH Asia 2025).
- Audio2Face-3D v3.0 alcanza 3.269 FPS en una RTX 4090 con TensorRT (NVIDIA, artículo de Audio2Face-3D, 2025).
- El 36% de los profesionales de videojuegos usa herramientas de IA generativa, y el 52% dice que perjudica a la industria (GDC, 2026 State of the Game Industry).
- Solo alrededor del 12,4% del tiempo de habla doblada en pantalla conserva el mismo visema que el original (AWS AI Labs y MIT, Dubbing in Practice, TACL 2023).
- La sincronía labial en radiodifusión debe mantenerse dentro de 40 ms de adelanto y 60 ms de retraso, de extremo a extremo (Recomendación EBU R37-2007).
- La detección humana de deepfakes promedia 55,54% (IC del 95%: 48,87 a 62,10) en 86.155 participantes (Diel et al., Computers in Human Behavior Reports 2024).
- Los detectores de video deepfake de código abierto pierden el 50% de su AUC con contenido real de 2024 (benchmark Deepfake-Eval-2024, 2025).
1. Benchmarks de Precisión de Sincronía Labial para Video de Rostro Parlante
Dos familias de cifras dominan los artículos de sincronía labial en 2D. La confianza de SyncNet (informada como LSE-C o Sync_conf, mayor es mejor) y la distancia de SyncNet (LSE-D, menor es mejor) provienen de una red entrenada para juzgar si el movimiento de la boca coincide con el audio. FID y FVD (Frechet Inception Distance y Frechet Video Distance, menor es mejor) miden cuánto se alejan los fotogramas y clips generados de los reales.
El titular es una paradoja. VASA-1 registra una confianza SyncNet de 8,841 en VoxCeleb2, mientras que los videos reales obtienen 7,640 (Microsoft Research Asia, artículo de VASA-1, 2024). Un modelo que está ‘más sincronizado que la realidad’ en esta prueba no es más realista: su FVD25 es 105,88 frente a 29,25 del video real. La sincronía está casi resuelta según la métrica; el realismo visual no. LatentSync muestra la otra palanca: quitar la supervisión de SyncNet reduce su confianza de sincronía de 8,9 a 4,6, lo que coincide con la conclusión de los autores de que los modelos de difusión latente aprenden atajos visuales en lugar de vínculos entre audio y labios, a menos que se incorpore un juez de sincronía en el entrenamiento (ByteDance, artículo de LatentSync, 2025).
| Métrica | Valor | Fuente |
|---|---|---|
| Confianza SyncNet en el conjunto de prueba de VoxCeleb2: VASA-1 vs video real (mayor es mejor) | 8,841 vs 7,640 | Microsoft Research Asia, artículo de VASA-1, 2024 |
| FVD25 en el conjunto OneMin-32: VASA-1 vs video real vs SadTalker (menor es mejor) | 105,88 vs 29,25 vs 214,51 | Microsoft Research Asia, artículo de VASA-1, 2024 |
| Confianza SyncNet (Sync_conf) en HDTF: LatentSync vs Wav2Lip vs MuseTalk | 8,9 vs 8,2 vs 6,8 | ByteDance, artículo de LatentSync, 2025 |
| FVD en HDTF: LatentSync vs Wav2Lip (menor es mejor) | 162,74 vs 304,35 | ByteDance, artículo de LatentSync, 2025 |
| FID en HDTF: LatentSync vs Wav2Lip (menor es mejor) | 7,22 vs 12,5 | ByteDance, artículo de LatentSync, 2025 |
| Sync_conf en HDTF: LatentSync sin supervisión de SyncNet vs con SyncNet en el espacio de píxeles | 4,6 vs 8,9 | ByteDance, artículo de LatentSync, 2025 |
| Precisión del juez SyncNet en el conjunto de prueba de HDTF: StableSyncNet vs el mejor anterior | 94% vs 91% | ByteDance, artículo de LatentSync, 2025 |
Nota de contexto: Wav2Lip, el modelo de 2020 que popularizó el entrenamiento basado en SyncNet (artículo de Wav2Lip, ACM Multimedia 2020), sigue apareciendo como línea base en casi todas las tablas de 2025. Sus puntuaciones varían entre artículos: LatentSync informa un Sync_conf de 8,2 en HDTF, mientras que otra evaluación informa un LSE-C de 9,054 en HDTF (véase la sección 3). Las cifras de benchmark solo son comparables dentro de la configuración de evaluación de un mismo artículo.
2. Rostros 3D Guiados por el Habla: Error de Vértices Labiales y Datos de Entrenamiento
Para los rostros 3D (mallas usadas en videojuegos, RV y cine), la métrica estándar es el error de vértices labiales (LVE): la mayor distancia por fotograma entre los vértices labiales generados y los capturados, promediada sobre los fotogramas. Menor es mejor. En el benchmark BIWI-Test-A, el LVE bajó de 6,5563 en VOCA a 4,3646 en TalkingStyle (x 10^-4 mm), una reducción del 33% según nuestras cuentas (2,1917 dividido entre 6,5563) a lo largo de varias generaciones de modelos (artículo de GLDiTalker, arXiv revisado en 2025).
La historia más grande es la escasez de datos. Los dos conjuntos de benchmark con los que se entrena en este campo son diminutos: VOCASET contiene 480 secuencias de unos 4 segundos cada una, y BIWI tiene 14 hablantes que leen 40 frases (artículo de CodeTalker, arXiv 2023). UniTalker atacó ese cuello de botella fusionando ocho conjuntos de datos y ampliando los datos de entrenamiento a 18,5 horas, lo que redujo el LVE un 9,2% en BIWI y un 13,7% en VOCASET (artículo de UniTalker, arXiv 2024). Mejoras de ese tamaño solo con datos sugieren que los próximos saltos vendrán de los presupuestos de captura, no de la arquitectura.
| Métrica | Valor | Fuente |
|---|---|---|
| Error de vértices labiales en BIWI-Test-A: VOCA vs FaceFormer (x 10^-4 mm, menor es mejor) | 6,5563 vs 5,3077 | Artículo de GLDiTalker, arXiv 2025 (Tabla 1) |
| Error de vértices labiales en BIWI-Test-A: CodeTalker vs FaceDiffuser (x 10^-4 mm) | 4,7914 vs 4,7823 | Artículo de GLDiTalker, arXiv 2025 (Tabla 1) |
| Error de vértices labiales en BIWI-Test-A: TalkingStyle vs GLDiTalker (x 10^-4 mm) | 4,3646 vs 4,6440 | Artículo de GLDiTalker, arXiv 2025 (Tabla 1) |
| Datos de entrenamiento faciales 3D: conjuntos de uso común vs UniTalker | típicamente menos de 1 hora vs 18,5 horas | Artículo de UniTalker, arXiv 2024 |
| Reducción del error de vértices labiales con el entrenamiento unificado de UniTalker: BIWI vs VOCASET | 9,2% vs 13,7% | Artículo de UniTalker, arXiv 2024 |
| Reducción media del error en el benchmark A2F-Bench | 6,3% | Artículo de UniTalker, arXiv 2024 |
| Tamaño de VOCASET: secuencias, hablantes, tasa de captura, vértices de la malla | 480 secuencias, 12 hablantes, 60 fps, 5.023 vértices | Artículo de CodeTalker, arXiv 2023 |
| Tamaño de BIWI: hablantes, frases, tasa de captura, vértices de la malla | 14 hablantes, 40 frases, 25 fps, 23.370 vértices | Artículo de CodeTalker, arXiv 2023 |
Nota de contexto: GLDiTalker es el único modelo de esa tabla diseñado para producir resultados claramente variados (puntuación de diversidad de 8,2176, frente a 0 para la mayoría de sus rivales), una decisión de diseño que va en contra de reproducir con exactitud una única pista labial capturada. Datos más recientes disponibles para las dos descripciones de conjuntos de datos: un artículo de 2023.
3. Tasas de Preferencia en Estudios con Usuarios
Como el LVE penaliza cualquier movimiento de boca distinto del capturado, incluso cuando la alternativa se ve correcta, los artículos recurren a evaluadores humanos. El patrón en los estudios es consistente: los modelos nuevos aplastan a las líneas base más antiguas, pero a menudo superan a la generación anterior por márgenes estrechos. CodeTalker ganó el 92,47% de los juicios de sincronía labial en BIWI frente a VOCA, pero solo el 53,76% frente a FaceFormer, cerca de lanzar una moneda (artículo de CodeTalker, arXiv 2023).
Los sistemas en tiempo real también están ganando estas pruebas. Un modelo causal de telepresencia, que no usa audio futuro, fue preferido en el 84,59% de las comparaciones A/B frente a DiffPoseTalk y en el 69,17% frente a Audio2Photoreal (Meta y Seoul National University, SIGGRAPH Asia 2025). Y la brecha entre la métrica y la percepción es medible: en un estudio del Karlsruhe Institute of Technology, Wav2Lip tuvo el mejor LSE-C en HDTF de todos los métodos, pero una calificación humana de sincronía de solo 2,91, frente a 3,92 del modelo de los autores (Karlsruhe Institute of Technology, artículo AV-HuBERT expert, 2024).
| Métrica | Valor | Fuente |
|---|---|---|
| Juicios A/B que prefirieron CodeTalker frente a VOCA en sincronía labial en BIWI-Test-B | 92,47% | Artículo de CodeTalker, arXiv 2023 (31 participantes) |
| Juicios A/B que prefirieron CodeTalker frente a FaceFormer en sincronía labial en BIWI-Test-B | 53,76% | Artículo de CodeTalker, arXiv 2023 |
| Preferencia A/B por el modelo de rostro para telepresencia en tiempo real frente a DiffPoseTalk | 84,59% | Meta y Seoul National University, SIGGRAPH Asia 2025 |
| Preferencia A/B por el modelo de rostro para telepresencia en tiempo real frente a Audio2Photoreal | 69,17% | Meta y Seoul National University, SIGGRAPH Asia 2025 |
| Puntuación media de opinión (MOS) de sincronía labial en VOCASET (1 a 5): GLDiTalker vs FaceFormer | 4,05 vs 3,08 | Artículo de GLDiTalker, arXiv 2025 (20 participantes) |
| Calificación humana de sincronía en HDTF: mejor modelo vs Wav2Lip, que tenía el LSE-C más alto, de 9,054 | 3,92 vs 2,91 | Karlsruhe Institute of Technology, artículo AV-HuBERT expert, 2024 (10 participantes) |
Nota de contexto: las muestras son pequeñas. Los estudios anteriores usaron 10, 20 y 31 evaluadores, lo cual es típico del campo y una razón para tratar con cautela las diferencias de preferencia de un solo dígito. El diseño del estudio de CodeTalker produjo 372 juicios por conjunto de datos a partir de 120 pares de muestras.
4. Rendimiento en Tiempo de Ejecución y Latencia
La velocidad ha pasado de ser el cuello de botella a ser un problema resuelto para los rigs 3D. La red de difusión de código abierto Audio2Face-3D v3.0 se ejecuta a 3.269 fotogramas por segundo en una sola GeForce RTX 4090 con TensorRT (NVIDIA, artículo de Audio2Face-3D, 2025). El truco es la destilación: el modelo se entrena con 1.000 pasos de difusión, pero infiere con 2. Para los estudios, la cifra práctica es la concurrencia: la red de regresión v2.3, más antigua, maneja 128 pistas de animación simultáneas (una por personaje que habla) con 1,3 GB de memoria de GPU.
El video fotorrealista sigue siendo mucho más pesado. VASA-1 transmite video a 512x512 hasta a 40 FPS tras un retraso inicial de 170 ms en una RTX 4090 (Microsoft Research Asia, artículo de VASA-1, 2024), y MuseTalk entrega 30 FPS a solo 256x256 en una GPU de centro de datos V100 (artículo de MuseTalk, arXiv 2024). La carrera por la latencia refleja lo ocurrido en la síntesis de voz, tema de nuestras estadísticas de factor de tiempo real y costo de inferencia de TTS.
| Métrica | Valor | Fuente |
|---|---|---|
| Velocidad de la red de difusión Audio2Face-3D v3.0, 1 pista, TensorRT, RTX 4090 | 3.269 fotogramas por segundo | NVIDIA, artículo de Audio2Face-3D, 2025 |
| Velocidad de Audio2Face-3D v2.3 (Claire), TensorRT, RTX 4090: 1 pista vs 8 pistas simultáneas | 453 vs 413 fotogramas por segundo | NVIDIA, artículo de Audio2Face-3D, 2025 |
| Memoria de GPU de Audio2Face-3D v2.3 con TensorRT: 8 pistas vs 128 pistas | 0,6 GB vs 1,3 GB | NVIDIA, artículo de Audio2Face-3D, 2025 |
| Generación en línea de VASA-1 a 512x512 en una RTX 4090: tasa de fotogramas y latencia inicial | hasta 40 FPS, 170 ms | Microsoft Research Asia, artículo de VASA-1, 2024 |
| Tiempo de GPU por fotograma del modelo de rostro para telepresencia en tiempo real en una A100 | 10 ms (100 FPS), con cero anticipación de audio | Meta y Seoul National University, SIGGRAPH Asia 2025 |
| Líneas base sin conexión en la misma comparación: Audio2Photoreal vs DiffPoseTalk con estilo | 1,3 s vs 11,4 s | Meta y Seoul National University, SIGGRAPH Asia 2025 |
| Salida de video con sincronía labial de MuseTalk en una GPU V100 | 30 FPS a 256x256 | Artículo de MuseTalk, arXiv 2024 |
Nota de contexto: el modelo de telepresencia es 130 veces más rápido que Audio2Photoreal según nuestras cuentas (1.300 ms dividido entre 10 ms), en línea con la afirmación del propio artículo de ser entre 100 y 1.000 veces más rápido que las líneas base sin conexión. Los FPS de Audio2Face-3D cuentan fotogramas de salida de la red, no una escena de juego renderizada.
5. Adopción en Videojuegos y Opinión entre los Desarrolladores
La animación guiada por audio ya se está entregando, pero en una industria que se ha vuelto con fuerza contra la IA generativa. El 52% de los profesionales de videojuegos dice ahora que la IA generativa está perjudicando a la industria, frente al 30% de un año antes y al 18% del año anterior (GDC, 2026 State of the Game Industry). El grupo más negativo es el de arte visual y técnico, con un 64%, justo las personas cuyo trabajo de animación facial automatizan estas herramientas.
Las cifras de uso divergen según quién responde. La encuesta a profesionales individuales anterior encuentra que el 36% usa IA generativa, mientras que una encuesta a nivel de estudio indica que el 96% de los estudios usa herramientas de IA en flujos de trabajo selectos (Unity, 2025 Gaming Report). Por el lado de la oferta, los modelos, el SDK y el framework de entrenamiento de Audio2Face pasaron a código abierto el 24 de septiembre de 2025, con nueve empresas mencionadas como ya integrándolos (NVIDIA Developer Blog, 2025). La mitad de voz de este pipeline se sigue en nuestras estadísticas de adopción de voz de IA en diálogos de NPC de videojuegos.
| Métrica | Valor | Fuente |
|---|---|---|
| Profesionales de la industria de videojuegos que usan herramientas de IA generativa en su trabajo | 36% (de más de 2.300 encuestados) | GDC, 2026 State of the Game Industry |
| Uso de IA generativa: encuestados de estudios de videojuegos vs de editoras, empresas de soporte y de marketing/RR. PP. | 30% vs 58% | GDC, 2026 State of the Game Industry |
| Encuestados que dicen que la IA generativa tiene un impacto negativo en la industria: 2026 vs año anterior vs dos años antes | 52% vs 30% vs 18% | GDC, 2026 State of the Game Industry |
| Profesionales de arte visual y técnico con una opinión desfavorable de la IA generativa | 64% | GDC, 2026 State of the Game Industry |
| Encuestados que dicen que la IA generativa tiene un impacto positivo: 2026 vs 2025 | 7% vs 13% | GDC, 2026 State of the Game Industry |
| Estudios que usan herramientas de IA en flujos de trabajo selectos | 96% | Unity, 2025 Gaming Report |
| Encuestados con una opinión positiva sobre las herramientas de IA en el desarrollo de videojuegos | 79% | Unity, 2025 Gaming Report |
| Empresas mencionadas como adoptantes de Audio2Face en el lanzamiento del código abierto (afirmación del propio proveedor) | 9 empresas, más 2 títulos lanzados acreditados | NVIDIA Developer Blog, 24 de septiembre de 2025 |
Nota de contexto: los nueve adoptantes mencionados son Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs y UneeQ; los dos títulos son Alien: Rogue Incursion Evolved Edition (Survios) y Chernobylite 2: Exclusion Zone (The Farm 51). Ninguna de las citas de los estudios asoció una cifra al tiempo ahorrado.
6. La Realidad del Doblaje y las Tolerancias de Sincronía en Radiodifusión
El doblaje visual con IA promete que el habla traducida coincida con la boca del actor. La referencia con la que compite es más laxa de lo que la mayoría supone. En 319,57 horas de TV y cine doblados profesionalmente del inglés al alemán y al español, solo alrededor del 12,4% del tiempo de habla en pantalla tenía el mismo visema en el doblaje que en el original (AWS AI Labs y MIT, Dubbing in Practice, TACL 2023). Un visema es la forma visible de la boca para un grupo de sonidos (por ejemplo, p, b y m cierran los labios). Los dobladores humanos hacen coincidir las formas de la boca algo más a menudo cuando el hablante aparece en pantalla, pero los autores concluyen que la naturalidad vocal y la calidad de la traducción importan más a los profesionales que una sincronía labial estricta.
El tiempo es la restricción más ajustada. La isocronía (que el habla del doblaje empiece y termine cuando lo hace el habla original) promedió un solapamiento de 0,658. Las emisoras, por su parte, fijan límites estrictos al desfase entre audio y video: el sonido puede adelantarse a la imagen como máximo 40 ms y retrasarse como máximo 60 ms, valores fijados donde la discrepancia se vuelve perceptible para el 50% de los observadores (Recomendación EBU R37-2007). Cualquier pipeline de avatar en vivo hereda ese presupuesto, así que la latencia inicial de un generador (170 ms en VASA-1, véase la sección 4) debe absorberse retrasando el audio para igualarla, o el resultado no pasa una verificación de radiodifusión.
| Métrica | Valor | Fuente |
|---|---|---|
| Corpus doblado profesionalmente analizado: horas, títulos, episodios | 319,57 horas, 54 títulos, 674 episodios | AWS AI Labs y MIT, Dubbing in Practice, TACL 2023 |
| Proporción del tiempo de habla en pantalla con el mismo visema en el original y en el doblaje | alrededor del 12,4% | AWS AI Labs y MIT, Dubbing in Practice, TACL 2023 |
| Solapamiento medio (mediana) del tiempo de habla entre la línea original y la doblada | 0,658 (0,731) | AWS AI Labs y MIT, Dubbing in Practice, TACL 2023 |
| Solapamiento del tiempo de habla para hablantes en pantalla vs fuera de pantalla | 0,684 vs 0,662 | AWS AI Labs y MIT, Dubbing in Practice, TACL 2023 |
| Líneas dobladas con al menos un 10% más de caracteres que el original en inglés: alemán vs español | 53% vs 30% | AWS AI Labs y MIT, Dubbing in Practice, TACL 2023 |
| Límite de radiodifusión de extremo a extremo del sonido respecto a la imagen: sonido adelantado vs sonido retrasado | como máximo 40 ms vs como máximo 60 ms | Recomendación EBU R37-2007 |
| Precisión de sincronía exigida en cada etapa de producción: sonido adelantado vs sonido retrasado | 5 ms vs 15 ms | Recomendación EBU R37-2007 |
Nota de contexto: datos más recientes disponibles: el estudio del corpus de doblaje, de 2023, y la EBU R37, de 2007 (todavía la recomendación vigente de la EBU). El estudio de doblaje también encontró que el 4,3% de las líneas dobladas tenía solapamiento de tiempo cero con el original, y que las puntuaciones de calidad de traducción no diferían de forma significativa entre líneas en pantalla y fuera de pantalla (COMET-QE p = 0,349).
7. Percepción y el Ángulo de la Detección de Deepfakes
Los mismos modelos que animan personajes de videojuegos pueden falsificar el habla de una persona real. La detección es desigual. En 56 artículos y 86.155 participantes, las personas detectaron deepfakes con una precisión del 55,54% (IC del 95%: 48,87 a 62,10), sin superar de forma significativa el azar, y de solo el 57,31% en video (Diel et al., Computers in Human Behavior Reports 2024). El entrenamiento con retroalimentación, el apoyo de IA o la caricaturización elevaron la precisión al 65,14%.
Las máquinas especializadas en sincronía labial rinden mucho mejor en el laboratorio, pero la generalización es el punto débil. El detector LipFD, que busca discrepancias de tiempo entre el audio y el movimiento de los labios, reporta una precisión media superior al 95,3% y de hasta el 90,2% en entornos reales como las videollamadas de WeChat (Lips Are Lying, artículo de LipFD, arXiv 2024). Con deepfakes que realmente circulaban en 2024, los detectores de video de código abierto perdieron el 50% de su AUC (área bajo la curva ROC, donde 1,0 es perfecto y 0,5 es azar) en comparación con benchmarks anteriores (benchmark Deepfake-Eval-2024, 2025).
| Métrica | Valor | Fuente |
|---|---|---|
| Precisión agregada de detección humana de deepfakes, todos los tipos de medios | 55,54% (IC del 95%: 48,87 a 62,10, k = 67) | Diel et al., Computers in Human Behavior Reports 2024 |
| Precisión de detección humana específicamente para video deepfake | 57,31% (IC del 95%: 47,80 a 66,57, k = 26) | Diel et al., Computers in Human Behavior Reports 2024 |
| Precisión de detección humana con entrenamiento con retroalimentación, apoyo de IA o caricaturización | 65,14% (IC del 95%: 55,21 a 74,46, k = 15) | Diel et al., Computers in Human Behavior Reports 2024 |
| Detector de deepfakes de sincronía labial LipFD: precisión media vs escenarios reales | más del 95,3% vs hasta el 90,2% | Artículo Lips Are Lying (LipFD), arXiv 2024 |
| Caída del AUC de los detectores de código abierto en deepfakes reales de 2024 vs benchmarks anteriores: video, audio, imagen | 50%, 48%, 45% | Benchmark Deepfake-Eval-2024, 2025 |
| Conjunto de datos Deepfake-Eval-2024: horas de video, sitios web, idiomas | 45 horas, 88 sitios web, 52 idiomas | Benchmark Deepfake-Eval-2024, 2025 |
| Precisión del detector propio de los autores de VASA-1 para distinguir videos reales de la salida de VASA-1 | 97,8% | Microsoft Research Asia, artículo de VASA-1, 2024 |
Nota de contexto: la cifra del 97,8% corresponde a la salida de un solo modelo con un detector entrenado para él. El resultado de Deepfake-Eval-2024 muestra qué ocurre cuando los detectores se enfrentan a generadores con los que no fueron entrenados.
Resumen: Animación Facial por Audio y Sincronía Labial en Cifras
| Métrica | Valor | Fuente |
|---|---|---|
| Confianza SyncNet en VoxCeleb2: VASA-1 vs video real | 8,841 vs 7,640 | Microsoft Research Asia, artículo de VASA-1, 2024 |
| FVD en HDTF: LatentSync vs Wav2Lip | 162,74 vs 304,35 | ByteDance, artículo de LatentSync, 2025 |
| Precisión del juez SyncNet en HDTF: StableSyncNet vs el mejor anterior | 94% vs 91% | ByteDance, artículo de LatentSync, 2025 |
| Error de vértices labiales en BIWI-Test-A: VOCA vs TalkingStyle (x 10^-4 mm) | 6,5563 vs 4,3646 | Artículo de GLDiTalker, arXiv 2025 |
| Datos de entrenamiento faciales 3D: conjuntos típicos vs UniTalker | menos de 1 hora vs 18,5 horas | Artículo de UniTalker, arXiv 2024 |
| Juicios A/B que prefirieron CodeTalker frente a VOCA en sincronía labial en BIWI | 92,47% | Artículo de CodeTalker, arXiv 2023 |
| Preferencia A/B por el modelo de rostro para telepresencia en tiempo real frente a DiffPoseTalk | 84,59% | Meta y Seoul National University, SIGGRAPH Asia 2025 |
| Calificación humana de sincronía en HDTF: mejor modelo vs Wav2Lip pese al LSE-C más alto de Wav2Lip | 3,92 vs 2,91 | Karlsruhe Institute of Technology, 2024 |
| Velocidad de Audio2Face-3D v3.0 en una RTX 4090 con TensorRT | 3.269 fotogramas por segundo | NVIDIA, artículo de Audio2Face-3D, 2025 |
| Tiempo de GPU por fotograma del modelo de rostro para telepresencia en tiempo real | 10 ms | Meta y Seoul National University, SIGGRAPH Asia 2025 |
| Profesionales de videojuegos que usan herramientas de IA generativa | 36% | GDC, 2026 State of the Game Industry |
| Estudios que usan herramientas de IA en flujos de trabajo selectos | 96% | Unity, 2025 Gaming Report |
| Tiempo de habla doblada en pantalla con el mismo visema que el original | alrededor del 12,4% | AWS AI Labs y MIT, TACL 2023 |
| Solapamiento medio del tiempo de habla entre líneas originales y dobladas | 0,658 | AWS AI Labs y MIT, TACL 2023 |
| Límite de sincronía labial en radiodifusión de extremo a extremo: sonido adelantado vs sonido retrasado | 40 ms vs 60 ms | Recomendación EBU R37-2007 |
| Precisión agregada de detección humana de deepfakes | 55,54% | Diel et al., Computers in Human Behavior Reports 2024 |
| Caída del AUC de los detectores de video deepfake de código abierto con contenido real de 2024 | 50% | Benchmark Deepfake-Eval-2024, 2025 |
Metodología y Fuentes
- NVIDIA: Audio2Face-3D, Audio-driven Realistic Facial Animation for Digital Avatars (arXiv 2508.16401, 2025) para velocidad de inferencia, memoria y número de pasos de difusión, y el anuncio del código abierto de Audio2Face, 24 de septiembre de 2025 para los adoptantes mencionados (afirmación del propio proveedor).
- Microsoft Research Asia, artículo de VASA-1 (arXiv 2404.10667, revisado en 2024): puntuaciones de sincronía, FVD, tasa de fotogramas, latencia, precisión del detector.
- Meta Codec Avatars Lab y Seoul National University, Audio Driven Real-Time Facial Animation for Social Telepresence (SIGGRAPH Asia 2025): latencia y preferencia A/B.
- ByteDance, Beijing Jiaotong University y Monash University, LatentSync (arXiv 2412.09262, revisado en 2025): sincronía, FID y FVD en HDTF y VoxCeleb2.
- Artículo de GLDiTalker, Beihang University y otros (arXiv 2408.01826, revisado en 2025): tabla de error de vértices labiales en BIWI y puntuaciones medias de opinión.
- Artículo de CodeTalker (arXiv 2301.02379, 2023): tasas de preferencia A/B y descripciones de los conjuntos de datos.
- Artículo de UniTalker (arXiv 2408.00762, 2024): escala de los datos de entrenamiento y reducciones de error.
- Karlsruhe Institute of Technology, Istanbul Technical University y Carnegie Mellon University, artículo AV-HuBERT expert (arXiv 2405.04327, 2024): LSE-C/LSE-D vs estudio con usuarios.
- Artículo de MuseTalk (arXiv 2410.10122, revisado en 2025): tasa de fotogramas en tiempo real.
- Artículo de Wav2Lip (ACM Multimedia 2020): contexto sobre el modelo de línea base, sin cifras citadas directamente de él.
- GDC, 2026 State of the Game Industry: uso y opinión sobre la IA generativa.
- Unity, publicación de lanzamiento del 2025 Gaming Report (17 de marzo de 2025): uso de IA y opinión en los estudios.
- AWS AI Labs y MIT Media Lab, Dubbing in Practice (TACL vol. 11, 2023): estadísticas del corpus de doblaje profesional.
- Recomendación EBU R37-2007: límites de tiempo entre sonido e imagen.
- Diel et al., Human performance in detecting deepfakes, Computers in Human Behavior Reports vol. 16 (2024): metaanálisis de la detección humana.
- Artículo Lips Are Lying (LipFD) (arXiv 2401.15668, 2024): precisión en la detección de deepfakes de sincronía labial.
- Benchmark Deepfake-Eval-2024 (arXiv 2503.02857, 2025): rendimiento de los detectores con contenido real.
- Nota sobre los datos: (1) Los conflictos entre métrica y percepción son reales: VASA-1 supera al video real en confianza SyncNet, y la puntuación de Wav2Lip en HDTF difiere entre artículos (Sync_conf de 8,2 en la evaluación de LatentSync vs LSE-C de 9,054 en la evaluación de Karlsruhe), por lo que las puntuaciones solo deben compararse dentro de un mismo artículo. (2) Las cifras de uso de IA del 36% y el 96% de la sección 5 miden poblaciones distintas (profesionales individuales vs estudios, y el tamaño de la muestra de la encuesta a estudios no se indica en su página de lanzamiento), por lo que no deben leerse como una contradicción. (3) No encontramos resultados de estudios con usuarios en el texto del artículo de Audio2Face-3D que leímos, así que su calidad perceptiva no se cubre aquí. (4) CodeTalker (2023), el estudio del corpus de doblaje (2023) y la EBU R37 (2007) son los datos más recientes disponibles para sus métricas; artículos más nuevos de SIGGRAPH y CVPR podrían actualizar las cifras de LVE y de preferencia. (5) Las unidades de LVE difieren entre benchmarks y artículos, por lo que los valores solo son comparables dentro de la misma tabla. (6) Los estudios con usuarios de este campo se apoyan en entre 10 y 31 evaluadores, por lo que las diferencias pequeñas de preferencia no son robustas.
Última actualización: 6 de noviembre de 2026. Actualizamos este informe trimestralmente, y la próxima revisión se espera cuando se publique el informe GDC 2027 State of the Game Industry.