표준 SyncNet 동기화 테스트에서 토킹 페이스 생성 모델 VASA-1의 점수는 8.841로, 비교 대상인 실제 영상이 받은 7.640보다 높다 (Microsoft Research Asia, VASA-1 논문 2024년). 이 수치 하나가 2026년 이 분야의 대부분을 설명해 준다. 모델이 자신을 평가하려고 만든 지표에서 실제 영상을 앞서게 되면서, 사용자 조사와 실행 속도 수치가 그 어느 때보다 중요해졌다. 실시간 텔레프레즌스용 얼굴 모델은 더 느린 DiffPoseTalk와의 A/B 비교에서 84.59%를 이겼고 (Meta와 서울대학교, SIGGRAPH Asia 2025), 3D 학습 데이터는 보통 1시간 미만에서 18.5시간으로 늘어났다 (UniTalker 논문, arXiv 2024년). 한편 사람 시청자의 딥페이크 탐지율은 55.54%로 동전 던지기를 간신히 넘는 수준이다 (Diel 외, Computers in Human Behavior Reports 2024). 이 글에서는 NVIDIA Research, ByteDance, 유럽방송연맹, Unity, 그리고 대학과 기업 연구소의 십여 편의 벤치마크 논문에서 나온 데이터를 모았다. 인식 쪽에서 이 문제에 접근하셨다면 저희 입술 읽기(시각적 음성 인식) 통계를 참고하세요. 그쪽은 반대 과제, 즉 말에서 입술을 생성하는 대신 입술에서 말을 읽어내는 과제를 다룬다.
요약
- VASA-1은 VoxCeleb2에서 SyncNet 신뢰도 8.841을 기록해 실제 영상의 7.640을 웃돈다 (Microsoft Research Asia, VASA-1 논문 2024년).
- LatentSync는 HDTF의 FVD를 Wav2Lip의 304.35에서 162.74로 낮췄다 (ByteDance, LatentSync 논문 2025년).
- BIWI-Test-A의 입술 정점 오차는 6.5563(VOCA)에서 4.3646(TalkingStyle) × 10^-4 mm로 줄었다 (GLDiTalker 논문, arXiv 2025년).
- UniTalker는 3D 얼굴 학습 데이터를 보통 1시간 미만에서 18.5시간으로 확대했다 (UniTalker 논문, arXiv 2024년).
- BIWI 립싱크에서 A/B 판정의 92.47%가 VOCA보다 CodeTalker를 선호했다 (CodeTalker 논문, arXiv 2023년).
- 실시간 텔레프레즌스용 얼굴 모델은 GPU 시간 10 ms로 동작하며, Audio2Photoreal은 1.3초다 (Meta와 서울대학교, SIGGRAPH Asia 2025).
- Audio2Face-3D v3.0은 RTX 4090 한 장과 TensorRT에서 3,269 FPS에 달한다 (NVIDIA, Audio2Face-3D 논문 2025년).
- 게임 전문가의 36%가 생성형 AI 도구를 사용하고, 52%는 업계에 해롭다고 말한다 (GDC, 2026 State of the Game Industry).
- 더빙된 화면 속 발화 시간 중 원본과 같은 비젬이 유지되는 비율은 약 12.4%에 불과하다 (AWS AI Labs와 MIT, Dubbing in Practice, TACL 2023).
- 방송 립싱크는 종단 간 기준으로 소리가 먼저 40 ms 이내, 소리가 늦게 60 ms 이내여야 한다 (EBU 권고 R37-2007).
- 사람의 딥페이크 탐지 정확도는 참가자 86,155명에서 평균 55.54%(95% 신뢰구간 48.87~62.10)다 (Diel 외, Computers in Human Behavior Reports 2024).
- 오픈소스 딥페이크 영상 탐지기는 2024년 실환경 콘텐츠에서 AUC의 50%를 잃는다 (Deepfake-Eval-2024 벤치마크, 2025년).
1. 토킹 헤드 영상의 립싱크 정확도 벤치마크
2D 립싱크 논문에서는 두 계열의 수치가 중심을 이룬다. SyncNet 신뢰도(LSE-C 또는 Sync_conf로 표기, 높을수록 좋음)와 SyncNet 거리(LSE-D, 낮을수록 좋음)는 입 모양의 움직임이 음성과 일치하는지 판정하도록 학습된 네트워크에서 나온다. FID와 FVD(프레셰 인셉션 거리와 프레셰 비디오 거리, 낮을수록 좋음)는 생성된 프레임과 클립이 실제와 얼마나 멀어졌는지를 측정한다.
헤드라인은 역설적이다. VASA-1은 VoxCeleb2에서 SyncNet 신뢰도 8.841을 기록하는 반면 실제 영상은 7.640이다 (Microsoft Research Asia, VASA-1 논문 2024년). 이 테스트에서 ‘현실보다 더 잘 동기화된’ 모델이 더 사실적인 것은 아니다. FVD25는 실제 영상의 29.25에 비해 105.88이다. 동기화는 지표상으로는 거의 해결되었지만 시각적 사실성은 그렇지 않다. LatentSync는 또 다른 요인을 보여 준다. SyncNet 지도 신호를 제거하면 동기화 신뢰도가 8.9에서 4.6으로 떨어지는데, 이는 잠재 확산 모델이 학습에 동기화 판정기를 넣지 않으면 음성과 입술의 연결 대신 시각적 지름길을 학습한다는 저자들의 발견과 일치한다 (ByteDance, LatentSync 논문 2025년).
| 지표 | 값 | 출처 |
|---|---|---|
| VoxCeleb2 테스트 세트의 SyncNet 신뢰도: VASA-1 대 실제 영상 (높을수록 좋음) | 8.841 대 7.640 | Microsoft Research Asia, VASA-1 논문 2024년 |
| OneMin-32 세트의 FVD25: VASA-1 대 실제 영상 대 SadTalker (낮을수록 좋음) | 105.88 대 29.25 대 214.51 | Microsoft Research Asia, VASA-1 논문 2024년 |
| HDTF의 SyncNet 신뢰도(Sync_conf): LatentSync 대 Wav2Lip 대 MuseTalk | 8.9 대 8.2 대 6.8 | ByteDance, LatentSync 논문 2025년 |
| HDTF의 FVD: LatentSync 대 Wav2Lip (낮을수록 좋음) | 162.74 대 304.35 | ByteDance, LatentSync 논문 2025년 |
| HDTF의 FID: LatentSync 대 Wav2Lip (낮을수록 좋음) | 7.22 대 12.5 | ByteDance, LatentSync 논문 2025년 |
| HDTF의 Sync_conf: SyncNet 지도 신호가 없는 LatentSync 대 픽셀 공간 SyncNet을 쓴 LatentSync | 4.6 대 8.9 | ByteDance, LatentSync 논문 2025년 |
| HDTF 테스트 세트의 SyncNet 판정 정확도: StableSyncNet 대 기존 최고 | 94% 대 91% | ByteDance, LatentSync 논문 2025년 |
참고: SyncNet 기반 학습을 대중화한 2020년의 모델 Wav2Lip (Wav2Lip 논문, ACM Multimedia 2020)은 2025년의 거의 모든 표에서 여전히 기준선으로 등장한다. 점수는 논문마다 다르다. LatentSync는 HDTF에서 Sync_conf 8.2를 보고하지만, 별도의 평가에서는 HDTF에서 LSE-C 9.054를 보고한다 (3절 참조). 벤치마크 수치는 하나의 논문 평가 환경 안에서만 비교할 수 있다.
2. 음성 기반 3D 얼굴: 입술 정점 오차와 학습 데이터
3D 얼굴(게임, VR, 영화에 쓰이는 메시)의 표준 지표는 입술 정점 오차(LVE)다. 생성된 입술 정점과 측정된 입술 정점 사이의 프레임별 최대 거리를 전체 프레임에 대해 평균한 값으로, 낮을수록 좋다. BIWI-Test-A 벤치마크에서 LVE는 VOCA의 6.5563에서 TalkingStyle의 4.3646(× 10^-4 mm)으로 줄었으며, 여러 모델 세대에 걸쳐 저희 계산으로 33% 감소(2.1917을 6.5563으로 나눈 값)에 해당한다 (GLDiTalker 논문, arXiv 2025년 개정).
더 큰 문제는 데이터 부족이다. 이 분야가 학습에 쓰는 두 벤치마크 데이터셋은 매우 작다. VOCASET은 각각 약 4초인 480개 시퀀스를 담고 있고, BIWI는 14명의 화자가 40개 문장을 읽은 것이다 (CodeTalker 논문, arXiv 2023년). UniTalker는 8개 데이터셋을 합쳐 학습 데이터를 18.5시간으로 늘림으로써 이 병목에 도전했고, 그 결과 LVE가 BIWI에서 9.2%, VOCASET에서 13.7% 줄었다 (UniTalker 논문, arXiv 2024년). 데이터만으로 이 정도의 개선이 나온다는 것은 다음 도약이 아키텍처가 아니라 촬영 예산에서 나올 것임을 시사한다.
| 지표 | 값 | 출처 |
|---|---|---|
| BIWI-Test-A의 입술 정점 오차: VOCA 대 FaceFormer (× 10^-4 mm, 낮을수록 좋음) | 6.5563 대 5.3077 | GLDiTalker 논문, arXiv 2025년 (표 1) |
| BIWI-Test-A의 입술 정점 오차: CodeTalker 대 FaceDiffuser (× 10^-4 mm) | 4.7914 대 4.7823 | GLDiTalker 논문, arXiv 2025년 (표 1) |
| BIWI-Test-A의 입술 정점 오차: TalkingStyle 대 GLDiTalker (× 10^-4 mm) | 4.3646 대 4.6440 | GLDiTalker 논문, arXiv 2025년 (표 1) |
| 3D 얼굴 학습 데이터: 흔히 쓰이는 데이터셋 대 UniTalker | 보통 1시간 미만 대 18.5시간 | UniTalker 논문, arXiv 2024년 |
| UniTalker 통합 학습에 따른 입술 정점 오차 감소율: BIWI 대 VOCASET | 9.2% 대 13.7% | UniTalker 논문, arXiv 2024년 |
| A2F-Bench 벤치마크 전체의 평균 오차 감소율 | 6.3% | UniTalker 논문, arXiv 2024년 |
| VOCASET 규모: 시퀀스 수, 화자 수, 촬영 속도, 메시 정점 수 | 480개 시퀀스, 화자 12명, 초당 60프레임, 정점 5,023개 | CodeTalker 논문, arXiv 2023년 |
| BIWI 규모: 화자 수, 문장 수, 촬영 속도, 메시 정점 수 | 화자 14명, 문장 40개, 초당 25프레임, 정점 23,370개 | CodeTalker 논문, arXiv 2023년 |
참고: GLDiTalker는 그 표에서 뚜렷이 다양한 출력을 내도록 설계된 유일한 모델(다양성 점수 8.2176, 대부분의 경쟁 모델은 0)이며, 이 설계 선택은 측정된 하나의 입술 궤적에 정확히 맞추는 것과 상충한다. 두 데이터셋의 설명에 대해 입수할 수 있는 가장 최근 자료는 2023년 논문이다.
3. 사용자 조사의 선호율
LVE는 다른 움직임이 올바르게 보이더라도 측정된 것과 다른 입 모양 움직임에는 모두 불이익을 주기 때문에, 논문들은 사람 평가자에 의존한다. 조사 전반의 패턴은 일관된다. 새 모델은 가장 오래된 기준선을 압도하지만, 직전 세대에 대해서는 근소한 차이로 이기는 경우가 많다. CodeTalker는 BIWI 립싱크 판정에서 VOCA를 상대로 92.47%를 이겼지만 FaceFormer를 상대로는 53.76%에 그쳐 동전 던지기에 가깝다 (CodeTalker 논문, arXiv 2023년).
실시간 시스템도 이제 이런 테스트에서 이기고 있다. 미래의 음성을 쓰지 않는 인과적 텔레프레즌스 모델은 DiffPoseTalk와의 A/B 비교에서 84.59%, Audio2Photoreal과의 비교에서 69.17%의 선호를 얻었다 (Meta와 서울대학교, SIGGRAPH Asia 2025). 그리고 지표와 인식 사이의 간극은 측정 가능하다. 카를스루에 공과대학교의 한 연구에서 Wav2Lip은 어느 방법보다 높은 HDTF LSE-C를 기록했지만 사람의 동기화 평가는 2.91에 그쳤고, 저자들의 모델은 3.92였다 (카를스루에 공과대학교, AV-HuBERT 전문가 논문 2024년).
| 지표 | 값 | 출처 |
|---|---|---|
| BIWI-Test-B 립싱크에서 VOCA보다 CodeTalker를 선호한 A/B 판정 | 92.47% | CodeTalker 논문, arXiv 2023년 (참가자 31명) |
| BIWI-Test-B 립싱크에서 FaceFormer보다 CodeTalker를 선호한 A/B 판정 | 53.76% | CodeTalker 논문, arXiv 2023년 |
| DiffPoseTalk보다 실시간 텔레프레즌스 얼굴 모델을 선호한 A/B 선호도 | 84.59% | Meta와 서울대학교, SIGGRAPH Asia 2025 |
| Audio2Photoreal보다 실시간 텔레프레즌스 얼굴 모델을 선호한 A/B 선호도 | 69.17% | Meta와 서울대학교, SIGGRAPH Asia 2025 |
| VOCASET 립싱크의 평균 의견 점수(1~5): GLDiTalker 대 FaceFormer | 4.05 대 3.08 | GLDiTalker 논문, arXiv 2025년 (참가자 20명) |
| HDTF의 사람 동기화 평가: 최고 모델 대 Wav2Lip (Wav2Lip은 최고 LSE-C 9.054 기록) | 3.92 대 2.91 | 카를스루에 공과대학교, AV-HuBERT 전문가 논문 2024년 (참가자 10명) |
참고: 표본 크기는 작다. 위 조사들의 평가자는 10명, 20명, 31명이었는데, 이는 이 분야에서 전형적인 규모이며 한 자릿수 선호 격차를 신중하게 봐야 하는 이유이기도 하다. CodeTalker의 조사 설계에서는 120개 샘플 쌍으로 데이터셋당 372건의 판정이 나왔다.
4. 실행 성능과 지연 시간
속도는 3D 리그에 대해서는 병목에서 해결된 문제로 바뀌었다. 오픈소스 Audio2Face-3D v3.0 확산 네트워크는 GeForce RTX 4090 한 장과 TensorRT에서 초당 3,269프레임으로 동작한다 (NVIDIA, Audio2Face-3D 논문 2025년). 비결은 증류다. 모델은 확산 단계 1,000회로 학습하지만 추론은 2회로 한다. 스튜디오에 실용적인 수치는 동시 처리 수다. 구세대 v2.3 회귀 네트워크는 128개의 동시 애니메이션 트랙(말하는 캐릭터당 하나)을 1.3 GB의 GPU 메모리로 구동한다.
사실적인 영상은 여전히 훨씬 무겁다. VASA-1은 RTX 4090에서 170 ms의 시작 지연 뒤에 512x512 영상을 최대 40 FPS로 스트리밍하고 (Microsoft Research Asia, VASA-1 논문 2024년), MuseTalk은 데이터센터용 GPU인 V100에서 256x256의 30 FPS에 그친다 (MuseTalk 논문, arXiv 2024년). 이 지연 시간 경쟁은 음성 합성에서 일어난 일과 닮았다. 자세한 내용은 저희 TTS 실시간 계수와 추론 비용 통계를 참고하세요.
| 지표 | 값 | 출처 |
|---|---|---|
| Audio2Face-3D v3.0 확산 네트워크 속도, 1트랙, TensorRT, RTX 4090 | 초당 3,269프레임 | NVIDIA, Audio2Face-3D 논문 2025년 |
| Audio2Face-3D v2.3(Claire) 속도, TensorRT, RTX 4090: 1트랙 대 동시 8트랙 | 초당 453 대 413프레임 | NVIDIA, Audio2Face-3D 논문 2025년 |
| TensorRT 사용 시 Audio2Face-3D v2.3의 GPU 메모리: 8트랙 대 128트랙 | 0.6 GB 대 1.3 GB | NVIDIA, Audio2Face-3D 논문 2025년 |
| RTX 4090 한 장에서 VASA-1의 512x512 온라인 생성: 프레임 속도와 시작 지연 | 최대 40 FPS, 170 ms | Microsoft Research Asia, VASA-1 논문 2024년 |
| A100에서 실시간 텔레프레즌스 얼굴 모델의 프레임당 GPU 시간 | 10 ms(100 FPS), 음성 선행 참조 없음 | Meta와 서울대학교, SIGGRAPH Asia 2025 |
| 같은 비교의 오프라인 기준선: Audio2Photoreal 대 스타일을 적용한 DiffPoseTalk | 1.3초 대 11.4초 | Meta와 서울대학교, SIGGRAPH Asia 2025 |
| V100 GPU에서 MuseTalk의 립싱크 영상 출력 | 256x256에서 30 FPS | MuseTalk 논문, arXiv 2024년 |
참고: 텔레프레즌스 모델은 저희 계산으로 Audio2Photoreal보다 130배 빠르며(1,300 ms를 10 ms로 나눈 값), 오프라인 기준선보다 100~1,000배 빠르다는 논문 자체의 주장과 일치한다. Audio2Face-3D의 FPS는 네트워크가 출력하는 프레임 수를 센 것이지, 렌더링된 게임 장면이 아니다.
5. 게임 분야의 도입과 개발자들의 인식
음성 기반 애니메이션은 실제로 출시되고 있지만, 생성형 AI에 등을 돌린 업계를 향해서다. 게임 전문가의 52%가 이제 생성형 AI가 업계에 해롭다고 말하며, 이는 1년 전의 30%, 그 전해의 18%에서 상승한 것이다 (GDC, 2026 State of the Game Industry). 가장 부정적인 집단은 비주얼 및 테크니컬 아트의 64%로, 이 도구들이 자동화하는 얼굴 애니메이션 작업을 하는 바로 그 사람들이다.
사용률은 누가 답하느냐에 따라 달라진다. 위의 개인 전문가 조사에서는 36%가 생성형 AI를 쓰지만, 스튜디오 단위 조사에서는 96%의 스튜디오가 일부 워크플로에서 AI 도구를 쓴다고 한다 (Unity, 2025 Gaming Report). 공급 측면에서는 Audio2Face 모델, SDK, 학습 프레임워크가 2025년 9월 24일 오픈소스로 공개되었고, 이미 통합 작업을 진행 중인 기업으로 9곳이 거론되었다 (NVIDIA Developer Blog 2025년). 이 파이프라인의 음성 쪽은 저희 게임 NPC 대사에서의 AI 음성 도입 통계에서 추적한다.
| 지표 | 값 | 출처 |
|---|---|---|
| 업무에 생성형 AI 도구를 사용하는 게임 업계 전문가 | 36% (응답자 2,300명 이상) | GDC, 2026 State of the Game Industry |
| 생성형 AI 사용: 게임 스튜디오 응답자 대 퍼블리셔, 지원, 마케팅/홍보 회사 응답자 | 30% 대 58% | GDC, 2026 State of the Game Industry |
| 생성형 AI가 업계에 부정적 영향을 준다고 답한 응답자: 2026년 대 전년 대 2년 전 | 52% 대 30% 대 18% | GDC, 2026 State of the Game Industry |
| 생성형 AI에 부정적인 시각을 가진 비주얼 및 테크니컬 아트 전문가 | 64% | GDC, 2026 State of the Game Industry |
| 생성형 AI가 긍정적 영향을 준다고 답한 응답자: 2026년 대 2025년 | 7% 대 13% | GDC, 2026 State of the Game Industry |
| 일부 워크플로에서 AI 도구를 사용하는 스튜디오 | 96% | Unity, 2025 Gaming Report |
| 게임 개발의 AI 도구에 긍정적으로 느끼는 응답자 | 79% | Unity, 2025 Gaming Report |
| 오픈소스 공개 시 Audio2Face 도입 기업으로 거론된 기업 (벤더 자체 주장) | 9개 기업, 출시된 타이틀 2개가 추가로 언급 | NVIDIA Developer Blog, 2025년 9월 24일 |
참고: 거론된 도입 기업 9곳은 Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs, UneeQ이며, 두 타이틀은 Alien: Rogue Incursion Evolved Edition(Survios)과 Chernobylite 2: Exclusion Zone(The Farm 51)이다. 두 스튜디오의 코멘트 모두 절약된 시간을 수치로 제시하지 않았다.
6. 더빙의 현실과 방송 동기화 허용 기준
AI 비주얼 더빙은 번역된 음성을 배우의 입 모양에 맞추겠다고 약속한다. 그것이 경쟁하는 현재의 기준선은 대부분의 사람이 생각하는 것보다 느슨하다. 전문 더빙된 영어-독일어, 영어-스페인어 TV 및 영화 319.57시간에서 화면에 보이는 발화 시간 중 더빙이 원본과 같은 비젬을 가진 비율은 약 12.4%에 불과했다 (AWS AI Labs와 MIT, Dubbing in Practice, TACL 2023). 비젬은 한 무리의 소리에 대응하는 눈에 보이는 입 모양이다(예를 들어 p, b, m은 모두 입술을 닫는다). 사람 더빙 연기자는 화자가 화면에 보일 때 입 모양을 다소 더 자주 맞추지만, 저자들은 전문가에게는 엄격한 립싱크보다 목소리의 자연스러움과 번역 품질이 더 중요하다고 결론 내린다.
타이밍은 더 엄격한 제약이다. 등시성(더빙 음성이 원본 음성과 같은 시점에 시작하고 끝나는 것)은 겹침이 평균 0.658이었다. 한편 방송사는 음성과 영상의 어긋남에 엄격한 한도를 둔다. 소리는 화면보다 최대 40 ms 앞서고 최대 60 ms 뒤처질 수 있으며, 이 값은 어긋남이 관찰자의 50%에게 인지되기 시작하는 지점에 맞춰 정해졌다 (EBU 권고 R37-2007). 모든 라이브 아바타 파이프라인은 이 허용 범위를 그대로 물려받으므로, 생성기의 시작 지연(VASA-1은 170 ms, 4절 참조)은 음성을 지연시켜 맞춰 흡수해야 하며, 그렇지 않으면 방송 검사를 통과하지 못한다.
| 지표 | 값 | 출처 |
|---|---|---|
| 분석된 전문 더빙 코퍼스: 시간, 작품 수, 에피소드 수 | 319.57시간, 54개 작품, 674개 에피소드 | AWS AI Labs와 MIT, Dubbing in Practice, TACL 2023 |
| 원본과 더빙에서 같은 비젬을 가진 화면 속 발화 시간의 비율 | 약 12.4% | AWS AI Labs와 MIT, Dubbing in Practice, TACL 2023 |
| 원본 대사와 더빙 대사 사이 발화 시간 겹침의 평균(중앙값) | 0.658 (0.731) | AWS AI Labs와 MIT, Dubbing in Practice, TACL 2023 |
| 화면에 보이는 화자 대 보이지 않는 화자의 발화 시간 겹침 | 0.684 대 0.662 | AWS AI Labs와 MIT, Dubbing in Practice, TACL 2023 |
| 영어 원문보다 글자 수가 10% 이상 긴 더빙 대사: 독일어 대 스페인어 | 53% 대 30% | AWS AI Labs와 MIT, Dubbing in Practice, TACL 2023 |
| 화면 대비 소리의 종단 간 방송 한도: 소리가 먼저 대 소리가 늦게 | 최대 40 ms 대 최대 60 ms | EBU 권고 R37-2007 |
| 제작 단계별로 요구되는 동기화 정확도: 소리가 먼저 대 소리가 늦게 | 5 ms 대 15 ms | EBU 권고 R37-2007 |
참고: 입수할 수 있는 가장 최근 데이터는 더빙 코퍼스 연구가 2023년, EBU R37이 2007년(지금도 EBU의 현행 권고)이다. 이 더빙 연구는 더빙된 대사의 4.3%가 원본과 시간상 겹치는 부분이 전혀 없었다는 점, 그리고 번역 품질 점수가 화면에 보이는 대사와 보이지 않는 대사 사이에 유의한 차이가 없었다는 점(COMET-QE p = 0.349)도 밝혔다.
7. 인식과 딥페이크 탐지의 측면
게임 캐릭터를 움직이는 모델이 실존 인물의 발화를 위조할 수도 있다. 탐지는 한쪽으로 치우쳐 있다. 논문 56편과 참가자 86,155명을 통틀어 사람들의 딥페이크 탐지 정확도는 55.54%(95% 신뢰구간 48.87~62.10)였고, 우연보다 유의하게 높지 않았으며, 영상만 보면 57.31%였다 (Diel 외, Computers in Human Behavior Reports 2024). 피드백 훈련, AI 지원, 또는 캐리커처화를 거치면 정확도가 65.14%로 올랐다.
립싱크에 특화된 기계는 실험실에서 훨씬 좋은 성적을 내지만, 일반화가 약점이다. 음성과 입술 움직임 사이의 타이밍 불일치를 찾는 LipFD 탐지기는 평균 정확도 95.3% 이상, WeChat 영상 통화 같은 실환경에서는 최대 90.2%를 보고한다 (Lips Are Lying, LipFD 논문, arXiv 2024년). 2024년에 실제로 유통되는 딥페이크에서 오픈소스 영상 탐지기는 이전 벤치마크와 비교해 AUC(ROC 곡선 아래 면적으로, 1.0이 완벽하고 0.5가 우연)의 50%를 잃었다 (Deepfake-Eval-2024 벤치마크, 2025년).
| 지표 | 값 | 출처 |
|---|---|---|
| 모든 매체를 통합한 사람의 딥페이크 탐지 정확도 | 55.54% (95% 신뢰구간 48.87~62.10, k = 67) | Diel 외, Computers in Human Behavior Reports 2024 |
| 딥페이크 영상에 한정한 사람의 탐지 정확도 | 57.31% (95% 신뢰구간 47.80~66.57, k = 26) | Diel 외, Computers in Human Behavior Reports 2024 |
| 피드백 훈련, AI 지원, 또는 캐리커처화를 거친 사람의 탐지 정확도 | 65.14% (95% 신뢰구간 55.21~74.46, k = 15) | Diel 외, Computers in Human Behavior Reports 2024 |
| LipFD 립싱크 딥페이크 탐지기: 평균 정확도 대 실환경 시나리오 | 95.3% 이상 대 최대 90.2% | Lips Are Lying(LipFD) 논문, arXiv 2024년 |
| 2024년 실환경 딥페이크에서 오픈소스 탐지기의 AUC 하락(이전 벤치마크 대비): 영상, 음성, 이미지 | 50%, 48%, 45% | Deepfake-Eval-2024 벤치마크, 2025년 |
| Deepfake-Eval-2024 데이터셋: 영상 시간, 웹사이트 수, 언어 수 | 45시간, 웹사이트 88곳, 52개 언어 | Deepfake-Eval-2024 벤치마크, 2025년 |
| 실제 영상과 VASA-1 출력물을 구별하는 VASA-1 저자들 자체 탐지기의 정확도 | 97.8% | Microsoft Research Asia, VASA-1 논문 2024년 |
참고: 97.8%라는 수치는 한 모델의 출력물을 그 모델용으로 훈련된 탐지기로 측정한 것이다. Deepfake-Eval-2024의 결과는 탐지기가 훈련받지 않은 생성기를 만났을 때 무슨 일이 일어나는지를 보여 준다.
숫자로 보는 음성 기반 얼굴 애니메이션과 립싱크
| 지표 | 값 | 출처 |
|---|---|---|
| VoxCeleb2의 SyncNet 신뢰도: VASA-1 대 실제 영상 | 8.841 대 7.640 | Microsoft Research Asia, VASA-1 논문 2024년 |
| HDTF의 FVD: LatentSync 대 Wav2Lip | 162.74 대 304.35 | ByteDance, LatentSync 논문 2025년 |
| HDTF 테스트 세트의 SyncNet 판정 정확도: StableSyncNet 대 기존 최고 | 94% 대 91% | ByteDance, LatentSync 논문 2025년 |
| BIWI-Test-A의 입술 정점 오차: VOCA 대 TalkingStyle (× 10^-4 mm) | 6.5563 대 4.3646 | GLDiTalker 논문, arXiv 2025년 |
| 3D 얼굴 학습 데이터: 일반적인 데이터셋 대 UniTalker | 1시간 미만 대 18.5시간 | UniTalker 논문, arXiv 2024년 |
| BIWI 립싱크에서 VOCA보다 CodeTalker를 선호한 A/B 판정 | 92.47% | CodeTalker 논문, arXiv 2023년 |
| DiffPoseTalk보다 실시간 텔레프레즌스 얼굴 모델을 선호한 A/B 선호도 | 84.59% | Meta와 서울대학교, SIGGRAPH Asia 2025 |
| HDTF의 사람 동기화 평가: 최고 모델 대 Wav2Lip (Wav2Lip이 최고 LSE-C를 기록했음에도) | 3.92 대 2.91 | 카를스루에 공과대학교, 2024년 |
| RTX 4090 한 장과 TensorRT에서 Audio2Face-3D v3.0 속도 | 초당 3,269프레임 | NVIDIA, Audio2Face-3D 논문 2025년 |
| 실시간 텔레프레즌스 얼굴 모델의 프레임당 GPU 시간 | 10 ms | Meta와 서울대학교, SIGGRAPH Asia 2025 |
| 생성형 AI 도구를 사용하는 게임 전문가 | 36% | GDC, 2026 State of the Game Industry |
| 일부 워크플로에서 AI 도구를 사용하는 스튜디오 | 96% | Unity, 2025 Gaming Report |
| 원본과 같은 비젬을 가진 화면 속 더빙 발화 시간 | 약 12.4% | AWS AI Labs와 MIT, TACL 2023 |
| 원본 대사와 더빙 대사 사이 발화 시간 겹침의 평균 | 0.658 | AWS AI Labs와 MIT, TACL 2023 |
| 방송 종단 간 립싱크 한도: 소리가 먼저 대 소리가 늦게 | 40 ms 대 60 ms | EBU 권고 R37-2007 |
| 사람의 딥페이크 탐지 정확도(통합) | 55.54% | Diel 외, Computers in Human Behavior Reports 2024 |
| 2024년 실환경 콘텐츠에서 오픈소스 딥페이크 영상 탐지기의 AUC 하락 | 50% | Deepfake-Eval-2024 벤치마크, 2025년 |
방법론과 출처
- NVIDIA: 추론 속도, 메모리, 확산 단계 수치는 Audio2Face-3D, Audio-driven Realistic Facial Animation for Digital Avatars (arXiv 2508.16401, 2025년), 거론된 도입 기업(벤더 자체 주장)은 Audio2Face 오픈소스 공개 발표, 2025년 9월 24일을 근거로 한다.
- Microsoft Research Asia, VASA-1 논문 (arXiv 2404.10667, 2024년 개정): 동기화 점수, FVD, 프레임 속도, 지연 시간, 탐지기 정확도.
- Meta Codec Avatars Lab과 서울대학교, Audio Driven Real-Time Facial Animation for Social Telepresence (SIGGRAPH Asia 2025): 지연 시간과 A/B 선호도.
- ByteDance, 베이징자오퉁대학교, 모나시대학교, LatentSync (arXiv 2412.09262, 2025년 개정): HDTF와 VoxCeleb2의 동기화, FID와 FVD.
- GLDiTalker 논문, 베이항대학교 외 (arXiv 2408.01826, 2025년 개정): BIWI 입술 정점 오차 표와 평균 의견 점수.
- CodeTalker 논문 (arXiv 2301.02379, 2023년): A/B 선호율과 데이터셋 설명.
- UniTalker 논문 (arXiv 2408.00762, 2024년): 학습 데이터 규모와 오차 감소율.
- 카를스루에 공과대학교, 이스탄불 공과대학교, 카네기멜런대학교, AV-HuBERT 전문가 논문 (arXiv 2405.04327, 2024년): LSE-C/LSE-D와 사용자 조사의 대비.
- MuseTalk 논문 (arXiv 2410.10122, 2025년 개정): 실시간 프레임 속도.
- Wav2Lip 논문 (ACM Multimedia 2020): 기준선 모델의 배경 정보로, 이 논문에서 직접 인용한 수치는 없다.
- GDC, 2026 State of the Game Industry: 생성형 AI 사용 현황과 인식.
- Unity, 2025 Gaming Report 공개 게시글 (2025년 3월 17일): 스튜디오의 AI 사용 현황과 인식.
- AWS AI Labs와 MIT Media Lab, Dubbing in Practice (TACL 제11권, 2023년): 전문 더빙 코퍼스 통계.
- EBU 권고 R37-2007: 소리와 영상의 타이밍 한도.
- Diel 외, Human performance in detecting deepfakes, Computers in Human Behavior Reports 제16권 (2024년): 사람의 탐지에 관한 메타분석.
- Lips Are Lying (LipFD) 논문 (arXiv 2401.15668, 2024년): 립싱크 딥페이크 탐지 정확도.
- Deepfake-Eval-2024 벤치마크 (arXiv 2503.02857, 2025년): 실환경에서의 탐지기 성능.
- 데이터 참고 사항: (1) 지표와 인식 사이의 충돌은 실재한다. VASA-1은 SyncNet 신뢰도에서 실제 영상을 앞서고, Wav2Lip의 HDTF 점수도 논문마다 다르므로(LatentSync 평가에서는 Sync_conf 8.2, 카를스루에 평가에서는 LSE-C 9.054) 점수는 하나의 논문 안에서만 비교해야 한다. (2) 5절의 36%와 96%라는 AI 사용 수치는 서로 다른 모집단(개인 전문가 대 스튜디오이며, 스튜디오 조사의 표본 크기는 공개 게시글에 명시되어 있지 않다)을 측정한 것이므로 모순으로 읽어서는 안 된다. (3) 저희가 읽은 Audio2Face-3D 논문 본문에서는 사용자 조사 결과를 찾지 못했기 때문에 그 지각 품질은 여기서 다루지 않는다. (4) CodeTalker(2023년), 더빙 코퍼스 연구(2023년), EBU R37(2007년)은 각 지표에 대해 입수할 수 있는 가장 최근 데이터이며, 더 새로운 SIGGRAPH와 CVPR 논문이 LVE와 선호도 수치를 갱신할 수 있다. (5) LVE 단위는 벤치마크와 논문마다 다르므로 수치는 같은 표 안에서만 비교할 수 있다. (6) 이 분야의 사용자 조사는 10명에서 31명의 평가자에 의존하므로 작은 선호 격차는 견고하지 않다.
마지막 업데이트: 2026년 11월 6일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 GDC 2027 State of the Game Industry 보고서가 발표될 때 이루어질 것으로 예상한다.