標準的なSyncNet同期テストにおいて、トーキングヘッド生成モデルVASA-1のスコアは8.841で、比較対象の実映像が記録した7.640を上回っている(Microsoft Research Asia、VASA-1論文 2024年)。この1つの数値が、2026年のこの分野の大部分を物語っている。モデルは、自らを評価するために作られた指標で実映像を超えるようになり、そのためユーザー調査と実行速度の数値がこれまで以上に重要になった。リアルタイムのテレプレゼンス用顔モデルは、より低速なDiffPoseTalkとのA/B比較の84.59%で勝利し(Meta、ソウル大学校、SIGGRAPH Asia 2025)、3D学習データは通常1時間未満から18.5時間にまで拡大した(UniTalker論文、arXiv 2024年)。一方、人間の視聴者によるディープフェイクの検出率は55.54%で、コイン投げをわずかに上回る程度にとどまる(Diel他、Computers in Human Behavior Reports 2024)。本稿では、NVIDIA Research、ByteDance、欧州放送連合、Unity、そして大学や企業の研究所による十数本のベンチマーク論文のデータを集計した。認識の側からこの問題にたどり着いた方は、当社の読唇術(視覚的音声認識)の統計もご覧ください。そちらは逆のタスク、つまり言葉から唇を生成するのではなく、唇から言葉を読み取る課題を扱っている。
主なポイント
- VASA-1はVoxCeleb2でSyncNet信頼度8.841を記録し、実映像の7.640を上回る(Microsoft Research Asia、VASA-1論文 2024年)。
- LatentSyncはHDTFのFVDをWav2Lipの304.35から162.74に引き下げた(ByteDance、LatentSync論文 2025年)。
- BIWI-Test-Aの唇頂点誤差は、6.5563(VOCA)から4.3646(TalkingStyle)× 10^-4 mmへ低下した(GLDiTalker論文、arXiv 2025年)。
- UniTalkerは3D顔の学習データを通常1時間未満から18.5時間に拡大した(UniTalker論文、arXiv 2024年)。
- BIWIのリップシンクでは、A/B判定の92.47%がVOCAよりCodeTalkerを好んだ(CodeTalker論文、arXiv 2023年)。
- リアルタイムのテレプレゼンス用顔モデルはGPU時間10 msで動作し、Audio2Photorealの1.3秒と対照的だ(Meta、ソウル大学校、SIGGRAPH Asia 2025)。
- Audio2Face-3D v3.0はRTX 4090 1枚とTensorRTで3,269 FPSに達する(NVIDIA、Audio2Face-3D論文 2025年)。
- ゲーム専門家の36%が生成AIツールを使い、52%が業界に害を及ぼしていると答えている(GDC、2026 State of the Game Industry)。
- 吹き替えで画面上の発話時間のうち、原音と同じビセームが保たれているのは約12.4%にすぎない(AWS AI LabsとMIT、Dubbing in Practice、TACL 2023)。
- 放送のリップシンクは、エンドツーエンドで音声先行40 ms以内、音声遅延60 ms以内に収める必要がある(EBU勧告R37-2007)。
- 人間のディープフェイク検出精度は、86,155人の参加者で平均55.54%(95%信頼区間48.87~62.10)だ(Diel他、Computers in Human Behavior Reports 2024)。
- オープンソースのディープフェイク動画検出器は、2024年の実環境コンテンツでAUCの50%を失う(Deepfake-Eval-2024ベンチマーク、2025年)。
1. トーキングヘッド映像のリップシンク精度ベンチマーク
2Dリップシンク論文では、2系統の数値が中心となる。SyncNet信頼度(LSE-CまたはSync_confと表記、高いほど良い)とSyncNet距離(LSE-D、低いほど良い)は、口の動きが音声と一致しているかを判定するよう学習されたネットワークから得られる。FIDとFVD(フレシェ・インセプション距離とフレシェ動画距離、低いほど良い)は、生成されたフレームやクリップが実物からどれだけ離れているかを測る。
見出しの数値は逆説的だ。VASA-1はVoxCeleb2でSyncNet信頼度8.841を記録する一方、実映像は7.640にとどまる(Microsoft Research Asia、VASA-1論文 2024年)。このテストで「現実より同期している」モデルが、より写実的というわけではない。そのFVD25は、実映像の29.25に対して105.88である。同期は指標上ほぼ解決済みだが、映像の写実性はそうではない。LatentSyncはもう一つの要因を示している。SyncNetによる教師信号を外すと同期信頼度は8.9から4.6に低下し、潜在拡散モデルは同期判定器を学習に組み込まない限り、音声と唇の対応ではなく視覚的な近道を学習してしまうという著者らの知見と一致する(ByteDance、LatentSync論文 2025年)。
| 指標 | 値 | 出典 |
|---|---|---|
| SyncNet信頼度(VoxCeleb2テストセット):VASA-1対実映像(高いほど良い) | 8.841対7.640 | Microsoft Research Asia、VASA-1論文(2024年) |
| FVD25(OneMin-32セット):VASA-1対実映像対SadTalker(低いほど良い) | 105.88対29.25対214.51 | Microsoft Research Asia、VASA-1論文(2024年) |
| HDTFにおけるSyncNet信頼度(Sync_conf):LatentSync対Wav2Lip対MuseTalk | 8.9対8.2対6.8 | ByteDance、LatentSync論文(2025年) |
| HDTFにおけるFVD:LatentSync対Wav2Lip(低いほど良い) | 162.74対304.35 | ByteDance、LatentSync論文(2025年) |
| HDTFにおけるFID:LatentSync対Wav2Lip(低いほど良い) | 7.22対12.5 | ByteDance、LatentSync論文(2025年) |
| HDTFにおけるSync_conf:SyncNetによる教師信号なしのLatentSync対ピクセル空間のSyncNetありのLatentSync | 4.6対8.9 | ByteDance、LatentSync論文(2025年) |
| HDTFテストセットにおけるSyncNet判定精度:StableSyncNet対従来の最高値 | 94%対91% | ByteDance、LatentSync論文(2025年) |
補足:2020年にSyncNetベースの学習を広めたモデルWav2Lip(Wav2Lip論文、ACM Multimedia 2020)は、2025年のほぼすべての表で今もベースラインとして登場する。そのスコアは論文によって異なる。LatentSyncはHDTFでSync_conf 8.2と報告しているが、別の評価ではHDTFでLSE-C 9.054と報告されている(第3節参照)。ベンチマークの数値は、1本の論文の評価条件の内部でのみ比較できる。
2. 音声駆動の3D顔:唇頂点誤差と学習データ
3D顔(ゲーム、VR、映画で使われるメッシュ)の標準指標は、唇頂点誤差(LVE)である。生成された唇の頂点と計測された唇の頂点とのフレームごとの最大距離を、全フレームで平均したもので、低いほど良い。BIWI-Test-Aベンチマークでは、LVEはVOCAの6.5563からTalkingStyleの4.3646(× 10^-4 mm)へ低下した。複数のモデル世代をまたいで、当社の計算では33%の削減(2.1917を6.5563で割った値)にあたる(GLDiTalker論文、arXiv 2025年改訂)。
より大きな問題はデータ不足だ。この分野が学習に使う2つのベンチマークデータセットは非常に小さい。VOCASETは約4秒の480シーケンスを収録し、BIWIは14人の話者が40文を読み上げたものだ(CodeTalker論文、arXiv 2023年)。UniTalkerは8つのデータセットを統合して学習データを18.5時間に拡大することでこのボトルネックに取り組み、LVEをBIWIで9.2%、VOCASETで13.7%削減した(UniTalker論文、arXiv 2024年)。データだけでこの規模の改善が得られることは、次の飛躍がアーキテクチャではなく収録予算から生まれることを示唆している。
| 指標 | 値 | 出典 |
|---|---|---|
| BIWI-Test-Aの唇頂点誤差:VOCA対FaceFormer(× 10^-4 mm、低いほど良い) | 6.5563対5.3077 | GLDiTalker論文、arXiv 2025年(表1) |
| BIWI-Test-Aの唇頂点誤差:CodeTalker対FaceDiffuser(× 10^-4 mm) | 4.7914対4.7823 | GLDiTalker論文、arXiv 2025年(表1) |
| BIWI-Test-Aの唇頂点誤差:TalkingStyle対GLDiTalker(× 10^-4 mm) | 4.3646対4.6440 | GLDiTalker論文、arXiv 2025年(表1) |
| 3D顔の学習データ:一般的なデータセット対UniTalker | 通常1時間未満対18.5時間 | UniTalker論文、arXiv 2024年 |
| UniTalkerの統合学習による唇頂点誤差の削減率:BIWI対VOCASET | 9.2%対13.7% | UniTalker論文、arXiv 2024年 |
| A2F-Benchベンチマーク全体の平均誤差削減率 | 6.3% | UniTalker論文、arXiv 2024年 |
| VOCASETの規模:シーケンス数、話者数、収録レート、メッシュ頂点数 | 480シーケンス、12人、毎秒60フレーム、5,023頂点 | CodeTalker論文、arXiv 2023年 |
| BIWIの規模:話者数、文数、収録レート、メッシュ頂点数 | 14人、40文、毎秒25フレーム、23,370頂点 | CodeTalker論文、arXiv 2023年 |
補足:GLDiTalkerは、その表の中で唯一、明確に多様な出力を生成するよう設計されたモデルであり(多様性スコア8.2176、他の多くは0)、この設計判断は、計測された1本の唇の軌跡に正確に合わせることとは相反する。この2つのデータセットの記述について入手できる最新のデータは2023年の論文だ。
3. ユーザー調査での選好率
LVEは、別の動きが正しく見える場合でも、計測された動きと異なる口の動きにはすべてペナルティを与えるため、論文は人間の評価者に頼ることになる。調査全体に共通するパターンは一貫している。新しいモデルは最も古いベースラインを圧倒するが、1つ前の世代に対しては僅差で上回ることが多い。CodeTalkerはBIWIのリップシンク判定でVOCAに92.47%勝利したが、FaceFormerには53.76%にとどまり、コイン投げに近い(CodeTalker論文、arXiv 2023年)。
リアルタイムシステムも、こうしたテストで勝つようになっている。将来の音声を使わない因果的なテレプレゼンス用モデルは、DiffPoseTalkとのA/B比較の84.59%、Audio2Photorealとの比較の69.17%で選好された(Meta、ソウル大学校、SIGGRAPH Asia 2025)。さらに、指標と知覚の乖離は測定可能だ。カールスルーエ工科大学の研究では、Wav2LipはどのHDTF手法よりも高いLSE-Cを記録しながら、人間による同期評価は2.91にとどまり、著者らのモデルは3.92だった(カールスルーエ工科大学、AV-HuBERTエキスパート論文 2024年)。
| 指標 | 値 | 出典 |
|---|---|---|
| BIWI-Test-Bのリップシンクで、VOCAよりCodeTalkerを好んだA/B判定 | 92.47% | CodeTalker論文、arXiv 2023年(参加者31人) |
| BIWI-Test-Bのリップシンクで、FaceFormerよりCodeTalkerを好んだA/B判定 | 53.76% | CodeTalker論文、arXiv 2023年 |
| DiffPoseTalkよりリアルタイムのテレプレゼンス用顔モデルを好んだA/B選好 | 84.59% | Meta、ソウル大学校、SIGGRAPH Asia 2025 |
| Audio2Photorealよりリアルタイムのテレプレゼンス用顔モデルを好んだA/B選好 | 69.17% | Meta、ソウル大学校、SIGGRAPH Asia 2025 |
| VOCASETのリップシンクの平均オピニオン評点(1~5):GLDiTalker対FaceFormer | 4.05対3.08 | GLDiTalker論文、arXiv 2025年(参加者20人) |
| HDTFでの人間による同期評価:最良モデル対Wav2Lip(Wav2Lipは最高のLSE-C 9.054を記録) | 3.92対2.91 | カールスルーエ工科大学、AV-HuBERTエキスパート論文 2024年(参加者10人) |
補足:標本サイズは小さい。上記の調査の評価者数は10人、20人、31人で、これはこの分野では典型的であり、1桁台の選好差は慎重に扱うべき理由でもある。CodeTalkerの調査設計では、120組のサンプルペアからデータセットごとに372件の判定が得られた。
4. 実行性能とレイテンシ
速度は、3Dリグにとってはボトルネックから解決済みの課題へ移った。オープンソースのAudio2Face-3D v3.0拡散ネットワークは、GeForce RTX 4090 1枚とTensorRTで毎秒3,269フレームで動作する(NVIDIA、Audio2Face-3D論文 2025年)。カギは蒸留で、モデルは1,000回の拡散ステップで学習するが、推論は2ステップで行う。スタジオにとって実用的な数値は同時処理数だ。旧世代のv2.3回帰ネットワークは、128本の同時アニメーショントラック(話すキャラクター1体につき1本)を1.3 GBのGPUメモリで駆動する。
写実的な映像は依然としてはるかに重い。VASA-1はRTX 4090で、開始遅延170 msの後に512x512の映像を最大40 FPSでストリーミングし(Microsoft Research Asia、VASA-1論文 2024年)、MuseTalkはデータセンター向けGPUのV100で256x256の30 FPSにとどまる(MuseTalk論文、arXiv 2024年)。このレイテンシ競争は音声合成で起きたことと重なる。詳しくは当社のTTSのリアルタイム係数と推論コストの統計をご覧ください。
| 指標 | 値 | 出典 |
|---|---|---|
| Audio2Face-3D v3.0拡散ネットワークの速度、1トラック、TensorRT、RTX 4090 | 毎秒3,269フレーム | NVIDIA、Audio2Face-3D論文 2025年 |
| Audio2Face-3D v2.3(Claire)の速度、TensorRT、RTX 4090:1トラック対同時8トラック | 毎秒453対413フレーム | NVIDIA、Audio2Face-3D論文 2025年 |
| TensorRT使用時のAudio2Face-3D v2.3のGPUメモリ:8トラック対128トラック | 0.6 GB対1.3 GB | NVIDIA、Audio2Face-3D論文 2025年 |
| RTX 4090 1枚でのVASA-1の512x512オンライン生成:フレームレートと開始遅延 | 最大40 FPS、170 ms | Microsoft Research Asia、VASA-1論文(2024年) |
| A100でのリアルタイムのテレプレゼンス用顔モデルのフレームあたりGPU時間 | 10 ms(100 FPS)、音声の先読みはゼロ | Meta、ソウル大学校、SIGGRAPH Asia 2025 |
| 同じ比較におけるオフラインのベースライン:Audio2Photoreal対スタイル付きDiffPoseTalk | 1.3秒対11.4秒 | Meta、ソウル大学校、SIGGRAPH Asia 2025 |
| V100 GPUでのMuseTalkのリップシンク映像出力 | 256x256で30 FPS | MuseTalk論文、arXiv 2024年 |
補足:テレプレゼンス用モデルは、当社の計算ではAudio2Photorealの130倍高速(1,300 msを10 msで割った値)であり、オフラインのベースラインより100~1,000倍高速という論文自身の主張と整合している。Audio2Face-3DのFPSはネットワークの出力フレーム数を数えたものであり、レンダリングされたゲームシーンではない。
5. ゲームでの採用と開発者の意識
音声駆動アニメーションは実際に出荷されているが、その先にあるのは生成AIに急速に背を向けた業界だ。ゲーム専門家の52%が、生成AIは業界に害を及ぼしていると答えており、1年前の30%、その前年の18%から上昇した(GDC、2026 State of the Game Industry)。最も否定的なのはビジュアルおよびテクニカルアートの64%で、これらのツールが自動化する顔アニメーションの作業を担う人々そのものだ。
利用率は、誰が答えるかで食い違う。上記の個人の専門家を対象とした調査では36%が生成AIを使っているが、スタジオ単位の調査では、96%のスタジオが特定のワークフローでAIツールを使っているという(Unity、2025 Gaming Report)。供給側では、Audio2Faceのモデル、SDK、学習フレームワークが2025年9月24日にオープンソース化され、すでに統合を進めている企業として9社が挙げられた(NVIDIA Developer Blog 2025年)。このパイプラインの音声側については、当社のゲームNPCの会話におけるAI音声の採用統計で追跡している。
| 指標 | 値 | 出典 |
|---|---|---|
| 業務で生成AIツールを使っているゲーム業界の専門家 | 36%(回答者2,300人超) | GDC、2026 State of the Game Industry |
| 生成AIの利用:ゲームスタジオの回答者対パブリッシャー、サポート、マーケティング/広報会社の回答者 | 30%対58% | GDC、2026 State of the Game Industry |
| 生成AIが業界に悪影響を与えていると答えた回答者:2026年対前年対2年前 | 52%対30%対18% | GDC、2026 State of the Game Industry |
| 生成AIに否定的な見方をするビジュアルおよびテクニカルアートの専門家 | 64% | GDC、2026 State of the Game Industry |
| 生成AIが好影響を与えていると答えた回答者:2026年対2025年 | 7%対13% | GDC、2026 State of the Game Industry |
| 特定のワークフローでAIツールを使うスタジオ | 96% | Unity、2025 Gaming Report |
| ゲーム開発でのAIツールに好意的な回答者 | 79% | Unity、2025 Gaming Report |
| オープンソース公開時にAudio2Faceの導入企業として名前が挙がった企業(ベンダー自身の主張) | 9社、加えて発売済みタイトル2本が言及 | NVIDIA Developer Blog、2025年9月24日 |
補足:名前が挙がった導入企業9社は、Convai、Codemasters、GSC Games World、Inworld AI、NetEase、Reallusion、Perfect World Games、Streamlabs、UneeQ。2本のタイトルは、Alien: Rogue Incursion Evolved Edition(Survios)とChernobylite 2: Exclusion Zone(The Farm 51)だ。どちらのスタジオのコメントにも、削減できた時間を示す数値は添えられていない。
6. 吹き替えの実態と放送の同期許容値
AIによるビジュアル吹き替えは、翻訳された音声を俳優の口の動きに合わせることを約束する。競合する現行の水準は、多くの人が思うより緩い。プロが手がけた英語からドイツ語、英語からスペイン語へのテレビ・映画の吹き替え319.57時間では、画面に映る発話時間のうち、吹き替えが原音と同じビセームになっていたのは約12.4%にすぎなかった(AWS AI LabsとMIT、Dubbing in Practice、TACL 2023)。ビセームとは、音の一群に対応する目に見える口の形のことだ(たとえばp、b、mはいずれも唇を閉じる)。人間の吹き替え演者は、話者が画面に映っているときにはやや高い頻度で口の形を合わせているが、著者らは、プロにとっては厳密なリップシンクより声の自然さと翻訳の質のほうが重要だと結論づけている。
より厳しい制約はタイミングだ。等時性(吹き替えの発話が原音と同じタイミングで始まり、終わること)は、重なりが平均0.658だった。一方、放送局は音声と映像のずれに厳格な上限を設けている。音声は映像に対して最大40 ms先行、最大60 ms遅延までで、これらの値は、ずれが観察者の50%に知覚されるようになる地点に設定されている(EBU勧告R37-2007)。ライブのアバターパイプラインはすべてこの許容枠を引き継ぐため、生成器の開始遅延(VASA-1では170 ms、第4節参照)は、音声を遅らせて合わせることで吸収する必要があり、そうしなければ放送のチェックに通らない。
| 指標 | 値 | 出典 |
|---|---|---|
| 分析対象のプロの吹き替えコーパス:時間、作品数、エピソード数 | 319.57時間、54作品、674エピソード | AWS AI LabsとMIT、Dubbing in Practice、TACL 2023 |
| 原音と吹き替えで同じビセームになっている、画面上の発話時間の割合 | 約12.4% | AWS AI LabsとMIT、Dubbing in Practice、TACL 2023 |
| 原音のセリフと吹き替えのセリフの発話時間の重なりの平均(中央値) | 0.658(0.731) | AWS AI LabsとMIT、Dubbing in Practice、TACL 2023 |
| 画面に映る話者と映らない話者の発話時間の重なり | 0.684対0.662 | AWS AI LabsとMIT、Dubbing in Practice、TACL 2023 |
| 英語の原文より文字数で10%以上長い吹き替えのセリフ:ドイツ語対スペイン語 | 53%対30% | AWS AI LabsとMIT、Dubbing in Practice、TACL 2023 |
| 映像に対する音声のエンドツーエンドの放送上の許容限度:音声が先行対音声が遅延 | 最大40 ms対最大60 ms | EBU勧告R37-2007 |
| 制作工程の各段階で求められる同期精度:音声が先行対音声が遅延 | 5 ms対15 ms | EBU勧告R37-2007 |
補足:入手できる最新のデータは、吹き替えコーパス研究が2023年、EBU R37が2007年(現在もEBUの最新の勧告)。吹き替え研究では、吹き替えのセリフの4.3%は原音との時間的な重なりがゼロだったこと、また翻訳品質スコアは画面に映るセリフと映らないセリフで有意な差がなかったこと(COMET-QE p = 0.349)も明らかになっている。
7. 知覚とディープフェイク検出の観点
ゲームのキャラクターを動かすのと同じモデルが、実在の人物の発話を偽造することもできる。検出には偏りがある。56本の論文と86,155人の参加者を通じて、人々のディープフェイク検出精度は55.54%(95%信頼区間48.87~62.10)で、偶然を有意に上回るものではなく、動画に限れば57.31%だった(Diel他、Computers in Human Behavior Reports 2024)。フィードバック訓練、AIによる支援、または戯画化によって、精度は65.14%に上昇した。
リップシンクに特化した機械は研究室ではるかに良い成績を出すが、汎化が弱点だ。音声と唇の動きのタイミングのずれを探すLipFD検出器は、平均精度95.3%超、WeChatのビデオ通話のような実環境では最大90.2%を報告している(Lips Are Lying、LipFD論文、arXiv 2024年)。2024年に実際に出回っているディープフェイクでは、オープンソースの動画検出器は、従来のベンチマークと比べてAUC(ROC曲線下面積で、1.0が完全、0.5が偶然)の50%を失った(Deepfake-Eval-2024ベンチマーク、2025年)。
| 指標 | 値 | 出典 |
|---|---|---|
| すべてのメディアを統合した、人間のディープフェイク検出精度 | 55.54%(95%信頼区間48.87~62.10、k = 67) | Diel他、Computers in Human Behavior Reports 2024 |
| ディープフェイク動画に限った人間の検出精度 | 57.31%(95%信頼区間47.80~66.57、k = 26) | Diel他、Computers in Human Behavior Reports 2024 |
| フィードバック訓練、AIによる支援、または戯画化を伴う人間の検出精度 | 65.14%(95%信頼区間55.21~74.46、k = 15) | Diel他、Computers in Human Behavior Reports 2024 |
| LipFDリップシンク・ディープフェイク検出器:平均精度対実環境のシナリオ | 95.3%超対最大90.2% | Lips Are Lying(LipFD)論文、arXiv 2024年 |
| 2024年の実環境ディープフェイクにおけるオープンソース検出器のAUC低下(従来のベンチマーク比):動画、音声、画像 | 50%、48%、45% | Deepfake-Eval-2024ベンチマーク、2025年 |
| Deepfake-Eval-2024データセット:動画の時間、ウェブサイト数、言語数 | 45時間、88サイト、52言語 | Deepfake-Eval-2024ベンチマーク、2025年 |
| 実映像とVASA-1の出力を見分けるVASA-1著者自身の検出器の精度 | 97.8% | Microsoft Research Asia、VASA-1論文(2024年) |
補足:97.8%という数値は、1つのモデルの出力を対象に、そのために訓練された検出器で測ったものだ。Deepfake-Eval-2024の結果は、検出器が訓練されていない生成器に出会ったときに何が起きるかを示している。
数字で見る音声駆動の顔アニメーションとリップシンク(まとめ)
| 指標 | 値 | 出典 |
|---|---|---|
| VoxCeleb2のSyncNet信頼度:VASA-1対実映像 | 8.841対7.640 | Microsoft Research Asia、VASA-1論文(2024年) |
| HDTFのFVD:LatentSync対Wav2Lip | 162.74対304.35 | ByteDance、LatentSync論文(2025年) |
| HDTFテストセットにおけるSyncNet判定精度:StableSyncNet対従来の最高値 | 94%対91% | ByteDance、LatentSync論文(2025年) |
| BIWI-Test-Aの唇頂点誤差:VOCA対TalkingStyle(× 10^-4 mm) | 6.5563対4.3646 | GLDiTalker論文、arXiv 2025年 |
| 3D顔の学習データ:一般的なデータセット対UniTalker | 1時間未満対18.5時間 | UniTalker論文、arXiv 2024年 |
| BIWIのリップシンクで、VOCAよりCodeTalkerを好んだA/B判定 | 92.47% | CodeTalker論文、arXiv 2023年 |
| DiffPoseTalkよりリアルタイムのテレプレゼンス用顔モデルを好んだA/B選好 | 84.59% | Meta、ソウル大学校、SIGGRAPH Asia 2025 |
| HDTFでの人間による同期評価:最良モデル対Wav2Lip(Wav2Lipは最高のLSE-Cを記録したにもかかわらず) | 3.92対2.91 | カールスルーエ工科大学、2024年 |
| RTX 4090 1枚とTensorRTでのAudio2Face-3D v3.0の速度 | 毎秒3,269フレーム | NVIDIA、Audio2Face-3D論文 2025年 |
| リアルタイムのテレプレゼンス用顔モデルのフレームあたりGPU時間 | 10 ms | Meta、ソウル大学校、SIGGRAPH Asia 2025 |
| 生成AIツールを使うゲーム専門家 | 36% | GDC、2026 State of the Game Industry |
| 特定のワークフローでAIツールを使うスタジオ | 96% | Unity、2025 Gaming Report |
| 原音と同じビセームになっている、画面上の吹き替え発話時間 | 約12.4% | AWS AI LabsとMIT、TACL 2023 |
| 原音と吹き替えのセリフの発話時間の重なりの平均 | 0.658 | AWS AI LabsとMIT、TACL 2023 |
| 放送のエンドツーエンドのリップシンク限度:音声が先行対音声が遅延 | 40 ms対60 ms | EBU勧告R37-2007 |
| 人間のディープフェイク検出精度(統合) | 55.54% | Diel他、Computers in Human Behavior Reports 2024 |
| 2024年の実環境コンテンツにおけるオープンソースのディープフェイク動画検出器のAUC低下 | 50% | Deepfake-Eval-2024ベンチマーク、2025年 |
方法論と出典
- NVIDIA:推論速度、メモリ、拡散ステップの数値はAudio2Face-3D, Audio-driven Realistic Facial Animation for Digital Avatars(arXiv 2508.16401、2025年)、名前の挙がった導入企業(ベンダー自身の主張)はAudio2Faceオープンソース化の発表、2025年9月24日による。
- Microsoft Research Asia、VASA-1論文(arXiv 2404.10667、2024年改訂):同期スコア、FVD、フレームレート、レイテンシ、検出器の精度。
- Meta Codec Avatars Labとソウル大学校、Audio Driven Real-Time Facial Animation for Social Telepresence(SIGGRAPH Asia 2025):レイテンシとA/B選好。
- ByteDance、北京交通大学、モナシュ大学、LatentSync(arXiv 2412.09262、2025年改訂):HDTFとVoxCeleb2の同期、FIDとFVD。
- GLDiTalker論文、北京航空航天大学ほか(arXiv 2408.01826、2025年改訂):BIWIの唇頂点誤差の表と平均オピニオン評点。
- CodeTalker論文(arXiv 2301.02379、2023年):A/B選好率とデータセットの記述。
- UniTalker論文(arXiv 2408.00762、2024年):学習データの規模と誤差削減率。
- カールスルーエ工科大学、イスタンブール工科大学、カーネギーメロン大学、AV-HuBERTエキスパート論文(arXiv 2405.04327、2024年):LSE-C/LSE-Dとユーザー調査の対比。
- MuseTalk論文(arXiv 2410.10122、2025年改訂):リアルタイムのフレームレート。
- Wav2Lip論文(ACM Multimedia 2020):ベースラインモデルの背景情報。この論文からは数値を直接引用していない。
- GDC、2026 State of the Game Industry:生成AIの利用状況と意識。
- Unity、2025 Gaming Report公開記事(2025年3月17日):スタジオのAI利用状況と意識。
- AWS AI LabsとMIT Media Lab、Dubbing in Practice(TACL第11巻、2023年):プロの吹き替えコーパスの統計。
- EBU勧告R37-2007:音声と映像のタイミング限度。
- Diel他、Human performance in detecting deepfakes、Computers in Human Behavior Reports 第16巻(2024年):人間の検出に関するメタ分析。
- Lips Are Lying(LipFD)論文(arXiv 2401.15668、2024年):リップシンク・ディープフェイクの検出精度。
- Deepfake-Eval-2024ベンチマーク(arXiv 2503.02857、2025年):実環境での検出器の性能。
- データウォッチ:(1) 指標と知覚の食い違いは実在する。VASA-1はSyncNet信頼度で実映像を上回り、Wav2LipのHDTFスコアも論文によって異なる(LatentSyncの評価ではSync_conf 8.2、カールスルーエの評価ではLSE-C 9.054)ため、スコアは1本の論文の内部でのみ比較すること。(2) 第5節の36%と96%というAI利用の数値は異なる母集団(個人の専門家対スタジオ。スタジオ調査の標本サイズは公開記事に記載がない)を測っているので、矛盾として読むべきではない。(3) 今回読んだAudio2Face-3D論文の本文にはユーザー調査の結果が見当たらなかったため、その知覚品質は本稿の対象外である。(4) CodeTalker(2023年)、吹き替えコーパス研究(2023年)、EBU R37(2007年)は、それぞれの指標について入手できる最新のデータであり、より新しいSIGGRAPHやCVPRの論文がLVEや選好の数値を更新する可能性がある。(5) LVEの単位はベンチマークや論文によって異なるため、数値は同じ表の中でのみ比較できる。(6) この分野のユーザー調査は10~31人の評価者に依存しているため、小さな選好差は頑健ではない。
最終更新日:2026年11月6日。当社はこのまとめを四半期ごとに更新しており、次回の更新は、GDC 2027 State of the Game Industryレポートの公開時を予定している。