ในการทดสอบการซิงก์มาตรฐานของ SyncNet โมเดลใบหน้าพูดได้ VASA-1 ได้คะแนน 8.841 สูงกว่า 7.640 ที่วิดีโอจริงซึ่งใช้เปรียบเทียบได้รับ (Microsoft Research Asia, บทความ VASA-1 ปี 2024) ตัวเลขเดียวนี้อธิบายวงการนี้ในปี 2026 ได้เกือบทั้งหมด โมเดลตอนนี้ชนะภาพจริงบนตัวชี้วัดที่สร้างมาเพื่อตัดสินพวกมันเอง ดังนั้นการศึกษาผู้ใช้และตัวเลขความเร็วในการทำงานจึงสำคัญกว่าที่เคย โมเดลใบหน้าเทเลเพรสเซนส์แบบเรียลไทม์ชนะ 84.59% ของการเปรียบเทียบแบบ A/B กับ DiffPoseTalk ที่ช้ากว่า (Meta และ Seoul National University, SIGGRAPH Asia 2025) และข้อมูลฝึกสอน 3D เพิ่มจากโดยทั่วไปไม่ถึง 1 ชั่วโมงเป็น 18.5 ชั่วโมง (บทความ UniTalker, arXiv 2024) ในขณะเดียวกัน ผู้ชมที่เป็นมนุษย์ตรวจจับดีปเฟกได้ 55.54% แทบไม่ต่างจากการโยนเหรียญ (Diel และคณะ, Computers in Human Behavior Reports 2024) เรารวบรวมข้อมูลจาก NVIDIA Research, ByteDance, European Broadcasting Union, Unity และบทความเกณฑ์มาตรฐานอีกหลายสิบฉบับจากห้องปฏิบัติการของมหาวิทยาลัยและภาคอุตสาหกรรม หากคุณมาจากฝั่งการรู้จำของปัญหานี้ สถิติการอ่านปากและการรู้จำเสียงพูดด้วยภาพของเราครอบคลุมงานย้อนกลับ คือการอ่านคำจากริมฝีปาก แทนที่จะสร้างริมฝีปากจากคำ
สรุปโดยย่อ
- VASA-1 ได้ความเชื่อมั่น SyncNet 8.841 บน VoxCeleb2 เทียบกับ 7.640 ของวิดีโอจริง (Microsoft Research Asia, บทความ VASA-1 ปี 2024)
- LatentSync ลด FVD บน HDTF เหลือ 162.74 จาก 304.35 ของ Wav2Lip (ByteDance, บทความ LatentSync ปี 2025)
- ค่าคลาดเคลื่อนของจุดยอดริมฝีปากบน BIWI-Test-A ลดจาก 6.5563 (VOCA) เหลือ 4.3646 (TalkingStyle) x 10^-4 mm (บทความ GLDiTalker, arXiv 2025)
- UniTalker ขยายข้อมูลฝึกสอนใบหน้า 3D จากโดยทั่วไปไม่ถึง 1 ชั่วโมงเป็น 18.5 ชั่วโมง (บทความ UniTalker, arXiv 2024)
- 92.47% ของการตัดสินแบบ A/B เลือก CodeTalker มากกว่า VOCA ในด้านลิปซิงก์บน BIWI (บทความ CodeTalker, arXiv 2023)
- โมเดลใบหน้าเทเลเพรสเซนส์แบบเรียลไทม์ทำงานด้วยเวลา GPU 10 ms เทียบกับ 1.3 วินาทีของ Audio2Photoreal (Meta และ Seoul National University, SIGGRAPH Asia 2025)
- Audio2Face-3D v3.0 ทำได้ 3,269 FPS บน RTX 4090 ตัวเดียวด้วย TensorRT (NVIDIA, บทความ Audio2Face-3D ปี 2025)
- 36% ของผู้เชี่ยวชาญด้านเกมใช้เครื่องมือ AI เชิงสร้างสรรค์ และ 52% บอกว่ามันทำร้ายอุตสาหกรรม (GDC, 2026 State of the Game Industry)
- มีเพียงราว 12.4% ของเวลาพูดบนหน้าจอที่พากย์เสียงแล้วที่ยังคงวิซีมเดียวกับต้นฉบับ (AWS AI Labs และ MIT, Dubbing in Practice, TACL 2023)
- ลิปซิงก์ในงานออกอากาศต้องอยู่ในกรอบเร็วกว่าภาพไม่เกิน 40 ms และช้ากว่าภาพไม่เกิน 60 ms แบบตลอดทั้งสายการผลิต (EBU Recommendation R37-2007)
- ความแม่นยำในการตรวจจับดีปเฟกของมนุษย์เฉลี่ย 55.54% (ช่วงความเชื่อมั่น 95% 48.87 ถึง 62.10) จากผู้เข้าร่วม 86,155 คน (Diel และคณะ, Computers in Human Behavior Reports 2024)
- ตัวตรวจจับวิดีโอดีปเฟกแบบโอเพนซอร์สสูญเสีย AUC ไป 50% เมื่อเจอเนื้อหาจริงปี 2024 (เกณฑ์มาตรฐาน Deepfake-Eval-2024, 2025)
1. เกณฑ์มาตรฐานความแม่นยำของลิปซิงก์สำหรับวิดีโอใบหน้าพูดได้
ตัวเลขสองตระกูลครอบงำบทความลิปซิงก์ 2D ความเชื่อมั่น SyncNet (รายงานเป็น LSE-C หรือ Sync_conf ยิ่งสูงยิ่งดี) และระยะห่าง SyncNet (LSE-D ยิ่งต่ำยิ่งดี) มาจากเครือข่ายที่ฝึกมาเพื่อตัดสินว่าการเคลื่อนไหวของปากตรงกับเสียงหรือไม่ ส่วน FID และ FVD (Frechet Inception Distance และ Frechet Video Distance ยิ่งต่ำยิ่งดี) วัดว่าเฟรมและคลิปที่สร้างขึ้นห่างจากของจริงเพียงใด
ประเด็นเด่นคือข้อขัดแย้ง VASA-1 ทำความเชื่อมั่น SyncNet ได้ 8.841 บน VoxCeleb2 ขณะที่วิดีโอจริงได้ 7.640 (Microsoft Research Asia, บทความ VASA-1 ปี 2024) โมเดลที่ ‘ซิงก์ได้ดีกว่าความเป็นจริง’ ในการทดสอบนี้ไม่ได้สมจริงกว่า ค่า FVD25 ของมันคือ 105.88 เทียบกับ 29.25 ของวิดีโอจริง ในแง่ตัวชี้วัด การซิงก์ใกล้ถูกแก้ไขจนหมดแล้ว แต่ความสมจริงทางภาพยังไม่ใช่ LatentSync แสดงให้เห็นอีกปัจจัยหนึ่ง การถอดสัญญาณกำกับของ SyncNet ออกทำให้ความเชื่อมั่นด้านการซิงก์ของมันลดจาก 8.9 เป็น 4.6 ตรงกับข้อค้นพบของผู้เขียนที่ว่าโมเดลดิฟฟิวชันแบบแฝงจะเรียนรู้ทางลัดทางภาพแทนความสัมพันธ์ระหว่างเสียงกับริมฝีปาก เว้นแต่จะฝังกรรมการตัดสินการซิงก์ไว้ในการฝึก (ByteDance, บทความ LatentSync ปี 2025)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความเชื่อมั่น SyncNet บนชุดทดสอบ VoxCeleb2: VASA-1 เทียบกับวิดีโอจริง (ยิ่งสูงยิ่งดี) | 8.841 เทียบกับ 7.640 | Microsoft Research Asia, บทความ VASA-1 ปี 2024 |
| FVD25 บนชุด OneMin-32: VASA-1 เทียบกับวิดีโอจริง เทียบกับ SadTalker (ยิ่งต่ำยิ่งดี) | 105.88 เทียบกับ 29.25 เทียบกับ 214.51 | Microsoft Research Asia, บทความ VASA-1 ปี 2024 |
| ความเชื่อมั่น SyncNet (Sync_conf) บน HDTF: LatentSync เทียบกับ Wav2Lip เทียบกับ MuseTalk | 8.9 เทียบกับ 8.2 เทียบกับ 6.8 | ByteDance, บทความ LatentSync ปี 2025 |
| FVD บน HDTF: LatentSync เทียบกับ Wav2Lip (ยิ่งต่ำยิ่งดี) | 162.74 เทียบกับ 304.35 | ByteDance, บทความ LatentSync ปี 2025 |
| FID บน HDTF: LatentSync เทียบกับ Wav2Lip (ยิ่งต่ำยิ่งดี) | 7.22 เทียบกับ 12.5 | ByteDance, บทความ LatentSync ปี 2025 |
| Sync_conf บน HDTF: LatentSync ที่ไม่มีสัญญาณกำกับจาก SyncNet เทียบกับที่ใช้ SyncNet ในพื้นที่พิกเซล | 4.6 เทียบกับ 8.9 | ByteDance, บทความ LatentSync ปี 2025 |
| ความแม่นยำของกรรมการ SyncNet บนชุดทดสอบ HDTF: StableSyncNet เทียบกับรุ่นที่ดีที่สุดก่อนหน้า | 94% เทียบกับ 91% | ByteDance, บทความ LatentSync ปี 2025 |
หมายเหตุบริบท: Wav2Lip โมเดลปี 2020 ที่ทำให้การฝึกบนพื้นฐาน SyncNet เป็นที่นิยม (บทความ Wav2Lip, ACM Multimedia 2020) ยังคงปรากฏเป็นโมเดลฐานเปรียบเทียบในแทบทุกตารางของปี 2025 คะแนนของมันเปลี่ยนไปในแต่ละบทความ LatentSync รายงาน Sync_conf 8.2 บน HDTF ขณะที่การประเมินอีกฉบับรายงาน LSE-C 9.054 บน HDTF (ดูหัวข้อ 3) ตัวเลขเกณฑ์มาตรฐานเปรียบเทียบกันได้เฉพาะภายในการตั้งค่าการประเมินของบทความเดียวกันเท่านั้น
2. ใบหน้า 3D ที่ขับเคลื่อนด้วยเสียงพูด: ค่าคลาดเคลื่อนของจุดยอดริมฝีปากและข้อมูลฝึกสอน
สำหรับใบหน้า 3D (เมชที่ใช้ในเกม VR และภาพยนตร์) ตัวชี้วัดมาตรฐานคือค่าคลาดเคลื่อนของจุดยอดริมฝีปาก (LVE) ซึ่งคือระยะห่างต่อเฟรมที่มากที่สุดระหว่างจุดยอดริมฝีปากที่สร้างขึ้นกับที่บันทึกไว้ แล้วเฉลี่ยทุกเฟรม ยิ่งต่ำยิ่งดี บนเกณฑ์มาตรฐาน BIWI-Test-A LVE ลดจาก 6.5563 ของ VOCA เหลือ 4.3646 ของ TalkingStyle (x 10^-4 mm) ซึ่งลดลง 33% ตามการคำนวณของเรา (2.1917 หารด้วย 6.5563) ข้ามโมเดลหลายรุ่น (บทความ GLDiTalker, arXiv ฉบับปรับปรุงปี 2025)
เรื่องที่ใหญ่กว่าคือภาวะขาดแคลนข้อมูล ชุดข้อมูลเกณฑ์มาตรฐานสองชุดที่วงการใช้ฝึกนั้นเล็กมาก VOCASET มี 480 ลำดับ ลำดับละราว 4 วินาที และ BIWI มีผู้พูด 14 คนอ่านประโยค 40 ประโยค (บทความ CodeTalker, arXiv 2023) UniTalker แก้คอขวดนั้นด้วยการรวมชุดข้อมูลแปดชุดและขยายข้อมูลฝึกสอนเป็น 18.5 ชั่วโมง ซึ่งลด LVE ได้ 9.2% บน BIWI และ 13.7% บน VOCASET (บทความ UniTalker, arXiv 2024) ผลการปรับปรุงขนาดนี้จากข้อมูลเพียงอย่างเดียวชี้ว่าการก้าวกระโดดครั้งต่อไปจะมาจากงบประมาณการบันทึก ไม่ใช่สถาปัตยกรรม
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ค่าคลาดเคลื่อนของจุดยอดริมฝีปากบน BIWI-Test-A: VOCA เทียบกับ FaceFormer (x 10^-4 mm ยิ่งต่ำยิ่งดี) | 6.5563 เทียบกับ 5.3077 | บทความ GLDiTalker, arXiv 2025 (ตารางที่ 1) |
| ค่าคลาดเคลื่อนของจุดยอดริมฝีปากบน BIWI-Test-A: CodeTalker เทียบกับ FaceDiffuser (x 10^-4 mm) | 4.7914 เทียบกับ 4.7823 | บทความ GLDiTalker, arXiv 2025 (ตารางที่ 1) |
| ค่าคลาดเคลื่อนของจุดยอดริมฝีปากบน BIWI-Test-A: TalkingStyle เทียบกับ GLDiTalker (x 10^-4 mm) | 4.3646 เทียบกับ 4.6440 | บทความ GLDiTalker, arXiv 2025 (ตารางที่ 1) |
| ข้อมูลฝึกสอนใบหน้า 3D: ชุดข้อมูลที่ใช้กันทั่วไปเทียบกับ UniTalker | โดยทั่วไปไม่ถึง 1 ชั่วโมง เทียบกับ 18.5 ชั่วโมง | บทความ UniTalker, arXiv 2024 |
| ค่าคลาดเคลื่อนของจุดยอดริมฝีปากที่ลดลงจากการฝึกแบบรวมของ UniTalker: BIWI เทียบกับ VOCASET | 9.2% เทียบกับ 13.7% | บทความ UniTalker, arXiv 2024 |
| ค่าคลาดเคลื่อนที่ลดลงโดยเฉลี่ยทั่วเกณฑ์มาตรฐาน A2F-Bench | 6.3% | บทความ UniTalker, arXiv 2024 |
| ขนาดของ VOCASET: ลำดับ ผู้พูด อัตราการบันทึก จุดยอดของเมช | 480 ลำดับ ผู้พูด 12 คน 60 fps จุดยอด 5,023 จุด | บทความ CodeTalker, arXiv 2023 |
| ขนาดของ BIWI: ผู้พูด ประโยค อัตราการบันทึก จุดยอดของเมช | ผู้พูด 14 คน 40 ประโยค 25 fps จุดยอด 23,370 จุด | บทความ CodeTalker, arXiv 2023 |
หมายเหตุบริบท: GLDiTalker เป็นโมเดลเดียวในตารางนั้นที่ออกแบบให้สร้างผลลัพธ์ที่หลากหลายอย่างชัดเจน (คะแนนความหลากหลาย 8.2176 เทียบกับ 0 ของคู่แข่งส่วนใหญ่) ซึ่งเป็นทางเลือกด้านการออกแบบที่ขัดกับการจับคู่ร่องรอยริมฝีปากที่บันทึกไว้เพียงแบบเดียวให้เหมือนทุกประการ ข้อมูลล่าสุดที่มีสำหรับคำอธิบายชุดข้อมูลสองชุดนี้: บทความปี 2023
3. อัตราความชอบในการศึกษาผู้ใช้
เนื่องจาก LVE ลงโทษการเคลื่อนไหวปากทุกแบบที่ต่างจากที่บันทึกไว้ แม้ทางเลือกนั้นจะดูถูกต้อง บทความต่าง ๆ จึงพึ่งผู้ประเมินที่เป็นมนุษย์ รูปแบบที่พบสอดคล้องกันในทุกการศึกษา โมเดลใหม่ชนะโมเดลฐานรุ่นเก่าสุดแบบขาดลอย แต่มักเอาชนะรุ่นก่อนหน้าด้วยส่วนต่างเพียงเล็กน้อย CodeTalker ชนะ 92.47% ของการตัดสินลิปซิงก์บน BIWI เมื่อเทียบกับ VOCA แต่ชนะเพียง 53.76% เมื่อเทียบกับ FaceFormer ซึ่งใกล้เคียงการโยนเหรียญ (บทความ CodeTalker, arXiv 2023)
ระบบเรียลไทม์ก็ชนะการทดสอบเหล่านี้แล้วเช่นกัน โมเดลเทเลเพรสเซนส์แบบเชิงเหตุ ซึ่งไม่ใช้เสียงล่วงหน้า ได้รับเลือกใน 84.59% ของการเปรียบเทียบแบบ A/B กับ DiffPoseTalk และ 69.17% กับ Audio2Photoreal (Meta และ Seoul National University, SIGGRAPH Asia 2025) และช่องว่างระหว่างตัวชี้วัดกับการรับรู้วัดได้จริง ในการศึกษาของ Karlsruhe Institute of Technology Wav2Lip มี LSE-C บน HDTF ดีที่สุดในบรรดาทุกวิธี แต่ได้คะแนนการซิงก์จากผู้ประเมินที่เป็นมนุษย์เพียง 2.91 เทียบกับ 3.92 ของโมเดลของผู้เขียน (Karlsruhe Institute of Technology, บทความผู้เชี่ยวชาญ AV-HuBERT ปี 2024)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| การตัดสินแบบ A/B ที่เลือก CodeTalker มากกว่า VOCA ในด้านลิปซิงก์บน BIWI-Test-B | 92.47% | บทความ CodeTalker, arXiv 2023 (ผู้เข้าร่วม 31 คน) |
| การตัดสินแบบ A/B ที่เลือก CodeTalker มากกว่า FaceFormer ในด้านลิปซิงก์บน BIWI-Test-B | 53.76% | บทความ CodeTalker, arXiv 2023 |
| ความชอบแบบ A/B ต่อโมเดลใบหน้าเทเลเพรสเซนส์แบบเรียลไทม์เมื่อเทียบกับ DiffPoseTalk | 84.59% | Meta และ Seoul National University, SIGGRAPH Asia 2025 |
| ความชอบแบบ A/B ต่อโมเดลใบหน้าเทเลเพรสเซนส์แบบเรียลไทม์เมื่อเทียบกับ Audio2Photoreal | 69.17% | Meta และ Seoul National University, SIGGRAPH Asia 2025 |
| คะแนนความเห็นเฉลี่ยด้านลิปซิงก์บน VOCASET (1 ถึง 5): GLDiTalker เทียบกับ FaceFormer | 4.05 เทียบกับ 3.08 | บทความ GLDiTalker, arXiv 2025 (ผู้เข้าร่วม 20 คน) |
| คะแนนการซิงก์จากผู้ประเมินที่เป็นมนุษย์บน HDTF: โมเดลที่ดีที่สุดเทียบกับ Wav2Lip ทั้งที่ Wav2Lip มี LSE-C สูงสุดที่ 9.054 | 3.92 เทียบกับ 2.91 | Karlsruhe Institute of Technology, บทความผู้เชี่ยวชาญ AV-HuBERT ปี 2024 (ผู้เข้าร่วม 10 คน) |
หมายเหตุบริบท: ขนาดตัวอย่างเล็ก การศึกษาข้างต้นใช้ผู้ประเมิน 10, 20 และ 31 คน ซึ่งเป็นเรื่องปกติของวงการนี้ และเป็นเหตุผลให้ควรระวังส่วนต่างความชอบที่เป็นเลขหลักเดียว การออกแบบการศึกษาของ CodeTalker ให้รายการตัดสิน 372 รายการต่อชุดข้อมูลจากตัวอย่าง 120 คู่
4. ประสิทธิภาพขณะทำงานและความหน่วง
ความเร็วเปลี่ยนจากคอขวดมาเป็นปัญหาที่แก้ได้แล้วสำหรับโครงสร้าง 3D เครือข่ายดิฟฟิวชัน Audio2Face-3D v3.0 แบบโอเพนซอร์สทำงานได้ 3,269 เฟรมต่อวินาทีบน GeForce RTX 4090 ตัวเดียวด้วย TensorRT (NVIDIA, บทความ Audio2Face-3D ปี 2025) เคล็ดลับคือการกลั่นความรู้ โมเดลฝึกด้วย 1,000 ขั้นตอนดิฟฟิวชันแต่อนุมานด้วยเพียง 2 ขั้น สำหรับสตูดิโอ ตัวเลขที่ใช้งานจริงคือการทำงานพร้อมกัน เครือข่ายถดถอย v2.3 รุ่นเก่ากว่าขับเคลื่อนแทร็กแอนิเมชันพร้อมกัน 128 แทร็ก (หนึ่งแทร็กต่อตัวละครที่กำลังพูด) ด้วยหน่วยความจำ GPU 1.3 GB
วิดีโอสมจริงระดับภาพถ่ายยังหนักกว่ามาก VASA-1 สตรีมวิดีโอ 512x512 ได้สูงสุด 40 FPS หลังจากหน่วงเริ่มต้น 170 ms บน RTX 4090 (Microsoft Research Asia, บทความ VASA-1 ปี 2024) และ MuseTalk ให้ 30 FPS ที่ขนาดเพียง 256x256 บน GPU ศูนย์ข้อมูล V100 (บทความ MuseTalk, arXiv 2024) การแข่งขันด้านความหน่วงสะท้อนสิ่งที่เกิดขึ้นในการสังเคราะห์เสียงพูด ซึ่งเราครอบคลุมไว้ในสถิติแฟกเตอร์เวลาจริงของ TTS และต้นทุนการอนุมาน
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความเร็วเครือข่ายดิฟฟิวชัน Audio2Face-3D v3.0, 1 แทร็ก, TensorRT, RTX 4090 | 3,269 เฟรมต่อวินาที | NVIDIA, บทความ Audio2Face-3D ปี 2025 |
| ความเร็ว Audio2Face-3D v2.3 (Claire), TensorRT, RTX 4090: 1 แทร็กเทียบกับ 8 แทร็กพร้อมกัน | 453 เทียบกับ 413 เฟรมต่อวินาที | NVIDIA, บทความ Audio2Face-3D ปี 2025 |
| หน่วยความจำ GPU ของ Audio2Face-3D v2.3 ด้วย TensorRT: 8 แทร็กเทียบกับ 128 แทร็ก | 0.6 GB เทียบกับ 1.3 GB | NVIDIA, บทความ Audio2Face-3D ปี 2025 |
| การสร้างแบบออนไลน์ของ VASA-1 ที่ 512x512 บน RTX 4090 ตัวเดียว: อัตราเฟรมและความหน่วงเริ่มต้น | สูงสุด 40 FPS, 170 ms | Microsoft Research Asia, บทความ VASA-1 ปี 2024 |
| เวลา GPU ต่อเฟรมของโมเดลใบหน้าเทเลเพรสเซนส์แบบเรียลไทม์บน A100 | 10 ms (100 FPS) โดยไม่มองเสียงล่วงหน้าเลย | Meta และ Seoul National University, SIGGRAPH Asia 2025 |
| โมเดลฐานแบบออฟไลน์ในการเปรียบเทียบเดียวกัน: Audio2Photoreal เทียบกับ DiffPoseTalk ที่มีสไตล์ | 1.3 วินาที เทียบกับ 11.4 วินาที | Meta และ Seoul National University, SIGGRAPH Asia 2025 |
| เอาต์พุตวิดีโอลิปซิงก์ของ MuseTalk บน GPU V100 | 30 FPS ที่ 256x256 | บทความ MuseTalk, arXiv 2024 |
หมายเหตุบริบท: โมเดลเทเลเพรสเซนส์เร็วกว่า Audio2Photoreal 130 เท่าตามการคำนวณของเรา (1,300 ms หารด้วย 10 ms) สอดคล้องกับข้อกล่าวอ้างของบทความเองว่าเร็วกว่าโมเดลฐานแบบออฟไลน์ 100 ถึง 1,000 เท่า ค่า FPS ของ Audio2Face-3D นับเฟรมเอาต์พุตของเครือข่าย ไม่ใช่ฉากเกมที่เรนเดอร์แล้ว
5. การนำไปใช้ในเกมและความรู้สึกของนักพัฒนา
แอนิเมชันที่ขับเคลื่อนด้วยเสียงกำลังถูกนำไปใช้จริง แต่เข้าสู่อุตสาหกรรมที่หันมาต่อต้าน AI เชิงสร้างสรรค์อย่างรุนแรง 52% ของผู้เชี่ยวชาญด้านเกมตอนนี้บอกว่า AI เชิงสร้างสรรค์กำลังทำร้ายอุตสาหกรรม เพิ่มขึ้นจาก 30% เมื่อปีก่อน และ 18% ในปีก่อนหน้านั้น (GDC, 2026 State of the Game Industry) กลุ่มที่มองลบที่สุดคือศิลปะภาพและศิลปะเชิงเทคนิคที่ 64% ซึ่งเป็นคนกลุ่มเดียวกับที่งานแอนิเมชันใบหน้าถูกเครื่องมือเหล่านี้ทำให้เป็นอัตโนมัติ
ตัวเลขการใช้งานต่างกันตามว่าใครเป็นผู้ตอบ การสำรวจผู้เชี่ยวชาญรายบุคคลข้างต้นพบว่า 36% ใช้ AI เชิงสร้างสรรค์ ขณะที่การสำรวจระดับสตูดิโอรายงานว่า 96% ของสตูดิโอใช้เครื่องมือ AI ในขั้นตอนการทำงานบางส่วน (Unity, Gaming Report 2025) ด้านอุปทาน โมเดล Audio2Face, SDK และกรอบการฝึกเปิดเป็นโอเพนซอร์สเมื่อวันที่ 24 กันยายน 2025 โดยระบุชื่อบริษัทเก้าแห่งที่กำลังรวมเข้ากับระบบของตนอยู่แล้ว (NVIDIA Developer Blog 2025) ส่วนฝั่งเสียงของสายงานนี้เราติดตามไว้ในสถิติการนำเสียง AI มาใช้ในบทสนทนา NPC ของเกม
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ผู้เชี่ยวชาญในอุตสาหกรรมเกมที่ใช้เครื่องมือ AI เชิงสร้างสรรค์ในงาน | 36% (จากผู้ตอบมากกว่า 2,300 คน) | GDC, 2026 State of the Game Industry |
| การใช้ AI เชิงสร้างสรรค์: ผู้ตอบในสตูดิโอเกมเทียบกับในผู้จัดจำหน่าย ฝ่ายสนับสนุน และบริษัทการตลาด/ประชาสัมพันธ์ | 30% เทียบกับ 58% | GDC, 2026 State of the Game Industry |
| ผู้ตอบที่บอกว่า AI เชิงสร้างสรรค์ส่งผลเชิงลบต่ออุตสาหกรรม: 2026 เทียบกับปีก่อน เทียบกับสองปีก่อน | 52% เทียบกับ 30% เทียบกับ 18% | GDC, 2026 State of the Game Industry |
| ผู้เชี่ยวชาญด้านศิลปะภาพและศิลปะเชิงเทคนิคที่มองว่า AI เชิงสร้างสรรค์ไม่เป็นผลดี | 64% | GDC, 2026 State of the Game Industry |
| ผู้ตอบที่บอกว่า AI เชิงสร้างสรรค์ส่งผลเชิงบวก: 2026 เทียบกับ 2025 | 7% เทียบกับ 13% | GDC, 2026 State of the Game Industry |
| สตูดิโอที่ใช้เครื่องมือ AI ในขั้นตอนการทำงานบางส่วน | 96% | Unity, Gaming Report 2025 |
| ผู้ตอบที่รู้สึกเชิงบวกต่อเครื่องมือ AI ในการพัฒนาเกม | 79% | Unity, Gaming Report 2025 |
| บริษัทที่ระบุชื่อเป็นผู้นำ Audio2Face ไปใช้ ณ เปิดตัวโอเพนซอร์ส (ข้อกล่าวอ้างของผู้พัฒนาเอง) | 9 บริษัท และอีก 2 เกมที่วางจำหน่ายแล้วซึ่งได้รับการเครดิต | NVIDIA Developer Blog, 24 กันยายน 2025 |
หมายเหตุบริบท: บริษัทเก้าแห่งที่ระบุชื่อคือ Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs และ UneeQ ส่วนสองเกมคือ Alien: Rogue Incursion Evolved Edition (Survios) และ Chernobylite 2: Exclusion Zone (The Farm 51) ไม่มีคำให้สัมภาษณ์ของสตูดิโอใดที่ระบุตัวเลขของเวลาที่ประหยัดได้
6. ความจริงของการพากย์เสียงและค่าเผื่อการซิงก์ในงานออกอากาศ
การพากย์เสียงเชิงภาพด้วย AI สัญญาว่าจะทำให้เสียงที่แปลแล้วตรงกับปากของนักแสดง เกณฑ์พื้นฐานที่มันต้องแข่งด้วยนั้นหลวมกว่าที่คนส่วนใหญ่คิด ในรายการโทรทัศน์และภาพยนตร์ที่พากย์โดยมืออาชีพจากภาษาอังกฤษเป็นเยอรมันและจากภาษาอังกฤษเป็นสเปนรวม 319.57 ชั่วโมง มีเพียงราว 12.4% ของเวลาพูดบนหน้าจอที่มีวิซีมเดียวกันในเสียงพากย์และต้นฉบับ (AWS AI Labs และ MIT, Dubbing in Practice, TACL 2023) วิซีมคือรูปปากที่มองเห็นได้สำหรับกลุ่มเสียงหนึ่ง (ตัวอย่างเช่น เสียง p, b และ m ล้วนทำให้ริมฝีปากปิด) นักพากย์ที่เป็นมนุษย์จับคู่รูปปากได้บ่อยขึ้นเล็กน้อยเมื่อผู้พูดอยู่บนหน้าจอ แต่ผู้เขียนสรุปว่าความเป็นธรรมชาติของเสียงและคุณภาพการแปลสำคัญต่อมืออาชีพมากกว่าลิปซิงก์ที่เข้มงวด
การจับเวลาเป็นข้อจำกัดที่เข้มกว่า ไอโซโครนี (การที่เสียงพากย์เริ่มและหยุดพร้อมกับเสียงต้นฉบับ) มีการทับซ้อนเฉลี่ย 0.658 ฝั่งผู้ออกอากาศเองก็กำหนดขีดจำกัดเด็ดขาดสำหรับส่วนต่างเวลาของเสียงและภาพ เสียงอาจนำหน้าภาพได้ไม่เกิน 40 ms และล้าหลังได้ไม่เกิน 60 ms ซึ่งเป็นค่าที่กำหนดไว้ ณ จุดที่ความไม่ตรงกันเริ่มเป็นที่สังเกตได้สำหรับผู้สังเกต 50% (EBU Recommendation R37-2007) สายงานอวตารสดทุกแบบสืบทอดงบเวลานี้ ดังนั้นความหน่วงเริ่มต้นของตัวสร้าง (170 ms สำหรับ VASA-1 ดูหัวข้อ 4) ต้องถูกดูดซับด้วยการหน่วงเสียงให้ตรงกัน มิฉะนั้นผลลัพธ์จะไม่ผ่านการตรวจสอบของงานออกอากาศ
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| คลังข้อมูลที่พากย์โดยมืออาชีพซึ่งวิเคราะห์: ชั่วโมง เรื่อง ตอน | 319.57 ชั่วโมง 54 เรื่อง 674 ตอน | AWS AI Labs และ MIT, Dubbing in Practice, TACL 2023 |
| สัดส่วนเวลาพูดบนหน้าจอที่มีวิซีมเดียวกันในต้นฉบับและเสียงพากย์ | ราว 12.4% | AWS AI Labs และ MIT, Dubbing in Practice, TACL 2023 |
| การทับซ้อนของเวลาพูดโดยเฉลี่ย (มัธยฐาน) ระหว่างบทพูดต้นฉบับกับบทพูดที่พากย์ | 0.658 (0.731) | AWS AI Labs และ MIT, Dubbing in Practice, TACL 2023 |
| การทับซ้อนของเวลาพูดสำหรับผู้พูดบนหน้าจอเทียบกับนอกหน้าจอ | 0.684 เทียบกับ 0.662 | AWS AI Labs และ MIT, Dubbing in Practice, TACL 2023 |
| บทพูดที่พากย์ซึ่งยาวกว่าต้นฉบับภาษาอังกฤษอย่างน้อย 10% ในจำนวนตัวอักษร: เยอรมันเทียบกับสเปน | 53% เทียบกับ 30% | AWS AI Labs และ MIT, Dubbing in Practice, TACL 2023 |
| ขีดจำกัดงานออกอากาศแบบตลอดสายของเสียงเทียบกับภาพ: เสียงมาก่อนเทียบกับเสียงมาช้า | ไม่เกิน 40 ms เทียบกับไม่เกิน 60 ms | EBU Recommendation R37-2007 |
| ความแม่นยำการซิงก์ที่ต้องการในแต่ละขั้นตอนการผลิต: เสียงมาก่อนเทียบกับเสียงมาช้า | 5 ms เทียบกับ 15 ms | EBU Recommendation R37-2007 |
หมายเหตุบริบท: ข้อมูลล่าสุดที่มี: การศึกษาคลังข้อมูลการพากย์ ปี 2023 และ EBU R37 ปี 2007 (ยังเป็นข้อแนะนำปัจจุบันของ EBU) การศึกษาเรื่องการพากย์ยังพบว่า 4.3% ของบทพูดที่พากย์ไม่มีเวลาทับซ้อนกับต้นฉบับเลย และคะแนนคุณภาพการแปลไม่แตกต่างอย่างมีนัยสำคัญระหว่างบทพูดบนหน้าจอกับนอกหน้าจอ (COMET-QE p = 0.349)
7. การรับรู้และมุมมองด้านการตรวจจับดีปเฟก
โมเดลชุดเดียวกันที่ทำให้ตัวละครในเกมขยับได้ ก็ปลอมเสียงพูดของบุคคลจริงได้เช่นกัน การตรวจจับยังไม่สมดุล จากบทความ 56 ฉบับและผู้เข้าร่วม 86,155 คน ผู้คนตรวจจับดีปเฟกได้ด้วยความแม่นยำ 55.54% (ช่วงความเชื่อมั่น 95% 48.87 ถึง 62.10) ซึ่งไม่สูงกว่าการเดาสุ่มอย่างมีนัยสำคัญ และเพียง 57.31% สำหรับวิดีโอ (Diel และคณะ, Computers in Human Behavior Reports 2024) การฝึกด้วยการให้ข้อมูลย้อนกลับ การช่วยเหลือจาก AI หรือการทำภาพล้อเลียนช่วยเพิ่มความแม่นยำเป็น 65.14%
เครื่องจักรที่เชี่ยวชาญด้านลิปซิงก์ทำได้ดีกว่ามากในห้องปฏิบัติการ แต่การนำไปใช้กับข้อมูลใหม่ยังเป็นจุดอ่อน ตัวตรวจจับ LipFD ซึ่งมองหาความไม่ตรงกันของจังหวะระหว่างเสียงกับการเคลื่อนไหวของริมฝีปาก รายงานความแม่นยำเฉลี่ยมากกว่า 95.3% และสูงสุด 90.2% ในสถานการณ์จริง เช่น การโทรวิดีโอ WeChat (Lips Are Lying, บทความ LipFD, arXiv 2024) กับดีปเฟกที่แพร่ระบาดจริงในปี 2024 ตัวตรวจจับวิดีโอแบบโอเพนซอร์สสูญเสีย AUC ไป 50% เมื่อเทียบกับเกณฑ์มาตรฐานรุ่นเก่า (AUC คือพื้นที่ใต้เส้นโค้ง ROC โดย 1.0 คือสมบูรณ์แบบ และ 0.5 คือเดาสุ่ม) (เกณฑ์มาตรฐาน Deepfake-Eval-2024, 2025)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความแม่นยำในการตรวจจับดีปเฟกของมนุษย์แบบรวม ทุกประเภทสื่อ | 55.54% (ช่วงความเชื่อมั่น 95% 48.87 ถึง 62.10, k = 67) | Diel และคณะ, Computers in Human Behavior Reports 2024 |
| ความแม่นยำในการตรวจจับของมนุษย์เฉพาะวิดีโอดีปเฟก | 57.31% (ช่วงความเชื่อมั่น 95% 47.80 ถึง 66.57, k = 26) | Diel และคณะ, Computers in Human Behavior Reports 2024 |
| ความแม่นยำในการตรวจจับของมนุษย์เมื่อมีการฝึกด้วยข้อมูลย้อนกลับ การช่วยเหลือจาก AI หรือการทำภาพล้อเลียน | 65.14% (ช่วงความเชื่อมั่น 95% 55.21 ถึง 74.46, k = 15) | Diel และคณะ, Computers in Human Behavior Reports 2024 |
| ตัวตรวจจับดีปเฟกลิปซิงก์ LipFD: ความแม่นยำเฉลี่ยเทียบกับสถานการณ์จริง | มากกว่า 95.3% เทียบกับสูงสุด 90.2% | บทความ Lips Are Lying (LipFD), arXiv 2024 |
| AUC ที่ลดลงของตัวตรวจจับแบบโอเพนซอร์สบนดีปเฟกจริงปี 2024 เทียบกับเกณฑ์มาตรฐานก่อนหน้า: วิดีโอ เสียง ภาพ | 50%, 48%, 45% | เกณฑ์มาตรฐาน Deepfake-Eval-2024, 2025 |
| ชุดข้อมูล Deepfake-Eval-2024: ชั่วโมงวิดีโอ เว็บไซต์ ภาษา | 45 ชั่วโมง 88 เว็บไซต์ 52 ภาษา | เกณฑ์มาตรฐาน Deepfake-Eval-2024, 2025 |
| ความแม่นยำของตัวตรวจจับของผู้เขียน VASA-1 เองในการแยกวิดีโอจริงออกจากเอาต์พุตของ VASA-1 | 97.8% | Microsoft Research Asia, บทความ VASA-1 ปี 2024 |
หมายเหตุบริบท: ตัวเลข 97.8% ครอบคลุมเอาต์พุตของโมเดลเดียวกับตัวตรวจจับที่ฝึกมาเพื่อมันโดยเฉพาะ ผลของ Deepfake-Eval-2024 แสดงให้เห็นว่าจะเกิดอะไรขึ้นเมื่อตัวตรวจจับเจอตัวสร้างที่มันไม่เคยฝึกมา
สรุป: แอนิเมชันใบหน้าที่ขับเคลื่อนด้วยเสียงและลิปซิงก์ในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความเชื่อมั่น SyncNet บน VoxCeleb2: VASA-1 เทียบกับวิดีโอจริง | 8.841 เทียบกับ 7.640 | Microsoft Research Asia, บทความ VASA-1 ปี 2024 |
| FVD บน HDTF: LatentSync เทียบกับ Wav2Lip | 162.74 เทียบกับ 304.35 | ByteDance, บทความ LatentSync ปี 2025 |
| ความแม่นยำของกรรมการ SyncNet บน HDTF: StableSyncNet เทียบกับรุ่นที่ดีที่สุดก่อนหน้า | 94% เทียบกับ 91% | ByteDance, บทความ LatentSync ปี 2025 |
| ค่าคลาดเคลื่อนของจุดยอดริมฝีปากบน BIWI-Test-A: VOCA เทียบกับ TalkingStyle (x 10^-4 mm) | 6.5563 เทียบกับ 4.3646 | บทความ GLDiTalker, arXiv 2025 |
| ข้อมูลฝึกสอนใบหน้า 3D: ชุดข้อมูลทั่วไปเทียบกับ UniTalker | ไม่ถึง 1 ชั่วโมง เทียบกับ 18.5 ชั่วโมง | บทความ UniTalker, arXiv 2024 |
| การตัดสินแบบ A/B ที่เลือก CodeTalker มากกว่า VOCA ในด้านลิปซิงก์บน BIWI | 92.47% | บทความ CodeTalker, arXiv 2023 |
| ความชอบแบบ A/B ต่อโมเดลใบหน้าเทเลเพรสเซนส์แบบเรียลไทม์เมื่อเทียบกับ DiffPoseTalk | 84.59% | Meta และ Seoul National University, SIGGRAPH Asia 2025 |
| คะแนนการซิงก์จากผู้ประเมินที่เป็นมนุษย์บน HDTF: โมเดลที่ดีที่สุดเทียบกับ Wav2Lip ทั้งที่ Wav2Lip มี LSE-C สูงสุด | 3.92 เทียบกับ 2.91 | Karlsruhe Institute of Technology, 2024 |
| ความเร็ว Audio2Face-3D v3.0 บน RTX 4090 ตัวเดียวด้วย TensorRT | 3,269 เฟรมต่อวินาที | NVIDIA, บทความ Audio2Face-3D ปี 2025 |
| เวลา GPU ต่อเฟรมของโมเดลใบหน้าเทเลเพรสเซนส์แบบเรียลไทม์ | 10 ms | Meta และ Seoul National University, SIGGRAPH Asia 2025 |
| ผู้เชี่ยวชาญด้านเกมที่ใช้เครื่องมือ AI เชิงสร้างสรรค์ | 36% | GDC, 2026 State of the Game Industry |
| สตูดิโอที่ใช้เครื่องมือ AI ในขั้นตอนการทำงานบางส่วน | 96% | Unity, Gaming Report 2025 |
| เวลาพูดบนหน้าจอที่พากย์เสียงแล้วซึ่งมีวิซีมเดียวกับต้นฉบับ | ราว 12.4% | AWS AI Labs และ MIT, TACL 2023 |
| การทับซ้อนของเวลาพูดโดยเฉลี่ยระหว่างบทพูดต้นฉบับกับบทพูดที่พากย์ | 0.658 | AWS AI Labs และ MIT, TACL 2023 |
| ขีดจำกัดลิปซิงก์ของงานออกอากาศแบบตลอดสาย: เสียงมาก่อนเทียบกับเสียงมาช้า | 40 ms เทียบกับ 60 ms | EBU Recommendation R37-2007 |
| ความแม่นยำในการตรวจจับดีปเฟกของมนุษย์แบบรวม | 55.54% | Diel และคณะ, Computers in Human Behavior Reports 2024 |
| AUC ที่ลดลงของตัวตรวจจับวิดีโอดีปเฟกแบบโอเพนซอร์สบนเนื้อหาจริงปี 2024 | 50% | เกณฑ์มาตรฐาน Deepfake-Eval-2024, 2025 |
ระเบียบวิธีและแหล่งที่มา
- NVIDIA: Audio2Face-3D, Audio-driven Realistic Facial Animation for Digital Avatars (arXiv 2508.16401, 2025) สำหรับตัวเลขความเร็วในการอนุมาน หน่วยความจำ และขั้นตอนดิฟฟิวชัน และประกาศโอเพนซอร์สของ Audio2Face วันที่ 24 กันยายน 2025 สำหรับผู้นำไปใช้ที่ระบุชื่อ (ข้อกล่าวอ้างของผู้พัฒนาเอง)
- Microsoft Research Asia, บทความ VASA-1 (arXiv 2404.10667, ฉบับปรับปรุงปี 2024): คะแนนการซิงก์ FVD อัตราเฟรม ความหน่วง ความแม่นยำของตัวตรวจจับ
- Meta Codec Avatars Lab และ Seoul National University, Audio Driven Real-Time Facial Animation for Social Telepresence (SIGGRAPH Asia 2025): ความหน่วงและความชอบแบบ A/B
- ByteDance, Beijing Jiaotong University และ Monash University, LatentSync (arXiv 2412.09262, ฉบับปรับปรุงปี 2025): การซิงก์บน HDTF และ VoxCeleb2, FID และ FVD
- บทความ GLDiTalker, Beihang University และอื่น ๆ (arXiv 2408.01826, ฉบับปรับปรุงปี 2025): ตารางค่าคลาดเคลื่อนของจุดยอดริมฝีปากบน BIWI และคะแนนความเห็นเฉลี่ย
- บทความ CodeTalker (arXiv 2301.02379, 2023): อัตราความชอบแบบ A/B และคำอธิบายชุดข้อมูล
- บทความ UniTalker (arXiv 2408.00762, 2024): ขนาดข้อมูลฝึกสอนและค่าคลาดเคลื่อนที่ลดลง
- Karlsruhe Institute of Technology, Istanbul Technical University และ Carnegie Mellon University, บทความผู้เชี่ยวชาญ AV-HuBERT (arXiv 2405.04327, 2024): LSE-C/LSE-D เทียบกับการศึกษาผู้ใช้
- บทความ MuseTalk (arXiv 2410.10122, ฉบับปรับปรุงปี 2025): อัตราเฟรมแบบเรียลไทม์
- บทความ Wav2Lip (ACM Multimedia 2020): ข้อมูลเบื้องหลังโมเดลฐาน ไม่มีตัวเลขใดอ้างโดยตรงจากบทความนี้
- GDC, 2026 State of the Game Industry: การใช้และความรู้สึกต่อ AI เชิงสร้างสรรค์
- Unity, บทความเปิดตัว Gaming Report 2025 (17 มีนาคม 2025): การใช้ AI ของสตูดิโอและความรู้สึก
- AWS AI Labs และ MIT Media Lab, Dubbing in Practice (TACL เล่ม 11, 2023): สถิติคลังข้อมูลการพากย์โดยมืออาชีพ
- EBU Recommendation R37-2007: ขีดจำกัดเวลาของเสียงและภาพ
- Diel และคณะ, Human performance in detecting deepfakes, Computers in Human Behavior Reports เล่ม 16 (2024): การวิเคราะห์อภิมานของการตรวจจับโดยมนุษย์
- บทความ Lips Are Lying (LipFD) (arXiv 2401.15668, 2024): ความแม่นยำในการตรวจจับดีปเฟกลิปซิงก์
- เกณฑ์มาตรฐาน Deepfake-Eval-2024 (arXiv 2503.02857, 2025): ประสิทธิภาพของตัวตรวจจับในสถานการณ์จริง
- ข้อสังเกตเกี่ยวกับข้อมูล: (1) ความขัดแย้งระหว่างตัวชี้วัดกับการรับรู้เป็นเรื่องจริง VASA-1 ชนะวิดีโอจริงบนความเชื่อมั่น SyncNet และคะแนน HDTF ของ Wav2Lip ต่างกันระหว่างบทความ (Sync_conf 8.2 ในการประเมินของ LatentSync เทียบกับ LSE-C 9.054 ในการประเมินของ Karlsruhe) จึงควรเปรียบเทียบคะแนนเฉพาะภายในบทความเดียวกัน (2) ตัวเลขการใช้ AI 36% และ 96% ในหัวข้อ 5 วัดกลุ่มประชากรต่างกัน (ผู้เชี่ยวชาญรายบุคคลเทียบกับสตูดิโอ และไม่ได้ระบุขนาดตัวอย่างของการสำรวจสตูดิโอไว้ในหน้าเปิดตัว) จึงไม่ควรตีความว่าขัดแย้งกัน (3) เราไม่พบผลการศึกษาผู้ใช้ในข้อความของบทความ Audio2Face-3D ที่เราอ่าน จึงไม่ได้ครอบคลุมคุณภาพเชิงการรับรู้ของมันไว้ที่นี่ (4) CodeTalker (2023) การศึกษาคลังข้อมูลการพากย์ (2023) และ EBU R37 (2007) เป็นข้อมูลล่าสุดที่มีสำหรับตัวชี้วัดของแต่ละฉบับ บทความ SIGGRAPH และ CVPR ที่ใหม่กว่าอาจปรับปรุงตัวเลข LVE และความชอบ (5) หน่วยของ LVE ต่างกันตามเกณฑ์มาตรฐานและบทความ ค่าจึงเปรียบเทียบกันได้เฉพาะภายในตารางเดียวกัน (6) การศึกษาผู้ใช้ในวงการนี้อาศัยผู้ประเมิน 10 ถึง 31 คน ส่วนต่างความชอบเล็ก ๆ จึงไม่แข็งแรง
อัปเดตล่าสุด: 6 พฤศจิกายน 2026 เราจะทบทวนและอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการอัปเดตครั้งถัดไปจะเกิดขึ้นเมื่อมีการเผยแพร่รายงาน GDC 2027 State of the Game Industry