Meta Movie Gen: ปฏิวัติวงการวิดีโอที่สร้างด้วย AI ด้วยเทคโนโลยีล้ำสมัย

Movie Gen เป็นชุดโมเดลพื้นฐานที่พัฒนาโดย Meta สำหรับการสร้างวิดีโอคุณภาพสูงแบบ HD 1080p พร้อมเสียงที่ซิงโครไนซ์กัน และยังสามารถทำการแก้ไขวิดีโอตามคำสั่งอย่างแม่นยำ รวมถึงการสร้างวิดีโอส่วนบุคคลจากภาพของผู้ใช้ได้ด้วย

Movie Gen มีความสามารถในการสร้างวิดีโอจากข้อความ, การส่วนบุคคลในวิดีโอ, การแก้ไขวิดีโอ, การสร้างเสียงจากวิดีโอ, และการสร้างเสียงจากข้อความ

โมเดลที่ใหญ่ที่สุดในชุด Movie Gen เป็นทรานส์ฟอร์เมอร์ขนาด 30 พันล้านพารามิเตอร์ออกแบบมาสำหรับการสร้างวิดีโอจากข้อความ ซึ่งสามารถสร้างวิดีโอได้ยาว 16 วินาทีที่ 16 เฟรมต่อวินาที

Movie Gen ทำให้เกิดการส่วนบุคคลในวิดีโอโดยการตั้งเงื่อนไขโมเดลด้วยภาพของบุคคล ซึ่งทำให้สามารถสร้างวิดีโอที่มีบุคคลที่เลือกได้ ในขณะที่รักษาลักษณะเฉพาะและปฏิบัติตามคำสั่งข้อความ

Movie Gen แนะนำโมเดลที่สามารถทำการแก้ไขวิดีโออย่างแม่นยำตามคำสั่งในข้อความ โดยใช้กระบวนการฝึกอบรมหลายขั้นตอนซึ่งรวมถึงการแก้ไขภาพเดี่ยว, การแก้ไขหลายเฟรม, และการแก้ไขวิดีโอผ่านการย้อนแปล

Movie Gen มีโมเดลที่เรียกว่า Movie Gen Audio ซึ่งสร้างเอฟเฟกต์เสียงภาพยนตร์และดนตรีคุณภาพสูงที่ซิงโครไนซ์กับวิดีโอให้ตรงกับการกระทำและตามคำสั่งข้อความที่ได้รับ

Movie Gen มีแผนที่จะปล่อยเกณฑ์การประเมิน เช่น Movie Gen Video Bench, Movie Gen Edit Bench, และ Movie Gen Audio Bench เพื่อสนับสนุนการวัดผลในอนาคตและเร่งงานวิจัยในโมเดลการสร้างสื่อ

Movie Gen ขยายขนาดข้อมูลการฝึกอบรมและขนาดโมเดลด้วยการฝึกอบรมล่วงหน้าด้วยข้อมูลภาพ, วิดีโอ, และเสียงขนาดใหญ่จากอินเทอร์เน็ต และใช้โมเดลที่สร้างบนพื้นฐานทรานส์ฟอร์เมอร์ที่ถูกฝึกด้วย Flow Matching ซึ่งช่วยให้การฝึกอบรมโมเดลการสร้างสื่อขนาดใหญ่เป็นไปอย่างมีประสิทธิภาพ

Movie Gen มีการประยุกต์ใช้งานกว้างขวางในการสร้างสื่อ ให้สามารถสร้างวิดีโอส่วนบุคคลคุณภาพสูง รวมถึงการแก้ไขที่แม่นยำ ซึ่งสามารถนำไปใช้ในการผลิตภาพยนตร์, โฆษณา, การสร้างเนื้อหาสำหรับโซเชียลมีเดีย และอื่น ๆ

Movie Gen สามารถสร้างเสียงสำหรับวิดีโอที่มีความยาวต่าง ๆ ได้ด้วยการสร้างแบบซิงเกิลช็อตสำหรับวิดีโอที่สั้นกว่า และเทคนิคขยายเสียงสำหรับวิดีโอที่ยาวกว่า ซึ่งรวมถึงการสร้างเสียงเป็นส่วน ๆ และรวมเข้าด้วยกันอย่างไร้รอยต่อ