تقدم Google DeepMind أداة جديدة للذكاء الاصطناعي لإنتاج الموسيقى التصويرية للفيديو. تهتم هذه الأداة ليس فقط بإنتاج الصوت ولكن أيضا بمحتوى الفيديو.
وفقًا لديب مايند، باستخدام هذه الأداة يمكن للمستخدمين إنشاء مشاهد بجمع العنصرين مثل “نقاط الدراما أو المؤثرات الصوتية الواقعية أو الحوارات التي تتناسب مع الشخصيات ونقاط الفيديو”. يمكن رؤية أمثلة على ذلك على موقع ديب مايند على الويب، حيث يُظهر نتيجة صوتية مرضية تمامًا.
على سبيل المثال، فيما يتعلق بمقاطع الفيديو للسيارات التي تسير في المدينة على الإنترنت ، تستخدم Google الإعلان عن “سيارة قاذفة ، ومحرك سيارة مدلك ، والموسيقى الإلكترونية للملك” لتوليد الصوت. يتم مزامنة صوت الإطارات القاذفة مع حركة السيارة. أمثلة أخرى تشمل إنشاء مشهد صوتي تحت الماء باستخدام الإعلان عن “الدفن تحت الماء ، والحياة البحرية ، والمحيطات”.
على الرغم من أنه يُمكن للمستخدمين تضمين نص دعائي، إلا أن DeepMind يُعتبره اختياريًا. ولا يُشترط على المستخدمين أيضًا مطابقة الصوت الذي تم إنشاؤه بالتفصيل للمشهد المحدد. بحسب DeepMind، يمكن للأداة إنتاج “عدد لا نهائي” من الموسيقى التصويرية لمقاطع الفيديو، مما يمنح المستخدمين القدرة على إنشاء تدفقات صوتية لا نهائية.
يمكن أن تبرز هذه التقنية من بجانب أدوات الذكاء الاصطناعي الأخرى، مثل مُنشِّئ المؤثرات الصوتية من ElevenLabs الذي يستخدم النص المعزز لتوليد الصوت. يمكن أن تُيسِّر الأداة أيضًا ربط الصوت بمقاطع الفيديو التي تتم إنشاؤها بواسطة الذكاء الاصطناعي من أدوات مثل Veo و Sora من DeepMind (الأخير سيُمثل الجمع بين الصوت في المستقبل).
تقول شركة DeepMind إنهم يتدربون أدوات الذكاء الاصطناعي الخاصة بهم عن طريق استخدام مقاطع الفيديو والصوت والتذكار التي تحتوي على “وصف مفصل للأصوات ونصوص الحوار المقابلة”. وهذا يسمح لمنتجي الفيديو إلى الصوت بمطابقة الأحداث الصوتية مع المشاهد البصرية.
لا تزال هذه الأداة تعاني من بعض القيود. على سبيل المثال ، تسعى DeepMind إلى تحسين قدرتها على مزامنة حركات الشفاه مع الحوار ، كما هو موضح في فيديو الشرح. وأشارت DeepMind أيضًا إلى أن نظام الفيديو إلى الصوت يعتمد على جودة الفيديو ، لذا قد تؤدي مقاطع الفيديو الغامضة أو المشوهة إلى “انخفاض حقيقي في جودة الصوت”.
لا تزال أداة DeepMind هذه غير متاحة عمومًا لأنها لا تزال تحتاج إلى “اختبارات أمنية واختبارات صارمة”. عندما تكون متاحة ، ستكون لديها علامة المياه SynthID من Google لتشير إلى أنها تم إنشاؤها بواسطة الذكاء الاصطناعي.