الذكاء الاصطناعي من Google DeepMind ينشأ مقاطع صوتية للفيديو
تاريخ النشر: 18th, June 2024 GMT
يعمل مختبر الذكاء الاصطناعي DeepMind التابع لشركة Google على تقنية جديدة يمكنها إنشاء مقاطع صوتية، وحتى حوار، لتتماشى مع مقاطع الفيديو. شارك المختبر التقدم الذي أحرزه في مشروع تقنية تحويل الفيديو إلى الصوت (V2A)، والذي يمكن إقرانه مع Google Veo وأدوات إنشاء الفيديو الأخرى مثل Sora من OpenAI.
في منشور مدونته، يوضح فريق DeepMind أن النظام يمكنه فهم وحدات البكسل الأولية ودمج تلك المعلومات مع المطالبات النصية لإنشاء مؤثرات صوتية لما يحدث على الشاشة.
قام باحثو DeepMind بتدريب التكنولوجيا على مقاطع الفيديو والتسجيلات الصوتية والتعليقات التوضيحية التي تم إنشاؤها بواسطة الذكاء الاصطناعي والتي تحتوي على أوصاف تفصيلية للأصوات ونصوص الحوار.
وقالوا إنه من خلال القيام بذلك، تعلمت التكنولوجيا ربط أصوات معينة بالمشاهد المرئية. وكما لاحظ TechCrunch، فإن فريق DeepMind ليس أول من أطلق أداة ذكاء اصطناعي يمكنها إنشاء مؤثرات صوتية - فقد أصدرت ElevenLabs واحدة مؤخرًا أيضًا - ولن تكون الأخيرة.
يكتب الفريق: "يتميز بحثنا عن حلول تحويل الفيديو إلى الصوت الموجودة لأنه يمكنه فهم وحدات البكسل الأولية وإضافة مطالبة نصية أمر اختياري".
على الرغم من أن المطالبة النصية اختيارية، إلا أنه يمكن استخدامها لتشكيل المنتج النهائي وتحسينه بحيث يكون دقيقًا وواقعيًا قدر الإمكان. يمكنك إدخال مطالبات إيجابية لتوجيه الإخراج نحو إنشاء الأصوات التي تريدها، على سبيل المثال، أو مطالبات سلبية لتوجيهه بعيدًا عن الأصوات التي لا تريدها. في العينة أدناه، استخدم الفريق الموجه: "فيلم سينمائي، فيلم إثارة، فيلم رعب، موسيقى، توتر، أجواء، خطى على الخرسانة.
يعترف الباحثون أنهم ما زالوا يحاولون معالجة القيود الحالية لتقنية V2A الخاصة بهم، مثل الانخفاض في جودة الصوت الناتج الذي يمكن أن يحدث إذا كانت هناك تشوهات في الفيديو المصدر. كما أنهم ما زالوا يعملون على تحسين مزامنة الشفاه للحوار الذي تم إنشاؤه. بالإضافة إلى ذلك، تعهدوا بإخضاع التكنولوجيا "لتقييمات واختبارات صارمة للسلامة" قبل إطلاقها للعالم.
المصدر: بوابة الوفد
إقرأ أيضاً:
رغم تفوقه في البرمجة.. نماذج الذكاء الاصطناعي تخفق في التاريخ
على الرغم من تميز الذكاء الاصطناعي في بعض المهام مثل البرمجة أو إنشاء البودكاست، إلا أنه يُظهر ضعفًا واضحًا في اجتياز اختبارات التاريخ المتقدمة، وفقًا لدراسة حديثة.
GPT-4 وLlama وGemini: نماذج لغوية فشلت في تقديم إجابات دقيقة
قام فريق من الباحثين بتطوير معيار جديد لاختبار ثلاث نماذج لغوية ضخمة رائدة: "GPT-4" من أوبن إي آي، و"Llama" من ميتا، و"Gemini" من جوجل، في الإجابة عن أسئلة تاريخية. يعتمد هذا المعيار، المعروف باسم "Hist-LLM"، على قاعدة بيانات التاريخ العالمي "Seshat"، وهي قاعدة بيانات شاملة للمعرفة التاريخية.
النتائج التي تم تقديمها الشهر الماضي في مؤتمر "NeurIPS" المرموق، كانت مخيبة للآمال. حيث حقق أفضل نموذج، وهو "GPT-4 Turbo"، دقة بلغت حوالي 46% فقط، وهي نسبة بالكاد تفوق التخمين العشوائي.
اقرأ أيضاً.. هل يتفوق "O3" على البشر؟ قفزة جديدة تُعيد تعريف الذكاء الاصطناعي
وأوضحت "ماريا ديل ريو-تشانونا"، إحدى المشاركات في الدراسة وأستاذة علوم الحاسوب في جامعة كوليدج لندن: "الاستنتاج الأساسي من هذه الدراسة هو أن النماذج اللغوية الكبيرة، رغم إمكانياتها المذهلة، لا تزال تفتقر إلى الفهم العميق المطلوب للتعامل مع استفسارات تاريخية متقدمة. يمكنها التعامل مع الحقائق الأساسية، ولكن عندما يتعلق الأمر بالتحليل العميق على مستوى الدكتوراه، فهي غير قادرة على الأداء المطلوب بعد".
القصور في الفهم العميق
من الأمثلة التي فشل فيها النموذج، سؤال عن استخدام الدروع القشرية في فترة معينة من مصر القديمة. أجاب "GPT-4 Turbo" بنعم، بينما الحقيقة أن هذه التقنية لم تظهر في مصر إلا بعد 1500 عام.
يرجع هذا القصور، وفقًا للباحثين، إلى اعتماد النماذج على بيانات تاريخية بارزة، مما يصعّب عليها استرجاع المعلومات النادرة أو الأقل شهرة.
كما أشار الباحثون إلى وجود أداء أضعف للنماذج في مناطق معينة، مثل إفريقيا جنوب الصحراء الكبرى، مما يبرز التحيزات المحتملة في بيانات التدريب.
اقرأ أيضاً.. الذكاء الاصطناعي يفك شيفرة أصوات الطيور المهاجرة
التحديات المستمرة
وأكد "بيتر تيرتشين"، قائد الدراسة وأستاذ بمعهد علوم التعقيد في النمسا، أن هذه النتائج تُظهر أن النماذج اللغوية لا تزال غير بديل عن البشر في مجالات معينة. ومع ذلك، يبقى الأمل في أن تسهم هذه النماذج في مساعدة المؤرخين مستقبلاً. يعمل الباحثون على تحسين المعيار بإضافة بيانات من مناطق غير ممثلة بشكل كافٍ وتضمين أسئلة أكثر تعقيدًا.
واختتمت الدراسة بالقول: "رغم أن نتائجنا تسلط الضوء على المجالات التي تحتاج إلى تحسين، إلا أنها تؤكد أيضًا الإمكانيات الواعدة لهذه النماذج في دعم البحث التاريخي".
المصدر: وكالات
جنين ومخيمها.. سماع دوي انفجار كبير بمخيم جنين