جدل حول أداء نموذج Maverick من ميتا.. هل تلاعبت الشركة بالنتائج على LM Arena؟

في خطوة أثارت تساؤلات عديدة داخل الأوساط التقنية، أعلنت شركة Meta يوم السبت عن إصدار مجموعة جديدة من نماذج الذكاء الاصطناعي الرائدة، من بينها النموذج الذي يحمل اسم "Maverick"، والذي سرعان ما احتل المركز الثاني على منصة LM Arena، وهي ساحة اختبار يقارن فيها البشر بين نتائج النماذج ويختارون الأفضل.

لكن سرعان ما اكتشف باحثون في مجال الذكاء الاصطناعي عبر منصة X (تويتر سابقاً) أن النموذج الذي اختبرته ميتا على LM Arena ليس هو نفس النسخة المتاحة للمطورين.

نسخة "تجريبية" مخصصة لـ LM Arena

بحسب ما نشرته ميتا رسميًا، فإن النسخة التي استخدمت في تقييم LM Arena تُعرف بأنها "نسخة دردشة تجريبية".

 وفي موقع Llama الرسمي، يظهر توضيح بأن النموذج الذي تم تقييمه هو "Llama 4 Maverick المعدّل لزيادة قدراته الحوارية"، ما يعني أن ميتا أجرت تعديلات على النموذج خصيصاً لتحسين أدائه في هذا النوع من الاختبارات.

الذكاء الاصطناعي يتنبأ بالسكتة القلبية المفاجئة قبل حدوثها بأيام​DeepSeek تكشف عن طريقة جديدة للاستدلال بالذكاء الاصطناعيميتا تطلق Llama 4 .. مجموعة جديدة من نماذج الذكاء الاصطناعي الرائدة​حاسوب فائق بحجم صغير .. أداء قوي لتشغيل نماذج الذكاء الاصطناعيميتا تطلق Llama 4.. مجموعة جديدة من نماذج الذكاء الاصطناعي الرائدةلماذا يُعد ذلك مشكلة؟

تخصيص نموذج AI للتفوّق في اختبار معين ثم طرح نسخة أقل أداءً للعامة يثير مخاوف تتعلق بالشفافية والمصداقية. فمثل هذه الخطوة تضع المطورين والمستخدمين في مأزق، إذ لا يمكنهم الوثوق بأن الأداء الذي شاهدوه في التقييمات سينعكس فعليًا عند استخدام النموذج في تطبيقاتهم أو أبحاثهم.

فوارق ملحوظة بين النسختين

الباحثون الذين جربوا النسخة العامة من Maverick لاحظوا اختلافات واضحة مقارنة بنسخة LM Arena، من بينها ، النموذج في LM Arena يستخدم الكثير من الرموز التعبيرية (emojis).

اما إجابات النموذج هناك طويلة للغاية ومفرطة في التفاصيل مقارنة بالنسخة "الفانيلا" (غير المعدلة) التي يمكن للمطورين تحميلها.

LM Arena منصة تقييم غير مثالية

رغم أن LM Arena تعتبر مرجعًا مهمًا في تقييم نماذج الذكاء الاصطناعي، إلا أنها تعاني من قصور معروف، إذ أنها تعتمد على تفضيلات بشرية قد تكون ذاتية، ولا تمثل دائمًا الأداء الواقعي للنماذج في سيناريوهات معقدة أو تطبيقات فعلية، إلا أن الشركات عمومًا لا تقوم بتخصيص نماذجها خصيصًا للتفوّق في هذه المنصة  أو على الأقل، لا تعترف بذلك علنًا.

ميتا في مرمى النقد

يضع هذا التحايل المحتمل ميتا تحت ضغط متزايد، خاصة في ظل المنافسة الشرسة مع نماذج مثل GPT-4 من OpenAI أو Claude من Anthropic. 

وقد تواصلت جهات صحفية مع شركة Meta ومنصة Chatbot Arena (الجهة المشرفة على LM Arena) للحصول على تعليق رسمي، لكن حتى الآن، لم يصدر أي رد.

المصدر: صدى البلد