بمعدل نجاح هجوم 100%.. ديب سيك يفشل في اختبارات الأمان والسلامة
تاريخ النشر: 5th, February 2025 GMT
كشف اختبار أمني مشترك أجراه فريق بحثي تابع لشركة "سيسكو" بالتعاون مع باحثين من جامعة بنسلفانيا عن فشل ذريع لنموذج "آر 1" من شركة "ديب سيك" الصينية في التصدي للمحتوى الضار، إذ حقق النموذج معدل نجاح هجمات بنسبة 100%، مما يعني أنه فشل في منع أي مطالبات ضارة، بحسب تقرير نشره موقع "إنترستنغ إنجنيرينغ".
وقد حظي روبوت الدردشة الجديد من "ديب سيك" باهتمام واسع بسبب أدائه المذهل وتكلفته المنخفضة مقارنة بالمنافسين، وبحسب التقارير فإن تكلفة تطوير نموذج "آر 1" بلغت 6 ملايين دولار، في حين تصل تكلفة الاستثمارات في نماذج الشركات الكبرى مثل "أوبن إيه آي" و"ميتا" و"غوغل" إلى مليارات.
وأوضح فريق البحث أن "ديب سيك" دمجت تقنيات عدة في نموذجها، مثل مطالبة سلسلة الأفكار ونمذجة المكافآت وأخيرا تقنية التقطير، وذلك بهدف إنشاء نموذج يتفوق على نماذج اللغة الكبيرة التقليدية في مهام الاستدلال مع الحفاظ على الأداء العالي، ورغم دمج جميع هذه التقنيات فإن تقرير "سيسكو" كشف عن عيوب في النموذج تجعله عرضة للاستخدامات الخبيثة والاحتيالية.
وجاء في التقرير "تشير نتائجنا إلى أن أساليب التدريب الرخيصة والتي تدّعيها "ديب سيك" -بما في ذلك التعلم المعزز ومطالبة سلسلة الأفكار وتقنية التقطير- ربما أدت إلى إضعاف آليات الأمان الخاصة بها".
استخدم فريق البحث تقنية كسر حماية الخوارزمية التي تعرف باسم "الخوارزميك جلبريك"، وهي تقنية تُستخدم لتحديد الثغرات في نماذج الذكاء الاصطناعي عن طريق إنشاء مطالبات مصممة لتجاوز بروتوكولات الأمان.
إعلانوقد اختبر الفريق نموذج "ديب سيك" ضد 50 مطالبة وفق معيار "هارمبينش"، وهو مجموعة بيانات مرجعية مخصصة لتقييم نماذج اللغة الكبيرة من حيث قدرتها على توليد محتوى ضار.
وذكر الفريق أن معيار "هارمبينش" يحتوي على إجمالي 400 سلوك ضمن 7 فئات ضارة، بما في ذلك الجرائم السيبرانية والمعلومات المضللة والأنشطة غير القانونية والأضرار العامة.
وقد تبين أن تقييم نموذج "ديب سيك" مثير للقلق، لأنه أظهر معدل نجاح الهجوم بنسبة 100%، وهذا يعني أنه في كل مرة تُكتب له مطالبة ضارة فإنه يفشل في التعرف على مخاطرها ويقدم إجابات متجاوزا جميع إجراءات الأمان الداخلية الخاصة به، على خلاف النماذج الرائدة الأخرى، والتي أظهرت مقاومة جزئية على الأقل، بحسب الفريق.
بالمقابل، اختبر فريق البحث نماذج ذكاء اصطناعي رائدة لمعرفة مدى ضعفها أمام "الخوارزميك جلبريك"، وكانت النتائج أن معدل نجاح الهجوم في نموذج "لاما 3.1-405 بي" كان 96%، و"جي بي تي 4 أو" بنسبة 86%، و"جيميناي 1.5 برو" 64%، و"كلود 3.5″ 36%، وفي النهاية نموذج "أو 1" بنسبة 26%.
ورغم أن هذه النماذج ليست محصنة ضد الاختراق فإنها تمتلك نوعا من الحماية الداخلية لمنع استغلالها في إنشاء محتوى ضار، ويبدو أن نموذج "ديب سيك" يفتقر إلى هذه الحماية.
وتشير تحليلات الفريق البحثي إلى وجود تناقض بين الكفاءة والسلامة في نهج "ديب سيك"، فبينما نجحت الشركة في تطوير نموذج عالي الأداء بتكلفة أقل بكثير من المعتاد لكن يبدو أنها فعلت ذلك على حساب آليات السلامة القوية.
يذكر أن نموذج الذكاء الاصطناعي الصيني واجه جدلا كبيرا منذ إطلاقه، إذ تدّعي شركة الأبحاث المستقلة "سيمي أنلايزس" أن تكلفة تدريب هذا النموذج قد تصل إلى 1.3 مليار دولار، وهو ما يتناقض بشدة مع تقدير الشركة الذي لا يتجاوز 6 ملايين دولار.
إعلانالمصدر: الجزيرة
كلمات دلالية: حريات فریق البحث دیب سیک
إقرأ أيضاً:
السيطرة على حريق فى مخلفات بجوار سور كلية التربية النوعية جامعة طنطا
شهدت المنطقة المحيطة بكلية التربية النوعية بشارع توت عنخ آمون بطنطا بمحافظة الغربية، نشوب حريق محدود في بعض مخلفات القمامة المتراكمة خارج أسوار الكلية، وامتدت ألسنة اللهب لتصل إلى إحدى المناور الخالية داخل الكلية، والتي تحتوي على بعض المخلفات.
وتعاملت الدكتورة رانيا عبده الإمام عميد الكلية بحكمة وسرعة مع الموقف، حيث قادت جهود للسيطرة على الحريق داخل الكلية باستخدام طفايات الحريق المتوفرة، وتمكنت فرق الأمن والسلامة بالكلية من إخماد النيران بشكل كامل.
وبالتزامن مع ذلك وصلت سيارة إطفاء من إدارة الحماية المدنية بالغربية، وتمكنت من إخماد النيران الخارجية بشكل تام.
وأكدت عميد الكلية أنه لم تقع أي إصابات أو تلفيات، وأن الوضع تحت السيطرة الكاملة، و أثنت عميد الكلية على سرعة استجابة فرق الأمن والسلامة بالكلية.
مشاركة
الرقابة الإدارية تضبط رئيسي مجلسي إدارة سابقين ﻟﺸﺮﻛﺘﯿﻦ قابضتين بتهمة الرشوة