بمعدل نجاح هجوم 100%.. ديب سيك يفشل في اختبارات الأمان والسلامة
تاريخ النشر: 5th, February 2025 GMT
كشف اختبار أمني مشترك أجراه فريق بحثي تابع لشركة "سيسكو" بالتعاون مع باحثين من جامعة بنسلفانيا عن فشل ذريع لنموذج "آر 1" من شركة "ديب سيك" الصينية في التصدي للمحتوى الضار، إذ حقق النموذج معدل نجاح هجمات بنسبة 100%، مما يعني أنه فشل في منع أي مطالبات ضارة، بحسب تقرير نشره موقع "إنترستنغ إنجنيرينغ".
وقد حظي روبوت الدردشة الجديد من "ديب سيك" باهتمام واسع بسبب أدائه المذهل وتكلفته المنخفضة مقارنة بالمنافسين، وبحسب التقارير فإن تكلفة تطوير نموذج "آر 1" بلغت 6 ملايين دولار، في حين تصل تكلفة الاستثمارات في نماذج الشركات الكبرى مثل "أوبن إيه آي" و"ميتا" و"غوغل" إلى مليارات.
وأوضح فريق البحث أن "ديب سيك" دمجت تقنيات عدة في نموذجها، مثل مطالبة سلسلة الأفكار ونمذجة المكافآت وأخيرا تقنية التقطير، وذلك بهدف إنشاء نموذج يتفوق على نماذج اللغة الكبيرة التقليدية في مهام الاستدلال مع الحفاظ على الأداء العالي، ورغم دمج جميع هذه التقنيات فإن تقرير "سيسكو" كشف عن عيوب في النموذج تجعله عرضة للاستخدامات الخبيثة والاحتيالية.
وجاء في التقرير "تشير نتائجنا إلى أن أساليب التدريب الرخيصة والتي تدّعيها "ديب سيك" -بما في ذلك التعلم المعزز ومطالبة سلسلة الأفكار وتقنية التقطير- ربما أدت إلى إضعاف آليات الأمان الخاصة بها".
استخدم فريق البحث تقنية كسر حماية الخوارزمية التي تعرف باسم "الخوارزميك جلبريك"، وهي تقنية تُستخدم لتحديد الثغرات في نماذج الذكاء الاصطناعي عن طريق إنشاء مطالبات مصممة لتجاوز بروتوكولات الأمان.
إعلانوقد اختبر الفريق نموذج "ديب سيك" ضد 50 مطالبة وفق معيار "هارمبينش"، وهو مجموعة بيانات مرجعية مخصصة لتقييم نماذج اللغة الكبيرة من حيث قدرتها على توليد محتوى ضار.
وذكر الفريق أن معيار "هارمبينش" يحتوي على إجمالي 400 سلوك ضمن 7 فئات ضارة، بما في ذلك الجرائم السيبرانية والمعلومات المضللة والأنشطة غير القانونية والأضرار العامة.
وقد تبين أن تقييم نموذج "ديب سيك" مثير للقلق، لأنه أظهر معدل نجاح الهجوم بنسبة 100%، وهذا يعني أنه في كل مرة تُكتب له مطالبة ضارة فإنه يفشل في التعرف على مخاطرها ويقدم إجابات متجاوزا جميع إجراءات الأمان الداخلية الخاصة به، على خلاف النماذج الرائدة الأخرى، والتي أظهرت مقاومة جزئية على الأقل، بحسب الفريق.
بالمقابل، اختبر فريق البحث نماذج ذكاء اصطناعي رائدة لمعرفة مدى ضعفها أمام "الخوارزميك جلبريك"، وكانت النتائج أن معدل نجاح الهجوم في نموذج "لاما 3.1-405 بي" كان 96%، و"جي بي تي 4 أو" بنسبة 86%، و"جيميناي 1.5 برو" 64%، و"كلود 3.5″ 36%، وفي النهاية نموذج "أو 1" بنسبة 26%.
ورغم أن هذه النماذج ليست محصنة ضد الاختراق فإنها تمتلك نوعا من الحماية الداخلية لمنع استغلالها في إنشاء محتوى ضار، ويبدو أن نموذج "ديب سيك" يفتقر إلى هذه الحماية.
وتشير تحليلات الفريق البحثي إلى وجود تناقض بين الكفاءة والسلامة في نهج "ديب سيك"، فبينما نجحت الشركة في تطوير نموذج عالي الأداء بتكلفة أقل بكثير من المعتاد لكن يبدو أنها فعلت ذلك على حساب آليات السلامة القوية.
يذكر أن نموذج الذكاء الاصطناعي الصيني واجه جدلا كبيرا منذ إطلاقه، إذ تدّعي شركة الأبحاث المستقلة "سيمي أنلايزس" أن تكلفة تدريب هذا النموذج قد تصل إلى 1.3 مليار دولار، وهو ما يتناقض بشدة مع تقدير الشركة الذي لا يتجاوز 6 ملايين دولار.
إعلانالمصدر: الجزيرة
كلمات دلالية: حريات فریق البحث دیب سیک
إقرأ أيضاً:
محافظ أسوان يعتمد نتيجة الشهادة الإعدادية بنسبة نجاح 70.27%
اعتمد اللواء دكتور إسماعيل كمال محافظ أسوان، اليوم، نتيجة الفصل الدراسي الأول للشهادة الإعدادية العامة واللغات للعام الدراسي 2024/2025 بنسبة نجاح 70.27%.
كما اعتمد المحافظ، نتيجة الشهادة الإعدادية المهنية بنسبة 75%، وأيضا الشهادة الإعدادية للمكفوفين بنسبة 100%، فيما بلغت نسبة النجاح للشهادة الإعدادية للصم وضعاف السمع 100%.
محافظ أسوان يهنئ الطلاب الناجحينوهنأ محافظ أسوان، الطلاب الناجحين، متمنيا لهم دوام التفوق والنجاح، مع بذل المزيد من الجهد والتحصيل الدراسي لتحقيق أفضل النتائج في المراحل التعليمية التالية ليصبحوا في مقدمة النابغين وطليعة أبناء وطنهم الذين يسعون للنهوض به لمزيد من التقدم والازدهار في المستقبل.
ومن جانبه، أوضح المهندس محمد الرشيدي، في بيان صادر عن المحافظة، أن عدد المتقدمين لأداء امتحانات الشهادة الإعدادية العامة واللغات بلغ 27 ألفا و911 طالبا، ووصل إجمالي عدد الطلاب الحاصلين على 50% فأكثر 19 ألفا و615 طالبا، على أن يتم فتح باب التظلمات الأحد المقبل، ولمدة 15 يوما.
جامعة أسيوط تشهد محاضرة ”مفهوم وأبعاد الأمن القومي" ضمن دورة التربية العسكرية