تطوير برنامج حماية للذكاء الاصطناعي من الاختراق
تاريخ النشر: 4th, February 2025 GMT
أعلنت شركة "أنثروبيك" عن تطوير نظام جديد يمكنه حماية نماذج الذكاء الاصطناعي من محاولات كسر حواجز الحماية (جيل بريك).
وفي التقنية الجديدة يمكن كشف محاولة كسر الحماية على مستوى الإدخال ومنع الذكاء الاصطناعي من توليد استجابة ضارة نتيجة لذلك، واختبرت شركة الذكاء الاصطناعي قوة النظام من خلال برامج كسر الحماية المستقلة وفتحت أيضا عرضا توضيحياً حياً مؤقتاً للنظام للسماح لأي فرد مهتم باختبار قدراته، وفق "غادجيت 360".
ويُطلق على هذا النظام اسم Dubbed Constitutional Classifiers ، وهي عبارة عن تقنية حماية يمكنها اكتشاف محاولات الاختراق.
ويشير "كسر الحماية في الذكاء الاصطناعي التوليدي"، إلى تقنيات الكتابة السريعة غير العادية التي يمكن أن تجبر نموذج الذكاء الاصطناعي على عدم الالتزام بإرشادات التدريب الخاصة به وإنشاء محتوى ضار وغير مناسب.
وكسر الحماية ليس شيئاً جديداً، ويطبق معظم مطوري الذكاء الاصطناعي العديد من الضمانات ضده داخل النموذج، غير أنه، ونظراً لأن مهندسي كسر الحماية يواصلون إنشاء تقنيات جديدة، فمن الصعب بناء نموذج لغوي كبير (LLM) محمي تماماً من مثل هذه الهجمات.
وتتضمن بعض تقنيات كسر الحماية مطالبات طويلة للغاية ومعقدة تربك قدرات الذكاء الاصطناعي على التفكير.
ويستخدم البعض الآخر مطالبات متعددة لكسر الضمانات، ويستخدم البعض حتى أحرفاً كبيرة غير عادية لاختراق دفاعات الذكاء الاصطناعي.
وفي منشور يفصل البحث، أعلنت شركة أنثروبيك أنها تعمل على تطوير برنامج كطبقة واقية لنماذج الذكاء الاصطناعي.
وعلاوة على ذلك، أثناء اختبار التقييم الآلي، حيث جربت شركة الذكاء الاصطناعي Claude باستخدام 10000 مطالبة لكسر الحماية، ووجد أن معدل النجاح كان 4.4 بالمائة، مقابل 86 بالمائة لنموذج الذكاء الاصطناعي غير المحمي، وتمكنت أنثروبيك أيضاً من تقليل الرفض المفرط (رفض الاستعلامات غير الضارة) ومتطلبات قوة المعالجة الإضافية للبرنامج الجديد.
المصدر: موقع 24
كلمات دلالية: عام المجتمع اتفاق غزة سقوط الأسد عودة ترامب إيران وإسرائيل غزة وإسرائيل الإمارات الحرب الأوكرانية الذكاء الاصطناعي الذکاء الاصطناعی
إقرأ أيضاً:
خلال زيارة سدايا.. الرئيس السوري يطلع على تقنيات البيانات والذكاء الاصطناعي في المملكة
زار الرئيس أحمد الشرع رئيس الجمهورية العربية السورية ووزير الخارجية والمغتربين أسعد الشيباني، والوفد المرافق لهما مساء الأحد، مقر الهيئة السعودية للبيانات والذكاء الاصطناعي "سدايا"، وذلك في إطار زيارته الحالية إلى المملكة.
وكان في استقباله لدى وصوله والوفد المرافق له، وزير الدولة عضو مجلس الوزراء رئيس مجلس إدارة الهيئة الوطنية للأمن السيبراني د. مساعد بن محمد العيبان، ووزير الاتصالات وتقنية المعلومات م. عبدالله بن عامر السواحة، ورئيس الهيئة السعودية للبيانات والذكاء الاصطناعي "سدايا" د. عبدالله بن شرف الغامدي، ومحافظ الهيئة الوطنية للأمن السيبراني م. ماجد بن محمد المزيد، ومحافظ هيئة الزكاة والضريبة والجمارك سهيل بن محمد أبانمي.دعم القيادة الرشيدةتجول الرئيس السوري على مرافق "سدايا" التقنية المرتبطة بمجال البيانات والذكاء الاصطناعي، مستمعًا إلى إيجاز من رئيس الهيئة السعودية للبيانات والذكاء الاصطناعي عن الجهود التي تبذلها المملكة في هذا المجال، ضمن إطار رؤية السعودية 2030 بدعم مستمر ومتواصل من صاحب السمو الملكي الأمير محمد بن سلمان بن عبدالعزيز آل سعود ولي العهد رئيس مجلس الوزراء رئيس مجلس إدارة الهيئة السعودية للبيانات والذكاء الاصطناعي - حفظه الله -، وذلك لبناء اقتصاد وطني قائم على البيانات، ولجعل المملكة مركزًا عالميًا لتقنيات الذكاء الاصطناعي.
أخبار متعلقة سماء طريف.. مشهد بديع لاقتران القمر والزهرة في بداية الليلمكة المكرمة.. مستشفى قوى الأمن يحصل على اعتماد الكلية الأمريكية لعلم الأمراض .article-img-ratio{ display:block;padding-bottom: 67%;position:relative; overflow: hidden;height:0px; } .article-img-ratio img{ object-fit: contain; object-position: center; position: absolute; height: 100% !important;padding:0px; margin: auto; width: 100%; } الرئيس السوري خلال زيارته مقر سدايا - واس
وتطرق إلى جهود المملكة في تحقيق الاستفادة المثلى من تقنيات البيانات والذكاء الاصطناعي وما حققته من تقدم في مجالات تنموية عدة، منها استخدام البيانات لدعم الجهات الحكومية في تسهيل وصول المواطنين والمقيمين والحجاج والمعتمرين لخدماتها بكل يسر وأمن، ومنها ما يقدمه التطبيق الوطني الشامل "توكلنا".عروض من منظومة الاقتصاد الرقميكما جرى خلال الزيارة، تقديم عروض مرئية من منظومة الاقتصاد الرقمي، ومن الهيئة الوطنية للأمن السيبراني، وهيئة الزكاة والضريبة والجمارك.
ورافق الرئيس السوري خلال الزيارة، وزير الدولة عضو مجلس الوزراء محمد بن عبدالملك آل الشيخ (الوزير المرافق)، وسفير خادم الحرمين الشريفين لدى سوريا فيصل المجفل.
.article-img-ratio{ display:block;padding-bottom: 67%;position:relative; overflow: hidden;height:0px; } .article-img-ratio img{ object-fit: contain; object-position: center; position: absolute; height: 100% !important;padding:0px; margin: auto; width: 100%; } الرئيس السوري خلال زيارته مقر سدايا - واس
الرئيس الشرع والوزير الشيباني يتوجهان لزيارة الجمهورية التركية