تطوير برنامج حماية للذكاء الاصطناعي من الاختراق
تاريخ النشر: 4th, February 2025 GMT
أعلنت شركة "أنثروبيك" عن تطوير نظام جديد يمكنه حماية نماذج الذكاء الاصطناعي من محاولات كسر حواجز الحماية (جيل بريك).
وفي التقنية الجديدة يمكن كشف محاولة كسر الحماية على مستوى الإدخال ومنع الذكاء الاصطناعي من توليد استجابة ضارة نتيجة لذلك، واختبرت شركة الذكاء الاصطناعي قوة النظام من خلال برامج كسر الحماية المستقلة وفتحت أيضا عرضا توضيحياً حياً مؤقتاً للنظام للسماح لأي فرد مهتم باختبار قدراته، وفق "غادجيت 360".
ويُطلق على هذا النظام اسم Dubbed Constitutional Classifiers ، وهي عبارة عن تقنية حماية يمكنها اكتشاف محاولات الاختراق.
ويشير "كسر الحماية في الذكاء الاصطناعي التوليدي"، إلى تقنيات الكتابة السريعة غير العادية التي يمكن أن تجبر نموذج الذكاء الاصطناعي على عدم الالتزام بإرشادات التدريب الخاصة به وإنشاء محتوى ضار وغير مناسب.
وكسر الحماية ليس شيئاً جديداً، ويطبق معظم مطوري الذكاء الاصطناعي العديد من الضمانات ضده داخل النموذج، غير أنه، ونظراً لأن مهندسي كسر الحماية يواصلون إنشاء تقنيات جديدة، فمن الصعب بناء نموذج لغوي كبير (LLM) محمي تماماً من مثل هذه الهجمات.
وتتضمن بعض تقنيات كسر الحماية مطالبات طويلة للغاية ومعقدة تربك قدرات الذكاء الاصطناعي على التفكير.
ويستخدم البعض الآخر مطالبات متعددة لكسر الضمانات، ويستخدم البعض حتى أحرفاً كبيرة غير عادية لاختراق دفاعات الذكاء الاصطناعي.
وفي منشور يفصل البحث، أعلنت شركة أنثروبيك أنها تعمل على تطوير برنامج كطبقة واقية لنماذج الذكاء الاصطناعي.
وعلاوة على ذلك، أثناء اختبار التقييم الآلي، حيث جربت شركة الذكاء الاصطناعي Claude باستخدام 10000 مطالبة لكسر الحماية، ووجد أن معدل النجاح كان 4.4 بالمائة، مقابل 86 بالمائة لنموذج الذكاء الاصطناعي غير المحمي، وتمكنت أنثروبيك أيضاً من تقليل الرفض المفرط (رفض الاستعلامات غير الضارة) ومتطلبات قوة المعالجة الإضافية للبرنامج الجديد.
المصدر: موقع 24
كلمات دلالية: عام المجتمع اتفاق غزة سقوط الأسد عودة ترامب إيران وإسرائيل غزة وإسرائيل الإمارات الحرب الأوكرانية الذكاء الاصطناعي الذکاء الاصطناعی
إقرأ أيضاً:
الصحة تشارك في فعاليات مبادرة شباب سوهاج الرقمية للذكاء الاصطناعي
في إطار اهتمام الدولة بتمكين الشباب وتأهيلهم لسوق العمل الحديث، شارك الدكتور عمرو دويدار وكيل وزارة الصحة بسوهاج في فعاليات مبادرة شباب سوهاج الرقمية للذكاء الاصطناعي.
والتي تنظمها رابطة المرأة المصرية برئاسة الدكتورة ريهام العادلي، وذلك بحضور نخبة من الشخصيات الأكاديمية والقيادات التنفيذية.
تهدف المبادرة إلى تقديم برامج تدريبية مجانية لشباب محافظة سوهاج، لتأهيلهم في مجالات الذكاء الاصطناعي والتحول الرقمي، بما يواكب التطورات التكنولوجية العالمية.
شهدت الفعالية مشاركة عدد من الشخصيات البارزة، من بينهم الدكتورة ريهام العادلي، رئيس رابطة المرأة المصرية وعضو مجلس إدارة جامعة أسما للطفل.
الدكتور عبدالجواد أبوكب، زميل أكاديمية ناصر العسكرية العليا والدكتورة عندليب حسين فهمي، أستاذ الذكاء الاصطناعي والتحول الرقمي بالجامعة الأمريكية.
وأكد "دويدار" على أهمية مثل هذه المبادرات في دعم الشباب وتزويدهم بالمهارات اللازمة للمستقبل.
واشار إلى أن التحول الرقمي أصبح ركيزة أساسية في كافة مجالات العمل، بما فيها القطاع الصحي.
كما أشادت الدكتورة ريهام العادلي بالدور الفعال الذي تقوم به محافظة سوهاج في دعم المبادرات الشبابية، مؤكدة أن رابطة المرأة المصرية مستمرة في تقديم برامج تدريبية مجانية لرفع كفاءة الكوادر الشبابية على مستوى الجمهورية.
كما ثمنت دور القطاع الصحي ومجهوداته الملموسة داخل المجتمع وخاصة في الخدمات والمبادرات التي تهتم بصحة المرأة المصرية.
كما أهدت الدكتور عمرو دويدار درع الرابطة لمجهوداته المبذولة للنهوض بالمنظومة الصحية بالمحافظة.
وفي سياق متصل وعلى هامش الفعاليات افتتح الحضور معرض تراث سوهاج لتشجيع الحرف اليدوية التي تشارك بها المرأة المصرية وتبدع فيها دائما.
تأتي هذه المبادرة في إطار رؤية مصر 2030، والتي تسعى إلى بناء مجتمع رقمي متكامل وتنمية القدرات البشرية لدعم الاقتصاد الرقمي.
العراق يوجه دعوة رسمية لأحمد الشرع للمشاركة في القمة العربية