اختراق خدمات الذكاء الاصطناعي مثل ChatGPT و Claude 3 Opus أسهل مما تتخيل
تاريخ النشر: 15th, April 2024 GMT
كشف بحث جديد أن اختراق حماية خدمات الذكاء الاصطناعي المتقدمة مثل ChatGPT و Claude 3 Opus أسهل مما كان يعتقد سابقًا.
وتشير هذه النتائج إلى وجود ثغرات أمنية محتملة في هذه الأنظمة، والتي يمكن استغلالها لإنتاج محتوى ضار أو مضلل.
تقنية "Many-Shot Jailbreaking"
تعتمد تقنية الاختراق المسماة "Many-Shot Jailbreaking" على تقديم سلسلة من التعليمات المتلاعبة بها بعناية إلى نموذج الذكاء الاصطناعي.
سهولة الاختراق
أظهرت الدراسة أن اختراق نماذج الذكاء الاصطناعي باستخدام تقنية "Many-Shot Jailbreaking" ممكن بنسبة نجاح عالية.
وتمكن الباحثون من اختراق نماذج مثل ChatGPT و Claude 3 Opus بسهولة، ما يثير القلق بشأن سلامة هذه الأنظمة.
التداعيات
تثير هذه النتائج مخاوف جدية بشأن إمكانية استخدام نماذج الذكاء الاصطناعي لأغراض ضارة. فمن الممكن أن يستغل المهاجمون هذه الثغرات الأمنية لنشر معلومات مضللة أو التحريض على العنف أو حتى شن هجمات إلكترونية.
الحاجة إلى إجراءات أمنية
يؤكد الباحثون على الحاجة الملحة إلى تطوير إجراءات أمنية أكثر قوة لحماية نماذج الذكاء الاصطناعي من الاختراق.
وتشمل هذه الإجراءات تحسين خوارزميات الكشف عن التلاعب بالتعليمات وتطوير طرق أفضل لفهم وتوقع سلوك النماذج.
مستقبل الذكاء الاصطناعي
على الرغم من هذه المخاوف، لا يزال الذكاء الاصطناعي يحمل إمكانات هائلة لتحسين حياتنا. ولكن من الضروري معالجة هذه الثغرات الأمنية لضمان استخدام هذه التقنية بشكل آمن ومسؤول.
المصدر: صدى البلد
كلمات دلالية: الذکاء الاصطناعی
إقرأ أيضاً:
دراسة تحذر من تدهور القدرات المعرفية لمستخدمي الذكاء الاصطناعي
كشفت دراسة جديدة، أن الاعتماد على أدوات الذكاء الاصطناعي في العمل، يؤدي إلى تدهور القدرات المعرفية للمستخدمين.
وذكرت الدراسة التي أجرتها شركة البرمجيات الأمريكية « مايكروسوفت »، وجامعة كارنيجي ميلون، أن الاستخدام غير السليم للتكنولوجيا يمكن أن يؤدي إلى تدهور القدرات المعرفية التي ينبغي الحفاظ عليها، مشيرة إلى أن استخدام الذكاء الاصطناعي قد يؤدي إلى تخلي الأشخاص عن القيام بالمهام المعرفية الصعبة مثل وضع الاستراتيجيات وحل المشكلات، والاكتفاء بالمهام الروتينية مثل التحقق من مخرجات أدوات الذكاء الاصطناعي.
وأوضح فريق الدراسة، أنه بعد تقييم إجابات مستخدمي أدوات الذكاء الاصطناعي مثل « شات جي.بي.تي » للقيام بمهام مثل كتابة رسائل البريد الإلكتروني الخاصة برؤسائهم، أو مراجعة أداء زملائهم، ظهر أن الذكاء الاصطناعي التوليدي حول طبيعة التفكير النقدي إلى مجرد التحقق من المعلومات ودمج الإجابات وإدارة المهام.
وأجريت الدراسة على أكثر من 300 شخص يعملون في وظائف معرفية، حيث ظهر خلالها انخفاض ملحوظ في الجهد المعرفي بين الكثيرين ممن شملهم المسح، بعدما شرح أصحاب العينة أكثر من 900 مثال على كيفية استخدامهم للذكاء الاصطناعي أثناء القيام بعملهم.
الاعتماد على أدوات الذكاء الاصطناعي يؤدي إلى تدهور القدرات المعرفية للمستخدمين (دراسة)
كشفت دراسة جديدة أن الاعتماد على أدوات الذكاء الاصطناعي في العمل، يؤدي إلى تدهور القدرات المعرفية للمستخدمين.
وذكرت الدراسة التي أجرتها شركة البرمجيات الأمريكية « مايكروسوفت »، وجامعة كارنيجي ميلون، أن الاستخدام غير السليم للتكنولوجيا يمكن أن يؤدي إلى تدهور القدرات المعرفية التي ينبغي الحفاظ عليها، مشيرة إلى أن استخدام الذكاء الاصطناعي قد يؤدي إلى تخلي الأشخاص عن القيام بالمهام المعرفية الصعبة مثل وضع الاستراتيجيات وحل المشكلات، والاكتفاء بالمهام الروتينية مثل التحقق من مخرجات أدوات الذكاء الاصطناعي.
وأوضح فريق الدراسة، أنه بعد تقييم إجابات مستخدمي أدوات الذكاء الاصطناعي مثل « شات جي.بي.تي » للقيام بمهام مثل كتابة رسائل البريد الإلكتروني الخاصة برؤسائهم، أو مراجعة أداء زملائهم، ظهر أن الذكاء الاصطناعي التوليدي حول طبيعة التفكير النقدي إلى مجرد التحقق من المعلومات ودمج الإجابات وإدارة المهام.
وأجريت الدراسة على أكثر من 300 شخص يعملون في وظائف معرفية، حيث ظهر خلالها انخفاض ملحوظ في الجهد المعرفي بين الكثيرين ممن شملهم المسح، بعدما شرح أصحاب العينة أكثر من 900 مثال على كيفية استخدامهم للذكاء الاصطناعي أثناء القيام بعملهم.
كلمات دلالية الذكاء الاصطناعي تحذير دراسة
واشنطن: "اتفاق المعادن" مع أوكرانيا لا يشمل ضمانات أمنية