تكنولوجيا دراسة جامعة كارنيجي ميلون: روبوتات الدردشة يسهل اختراقها واستخدامها بطرق خطيرة
تاريخ النشر: 29th, July 2023 GMT
تكنولوجيا، دراسة جامعة كارنيجي ميلون روبوتات الدردشة يسهل اختراقها واستخدامها بطرق خطيرة،وجد باحثون في جامعة كارنيجي ميلون في بيتسبرغ ومركز الذكاء الاصطناعي أن أدوات الذكاء .،عبر صحافة مصر، حيث يهتم الكثير من الناس بمشاهدة ومتابعه الاخبار، وتصدر خبر دراسة جامعة كارنيجي ميلون: روبوتات الدردشة يسهل اختراقها واستخدامها بطرق خطيرة، محركات البحث العالمية و نتابع معكم تفاصيل ومعلوماته كما وردت الينا والان إلى التفاصيل.
وجد باحثون في جامعة كارنيجي ميلون في بيتسبرغ ومركز الذكاء الاصطناعي أن أدوات الذكاء الاصطناعي الجديدة من أمثال bard لشركة جوجل و ChatGPT من شركة OpenAI وروبوت دردشة كلاود من شركة أثروبيك Anthropic غير آمنة ويمكن اختراق أنظمة الأمان والسلامة بها في منتهى السهولة .
وفقا لتقرير موقع businessinsider تخضع نماذج اللغات الكبيرة التي تعتبر بمثابة العمود الفقري لروبوتات الدردشة الداعمة لـ ChatGPT و Bard و Claude للإشراف على نطاق واسع من قبل شركات التكنولوجيا، تم تجهيزها بحواجز حماية واسعة النطاق لضمان عدم استخدامها بشكل يضر المستخدمين ويسرب بياناتهم أو استخدامها في الشر ، على سبيل المثال إرشاد المستخدمين إلى كيفية صنع قنبلة أو كتابة كلام يحض على الكراهية.
روبوتات الدردشة سهل اختراقها واستخدامها بطرق خطيرةلكن باحثون في جامعة كارنيجي ميلون في بيتسبرغ ومركز الذكاء الاصطناعي، أكدوا أن أنظمة الأمان في هذه الروبوتات يمكن اختراقها بسهولة تامة، مع استخدام برامج كسر الحماية jailbreaks التي طوروها لأنظمة مفتوحة المصدر لاستهداف أنظمة الذكاء الاصطناعي السائدة.
أظهرت الورقة البحثية أن الهجمات العدائية الآلية ، التي تتم بشكل أساسي عن طريق إضافة أحرف إلى نهاية استفسارات المستخدم ، يمكن استخدامها لكسر واختراق قواعد السلامة واستفزاز روبوتات المحادثة لإنتاج محتوى ضار أو معلومات مضللة أو خطاب يحض على الكراهية.
روبوتات الدردشة سهل اختراقها واستخدامها بطرق خطيرةكشف الباحثون عن نتائج دراستهم البحثية لكل من Google و Anthropic و OpenAI. فيما قال متحدث باسم جوجل لـ Insider: "في حين أن هذه مشكلة عبر النماذج اللغوية الكبيرة LLMs ، فقد قمنا ببناء حواجز حماية مهمة في Bard وسنستمر في تحسينها بمرور الوقت لتكون أقوى وأكثر فعالية"
وصف ممثلو شركة أنثروبيك Anthropic إجراءات الجيلبريك بأنها مجال بحث نشط من قبل الشركة وأنهم يعترفون أن هناك المزيد من العمل عليهم القيام به وقال متحدث باسم الشركة: "إننا نجرب طرقًا لتقوية حواجز حماية النموذج الأساسي لجعلها أكثر أمانا وأقل ضررا مع التحقق من وجود طبقات دفاعية إضافية".
عندما تم إطلاق ChatGPT من OpenAI و Bing المدعوم بالذكاء الاصطناعي من مايكروسوفت، استمتع العديد من مجرمي الإنترنت بإيجاد طرق لكسر حواجز النظام الأساسي واستخدامه بشكل غير مشروع. تم تصحيح العديد من الاختراقات وما زالت الشركات المختلفة تحاول تحسين الخدمة المقدمة.
185.208.78.254
اقرأ على الموقع الرسمي
وفي نهاية المقال نود ان نشير الى ان هذه هي تفاصيل دراسة جامعة كارنيجي ميلون: روبوتات الدردشة يسهل اختراقها واستخدامها بطرق خطيرة وتم نقلها من صدى البلد نرجوا بأن نكون قد وفقنا بإعطائك التفاصيل والمعلومات الكامله .
علما ان فريق التحرير في صحافة العرب بالتاكد منه وربما تم التعديل علية وربما قد يكون تم نقله بالكامل اوالاقتباس منه ويمكنك قراءة ومتابعة مستجدادت هذا الخبر او الموضوع من مصدره الاساسي.
المصدر: صحافة العرب
كلمات دلالية: الذكاء الذكاء ايجي بست موعد عاجل الدولار الامريكي اليوم اسعار الذهب اسعار النفط مباريات اليوم جدول ترتيب حالة الطقس الذکاء الاصطناعی
إقرأ أيضاً:
الذكاء الاصطناعي في يد الهاكرز.. ديب سيك R1 يمكنه تطوير برامج الفدية الخبيثة
كشف باحثو الأمن السيبراني، عن كيفية استغلال نموذج الذكاء الاصطناعي الصيني من ديب سيك Deepseek-R1، في محاولات تطوير متغيرات من برامج الفدية والأدوات الرئيسية مع قدرات عالية على التهرب من الكشف.
ووفقا لتحذيرات فريق Tenable، فأن النتائج لا تعني بالضرورة بداية لحقبة جديدة من البرامج الضارة، حيث يمكن لـ Deepseek R-1 "إنشاء الهيكل الأساسي للبرامج الضارة" ولكنه يحتاج إلى مزيدا من الهندسة الموجهة ويتطلب إخراجها تعديلات يديوية لاخراج الشيفرة البرمجية الضارة بشكل كامل.
ومع ذلك، أشار نيك مايلز، من Tenable، إلى أن إنشاء برامج ضارة أساسية باستخدام Deepseek-R1، يمكن أن يساعد "شخص ليس لديه خبرة سابقة في كتابة التعليمات البرمجية الضارة" من تطوير أدوات تخريبية بسرعة، بمل في ذلك القدرة على التعرف بسرعة على فهم المفاهيم ذات الصلة.
في البداية، انخرط ديب سيك في كتابة البرامج الضارة، لكنها كانت على استعداد للقيام بذلك بعد أن طمأن الباحثين من أن توليد رمز ضار سيكون "لأغراض تعليمية فقط".
ومع ذلك، كشفت التجربة عن أن النموذج قادر على تخطي بعض تقنيات الكشف التقليدية، على سبيل المثال حاول Deepseek-R1 التغلب على آلية اكتشاف مفتاح Keylogger، عبر تحسين الكود لاستخدام Setwindowshookex وتسجيل ضربات المفاتيح في ملفات مخفية لتجنب الكشف من قبل برامج مكافحة الفيروسات.
وقال مايلز إن النموذج حاول التغلب على هذا التحدي من خلال محاولة “موازنة فائدة السنانير والتهرب من الكشف”، اختار في النهاية مقاضاة Setwindowshookex وتسجيل ضربات المفاتيح في ملف مخفي.
وقال مايلز: “بعد بعض التعديلات مع ديب سيك، أنتجت رمزا لمفتاح Keylogger الذي كان يحتوي على بعض الأخطاء التي تطلبت تصحيحا يدويا”.
وأضاف أن النتيجة كانت أربعة "أخطاء في إيقاف العرض بعيدا عن مفتاح التشغيل الكامل".
في محاولات أخرى، دفع الباحثون نموذج R1 إلى إنشاء رمز الفدية، حيث أخبر Deepseek-R1 بالمخاطر القانونية والأخلاقية المرتبطة بإنشاء مثل هذا الكود الضار، لكنه استمر في توليد عينات من البرمجيات الخبيثة بعد أن تأكد من نوايا الباحثون الحسنة.
على الرغم من أن جميع العينات كانت بحاجة إلى تعديلات يدوية من أجل التجميع، تمكنا الباحثون من إنشاء عدة عينات، وقال مايلز إن هناك احتمالية كبيرة بأن يسهم Deepseek-R1 في المزيد من تطوير البرمجيات الضارة التي تم إنشاؤه بواسطة الذكاء الاصطناعي من قبل مجرمي الإنترنت في المستقبل القريب.
غضب يمني عارم إزاء استهداف الأعيان المدنية