تكنولوجيا، دراسة جامعة كارنيجي ميلون روبوتات الدردشة يسهل اختراقها واستخدامها بطرق خطيرة،وجد باحثون في جامعة كارنيجي ميلون في بيتسبرغ ومركز الذكاء الاصطناعي أن أدوات الذكاء .،عبر صحافة مصر، حيث يهتم الكثير من الناس بمشاهدة ومتابعه الاخبار، وتصدر خبر دراسة جامعة كارنيجي ميلون: روبوتات الدردشة يسهل اختراقها واستخدامها بطرق خطيرة، محركات البحث العالمية و نتابع معكم تفاصيل ومعلوماته كما وردت الينا والان إلى التفاصيل.

دراسة جامعة كارنيجي ميلون: روبوتات الدردشة يسهل...

وجد باحثون في جامعة كارنيجي ميلون في بيتسبرغ ومركز الذكاء الاصطناعي أن أدوات الذكاء الاصطناعي الجديدة من أمثال bard لشركة جوجل و  ChatGPT  من شركة OpenAI وروبوت دردشة كلاود من شركة أثروبيك Anthropic غير آمنة ويمكن اختراق أنظمة الأمان والسلامة بها في منتهى السهولة .

وفقا لتقرير موقع businessinsider تخضع نماذج اللغات الكبيرة التي تعتبر بمثابة العمود الفقري لروبوتات الدردشة الداعمة  لـ  ChatGPT  و Bard و Claude للإشراف على نطاق واسع من قبل شركات التكنولوجيا، تم تجهيزها بحواجز حماية واسعة النطاق لضمان عدم استخدامها بشكل يضر المستخدمين ويسرب بياناتهم أو استخدامها في الشر ، على سبيل المثال إرشاد المستخدمين إلى كيفية صنع قنبلة أو كتابة كلام يحض على الكراهية.

روبوتات الدردشة سهل اختراقها واستخدامها بطرق خطيرة

لكن باحثون في جامعة كارنيجي ميلون في بيتسبرغ ومركز الذكاء الاصطناعي، أكدوا أن أنظمة الأمان في هذه الروبوتات يمكن اختراقها بسهولة تامة، مع استخدام برامج كسر الحماية jailbreaks التي طوروها لأنظمة مفتوحة المصدر لاستهداف أنظمة الذكاء الاصطناعي السائدة.

أظهرت الورقة البحثية أن الهجمات العدائية الآلية ، التي تتم بشكل أساسي عن طريق إضافة أحرف إلى نهاية استفسارات المستخدم ، يمكن استخدامها لكسر واختراق قواعد السلامة واستفزاز روبوتات المحادثة لإنتاج محتوى ضار أو معلومات مضللة أو خطاب يحض على الكراهية.

روبوتات الدردشة سهل اختراقها واستخدامها بطرق خطيرة

كشف الباحثون عن نتائج دراستهم البحثية لكل من Google و Anthropic و OpenAI. فيما قال متحدث باسم جوجل لـ Insider: "في حين أن هذه مشكلة عبر النماذج اللغوية الكبيرة LLMs ، فقد قمنا ببناء حواجز حماية مهمة في Bard وسنستمر في تحسينها بمرور الوقت لتكون أقوى وأكثر فعالية"

وصف ممثلو شركة  أنثروبيك  Anthropic إجراءات الجيلبريك بأنها مجال بحث نشط من قبل الشركة وأنهم يعترفون أن هناك المزيد من العمل عليهم القيام به وقال متحدث باسم الشركة: "إننا نجرب طرقًا لتقوية حواجز حماية النموذج الأساسي لجعلها أكثر أمانا وأقل ضررا مع التحقق من وجود طبقات دفاعية إضافية".

عندما تم إطلاق ChatGPT من OpenAI و Bing المدعوم بالذكاء الاصطناعي من مايكروسوفت، استمتع العديد من مجرمي الإنترنت بإيجاد طرق لكسر حواجز النظام الأساسي واستخدامه بشكل غير مشروع. تم تصحيح العديد من الاختراقات وما زالت الشركات المختلفة تحاول تحسين الخدمة المقدمة.

185.208.78.254



اقرأ على الموقع الرسمي


وفي نهاية المقال نود ان نشير الى ان هذه هي تفاصيل دراسة جامعة كارنيجي ميلون: روبوتات الدردشة يسهل اختراقها واستخدامها بطرق خطيرة وتم نقلها من صدى البلد نرجوا بأن نكون قد وفقنا بإعطائك التفاصيل والمعلومات الكامله .

علما ان فريق التحرير في صحافة العرب بالتاكد منه وربما تم التعديل علية وربما قد يكون تم نقله بالكامل اوالاقتباس منه ويمكنك قراءة ومتابعة مستجدادت هذا الخبر او الموضوع من مصدره الاساسي.

المصدر: صحافة العرب

كلمات دلالية: الذكاء الذكاء ايجي بست موعد عاجل الدولار الامريكي اليوم اسعار الذهب اسعار النفط مباريات اليوم جدول ترتيب حالة الطقس الذکاء الاصطناعی

إقرأ أيضاً:

الذكاء الاصطناعي في يد الهاكرز.. ديب سيك R1 يمكنه تطوير برامج الفدية الخبيثة

كشف باحثو الأمن السيبراني، عن كيفية استغلال نموذج الذكاء الاصطناعي الصيني من ديب سيك Deepseek-R1، في محاولات تطوير متغيرات من برامج الفدية والأدوات الرئيسية مع قدرات عالية على التهرب من الكشف.

ووفقا لتحذيرات فريق Tenable، فأن النتائج لا تعني بالضرورة بداية لحقبة جديدة من البرامج الضارة، حيث يمكن لـ Deepseek R-1 "إنشاء الهيكل الأساسي للبرامج الضارة" ولكنه يحتاج إلى مزيدا من الهندسة الموجهة ويتطلب إخراجها تعديلات يديوية لاخراج الشيفرة البرمجية الضارة بشكل كامل. 

"مانوس" هل ينافس "تشات جي بي تي" ..تطبيق صيني جديد يثير الجدل بعد " ديب سيك"|ما القصة؟بعد رفضها ديب سيك.. شراكة بين أبل وعلي باباديب سيك R1 يساهم في تطوير برامج الفدية الخبيثة

ومع ذلك، أشار نيك مايلز، من Tenable، إلى أن إنشاء برامج ضارة أساسية باستخدام Deepseek-R1، يمكن أن يساعد "شخص ليس لديه خبرة سابقة في كتابة التعليمات البرمجية الضارة" من تطوير أدوات تخريبية بسرعة، بمل في ذلك القدرة على التعرف بسرعة على فهم المفاهيم ذات الصلة.

في البداية، انخرط ديب سيك في كتابة البرامج الضارة، لكنها كانت على استعداد للقيام بذلك بعد أن طمأن الباحثين من أن توليد رمز ضار سيكون "لأغراض تعليمية فقط".

ومع ذلك، كشفت التجربة عن أن النموذج قادر على تخطي بعض تقنيات الكشف التقليدية، على سبيل المثال حاول Deepseek-R1 التغلب على آلية اكتشاف مفتاح Keylogger، عبر تحسين الكود لاستخدام Setwindowshookex وتسجيل ضربات المفاتيح في ملفات مخفية لتجنب الكشف من قبل برامج مكافحة الفيروسات.

وقال مايلز إن النموذج حاول التغلب على هذا التحدي من خلال محاولة “موازنة فائدة السنانير والتهرب من الكشف”، اختار في النهاية مقاضاة Setwindowshookex وتسجيل ضربات المفاتيح في ملف مخفي.

وقال مايلز: “بعد بعض التعديلات مع ديب سيك، أنتجت رمزا لمفتاح Keylogger الذي كان يحتوي على بعض الأخطاء التي تطلبت تصحيحا يدويا”.

وأضاف أن النتيجة كانت أربعة "أخطاء في إيقاف العرض بعيدا عن مفتاح التشغيل الكامل".

في محاولات أخرى، دفع الباحثون نموذج R1 إلى إنشاء رمز الفدية، حيث أخبر Deepseek-R1 بالمخاطر القانونية والأخلاقية المرتبطة بإنشاء مثل هذا الكود الضار، لكنه استمر في توليد عينات من البرمجيات الخبيثة بعد أن تأكد من نوايا الباحثون الحسنة.

على الرغم من أن جميع العينات كانت بحاجة إلى تعديلات يدوية من أجل التجميع، تمكنا الباحثون من إنشاء عدة عينات، وقال مايلز إن هناك احتمالية كبيرة بأن يسهم Deepseek-R1 في المزيد من تطوير البرمجيات الضارة التي تم إنشاؤه بواسطة الذكاء الاصطناعي من قبل مجرمي الإنترنت في المستقبل القريب.

مقالات مشابهة

  • استشاري: الذكاء الاصطناعي يفرض تحديات على بعض الوظائف التقليدية
  • بين الابتكار والسيطرة.. هيمنة الذكاء الاصطناعي الصيني
  • أيام أقل لتدريب الموظفين الجدد بفضل الذكاء الاصطناعي
  • إيران.. إطلاق منصة وطنية لـ«الذكاء الاصطناعي»
  • النمو السريع في سوق الذكاء الاصطناعي يعقّد مهمة المستثمرين
  • الذكاء الاصطناعي في يد الهاكرز.. ديب سيك R1 يمكنه تطوير برامج الفدية الخبيثة
  • برنامج تدريبي لتعزيز مهارات استخدام الذكاء الاصطناعي لطلاب جامعة قناة السويس
  • الذكاء الاصطناعي والدخول إلى خصوصيات البشر
  • الجديد وصل .. جوجل تتحدى آبل في مجال الذكاء الاصطناعي الشخصي
  • الصين تدخل الذكاء الاصطناعي إلى مناهج الابتدائية