تخترق الحماية .. اكتشاف نماذج ذكاء اصطناعي خبيثة على «Hugging Face» |تفاصيل
تاريخ النشر: 9th, February 2025 GMT
اكتشف باحثون في مجال الأمن السيبراني نماذج خبيثة للذكاء الاصطناعي على منصة Hugging Face تستخدم تقنية جديدة تعتمد على ملفات Pickle "المكسورة" لتجاوز أدوات الكشف عن البرمجيات الضارة.
تفاصيل الهجوم: كيف تم استغلال Pickle؟وكشف الباحث الأمني كارلو زانكي من شركة ReversingLabs أن الملفات الضارة كانت مخبأة داخل أرشيفات PyTorch، حيث تم وضع شيفرة خبيثة في بداية الملفات، مما يسمح بتنفيذ هجوم عبر "Shell عكسي" يتصل بعنوان IP محدد مسبقًا.
أُطلق على هذه الطريقة اسم "nullifAI"، وهي تستغل نقاط الضعف في آليات الأمان المستخدمة لاكتشاف النماذج الضارة. وقد تم تحميل النماذج على المستودعات التالية في Hugging Face:
glockr1/ballr7who-r-u0000/0000000000000000000000000000000000000لماذا يمثل Pickle خطرًا أمنيًا؟يعد تنسيق Pickle خيارًا شائعًا لتوزيع نماذج الذكاء الاصطناعي، لكنه يحمل مخاطر أمنية كبيرة، حيث يتيح تنفيذ أوامر عشوائية بمجرد تحميله وإلغاء تسلسله (Deserialization).
في هذه الحالة، استخدم المهاجمون تنسيق 7z بدلاً من ZIP لضغط النماذج، مما سمح لهم بتجاوز أداة Picklescan، وهي أداة مخصصة لاكتشاف الملفات المشبوهة على Hugging Face.
ثغرة في آليات الكشف.. وكيف تم استغلالها؟أوضح الباحثون أن هذه الملفات مصممة بحيث يتم تنفيذ الشيفرة الخبيثة قبل تعطل عملية إلغاء التسلسل، مما يمنع أدوات الفحص من اكتشافها.
وقال زانكي:"تتم معالجة أكواد Pickle بالتسلسل، مما يسمح بتنفيذ الأوامر الضارة قبل اكتشاف المشكلة. في هذه الحالة، لم تستطع أدوات الفحص في Hugging Face تصنيف النموذج على أنه غير آمن."
ما الإجراءات التي تم اتخاذها؟قامت Hugging Face بتحديث أداة Picklescan لسد هذه الثغرة ومنع تنفيذ الشيفرات الضارة باستخدام نفس الأسلوب.
تواصل شركات الأمن السيبراني مراقبة مستودعات الذكاء الاصطناعي بحثًا عن نماذج مشبوهة قد تستخدم تقنيات مماثلة في المستقبل.
ماذا يعني هذا للمطورين والمستخدمين؟يُحذر الخبراء من مخاطر تحميل نماذج الذكاء الاصطناعي من مصادر غير موثوقة، وينصحون باستخدام بيئات تشغيل معزولة (Sandboxing) عند اختبار النماذج الجديدة.
المصدر: صدى البلد
كلمات دلالية: الذكاء الاصطناعي ذكاء الاصطناعي المزيد
إقرأ أيضاً:
أول الغيث.. أدوات ذكاء اصطناعي تكتب التقارير وتلخّص سجلاّت المرضى للأطباء
تكتسب أدوات الذكاء الاصطناعي دورا متعاظما في عيادات الأطباء، إذ باتت تتولى أعداد تقارير المعاينات، وتلخّص السجلاّت الطبية، وتكتب رسائل المتابعة، وهذا أول الغيث ليس إلاّ، على ما يؤكد المعنيون بالقطاع.
وتستمع أدوات التلخيص التلقائي للمعاينة إلى المحادثة بين الطبيب والمريض، ثم تنتج في بضع ثوانٍ ملخصا مكتوبا ومنظما، لا يبقى للطبيب سوى التحقق من صحته.
كذلك في استطاعة هذه الأدوات عموما إعداد مستندات أخرى، كرسائل المتابعة للأطباء والاختصاصيين الصحيين الآخرين الذين يتابعون المريض.
وبحسب رئيس شركة "نابلا" الفرنسية الناشئة التي أصبحت من كبرى الشركات المتخصصة في مجال تقارير المعاينات الطبية في الولايات المتحدة، أن السوق الفرنسية التي كانت محدودة بدأت تتسع.
وهذه الطفرة الكبيرة في السوق حصلت في الولايات المتحدة عام 2023 ثم بدأت اليوم في فرنسا، بحسب رئيس الشركة الناشئة التي تؤكد أن لديها في فرنسا خمسة آلاف مستخدم فاعل.
وأشار إلى أن منصة "دوكتوليب" للحجز أعطت دفعا قويا للسوق من خلال الإعلان عن طرح أداة خاصة بها عام 2024.
بالإضافة إلى "دوكتوليب" و"نابلا"، تضم السوق الفرنسية أيضا شركة "لوكي" المرتبطة ببرنامج إدارة العيادات الطبية "ميديستوري" و"براكسيسانتيه"، وهي شركة ناشئة فرنسية تتطور خصوصا في المستشفيات.
تخصيص وقت للجانب الإنساني
تستخدم كل أدوات الذكاء الاصطناعي التوليدي هذه نماذج لغوية كبيرة على غرار "تشات جي بي تي" و"لاما" و"كلود" و"ميسترال" الفرنسي.
وأوضح ناشرو هذه الأدوات أن البيانات مشفّرة وليست متاحة للشركة الموفّرة للخدمة ("أمازون" بالنسبة إلى "دوكتوليب"، و"جوجل" بالنسبة إلى "نابلا"، و"أو في إتش كلاود" بالنسبة إلى "براكسيسانتيه).
ورأى جرّاح من مدينة تولوز في جنوب فرنسا الدكتور فنسان ميسراي الذي يستخدم أداة "نابلا" في "كل معاينة"، أن "تقرير المعاينة رائع جدا يتيح تخصيص وقت للجانب الإنساني من المعاينة".
فالطبيب تحرر بفضل هذه التقنية من مهمة تدوين الملاحظات، و"لم يعد تاليا ملتصقا بشاشة" حاسوبه، بل بات في إمكانه "الاستماع إلى مريضه والنظر إليه في الوقت نفسه". وقال في نهاية المطاف، هذا الأمر يغيّر المعادلة".
ورأي مسؤول في نقابة أطباء الطب العام "أم جيه فرانس" أن الأطباء الذين يستخدمون هذه الأدوات يكونون أكثر التزاما بالوقت".
ملخص المعاينات ليس إلاّ البداية!
شركتا "براكسيسانتيه" و"دوكابوست" (وهي الفرع الرقمي لشركة "لا بوست" البريدية الفرنسية)، توفران أداة لتجميع السجلات الطبية، تعمل "دوكتوليب" على اعتماد مثلها.
وهذه الأداة تستخرج من عشرات التقارير أو الرسائل أو التحاليل خلاصة شاملة عن المريض توفرها للطبيب الذي سيعاينه.
والرأي الغالب أن التعاون بين الأطباء وأدوات الذكاء الاصطناعي "التوليدية" هذه لا يزال في بدايته، لكن يُتوقَع أن تصبح هذه الأدوات أكثر اكتمالا.
وأوضح المؤسس المشارك لشركة "براكسيسانتيه" داميان فورست أن "توصيات الجمعيات الطبية العلمية ستُدمَح تدريجا كي تتمكن الأداة من تقديم نصائح عامة" للطبيب والمريض.
لكنه شرح أن من غير الممكن أن تقدّم توصيات شخصية جدا. فالأداة ستكون خاضعة بالفعل للقواعد التنظيمية الصارمة جدا في شأن الأجهزة الطبية، ما يتطلب استثمارات ضخمة للتحقق من موثوقيتها.
وأشار متخصص في الذكاء الاصطناعي في "دوكتوليب" إلى أن التوجه على المدى الأبعد هو توفير "دعم" الأطباء في مهام ذات طابع طبي أكبر، "كالمساعدة في معرفة التاريخ المرضي (المساعدة في طرح الأسئلة الصحيحة)، وتقديم النصائح الوقائية، ووضع خطط الرعاية".
الهلال الأحمر ينقذ معتمرة إندونيسية بمطار جدة