مجلس السلامة الجديد في OpenAI من دون سام ألتمان
تاريخ النشر: 17th, September 2024 GMT
أعلنت OpenAI عن تغييرات كبيرة في ممارسات السلامة والأمن الخاصة بها، بما في ذلك إنشاء لجنة إشراف مستقلة جديدة لمجلس الإدارة.
تأتي هذه الخطوة مع تحول ملحوظ: لم يعد الرئيس التنفيذي سام ألتمان جزءًا من لجنة السلامة، مما يمثل خروجًا عن الهيكل السابق.
سيرأس لجنة السلامة والأمن (SSC) المشكلة حديثًا زيكو كولتر، مدير قسم التعلم الآلي في جامعة كارنيجي ميلون.
ومن بين الأعضاء الرئيسيين الآخرين الرئيس التنفيذي لشركة Quora آدم دانجيلو، والجنرال المتقاعد في الجيش الأمريكي بول ناكاسوني، ونيكول سيليجمان، نائب الرئيس التنفيذي السابق والمستشار العام لشركة Sony Corporation.
تحل هذه اللجنة الجديدة محل لجنة السلامة والأمن السابقة التي تم تشكيلها في يونيو 2024، والتي ضمت ألتمان بين أعضائها.
تم تكليف اللجنة الأصلية بتقديم توصيات بشأن قرارات السلامة والأمن الحاسمة لمشاريع وعمليات OpenAI.
تمتد مسؤوليات لجنة السلامة والأمن الآن إلى ما هو أبعد من التوصيات. وستتمتع اللجنة بسلطة الإشراف على تقييمات السلامة لإصدارات النماذج الرئيسية وممارسة الرقابة على إطلاق النماذج.
والأمر الحاسم هو أن اللجنة ستتمتع بسلطة تأخير الإصدار حتى تتم معالجة المخاوف المتعلقة بالسلامة بشكل كافٍ.
تأتي إعادة الهيكلة هذه بعد فترة من التدقيق فيما يتعلق بالتزام OpenAI بسلامة الذكاء الاصطناعي.
واجهت الشركة انتقادات في الماضي لحل فريق Superalignment ورحيل الموظفين الرئيسيين الذين يركزون على السلامة.
ويبدو أن إزالة ألتمان من لجنة السلامة هي محاولة لمعالجة المخاوف بشأن تضارب المصالح المحتمل في إشراف الشركة على السلامة.
تتضمن أحدث مبادرة سلامة لشركة OpenAI أيضًا خططًا لتعزيز تدابير الأمن وزيادة الشفافية حول عملهم والتعاون مع المنظمات الخارجية.
وقد توصلت الشركة بالفعل إلى اتفاقيات مع معاهد سلامة الذكاء الاصطناعي في الولايات المتحدة والمملكة المتحدة للتعاون في البحث في مخاطر سلامة الذكاء الاصطناعي الناشئة ومعايير الذكاء الاصطناعي الجدير بالثقة.
المصدر: بوابة الوفد
كلمات دلالية: الذکاء الاصطناعی السلامة والأمن لجنة السلامة
إقرأ أيضاً:
الذكاء الاصطناعي العام (AGI) الخطوة التالية لقطاع التكنولوجيا..ما المخاطر؟!
في ظل التسارع المذهل في تطوير تقنيات الذكاء الاصطناعي، يتطلع قادة التكنولوجيا والأعمال إلى الخطوة التالية في هذا المجال، وهي "الذكاء العام الاصطناعي" (AGI)، وهو نوع من الذكاء الاصطناعي يتمتع بقدرات إدراكية شبيهة بالبشر.
إن إيجاد طرق جديدة لضمان عدم عمل هذه الآلة -التي تتمتع بمستوى ذكاء البشر نفسه- ضد مصالح البشر،هدف مهم يسعى إليه الباحثون، ويصبح من الضروري أن تتكاتف الجهود، في الوصول إليه.
وأصدر باحثون في شركة "جوجل ديب مايند" التابعة لجوجل ورقة بحثية جديدة، مكونة من أكثر من 100 صفحة، تشرح طريقة تطوير الذكاء العام الاصطناعي بأمان. بحسب تقرير لموقع "ArsTechnica" المتخصص في أخبار التكنولوجيا.
اقرأ أيضاً..الذكاء الاصطناعي.. من منظور إيجابي
تشير تقديرات "ديب مايند" إلى إمكانية ظهور AGI خلال السنوات الخمس القادمة، وتحديدًا بحلول عام 2030، مما يستدعي تعاونًا دوليًا عاجلًا لوضع الأطر القانونية والأخلاقية.
لا يملك البشر حتى الآن وسيلة لمنع خروج الذكاء العام الاصطناعي -في حالة الوصول إليه- عن السيطرة، لكن الباحثين في شركة "جوجل ديب مايند" التابعة لجوجل يعملون على هذه المشكلة.
كشف الباحثون عن أربعة مخاطر رئيسية قد تنجم عن تطوير الذكاء الاصطناعي العام (AGI) الشبيه بذكاء الإنسان وقد يؤدي إلى "أضرار جسيمة"، لأجل هذا سعوا إلى فهم مخاطره.
أبرز المخاطر
حدد الباحثون أربعة أنواع محتملة من مخاطر الذكاء العام الاصطناعي، وقدموا اقتراحات حول طرق التخفيف من هذه المخاطر.
وصنّف فريق "ديب مايند" النتائج السلبية للذكاء العام الاصطناعي على أنها سوء الاستخدام، والانحراف، والأخطاء، والمخاطر الهيكلية. وقد ناقش البحث سوء الاستخدام والانحراف بإسهاب، وتناول الأخيران بإيجاز.
المشكلة المحتملة الأولى، هي سوء الاستخدام، بحيث تتشابه بشكل أساسي مع مخاطر الذكاء الاصطناعي الحالية. ومع ذلك، ولأن الذكاء العام الاصطناعي سيكون أقوى بحكم تعريفه، فإن الضرر الذي قد يُلحقه سيكون أكبر بكثير.
وقد يُسيء أي شخص لديه إمكانية الوصول إلى الذكاء العام الاصطناعي استخدام النظام لإلحاق الضرر، على سبيل المثال، من خلال مطالبة النظام بتحديد ثغرات واستغلالها، أو إنشاء فيروس مُصمَّم يمكن استخدامه كسلاح بيولوجي.
قال فريق "ديب مايند" إنه سيتعين على الشركات التي تُطور الذكاء العام الاصطناعي إجراء اختبارات مكثفة ووضع بروتوكولات سلامة قوية لما بعد التدريب. بعبارة أخرى، حواجز أمان معززة للذكاء الاصطناعي.
ويقترح الفريق أيضًا ابتكار طريقة لكبح القدرات الخطيرة تمامًا، تُسمى أحيانًا "إلغاء التعلم" (unlearning)، ولكن من غير الواضح ما إذا كان ذلك ممكنًا من دون تقييد قدرات النماذج بشكل كبير.
أما مشكلة "الانحراف" فهي ليست محل قلق حاليًا مع الذكاء الاصطناعي التوليدي في صورته الحالية. لكن مع الذكاء العام الاصطناعي قد يختلف الأمر.
أخبار ذات صلةتُصور مشكلة "الانحراف" هذه كآلة متمردة تجاوزت القيود التي فرضها عليها مصمموها، كما هو الحال في فيلم "ترميناترو". وبشكل أكثر تحديدًا، يتخذ الذكاء الاصطناعي إجراءات يعلم أنها لا تتماشى مع ما يقصده المطور.
وقالت "ديب مايند" إن معيارها للانحراف في ما يتعلق بالذكاء العام الاصطناعي أكثر تقدمًا من مجرد الخداع أو التخطيط.
حلول مقترحة
لتجنب ذلك، تقترح "ديب مايند" على المطورين استخدام تقنيات مثل الإشراف المُعزز، حيث تتحقق نسختان من الذكاء الاصطناعي من مخرجات بعضهما البعض، لإنشاء أنظمة قوية من لا يُحتمل أن تنحرف عن مسارها.
وإذا فشل ذلك، تقترح "ديب مايند" إجراء اختبارات ضغط ومراقبة مكثفة لاكتشاف أي مؤشر على أن الذكاء الاصطناعي قد يبدأ في التمرد ضدنا.
وقالت إن إبقاء الذكاء الاصطناعي العام في بيئة افتراضية آمنة للغاية وإشراف بشري مباشر يمكن أن يُساعد في التخفيف من حدة المشكلات الناجمة عن الانحراف.
الأخطاء
من ناحية أخرى، إذا لم يكن الذكاء الاصطناعي يعلم أن مخرجاته ستكون ضارة، ولم يكن المشغل البشري يقصد ذلك، فهذا "خطأ". ويحدث الكثير من هذه الأخطاء مع أنظمة الذكاء الاصطناعي الحالية.مع ذلك، قد تكون هذه المشكلة أصعب مع الذكاء العام الاصطناعي.
تشير "ديب مايند" إلى أن الجيوش قد تنشر الذكاء العام الاصطناعي بسبب "الضغط التنافسي"، لكن هذه الأنظمة قد ترتكب أخطاء جسيمة لأنها ستُكلف بوظائف أكثر تعقيدًا بكثير من الذكاء الاصطناعي الحالي.
توصي الورقة بعدد من الإجراءات الوقائية، للحد من الأخطاء. باختصار، يتلخص الأمر في عدم السماح للذكاء العام الاصطناعي بأن يصبح قويًا جدًا في المقام الأول.
وتدعو "ديب مايند" إلى نشر الذكاء العام الاصطناعي تدريجيًا والحد من صلاحياته، وتمرير أوامر الذكاء العام الاصطناعي عبر نظام حماية يضمن أن تكون آمنة قبل تنفيذها.
مخاطر هيكلية
تُعرف "ديب مايند" المخاطر الهيكلية على أنها عواقب غير مقصودة، وإن كانت حقيقية، للأنظمة متعددة الوكلاء التي تُسهم في تعقيد حياتنا البشرية.
على سبيل المثال، قد يُنتج الذكاء العام الاصطناعي معلومات مُضلّلة تبدو مُقنعة لدرجة أننا لم نعد نعرف بمن أو بما نثق. كما تُثير الورقة البحثية احتمالية أن يُراكِم الذكاء العام الاصطناعي سيطرة متزايدة على الأنظمة الاقتصادية والسياسية، ربما من خلال وضع مخططات تعريفات جمركية مُفرطة.
وقد تؤدي هذه المخاطر الهيكلية إلى أن نجد في يومٍ ما أن الآلات هي المُسيطرة بدلًا منّا.
وتُعتبر هذه الفئة من المخاطر أيضًا الأصعب في الحماية منها، لأنها ستعتمد على طريقة عمل الأفراد والبنية التحتية والمؤسسات في المستقبل.
لضمان أن يكون الذكاء الاصطناعي العام أداة لخدمة البشرية، لا مصدرًا لتهديدها..كما تشير "ديب مايند"، فإن التقدم نحو AGI قد يكون أسرع مما نتخيل، ما يجعل من وضع الحواجز الأخلاقية والتقنية ضرورة عاجلة لا تحتمل التأجيل.
لمياء الصديق(أبوظبي)
انطلاق الأسبوع الثقافي الـ37 لأطفال المحافظات الحدودية ضمن "أهل مصر"