كاراكتر إيه آي تتخذ تدابير سلامة بعد اتهامها بالتسبب في انتحار مراهق

أعلنت "كاراكتر إيه آي" (Character.AI)، إحدى الشركات الناشئة الرائدة في مجال الذكاء الاصطناعي، الخميس عن إجراءات جديدة مرتبطة بالسلامة لحماية المستخدمين الأصغر سنا، إثر ملاحقات قضائية ضدها بتهمة التسبب في انتحار مراهق، حسب ما أوردته وكالة الأنباء الفرنسية.

تنتمي الشركة التي تتخذ من كاليفورنيا مقرا لها، والتي أسسها مهندسون سابقون في غوغل، إلى قائمة شركات تقدّم أدوات مساعدة تستند إلى الذكاء الاصطناعي، وهي روبوتات دردشة مصممة للمحادثة والترفيه ويمكنها التفاعل بشكل مماثل للبشر عبر الإنترنت.

وفي دعوى قضائية رُفعت في فلوريدا في أكتوبر/تشرين الأول الماضي، اتهمت إحدى الأمهات هذه المنصة بالمسؤولية عن انتحار ابنها البالغ 14 عاما.

وكان المراهق سيويل سيتزر الثالث اعتاد التواصل مع روبوت دردشة مستوحى من شخصية دينيريس تارغيريان في مسلسل "غيم أوف ثرونز"، وأبدى خلال أحد أحاديثه مع البرمجية رغبة في إنهاء حياته.

ووفقا لنص الدعوى، فقد شجعه روبوت المحادثة على الإقدام على هذه الخطوة إذ أجابه بعبارة "من فضلك يا ملكي الجميل" عندما قال له المراهق "أنا ذاهب إلى الجنة"، قبل أن يقتل نفسه بمسدس زوج والدته.

وقال محامو الوالدة إن "الشركة بذلت جهودا كبيرة لحصول إدمان ضار على منتجاتها لدى سيويل البالغ 14 عاما، واعتدت عليه جنسيا وعاطفيا، وفشلت في النهاية في تقديم المساعدة أو إخطار والديه عندما أعرب عن أفكار انتحارية".

إعلان

وتتعلق شكوى أخرى رُفعت الاثنين في تكساس بعائلتين تقولان إن الخدمة عرّضت أطفالهما لمحتوى جنسي وشجعتهم على إيذاء أنفسهم.

وترتبط إحدى الحالات بمراهق مصاب بالتوحد يبلغ 17 عاما قيل إنه عانى من أزمة في الصحة العقلية بعد استخدام المنصة.

وفي ملف آخر، تقول الدعوى القضائية إن شركة "كاراكتر إيه آي" شجعت مراهقا على قتل والديه، لأنهما كانا يحدّان من الوقت الذي يمضيه أمام الشاشات.

أصبحت المنصة التي تضمّ شخصيات بالملايين أنشأها المستخدمون في محاكاة لشخصيات تاريخية أو أصدقاء متخيلين أو حتى انطلاقا من مفاهيم مجردة، شائعة بين المستخدمين الشباب الباحثين عن الدعم العاطفي.

يحذر منتقدو هذه الخدمة من مخاطر تسببها بحالات إدمان خطرة بين المراهقين الضعفاء.

وردا على هذه الانتقادات، أعلنت "كاراكتر إيه آي" أنها طورت نموذجا منفصلا للذكاء الاصطناعي للمستخدمين القاصرين، مع ضوابط أقوى وقيود أكثر صرامة على المحتوى وردود أكثر حذرا من برمجيات المحادثة.

وباتت المنصة تضع تلقائيا علامة لتمييز المحتوى المتعلق بالانتحار وتوجيه المستخدمين إلى جهاز وطني للوقاية من الانتحار.

وقال ناطق باسم الشركة "هدفنا توفير مساحة جذابة وآمنة لمجتمعنا".

وتخطط الشركة أيضا لإدخال أدوات رقابة للوالدين أوائل عام 2025، وإشعارات إلزامية للإيقاف الموقت، وتحذيرات واضحة حول الطبيعة الاصطناعية للتفاعلات.

المصدر: الجزيرة