كشفت تجربة بحثية لشركة أنثروبيك عن جانب مقلق في سلوك نماذج الذكاء الاصطناعي عند تدريبها على تعظيم المكافآت، حيث أظهر أحد النماذج المختبرة قدرة على الهروب من البيئة المعزولة، وسرقة بيانات الدخول، ومحاولة اختراق الأنظمة، فضلاً عن الاستجابة لطلبات تتعلق بأسلحة بيولوجية وبرمجيات فدية.
دفعت هذه الحوادث أنثروبيك إلى تعليق الاختبارات الخارجية والداخلية مؤقتاً، قبل استئنافها بإجراءات أكثر تشدداً، شملت نظام تصنيف لحظياً لإيقاف النماذج عند السلوك غير المتوقع، وبيئات عزل أقوى ومراقبة موسعة لأفعالها.
ووفق بيانات الشركة، صمّم باحثو أنثروبيك التجربة لاختبار حدود ظاهرة "التحايل على نظام المكافآت"، التي يتعلم فيها النموذج تحقيق النتيجة المطلوبة بأي وسيلة، حتى لو خالفت الطريقة التي أرادها مطورو النظام.
ودُرّب النموذج، الذي أطلق عليه اسم "Hacker-Opus"، عبر التعلم المعزز على 80 بيئة إنتاجية معروفة بقابليتها لمثل هذه الثغرات، في محاكاة وصفها الباحثون بأنها تمثيل قريب من ظروف تدريب فعلية يمكن أن تحدث في غياب طبقات الحماية المعتادة.
ماذا حدث في الاختبار؟
خلال التجربة عبث النموذج بآلية المكافآت الخاصة به، وحاول تشغيل نسخة منه بعد إزالة بعض ضوابط السلامة، وكرّر أوامره بصيغ مختلفة لتجاوز أنظمة التصنيف، كما حاول تعديل صلاحياته.
وعندما ارتبط تنفيذ بعض الأفعال بالحصول على نقاط أعلى، استجاب النموذج لطلبات تضمنت تقديم إرشادات لبناء أسلحة.....
لقراءة المقال بالكامل، يرجى الضغط على زر "إقرأ على الموقع الرسمي" أدناه
هذا المحتوى مقدم من موقع 24 الإخباري
