کمیته رکن چهارم – شرکت OpenAI از راهاندازی سامانهای ویژه در مدلهای جدید هوش مصنوعی خود برای مقابله با درخواستهای حاوی تهدیدهای زیستی و شیمیایی خبر داد؛ اقدامی که در ادامه نگرانیها درباره احتمال سوءاستفاده از توانمندیهای مدلهای زبانی در تولید اطلاعات خطرناک صورت گرفته است.
به گزارش کمیته رکن چهارم، این سامانه که در مدلهای o3 و o4-mini فعال شده، «ناظر استدلالی با تمرکز بر ایمنی» نام دارد و بهگونهای طراحی شده تا از پاسخدهی این مدلها به درخواستهایی که ممکن است در جهت ساخت یا ترویج حملات زیستی باشد، جلوگیری کند.
بر پایه گزارش ایمنی OpenAI، مدلهای جدید این شرکت در مقایسه با نسخههای پیشین نظیر o1 و GPT-4، عملکرد دقیقتری در پاسخدهی به پرسشهای فنی در زمینه تهدیدهای زیستی دارند؛ موضوعی که به باور کارشناسان، میتواند در صورت عدم کنترل، مخاطرات جدی ایجاد کند.
در راستای آموزش این سامانه نظارتی، تیمهای ویژه موسوم به Red Team حدود ۱۰۰۰ ساعت صرف ثبت و نشانهگذاری گفتگوهای مرتبط با تهدیدهای زیستی کردهاند. نتایج آزمایشها نشان میدهد مدلها در بیش از ۹۸ درصد موارد از پاسخ به درخواستهای پرخطر خودداری کردهاند. با این حال، OpenAI تأکید کرده که این ارزیابی شامل سناریوهایی که کاربران تلاش میکنند با روشهای جایگزین از سامانه عبور کنند نبوده و در نتیجه، نظارت انسانی همچنان ضروری خواهد بود.
این اقدام OpenAI بخشی از سیاست بهروزشده این شرکت در قالب چارچوبی با عنوان «آمادگی» است که بر بررسی پیوسته استفادههای بالقوه و تهدیدات احتمالی ناشی از مدلهای هوش مصنوعی تمرکز دارد.
