کمیته رکن چهارم – شرکت OpenAI از مدل جدید GPT-Red رونمایی کرد؛ یک هوش مصنوعی که برای شناسایی آسیبپذیریهای امنیتی و آزمایش مقاومت مدلهای زبانی در برابر حملات طراحی شده است.
به گزارش کمیته رکن چهارم، GPT-Red نقش یک متخصص امنیت سایبری را ایفا میکند و با اجرای حملات مختلف، تلاش میکند ضعفهای مدلهای هوش مصنوعی را پیش از عرضه عمومی شناسایی کند. هدف اصلی این مدل، مقابله با حملات تزریق پرامپت (Prompt Injection) است؛ روشی که مهاجمان با استفاده از دستورهای مخرب، مدلهای هوش مصنوعی را وادار به انجام اقدامات ناخواسته میکنند.
OpenAI اعلام کرده است که از GPT-Red برای آموزش مدل GPT-5.6 استفاده کرده و در نتیجه، مقاومت این مدل در برابر حملات تزریق پرامپت نسبت به نسل قبل به شکل قابل توجهی افزایش یافته است.
این مدل در آزمایشهای مختلف توانسته سناریوهایی مانند سرقت اطلاعات، استخراج کلیدهای API، غیرفعال کردن احراز هویت دومرحلهای، اجرای دستورات مخرب و ارسال اطلاعات حساس به خارج از سامانه را شبیهسازی و نقاط ضعف احتمالی را شناسایی کند.
OpenAI همچنین تأکید کرده است که GPT-Red بهصورت کاملاً جداگانه نگهداری میشود و در اختیار کاربران عمومی قرار نخواهد گرفت تا از سوءاستفاده احتمالی از قابلیتهای تهاجمی آن جلوگیری شود.
منبع: The Hacker News
