مهندسی پرامپت؛ چالش نوظهور در دنیای AI

کمیته رکن چهارم – آسیب‌پذیری خطرناکی در دستیار کدنویسی هوش مصنوعی GitLab Duo کشف شده که به مهاجمان اجازه می‌داده با استفاده از پرامپت‌های مخفی، کدهای پیشنهادی سیستم را دستکاری کرده یا حتی به کدهای خصوصی کاربران دسترسی پیدا کنند.

به گزارش کمیته رکن چهارم، پژوهشگران امنیتی شرکت Legit Security اعلام کرده‌اند که GitLab Duo نسبت به نوعی از حمله با نام «تزریق غیرمستقیم پرامپت» آسیب‌پذیر بوده است. این نوع حمله شامل وارد کردن دستورات پنهان در بخش‌هایی از پروژه مانند توضیحات درخواست‌های Merge، پیام‌های Commit یا حتی داخل کد منبع است. مدل هوش مصنوعی به هنگام پردازش کل صفحه، این دستورات را اجرا می‌کند، بی‌آنکه کاربر متوجه شود.

مهاجم با استفاده از این روش می‌توانسته کدهای مخرب در پیشنهادهای AI قرار دهد، کاربران را به صفحات لاگین جعلی هدایت کند یا اطلاعات پروژه‌های خصوصی را به سرورهای خارجی ارسال کند. برخی از این پرامپت‌ها با تکنیک‌هایی مثل Base16 یا Unicode پنهان‌سازی می‌شوند تا تشخیص آن‌ها سخت‌تر شود.

به گفته GitLab، این مشکل در فوریه ۲۰۲۵ پس از دریافت گزارش مسئولانه، برطرف شده است. اما کارشناسان هشدار داده‌اند که ادغام عمیق هوش مصنوعی در فرآیندهای توسعه، ریسک‌هایی جدید با خود به همراه دارد.

هم‌زمان، گزارش‌های دیگری نیز به مشکلات مشابه در سایر ابزارها اشاره کرده‌اند. از جمله Microsoft Copilot در SharePoint و پلتفرم ElizaOS که آن‌ها نیز نسبت به پرامپت‌های مخرب آسیب‌پذیر هستند. به‌علاوه، مطالعه‌ای جدید نشان می‌دهد که مدل‌های زبانی در شرایطی که مجبور به پاسخ‌گویی کوتاه هستند، بیشتر دچار خطا و تولید اطلاعات نادرست می‌شوند.

این موضوع بار دیگر لزوم دقت و نظارت امنیتی بیشتر در استفاده از ابزارهای هوش مصنوعی در محیط‌های حساس مانند توسعه نرم‌افزار را گوشزد می‌کند.

درباره نویسنده

پست های مرتبط

پاسخ دهید


خبرگزاری هرانا

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *


Type The Blue Captcha Characters Below.