تزریق پرامپت غیرمستقیم؛ تهدید تازه برای هوش مصنوعی عامل‌محور

کمیته رکن چهارم – یک آسیب‌پذیری جدی از نوع تزریق پرامپت غیرمستقیم (Indirect Prompt Injection) در اپلیکیشن‌های مبتنی بر مدل زبانی بزرگ گوگل (Google Gemini) شناسایی شده که به مهاجمان اجازه می‌دهد تنها با ارسال یک ایمیل یا دعوت‌نامه Google Calendar، اقداماتی مخرب انجام دهند. این نقص می‌تواند به سوءاستفاده‌هایی همچون حذف رویدادهای تقویم، ارسال اسپم، کنترل تجهیزات خانه هوشمند و حتی اجرای برنامه‌های مخرب منجر شود.

به گزارش کمیته رکن چهارم، این آسیب‌پذیری که توسط پژوهشگران یک مؤسسه تکنولوژی در سرزمین‌های اشغالی و شرکت SafeBreach کشف شده، با نام Invitation Is All You Need شناخته می‌شود و بر ضعف مدل‌های زبانی در تشخیص تفاوت بین دستور مستقیم کاربر و اطلاعات مرجع متکی است. مهاجمان قادرند دستوراتی مخفی را در محتوای ایمیل یا دعوت‌نامه قرار دهند تا مدل زبانی آن‌ها را مانند یک پرامپت واقعی اجرا کند.

در گذشته که خروجی مدل‌های زبانی محدود به متن بود، این ضعف تهدید کمتری داشت. اما با ظهور هوش مصنوعی عامل‌محور که امکان صدور فرمان مستقیم به سرویس‌های خارجی را دارد، این حفره امنیتی به سطح ریسک بالا و بحرانی رسیده است. ارزیابی TARA نشان داده که ۷۳ درصد از سناریوهای بررسی‌شده در این حمله، دارای ریسک بالا یا بحرانی هستند.

گوگل با پذیرش این گزارش، آن را از طریق برنامه پاداش آسیب‌پذیری‌های هوش مصنوعی (AI VRP) دریافت کرده و اقدام به پیاده‌سازی تدابیر چندلایه برای کاهش خطر کرده است. از جمله این تدابیر می‌توان به تأییدیه‌های کاربری پیشرفته برای اقدامات حساس، پاک‌سازی و مدیریت امن URLها بر اساس سیاست‌های سطح اعتماد، و استفاده از سامانه شناسایی تزریق پرامپت مبتنی بر طبقه‌بندی محتوایی اشاره کرد.

این تغییرات پس از آزمایش‌های داخلی گسترده، پیش از افشای عمومی به‌طور کامل برای کاربران اعمال شده و به گفته کارشناسان، می‌تواند تا حد زیادی خطر سوءاستفاده از این نوع حملات را کاهش دهد.

درباره نویسنده

پست های مرتبط

پاسخ دهید


خبرگزاری هرانا

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *


Type The Red Captcha Characters Below.