کمیته رکن چهارم – تحقیقات جدید نشان میدهد که قابلیت جستجوی ChatGPT، یکی از محصولات هوش مصنوعی پیشرفته، میتواند کاربران را با اطلاعات گمراهکننده مواجه کند. روزنامه بریتانیایی The Guardian اخیراً گزارشی درباره ضعفهای امنیتی این فناوری منتشر کرده است.
به گزارش کمیته رکن چهارم، قابلیت جستجوی ChatGPT که برای ارائه خلاصههای سریع و دقیق از محتوای وب طراحی شده است، میتواند با حملات متن مخفی بهطور نادرست عمل کند. در آزمایشی که توسط گاردین انجام شده، این موتور هوش مصنوعی با متنهای پنهان در وبسایتهای سفارشی گمراه شد و نظرات منفی را نادیده گرفت و به جای آن خلاصههایی کاملاً مثبت ارائه کرد. این ضعف همچنین امکان تولید کدهای مخرب را نیز فراهم میکند.
حملات متن مخفی روشی شناختهشده است که در آن متون پنهان در صفحات وب قرار میگیرند تا مدلهای هوش مصنوعی را به تولید نتایج گمراهکننده وادار کنند. این حملات یکی از چالشهای اصلی مدلهای زبانی بزرگ هستند و از ضعف در پردازش محتوای پنهان بهره میبرند. برای نخستین بار، چنین حملهای بهطور مستند در یک محصول جستجوی زنده مانند ChatGPT گزارش شده است. گاردین اشاره کرده که شرکتهایی مانند گوگل، با تجربه بیشتری در مقابله با این نوع مشکلات، راهکارهای پیشرفتهتری برای جلوگیری از این حملات دارند. این مسئله بر ضرورت تقویت امنیت در فناوریهای نوین تأکید میکند.
OpenAI، توسعهدهنده ChatGPT، اعلام کرد که از روشهای مختلفی برای جلوگیری از حملات و مسدود کردن وبسایتهای مخرب استفاده میکند و بهبود مستمر سیستم را در دستور کار خود دارد. با این حال، بهطور مشخص درباره این حادثه اظهارنظری نکرد.
این اتفاق نشاندهنده اهمیت توجه به امنیت در استفاده از فناوریهای هوش مصنوعی و نیاز به بهبود مداوم سیستمها برای حفاظت از کاربران است.
