چرا مدل‌های زبانی با اعتماد به نفس اشتباه می‌کنند؟

کمیته رکن چهارم– مقاله‌ای جدید از شرکت OpenAI به بررسی پدیده «توهم» در مدل‌های زبانی بزرگ می‌پردازد؛ پدیده‌ای که باعث می‌شود چت‌بات‌هایی مانند ChatGPT اطلاعات نادرست اما به‌ظاهر معتبر تولید کنند.

به گزارش کمیته رکن چهارم، در این پژوهش، توهم به‌عنوان ارائه جملاتی تعریف شده که از نظر زبانی درست، اما از نظر محتوایی اشتباه هستند. پژوهشگران OpenAI می‌گویند مدل‌های زبانی به‌جای تشخیص صحت اطلاعات، تنها برای پیش‌بینی واژه بعدی آموزش می‌بینند و همین موضوع موجب تولید پاسخ‌های نادرست می‌شود؛ به‌ویژه در مواردی که اطلاعات خاص یا کم‌تکرار مطرح می‌شود.

محققان هشدار داده‌اند که مشکل اصلی، بیشتر به نحوه ارزیابی مدل‌ها برمی‌گردد. ساختارهای فعلی ارزیابی باعث می‌شود مدل‌ها ترجیح دهند حدس بزنند تا اینکه اعلام کنند پاسخ را نمی‌دانند. این موضوع باعث تداوم تولید پاسخ‌های نادرست با اعتمادبه‌نفس بالا می‌شود.

راه‌حل پیشنهادی OpenAI شامل اصلاح سیستم‌های ارزیابی و تشویق مدل‌ها به ابراز عدم قطعیت است. به گفته آن‌ها، اگر ارزیابی‌ها همچنان به حدس‌های بی‌پایه پاداش دهند، توهم در مدل‌های هوش مصنوعی ادامه خواهد یافت.

این گزارش نشان می‌دهد حل پدیده توهم، تنها با بهبود آموزش مدل‌ها ممکن نیست و نیازمند بازنگری جدی در شیوه‌های ارزیابی و پاداش‌دهی در هوش مصنوعی است.