متا و تحول مدل‌های زبانی با لایه‌های حافظه

کمیته رکن چهارم – محققان Meta AI فناوری جدیدی به نام Scalable Memory Layers (لایه‌های حافظه مقیاس‌پذیر) معرفی کرده‌اند که با هدف بهبود دقت دانش واقعی مدل‌های زبانی و کاهش مصرف منابع طراحی شده است. این فناوری از مکانیزم‌های ذخیره و بازیابی اطلاعات استفاده می‌کند و برخلاف لایه‌های متراکم سنتی، تنها بخشی از پارامترها را فعال می‌کند. این ویژگی نه‌تنها مصرف محاسباتی را کاهش می‌دهد، بلکه به کاهش توهمات اطلاعاتی مدل‌ها کمک می‌کند.

به گزارش کمیته رکن چهارم، توهمات اطلاعاتی زمانی رخ می‌دهد که مدل زبانی اطلاعاتی نادرست یا ساختگی ارائه می‌کند، حتی اگر به نظر دقیق و واقعی برسند. استفاده از لایه‌های حافظه با ذخیره دانش واقعی و کاهش نیاز به حدس و ترکیب اطلاعات، این مشکل را به میزان قابل‌توجهی کاهش می‌دهد. یکی از چالش‌های اصلی لایه‌های حافظه، بار بالای حافظه و ناسازگاری با سخت‌افزارهای مدرن مانند GPUها بود. محققان متا با بهبودهایی مانند توزیع موازی در GPUها، استفاده از هسته‌های CUDA، و اشتراک پارامترها، این مشکلات را حل کرده‌اند. این رویکردها امکان استفاده از لایه‌های حافظه در مدل‌های زبانی بزرگ بدون کاهش سرعت و عملکرد را فراهم کرده است.

متا این فناوری را روی مدل‌های Llama آزمایش کرده و نتایج نشان داده است که مدل مجهز به لایه‌های حافظه با تنها ۱٫۳ میلیارد پارامتر توانسته عملکردی نزدیک به مدل Llama-2-7B داشته باشد، در حالی که مصرف منابع آن ۱۰ برابر کمتر بوده است. این فناوری حتی در مدل‌های بزرگ‌تر نیز توانسته دقت و کارایی را بدون افت عملکرد حفظ کند.

این نوآوری همچنین می‌تواند چالش فراموشی اطلاعات در مدل‌ها را کاهش دهد. ترکیب لایه‌های حافظه با شبکه‌های متراکم باعث شده مدل‌ها توانایی بیشتری در ارائه پاسخ‌های دقیق و واقعی داشته باشند. به‌ویژه در زمینه‌هایی مانند دانش علمی، پاسخ به سوالات واقعی، و کدنویسی، مدل‌های تقویت‌شده با این فناوری دقت بالاتری از خود نشان داده‌اند.

محققان Meta AI تأکید دارند که لایه‌های حافظه باید بخشی از نسل بعدی معماری‌های هوش مصنوعی شوند. این فناوری با کاهش مصرف منابع، افزایش دقت، و قابلیت یادگیری مداوم می‌تواند راهکارهای جدیدی برای مدیریت دانش و حافظه در مدل‌های زبانی بزرگ ارائه دهد و به افزایش اعتماد و کارایی این فناوری کمک کند.