کمیته رکن چهارم – مطالعه‌ای جدید از سوی گروه پژوهشی METR نشان می‌دهد ابزارهای هوش مصنوعی در کدنویسی همیشه باعث افزایش سرعت توسعه‌دهندگان نمی‌شوند و گاهی حتی روند کار را کندتر می‌کنند.
به گزارش کمیته رکن چهارم، این تحقیق که به‌صورت آزمایش تصادفی کنترل‌شده انجام شد، روی ۱۶ توسعه‌دهنده باتجربه متن‌باز متمرکز بود. آن‌ها موظف به انجام ۲۴۶ وظیفه واقعی در پروژه‌هایی شدند که با آن‌ها آشنایی داشتند. نیمی از این وظایف با کمک ابزار Cursor و مدل‌های زبانی هوش مصنوعی Claude 3.5/3.7 انجام شد و نیمی دیگر بدون استفاده از هوش مصنوعی. پیش از شروع کار، توسعه‌دهندگان پیش‌بینی کردند که استفاده از ابزارهای هوش مصنوعی زمان انجام کار را حدود ۲۴٪ کاهش خواهد داد؛ اما نتیجه نهایی خلاف این پیش‌بینی را نشان داد — در واقع، وظایف با کمک هوش مصنوعی به‌طور میانگین ۱۹٪ بیشتر طول کشید.
پژوهشگران METR دلایل این کاهش بهره‌وری را در چند عامل اصلی دانسته‌اند: زمان طولانی صرف‌شده برای نوشتن دستورات (prompting)، انتظار برای پاسخ AI، و همچنین لزوم بررسی و اصلاح کدهای تولیدشده که تنها ۴۴٪ آن‌ها بدون تغییر مورد قبول واقع شدند. در حدود ۹٪ از زمان کل نیز صرف تصحیح خروجی‌های نادرست شد.
جالب آنکه با وجود عملکرد کندتر در عمل، بسیاری از برنامه‌نویسان همچنان باور داشتند که استفاده از ابزارهای AI به آن‌ها کمک کرده است. آن‌ها عملکرد خود را در گروه هوش مصنوعی تا ۲۰٪ بهتر از واقعیت ارزیابی کردند.
این یافته‌ها هشداری مهم برای مدیران فناوری اطلاعات و تیم‌های توسعه است: ابزارهای هوش مصنوعی الزاماً به معنای بهره‌وری بیشتر نیستند و در پروژه‌های بزرگ و پیچیده، ممکن است نتایج معکوسی در پی داشته باشند. پژوهش METR همچنین تأکید می‌کند که با توجه به پیشرفت مداوم این ابزارها، نتایج ممکن است در آینده نزدیک تغییر کند؛ با این حال، کاربران باید نسبت به وعده‌های اغراق‌آمیز افزایش بهره‌وری هوشیار باشند.
