کمیته رکن چهارم – پژوهشگران دانشگاه ایلینوی اربانا-شمپین با همکاری محققانی از دانشگاه‌های کلمبیا و تگزاس آستین موفق به توسعه سیستمی شدند که به ربات‌ها امکان می‌دهد تنها با تماشای ویدیو، استفاده از ابزارها را بیاموزند. این روش نوآورانه که Tool-as-Interface نام دارد، نقطه عطفی در آموزش ربات‌ها محسوب می‌شود.
به گزارش کمیته رکن چهارم، در این سیستم ربات‌ها از ویدیوهای ضبط‌شده با دو دوربین بهره می‌گیرند. سپس با کمک مدل بینایی MASt3R و تکنیک ۳D Gaussian splatting، ویدیو به‌صورت سه‌بعدی بازسازی می‌شود. با حذف انسان از تصویر و تمرکز صرف بر ابزار، ربات می‌آموزد مسیر و زاویه حرکت وسیله را تقلید کند.
این تیم آزمایش‌های متنوعی از جمله کوبیدن میخ با چکش، برداشتن کوفته‌قلقلی، برگرداندن تخم‌مرغ در ماهیتابه، تعادل‌دادن بطری و حتی شوت توپ فوتبال را با موفقیت انجام داده است. نتایج نشان می‌دهد روش Tool-as-Interface نسبت به روش‌های سنتی، ۷۱ درصد موفقیت بالاتر و ۷۷ درصد سرعت بیشتر در جمع‌آوری داده‌ها دارد.
به گفته پژوهشگران، این دستاورد می‌تواند آغازگر تحولی بزرگ در یادگیری ربات‌ها باشد، زیرا دیگر به سخت‌افزارهای خاص یا اپراتورهای حرفه‌ای نیازی نیست و حتی ویدیوهای روزمره گرفته‌شده با گوشی یا کلیپ‌های یوتوب می‌توانند به‌عنوان منبع آموزش مورد استفاده قرار گیرند. این پروژه در کارگاه ICRA 2025 موفق به دریافت جایزه بهترین مقاله شد و چشم‌انداز توسعه ربات‌هایی را ترسیم می‌کند که مانند کودکان از طریق مشاهده یاد می‌گیرند.
