چکیده
شخصی‌سازی برای انتقال ربات‌های عمومی به محیط‌های خانگی و دستیابی به قابلیت عملیاتی واقعی، ضروری است. در حالی که دستکاری رباتیک عمومی به‌طور گسترده مورد مطالعه قرار گرفته است، دستکاری رباتیک شخصی‌سازی‌شده (PeRM) فاقد بنچمارک کنترل‌شده‌ای برای جداسازی تکمیل وظیفه از رضایت‌مندی ناشی از ترجیحات است. ما LIBERO-PeRM را معرفی می‌کنیم، یک بنچمارک برای یادگیری ترجیحات در عوامل درون‌درمی‌شده. این بنچمارک به بررسی پنج پرسش می‌پردازد: ۱) سیاست‌ها در تنظیمات صفرشات چگونه ترجیحات را دنبال می‌کنند؛ ۲) چگونه از طریق نمونه‌ها، ترجیحات تکی را یاد می‌گیرند؛ ۳) با افزایش تعداد نمونه‌ها، چقدر کارآمد است که ترجیحات را به دست می‌آورند؛ ۴) چگونه ترجیحات یادگرفته‌شده در طرح‌ها و وظایف مختلف عمومی‌سازی می‌شوند؛ و ۵) چگونه سیاست‌ها ترجیحات را ترکیب می‌کنند و در شرایط تعارض رفتار می‌کنند. ما یک فرمول‌بندی و طبقه‌بندی کنترل‌شده از ترجیحات قابل مشاهده در شبیه‌ساز ارائه می‌کنیم که شامل انتخاب‌های حرکتی، مهارتی و نمایه کاربری است. این فرمول‌بندی به ترجیحاتی محدود می‌شود که به زبان قابل بیان هستند و می‌توانند در LIBERO بدون تغییر هدف وظیفه نمونه‌سازی شوند، به‌صورت خودکار ارزیابی شوند و در سایر وظایف قابل استفاده مجدد باشند. بر پایه LIBERO، خط لوله فرآیندی ما دو نوع نمونه‌گیری همزمان با و بدون ترجیحات تولید می‌کند. ما پنج مجموعه وظیفه (۳۱۲ وظیفه) با نمونه‌گیری‌های باکیفیت، فراماده‌های غنی و معیارهای رضایت‌مندی از ترجیحات ایجاد می‌کنیم. آزمایش‌ها نشان می‌دهند که سیاست‌های فعلی VLA در شخصی‌سازی صفرشات دچار مشکل هستند، در حالی که SFT ترجیحات را قابل یادگیری می‌کند. آموزش ترکیبی نگهداری بدون ترجیحات بهتر از سازگاری تدریجی عمل می‌کند و با استفاده از پیام‌های زمینه‌ای نسبت به آموزش فقط بر اساس ترجیحات، عملکرد بهتری دارد، اما ممکن است یادگیری ترجیحات حرکتی را تضعیف کند. عمومی‌سازی ترجیحات، تجزیه و تحلیل آن‌ها و مدیریت تعارضات همچنان چالش‌برانگیز هستند. کدها، دیتاست‌ها و دموها در وب‌سایت پروژه در دسترس هستند: https://libero-perm.github.io/
متن کامل
## LIBERO-PeRM: ارزیابی دستکاری رباتیک شخصی‌سازی شده
**مؤلفان:** Zhixu Li, Keqian Tang, Litian Gong, Jingyu Yao, Wenqian Zhang, Tianze Xu, Zehao Wang, Yuping Wang, Junge Zhang, Jiachen Li
**خلاصه:** شخصی‌سازی برای ربات‌های عمومی امری ضروری است تا بتوانند به محیط‌های خانگی ادامه دهند و عملکرد واقعی داشته باشند. اگرچه دستکاری رباتیک عمومی مورد مطالعه گسترده‌ای قرار گرفته است، اما دستکاری رباتیک شخصی‌سازی شده (PeRM) به دلیل عدم وجود یک استاندارد کنترل‌شده برای تفکیک تکمیل وظیفه از رضایت ترجیح، هنوز به‌طور کامل بررسی نشده است. ما LIBERO-PeRM را معرفی می‌کنیم؛ یک استانداردسنجی برای ارزیابی یادگیری ترجیح در عملگرهای متصل. این استاندارد پنج سؤال کلیدی را پوشش می‌دهد: ۱) دنبال کردن ترجیحات در شرایط بدون پیش‌نمایش؛ ۲) یادگیری ترجیح واحد از نمایش‌ها؛ ۳) سرعت کسب ترجیحات با افزایش نمایش‌ها؛ ۴) تعمیم ترجیحات یاد گرفته شده در محیط‌ها و وظایف مختلف؛ و ۵) ترکیب ترجیحات توسط سیاست‌ها و رفتار آن‌ها در مواجهه با تعارضات. ما یک فرمولاسیون کنترل‌شده و تاکسونومی از ترجیحات مشاهده‌شده در شبیه‌سازی ارائه می‌کنیم که شامل ترجیحات حرکت، مهارت و انتخاب‌های پروفایل کاربر است. این فرمولاسیون محدود به ترجیحات قابل بیان با زبان است که می‌توانند بدون تغییر هدف وظیفه در LIBERO تجسم یابند، خودکار ارزیابی شوند و در سرزمین استفاده شوند. بر پایه LIBERO، خطوط لوله فراغتی ما نمایش‌های زوجی را با و بدون ترجیح تولید می‌کند. ما پنج مجموعه وظیفه (۳۱۲ وظیفه) با نمایش‌های با کیفیت بالا، متادیتای غنی و شاخص‌های رضایت ترجیح ایجاد کرده‌ایم. نتایج آزمایش‌ها نشان می‌دهد که سیاست‌های VLA فعلی در شخصی‌سازی بدون پیش‌نمایش با مشکل مواجه هستند، در حالی که RFT ترجیحات قابل یادگیری می‌سازد. آموزش مخلوط عملکرد بهتری نسبت به حفظ عدم وجود ترجیح از آموزش متوالی دارد و با دستورالعمل‌های بصرتاری بهبود عملکرد نسبت به آموزش فقط ترجیح دارد، اما ممکن است یادگیری ترجیح حرکت را ضعیف‌تر کند. تعمیم ترجیح، تجزیه و تحلیل و مدیریت تعارض همچنان چالش‌برانگیز باقی مانده است. کد، داده‌ها و نمایش‌ها را می‌توانید در وب‌سایت پروژه پیدا کنید: [این لینک URL است](https://example.com).
**نظرات:** موضوعات: رباتیک (cs.RO)، هوش مصنوعی (cs.AI)، یادگیری ماشین (cs.LG) است.