User Safety: safe

عنوان: پیش‌بینی نتایج یادگیری تقویتی از سیاست‌های موجود (PoEM) نویسندگان: Kimia Hamidieh, Giannis Daras, Antonio Torralba چکیده: مدل‌های پایه با یادگیری تقویتی (RL) پس‌آموزش داده می‌شوند تا جوایز خاصی مانند هم‌اندازی انسانی، صحت‌سنجی یا پیروی از دستورات را حداکثر کنند. این فرآیند پس‌آموزش از نظر محاسباتی سنگین است، گاهی ناپایدار و باید هر زمان که تابع جایزه تغییر کند یا بخواهیم چندین جایزه را ترکیب کنیم، از ابتدا اجرا شود. بنابراین پرسشی مطرح می‌شود: با وجود یک تابع جایزه جدید، آیا می‌توان نتایج یادگیری تقویتی (RL) را پیش‌بینی کرد بدون آن‌که در واقع RL را روی آن اجرا کنیم؟ ما این پرسش را به‌صورت مثبت پاسخ می‌دهیم و چارچوبی به نام پیش‌بینی نتایج یادگیری تقویتی از سیاست‌های موجود (PoEM) را معرفی می‌کنیم؛ چارچوبی برای پیش‌بینی خروجی‌های یادگیری تقویتی (RL) روی یک تابع جایزه جدید، با بهره‌گیری از مجموعه‌ای از مدل‌هایی که پیش‌آموزش‌دیده‌اند بر جوایز دیگر. اولاً، نشان می‌دهیم که اگر تابع جایزه جدید بتواند به‌صورت ترکیبی خطی از جوایز موجود بیان شود، آنگاه سیاست جدید در فضای لگ (log) نیز می‌تواند به‌صورت ترکیبی خطی از سیاست‌های لگ موجود نوشته شود. شگفت‌انگیز آنکه حتی در مواردی که جوایز مربوطه خطی نیستند، مشاهده می‌کنیم که سیاست‌های لگ حاصل از آموزش با یادگیری تقویتی (RL) اغلب یک زیرفضای تقریباً کم‌رتبه (low-rank) را در میان جوایز پوشش‌دهنده (covering) تشکیل می‌دهند. برای ما مزیت آن است که ضریب‌های وزن این ترکیب می‌توانند با استفاده فقط از خروجی‌های جایزه یا سیاست پایه روی نمونه‌ها تخمین زده شوند. ما این مشاهدات را به یک الگوریتم تبدیل می‌کنیم که مدل‌های پس‌آموزش‌دیده و یک تابع جایزه جدید را به‌عنوان ورودی می‌گیرد و سیاست هدف یادگیری تقویتی (RL) را بدون نیاز به هیچ آموزش اضافی RL تقریبی می‌دهد. رویکرد ما را به‌صورت آزمایشی بر روی جوایز سنتتیک و واقعی، شامل متون و تصاویر، تأیید می‌کنیم. موضوعات: یادگیری ماشین (cs.LG); هوش مصنوعی (cs.AI); محاسبات و زبان (cs.CL); بینایی کامپیوتر و تشخیص الگو (cs.CV) منبع: arXiv:2609.30226 [cs.LG] (یا arXiv:2609.30226v1 [cs.LG] برای این نسخه) https://doi.org/10.48550/arXiv.2609.30226 برای اطلاعات بیشتر DOI منتشر شده توسط arXiv از طریق DataCite (در حال ثبت) را بررسی کنید. تاریخ ارسال: از: Kimia Hamidieh [مشاهده ایمیل] [v1] پنج‌شنبه، ۲۴ سپتامبر ۲۰۲۶ ۱۷:۵۰:۲۵ UTC (۱٬۹۱۸ کیلوبایت) ابزارهای بایوگرافی و نقل‌قول کاوشگر بایوگرافی تبدیل (What is the Explorer?) مقالات مرتبط تبدیل (What is Connected Papers?) Litmaps تبدیل (What is Litmaps?) scite.ai تبدیل smartsite citations (What are Smart Citations?) کد، داده و رسانه کد، داده و رسانه مرتبط با این مقاله alphaXiv تبدیل (What is alphaXiv?) پیوندها به کد تبدیل CatalyzeX Code Finder for Papers (What is CatalyzeX?) DagsHub تبدیل (What is DagsHub?) GotitPub تبدیل (What is GotitPub?) Hugging Face تبدیل (What is Huggingface?) ScienceCast تبدیل (What is ScienceCast?) دَموها نمونه‌ها تکرار چوبک تکرار (Replicate) تکرار چیست؟ فضاها چوبک فضاها فضاهای Hugging Face (فضاها چیستند؟) فضاها چوبک فضاها TXYZ.AI (TXYZ.AI چیست؟) مقالات مرتبط سیستم‌های پیشنهاددهنده و ابزارهای جستجو لینک به گل تأثیر گل تأثیر (گل‌های تأثیر چیستند؟) سیستم پیشنهاددهنده اصلی سیستم پیشنهاددهنده اصلی (CORE) (CORE چیست؟) سیستم پیشنهاددهنده IArxiv سیستم پیشنهاددهنده IArxiv (IArxiv چیست؟) نویسنده، مکان، نهاد، موضوع درباره arXivLabs arXivLabs: پروژه‌های آزمایشی با همکاران جامعه arXivLabs یک چارچوب است که به همکاران اجازه می‌دهد ویژگی‌های جدید arXiv را مستقیماً در وب‌سایت ما توسعه دهند و به اشتراک بگذارند. هر دو افراد و سازمان‌هایی که با arXivLabs کار می‌کنند، ارزش‌های ما شامل انفتادگی، جامعه، عالی‌بودن، و حریم خصوصی داده کاربران را پذیرفته و پشتیبانی می‌کنند. arXiv به این ارزش‌ها متعهد است و فقط با شرکایی که از آنها پیروی می‌کنند کار می‌کند. ایده‌ای برای پروژه‌ای دارید که ارزشی برای جامعه arXiv اضافه کند؟ بیشتر درباره arXivLabs بیاموزید. کدام نویسندگان این مقاله حامیان هستند؟ غیرفعال کردن MathJax (MathJax چیست؟)