بهینه‌سازی سیاست تقویت‌شده با تخصیص اعتبار نیمه-واقعی

چکیده

یادگیری تقویتی با جوایز قابل تأیید (RLVR) توانایی استدلال مدل‌های زبانی بزرگ (LLMs) را بهبود بخشیده است، اما پیش‌بینی‌های آن‌ها همچنان به ویژگی‌های prompt غیرمرتبط با تأثیر حساس است. ما این حساسیت را از طریق مداخلات prompt semifactual بررسی کردیم که مشکل پایه و پاسخ آن را حفظ می‌کنند. تحلیل ما نشان می‌دهد حساسیت سطح توکن به‌طور قابل توجهی متغیر است و نشان می‌دهد که سرکوب کاندیدهای توکن با حرکت بالا در drift دقت استدلال را بدون به‌روزرسانی وزن‌های مدل افزایش می‌دهد. این یافته‌ها نشان می‌دهد یک محدودیت در Group Relative Policy Optimization (GRPO) وجود دارد، که مزیت حاصل از Outcome را به‌طور یکسان برای هر توکن پاسخ تخصیص می‌دهد و ممکن است به تقویت وابستگی‌های جعلی به‌علاوه بر استدلال مفید منجر شود. متاثر از این مشاهده، ما Semifactual Credit-Augmented Policy Optimization (SCAPO) را معرفی می‌کنیم، یک نسخهٔ الهام‌گرفته از causality از GRPO که ثبات semifactual را در تخصیص اعتبار توکن ادغام می‌کند. SCAPO drifted احتمال توکن برای پاسخ‌های ثابت تحت مداخلات semifactual را اندازه‌گیری می‌کند و از امتیازات ثبات نرمال‌شده برای کاهش مزیت توکن‌های نسبتاً ناپایدار در آموزش اولیه استفاده می‌کند، در حالی که برای ثبات alone هیچ اعتبار اضافی نمی‌دهد. روی مدل‌های Qwen3-4B-Base و Qwen3-1.7B-Base، SCAPO دقت AIME 2024-2026 را نسبت به GRPO به‌ترتیب ۵.۶۳ و ۴.۱۷ نقطه درصد افزایش می‌دهد. در هر دو مقیاس مدل، SCAPO در اکثر بنچمارک‌های ریاضیات مورد ارزیابی و تمام بنچمارک‌های خارج از توزیع (out-of-distribution) بهترین نتایج را بین روش‌های مقایسه‌شده به‌دست می‌آورد. این نتایج نشان می‌دهد که ثبات semifactual می‌تواند سیگنال آموزشی مؤثر برای بهبود استدلال و تعمیم از طریق تخصیص اعتبار دقیق‌تر در RLVR باشد. کد در https://github.com/DtYXs/SCAPO در دسترس است.