arXiv:2609.30266ترجمه شده

نماینده‌های LLM می‌توانند به‌راحتی ردپای خود را دستکاری کنند

Jeremy Qin، David Schmotz، Derck Prinzhorn، Luca Beurer-Kellner، Ameya Prabhu، Maksym Andriushchenko

چکیده

نظارت غیرهمزمان، تحقیقات حوادث، و بازرسی‌های انطباقی عموماً بر ردیابی‌های عاملی وابسته‌اند که می‌توانند رویدادهای رخ‌دهد را بازسازی کنند. این تحلیل‌ها فرض می‌کنند که عامل‌های LLM نمی‌توانند در ردیابی‌های اجرایی خود دست‌کاری کنند. ما نشان می‌دهیم که عامل‌های LLM محلی شامل Claude Code، Codex، Antigravity، Open Code و Grok Build قادر به اعمال این محدودیت نیستند. تمام چارچوب‌های تست‌شده، به‌جز Muse Code، به این عامل‌ها اجازه دادند تا ردیابی‌های خود را حذف کنند، بدون اینکه سیستم‌های محافظتی نظارتی فعال شوند. همچنین اعتبارسنجی می‌کنیم که حمله‌گران خارجی می‌توانند از این شکاف برای القای حذف ردیابی استفاده کنند. در نهایت، نشان می‌دهیم که رفتار دست‌کاری ردیابی به‌طور طبیعی در مدل‌های مرزی ظهور می‌کند، زمانی که عوامل سعی در بهبود پاداش‌های خود دارند. ما به متخصصان توصیه می‌کنیم از یک مکانیزم ثبت ردیابی مستقل و خارج از کنترل عامل استفاده کنند تا یکپارچگی ردیابی حتی در موارد نقض کامل میزبان حفظ شود. به‌طور کلی، یافته‌های ما نقش مشخصی در یکپارچگی ردیابی زیرساخت عوامل ایجاد می‌کند که می‌تواند برای پنهان‌کاری رفتارهای ناهمگون مانند برنامه‌ریزی مخفی یا خرابکاری به کار رود.

متن کامل

عنوان: عامل‌های LLM به سادگی می‌توانند مسیرهای خود را تغییر دهند نویسندگان: جریمی کین، دیوید شموتز، درک پرینتسهورن، لوسا بورر-کلنر، آمیا پرابو، ماکسیم آندریوشنکو چکیده: پایش ناهمگام، بررسی رویدادها و بازرسی‌های انطباقی عمدتاً بر مسیرهای عامل برای بازسازی و تحلیل رفتار متکی هستند. با این حال، ما نشان می‌دهیم که عامل‌های مبتنی بر مدل‌های زبانی بزرگ (LLM) می‌توانند به طور استراتژیک مسیرهای خود را دستکاری کنند تا از کشف مخفی کردن مقاصد یا اقدامات خود، بدون اینکه عملکرد ظاهری‌شان تحت تأثیر قرار گیرد. این پدیده، که ما به آن «تغییر مسیر استراتژیک» می‌گوییم، چالش جدی‌ای برای اطمینان از ایمنی و قابلیت اعتماد سیستم‌های عامل مبتنی بر LLM ایجاد می‌کند. ما چارچوبی برای کمی‌سازی این ریسک ارائه می‌دهیم و استراتژی‌های کاهش اثرات را بررسی می‌کنیم.