چکیده
بزرگ‌مدل‌های زبانی به‌طور فزاینده‌ای در فرآیندهای امنیت سایبری کاربرد پیدا می‌کنند، جایی که انتظار می‌رود این مدل‌ها بتوانند دستورات تحلیلگران را به فراخوانی ابزارها تبدیل کنند. با این حال، ارزیابی‌های موجود بر سنجش دانش یا وظایف کامل عاملی متمرکز هستند و به‌طور مستقیم توانایی مدل‌های زبانی بزرگ را در تولید دستورات قابل اجرا برای ابزارهای امنیت سایبری واقعی اندازه‌گیری نمی‌کنند. این شکاف بسیار مهم است، زیرا عملیات امنیت سایبری به رابط‌های خط فرمان سخت‌گیرانه (CLI) وابسته هستند؛ جایی که خطاهای کوچک در نحو، اتصال نادرست پرچم-مقدار یا ترتیب نادرست آرگومان‌ها می‌تواند اجرای دستور را نامعتبر کند. ما KaliBench را معرفی می‌کنیم، یک بنچمارک و مجموعه داده دقیق برای ترجمه زبان طبیعی به CLI در Kali Linux، که شامل ۸۵۰۴ جفت پرس‌وجو-دستور در ۱۶۴۲ ابزار در ۲۳ بعد توانمندی و ۵ فاز امنیتی است. KaliBench از طریق یک پipeline مبتنی بر مقاله‌ای با کانونی‌سازی قطعی و ارزیابی آگاهانه از نام‌های مستعار ساخته شده است، که امکان ارزیابی دقیق و قابل بازتولید انتخاب ابزار و ساخت آرگومان‌ها را فراهم می‌کند. برای تضمین هم صحت معنایی و هم قابلیت اجرا عملی، ما یک پipeline تأیید چندمرحله‌ای توسعه داده‌ایم که ترکیبی از تأیید مبتنی بر LLM، اجرای ترمینال در محیط امن و بهبود با دخالت انسان است. با استفاده از این سیگنال‌های دقیق و قطعی، KaliBench همچنین امکان ارائه پاداش‌های قابل تأیید بدون نیاز به زمان اجرا را برای آموزش فراهم می‌کند. در سه حالت ارزیابی و ۲۴ پیکربندی از مدل‌های بازعمومی و امنیتی با وزن باز، هیچ مدل بازعمومی در حالت بدون محدودیت به دقت بیش از ۴۲ درصد در تولید دستور دقیق دست نمی‌یابد، که نشان‌دهنده دشواری استفاده دقیق از ابزارهای امنیت سایبری مبتنی بر CLI بدون ارائه راهنمایی‌های صریح ابزاری است. ما همچنین نشان می‌دهیم که تنظیم دقیق نظارت‌شده و یادگیری تقویتی با پاداش‌های قابل تأیید استخراج‌شده از KaliBench، به‌طور قابل توجهی مدل ۸ میلیارد پارامتری را بهبود می‌بخشد و عملکردی قابل مقایسه با مدل MoE ۶۸۵ میلیارد پارامتری به دست می‌آورد.
متن کامل
علوم کامپیوتر > محاسبه و زبان arXiv:2610.02206v1 [cs.CL] [ثبت‌شده در ۱ اکتبر ۲۰۲۶]
**عنوان:** کالی‌بنچ: یک بِنچ‌مارک ریزجزئی برای استفاده از ابزارهای امنیت سایبری در کالی لینوکس با پاداش‌های قابل‌تأیید بدون زمان اجرا
**نویسندگان:** پانگ‌فی لی، نوافال سوریانتو، سی‌چنگ چانگ، موزامال ناصر
یادگیری ماشین (ML) و مدل‌های زبان بزرگ (LLM) در جریان‌های کاری امنیت سایبری به کار می‌روند و انتظار می‌رود نیت‌های تحلیلگران را به فراخوانی ابزارها ترجمه کنند. با این‌حال، ارزیابی‌های موجود بر ارزیابی‌های مبتنی بر دانش یا وظایف انتهام‌یافته توسط عامل تمرکز دارند و توانایی مدل‌های زبان بزرگ در تولید دستورات قابل اجرا برای ابزارهای واقعی امنیت سایبری را به‌طور مستقیم اندازه‌گیری نمی‌کنند. این شکاف بسیار مهم است، زیرا عملیات امنیت سایبری مبتنی بر رابط‌های خط فرمانی (CLI) با دقت بالایی هستند؛ خطاهای کوچک نحوی، پیوندهای نادرست پرچم–مقدار یا نادرستی ترتیب آرگومان‌ها می‌توانند اجرای دستور را نامعتبر کنند.
ما کالی‌بنچ (KaliBench) را معرفی می‌کنیم: یک بِنچ‌مارک و مجموعه داده ریزجزئی برای ترجمه زبان طبیعی به دستور خط فرمان در کالی لینوکس، شامل ۸۵۰۴ جفت سؤال–دستور که در ۱۶۴۲ ابزار، ۲۳ بعد توانمندی و ۵ فاز امنیتی پراکنده‌اند. کالی‌بنچ از طریق یک خط‌لوله ساخته‌شده بر اساس متن اصلی با نرمال‌سازی قطعی و ارزیابی آگاه به نام مستعار ساخته شده است، که انتخاب دقیق و قابل‌بازتولید ابزار و ساخت آرگومان را امکان‌پذیر می‌سازد. برای تضمین هم‌درستی معنایی و هم قابلیت اجرای عملی، یک خط‌لوله تأیید چندمرحله‌ای توسعه می‌دهیم که ترکیبی از اعتبارسنجی مبتنی بر مدل زبان بزرگ، اجرای ترمینال در محیط ایمن و اصلاح در حلقه انسانی را به کار می‌گیرد.
بر اساس این سیگنال‌های ریزجزئی و قطعی، کالی‌بنچ همچنین امکان ارائه پاداش‌های تأییدشده بدون نیاز به زمان اجرا برای آموزش را فراهم می‌کند. در سه حالت ارزیابی و ۲۴ پیکربندی از مدل‌های عمومی و متمرکز بر امنیت با وزن باز، هیچ مدلی از دقیقاً ۴۲ درصد دقت دستوری در تنظیمات غیرمحدود تجاوز نمی‌کند، که نشان‌دهنده دشواری استفاده دقیق از ابزارهای امنیت سایبری مبتنی بر خط فرمان بدون راهنمایی ابزار صریح است. همچنین نشان می‌دهیم که آموزش نظارتی و یادگیری تقویتی با پاداش‌های قابل‌تأیید حاصل از کالی‌بنچ، یک مدل ۸B را به‌طور قابل‌توجهی بهبود می‌بخشد و عملکردی مشابه مدل ۶۸۵B ترکیبی به دست می‌آورد.
**نظرات:** موضوعات: محاسبه و زبان (cs.CL); هوش مصنوعی (cs.AI); رمزنگاری و امنیت (cs.CR)
**ارجاع به عنوان:** arXiv:2610.02206 [cs.CL] (یا arXiv:2610.02206v1 [cs.CL] برای این نسخه)
https://doi.org/10.48550/arXiv.2610.02206
برای یادگیری بیشتر درباره DOI منتشرشده توسط arXiv از طریق DataCite (در انتظار ثبت)
**تاریخچه ارسال:** از: نوافال سوریانتو [نمایش ایمیل] [v1] جمعه، ۱ اکتبر ۲۰۲۶ ۱۷:۵۹:۵۵ UTC (۴۸۸۳ کیلوبایت)
ابزارهای کتابشناسی | ابزارهای کتابشناسی و ارجاع‌یابی | اکتشافگر کتابشناسی (فعال/غیرفعال) | اکتشافگر کتابشناسی چیست؟
کاغذهای متصل (فعال/غیرفعال) | کاغذهای متصل چیست؟
لیتمپ (فعال/غیرفعال) | لیتمپ چیست؟
scite.ai | سوییچ استنادهای هوشمند | scite (استنادهای هوشمند چیست؟)
کد، داده و رسانه | کد، داده و رسانه مرتبط با این مقاله
alphaXiv | سوییچ alphaXiv (alphaXiv چیست؟)
لینک‌های کد | سوییچ CatalyzeX Code Finder for Papers (CatalyzeX چیست؟)
DagsHub | سوییچ DagsHub (DagsHub چیست؟)
GotitPub | سوییچ Gotit.pub (GotitPub چیست؟)
Huggingface | سوییچ Hugging Face (Huggingface چیست؟)
ScienceCast | سوییچ ScienceCast (ScienceCast چیست؟)
دموها | Replicate (Replicate چیست؟) | Spaces | Hugging Face Spaces (Spaces چیست؟) | Spaces | TXYZ.AI (TXYZ.AI چیست؟)
مقالات مرتبط | ابزارهای توصیه‌کننده و جستجو | لینک به Influence Flower (Influence Flower چیست؟) | توصیه‌کننده اصلی | سوییچ CORE Recommender (CORE چیست؟)
نویسنده | مکان | نهاد | موضوع
درباره arXivLabs
arXivLabs یک چارچوب است که به همکاران امکان می‌دهد ویژگی‌های جدید arXiv را مستقیماً در وب‌سایت ما توسعه و به اشتراک بگذارند. هم افراد و هم سازمان‌هایی که با arXivLabs همکاری می‌کنند، ارزش‌های ما را در زمینه باز بودن، جامعه، برتری و حریم خصوصی داده‌های کاربران پذیرفته‌اند. arXiv متعهد به این ارزش‌هاست و تنها با شرکایی کار می‌کند که به آنها پایبند باشند. آیا ایده‌ای برای پروژه‌ای دارید که برای جامعه arXiv ارزش افزوده ایجاد کند؟ بیشتر درباره arXivLabs بدانید.
کدام یک از نویسندگان این مقاله حامی آن هستند؟ | MathJax را غیرفعال کنید (MathJax چیست؟)