arXiv:2608.20281ترجمه شده

دخالت، همگام‌سازی، و بازگشت: آموزش‌های مراحل‌ای برای داخالت دانش اسناد بدون بازیابی

Qian Kou، Xiaofeng Shi، Xiaosong Qiu، Hua Zhou

چکیده

1. بهبود جریان و خوانایی 2. ساختار جمله‌ای طبیعی‌تر در فارسی 3. ثبات در اصطلاحات 4. تصحیح خطاهای ترجمه مقررات: - حفظ اصطلاحات و فرمول‌های فنی - حفظ ساختار بخش‌ها - حفظ استنادها و منابع فقط متن فارسی بهبود یافته را ارائه دهید، بدون توضیحات یا یادداشت‌ها. مدل‌های زبانی بزرگ اغلب در پاسخ به سوالات مربوط به مجموعه‌های مستندات محدود که در زمان استعلام بازیابی نشده‌اند، با مشکل مواجه می‌شوند. ما این سناریو را به عنوان «داخلی‌سازی دانش مستندات» تعریف می‌کنیم: تبدیل یک کورپوس ثابت به دانش پارامتریک قابل استفاده برای پاسخ‌گویی بدون نیاز به بازیابی. ما چارچوب IAR (تزریق، همگام‌سازی و بازیابی) را معرفی می‌کنیم، یک چارچوب سه‌مرحله‌ای پس از آموزش که تزریق دانش ساختاری مستندات، همگام‌سازی رفتار پاسخ‌گویی و بازیابی توانایی‌های کلی را از هم جدا می‌کند. برخلاف یادگیری پیش‌پرتاب متوالی معمولی، IAR اسناد منبع را به اهداف پیوست‌سازی، بازنویسی و بازسازی مبتنی بر دستورالعمل تبدیل می‌کند. سپس، مرحله همگام‌سازی، مدل تزریق‌شده را با نظارت QA تنها با پاسخ‌های سازگار هماهنگ می‌کند، در حالی که مرحله بازیابی، مدل تطبیق‌یافته حوزه را با مدل دستورالعمل پایه ادغام می‌کند تا توانایی‌های کلی را بازیابد. در مقایسه با کورپوس مشترک (CC) و CCI، و در میان خانواده‌های مدل‌های Llama، Phi، Qwen و SmolLM، IAR مرز بین حوزه و کلی را برای داخلی‌سازی مستندات بدون بازیابی بهبود می‌بخشد. در مقایسه اصلی، IAR در تمام چهار معیار گزارش‌شده در ۷ از ۸ تنظیم مدل-مجموعه، برتر از Vanilla SFT است و افزایش‌های میانگین ۳.۶ درصدی در دقت پاسخ‌گویی حوزه و ۱۲.۱ درصدی در عملکرد کلی میانگین در IFEval، MMLU و MSBench را نشان می‌دهد. در پایه‌های CC گسترش‌یافته، LoRA و FAPM ممکن است در معیارهای کلی فردی برتری داشته باشند، اما در میان روش‌هایی که هم حوزه داخلی‌سازی پیشرو یا نزدیک به پیشرو هستند، IAR یکی از قوی‌ترین پروفایل‌های کلی را حفظ می‌کند.