چکیده
جریان‌های کارِ عامل‌گرا (Agentic) به‌تدریج به سمت وظایفِ افق‌طویل (long-horizon)، مانند کارهای علمیِ باز (open-ended)، تغییر می‌کنند. در این فرآیند، مدل‌ها از پنجره‌هایِ متنِ طولانی (long context windows) بهره‌مند می‌شوند. با این حال، در متن‌هایِ فوق‌العاده‌طویل (ultra-long context) - یعنی بیش از ۱ میلیون توکن - توجه کامل (full attention) از نظر محاسباتی هزینه‌برِ دومین-درجه است. یک رویکردِ توجه خلأ (sparse attention) پیشنهاد می‌شود، که در آن یک نمایه‌ساز (indexer) اختصاصی، زیرمجموعه‌ای از کلیدها (keys) را برای توجه انتخاب می‌کند. با این حال، روش‌های فعلی نمایه‌سازی همچنان هزینه دومین-درجه در اندازه متن دارند یا در مقیاسِ متنِ فوق‌العاده‌طویل دقت را از دست می‌دهند. ما این چالش را با رویکردِ ناگفته (Latent Sparse Attention - LSA) - یک روش توجه کارآمد که دقت را در متنِ فوق‌العاده‌طویل حفظ می‌کند - حل می‌کنیم. در LSA، کلیدها به‌صورت سلسله‌مراتبی در فضای نهفته (latent space) یاد گرفته شده و خوشه‌بندی می‌شوند، و پرسش‌ها (queries) سلسله‌مراتب خوشه‌ها را امتیاز می‌دهند به جای امتیاز دادن به هر کلید. این امر پیش‌پردازش (prefill)، رمزگشایی (decode) و آموزش را در متن‌های طولانی سریع‌تر می‌سازد. ما دو نوع را پیشنهاد می‌کنیم: LSA تقطیرشده (Distilled-LSA - D-LSA)، که می‌تواند از طریق تقطیر (distillation) بر مدل‌های ازپیش‌آموخته اعمال گردد، و LSA بومی (Native-LSA - N-LSA)، که به‌صورت بومی تنها بر ضرر توکنِ بعدی (next-token loss) آموزش می‌بیند. در GLM-5.3-FLASH (QWEN-3.8-27B) با ۱۰ میلیون توکن، D-LSA یک لایه توجه را در پیش‌پردازش با سرعت ۲۲.۷ برابر (۷۲.۴ برابر) و در رمزگشایی با سرعت ۴.۶ برابر (۴۲.۵ برابر) نسبت به توجه خلأ اصلی‌اش (توجه کامل) عمل می‌کند، در حالی که دقت مشابهی را در طیف وسیعی از وظایف حفظ می‌کند. N-LSA دقت توجه کامل را با تسریع ۱.۶ برابر در آموزش هر لایه در ۱۲۸ هزار توکن تطبیق می‌دهد. LSA یک روش توجه کاربردی و کارآمد برای مدل‌ها فراهم می‌آورد تا از متنِ فوق‌العاده‌طویل بهره‌مند شوند.
متن کامل
علوم کامپیوتر > هوش مصنوعی arXiv:2610.42147v1 (cs) [ارسال شده در ۳۰ اکتبر ۲۰۲۶] عنوان: توجه اسپارس نهفته: گام‌هایی به سوی توجه با پیچیدگی زیرمربع و زمینه بسیار طولانی نویسندگان: آلز کوبیسک، آندریا کاسیولای، لیانگزو پنگ، سوکريت سومان، بنجامین هوور، فریزر گرینلی، روئیرید ام. باتلدی، رادیم اوربان، تورستن هوفلر، جیمز سی.آر. ویتینگتون مشاهده فایل PDF مقاله با عنوان «توجه اسپارس نهفته: گام‌هایی به سوی توجه با پیچیدگی زیرمربع و زمینه بسیار طولانی» نوشته آلز کوبیسک و ۹ نویسنده دیگر مشاهده PDF HTML (آزمایشی) چکیده: فرآیندهای عاملی‌گرا به‌طور فزاینده‌ای به سمت وظایف با افق زمانی طولانی‌تر، مانند کار علمی باز، گرایش پیدا می‌کنند که در آن مدل‌ها از پنجره‌های زمینه طولانی‌تر سود می‌برند. با این حال، در زمینه بسیار طولانی (بیش از ۱ میلیون توکن)، توجه کامل بسیار پرهزینه است. رویکردی امیدوارکننده، توجه اسپارس است که در آن یک نمایه‌ساز اختصاصی زیرمجموعه‌ای از کلیدها را برای توجه انتخاب می‌کند. با این حال، روش‌های فعلی نمایه‌سازی یا همچنان هزینه‌ای مربعی در اندازه زمینه دارند یا در مقیاس زمینه بسیار طولانی دقت خود را از دست می‌دهند. ما این مشکل را با توجه اسپارس نهفته (LSA) حل می‌کنیم، یک روش توجه کارآمد که دقت را در زمینه بسیار طولانی حفظ می‌کند. در LSA، کلیدها به‌صورت سلسله‌مراتبی در یک فضای نهفته یادگرفته شده خوشه‌بندی می‌شوند و کوئری‌ها سلسله‌مراتب خوشه‌ها را امتیازدهی می‌کنند به جای اینکه هر کلید را امتیازدهی کنند، که باعث سریع‌تر شدن پیش‌پر، دکد و آموزش در زمینه‌های طولانی می‌شود. ما دو نوع متغیر ارائه می‌کنیم: Distilled-LSA (D-LSA) که می‌تواند از طریق تقطیر بر روی مدل‌های از پیش آموزش‌دیده اعمال شود و Native-LSA (N-LSA) که به‌صورت بومی تنها بر روی زیان توکن بعدی آموزش می‌بیند. بر روی GLM-5.3-FLASH (QWEN-3.8-27B) در ۱۰ میلیون توکن، D-LSA یک لایه توجه را ۲۲.۷ برابر (۷۲.۴ برابر) در پیش‌پر و ۴.۶ برابر (۴۲.۵ برابر) در دکد نسبت به توجه اسپارس اصلی (توجه کامل) سریع‌تر می‌کند، در حالی که دقت مشابهی را در طیف وسیعی از وظایف حفظ می‌کند. N-LSA دقت توجه کامل را با سرعت آموزش ۱.۶ برابر در هر لایه در ۱۲۸ هزار توکن مطابقت می‌دهد. LSA توجهی کاربردی و کارآمد را برای مدل‌ها ارائه می‌دهد تا از زمینه بسیار طولانی سود ببرند. موضوعات: هوش مصنوعی (cs.AI) استناد: arXiv:2610.42147 [cs.AI] (یا arXiv:2610.42147v1 [cs.AI] برای این نسخه) https://doi.org/10.48550/arXiv.2610.42147 برای کسب اطلاعات بیشتر بر روی DOI صادر شده توسط arXiv از طریق DataCite تمرکز کنید (در انتظار ثبت نام) تاریخچه ارسال از: آندریا کاسیولای [مشاهده ایمیل] [v1] جمعه، ۳۰ اکتبر ۲۰۲۶ ۱۷:۵۹:۳۴ UTC (۵,۳۸۰ KB) ابزارهای کتاب‌شناسی ابزارهای کتاب‌شناسی و استناد کاوشگر کتاب‌شناسی تغییر کاوشگر کتاب‌شناسی (کاوشگر چیست؟) مقالات مرتبط تغییر مقالات مرتبط (مقالات مرتبط چیست؟) Litmaps تغییر Litmaps (Litmaps چیست؟) scite.ai تغییر scite استنادها هوشمند (استنادها هوشمند چیست؟) کد، داده، رسانه کد، داده و رسانه مرتبط با این مقاله alphaXiv تغییر alphaXiv (alphaXiv چیست؟) لینک‌ها به کد تغییر CatalyzeX Code Finder برای مقالات (CatalyzeX چیست؟) DagsHub تغییر DagsHub (DagsHub چیست؟) GotitPub تغییر Gotit.pub (GotitPub چیست؟) Huggingface تغییر Hugging Face (Huggingface چیست؟) ScienceCast تغییر ScienceCast (
**ScienceCast چیست؟) دموها دموها تکرار Toggle تکرار (Replicate چیست؟) فضاها Toggle فضاهای Hugging Face (فضاها چیست؟) فضاها Toggle TXYZ.AI (TXYZ.AI چیست؟) مقالات مرتبط ابزارهای توصیه‌گر و جستجو لینک به گل تأثیر گل تأثیر (گل‌های تأثیر چیست؟) توگل توصیه‌گر اصلی توصیه‌گر CORE (CORE چیست؟) نویسنده مکان مؤسسه موضوع درباره arXivLabs arXivLabs: پروژه‌های آزمایشی با همکاران جامعه arXivLabs چارچوبی است که به همکاران امکان می‌دهد ویژگی‌های جدید arXiv را مستقیماً در وب‌سایت ما توسعه و به اشتراک بگذارند. هم افراد و هم سازمان‌هایی که با arXivLabs کار می‌کنند، ارزش‌های ما در باز بودن، جامعه، برتری و حریم خصوصی داده‌های کاربر را پذیرفته و درک کرده‌اند. arXiv به این значения متعهد است و تنها با شراکتی کار می‌کند که به آن‌ها پایبند باشند. ایده‌ای برای پروژه دارید که برای جامعه arXiv ارزش افزوده خواهد بود؟ درباره arXivLabs بیشتر بیاموزید. کدام نویسندگان این مقاله تأییدکننده‌اند؟ | غیرفعال کردن MathJax (MathJax چیست؟)