چکیده
تکانههای همچنان درک ما از نحوه بهدستآوردن دانش توسط مدلهای زبانی بزرگ (LLMs) در پیشآموزش دارند. ما معتقدیم که دیدگاههای کمکی (بازنگریهای دانش) بهصورت علّی برای یادگیری مفید هستند و این موضوع را از طریق طراحی آزمایشهای کنترلشده بررسی میکنیم. در ابتدا، تأیید میکنیم که تکرار برای بهدستآوردن دانش ضروری است و توضیح میدهیم که بازنویسی (پارفرمیشن) تنها در مقیاسهای کوچکتر (batch size) مؤثر است. سپس، با حفظ محدودیت توکنها، تخصیص توکنها از تکرار سند به دیدگاههای کمکی، بهصورت غیرمنتظره، حتی برای بهدست آوردن اطلاعات واقعی، یادگیری را بهبود میبخشد. علاوه بر این، کارایی دیدگاههای کمگی بهصورت وابسته به قدرت مدل معلم که آنها را میسازد، نیست. در ادامه، انواع دانش را شناسایی میکنیم که دانش زمینهای و بنیادی هستند که در حضور شکافهای پیشین دانش، یادگیری را تسهیل میکنند. در نهایت، به بررسی مکانیزمهای این اثرات از طریق تعامق لایهای (layer-wise biases) و فشردهسازی میپردازیم. بهطور کلی، نتایج ما نشان میدهند که نمایشهای کمکی دانش که بهصورت طبیعی در کُورپورهای بزرگ پیشآموزی ظاهر میشوند، عوامل کلیدی در موفقیت پیشآموزش هستند و توضیح معقولی برای اهمیت تنوع دادهها فراهم میآورند.
متن کامل
Computer Science > محاسبه و زبان arXiv:2609.04180v1 (cs) [ارسالشده در ۳ سپتامبر ۲۰۲۶]
عنوان: آیا دانش در طول پیشآموزش به دست میآید؟ مدلهای زبان بزرگ با نمایشهای کمکی بهتر یاد میگیرند
نویسندگان: جوزف لی، ییدی هوانگ، دوکیون کیم، شو یانگ، لی شن
پیمایش یک PDF از مقالهی با عنوان «کسب دانش در طول پیشآموزش؟ مدلهای زبان بزرگ با نمایشهای کمکی بهتر یاد میگیرند»، نوشتهی جوزف لی و ۴ نویسندهی دیگر
مشاهده PDF HTML (آزمایشی)
**خلاصه:** فجوهایی در فهم ما دربارهی نحوهی اکتساب دانش توسط مدلهای زبان بزرگ (LLM) در طول پیشآموزش باقی مانده است. ما فرض میکنیم که نمایشهای کمکی، یعنی بازنماییهای دانش، بهصورت علّی برای یادگیری مؤثر هستند. برای جداسازی این فرض، آزمایشهای کنترلشدهای طراحی کردیم. اول، تکرار را برای اکتساب دانش ضروری میدانیم و آشکار میسازیم که بازنویسی (پارافرازینگ) تنها در بچهای کوچک مؤثر است. دوم، با حفظ بودجهی توکن ثابت، تخصیص توکنها از تکرار سند به نمایشهای کمکی، یادگیری را بهبود میبخشد — بهنظر میرسد نامتوقع، حتی برای یادگیری واقعیتها. سوم، کارآمدی نمایشهای کمکی به قدرت مدل استادی که آنها را تولید میکند، وابسته نیست. چهارم، اشکال دانشی که در حضور خلأهای دانش قبلی به یادگیری کمک میکنند را شناسایی میکنیم: دانش سیاقی و بنیادین. در نهایت، بررسی میکنیم که این اثرات چگونه از طریق تحلیل لایهبهلایه و فشردهسازی بهصورت مکانیکی نمایان میشوند. در مجموع، یافتههای ما نشان میدهد که نمایشهای کمکی دانش، که بهطور طبیعی در بدنههای پیشآموزش بزرگ ظهور میکنند، عامل کلیدی در موفقیت پیشآموزش هستند و توضیحی معقول برای آنکه چرا تنوع داده اهمیت دارد، ارائه میدهند.
**موضوعات:** محاسبه و زبان (cs.CL); هوش مصنوعی (cs.AI)
**ارجاع:** arXiv:2609.04180 [cs.CL] (یا arXiv:2609.04180v1 [cs.CL] برای این نسخه)
https://doi.org/10.48550/arXiv.2609.04180
برای آگاهی بیشتر DOI صادرشدهی arXiv از طریق DataCite (در انتظار ثبت)
**تاریخهای ارسال:** از: جوزف لی [مشاهدهی ایمیل] [v1] پنجشنبه، ۳ سپتامبر ۲۰۲۶ ۱۷:۵۷:۰۲ هماهنگ جهانی (۷۰۸ کیلوبایت)
**ابزارهای بیبلیوگرافیک**
ابزارهای بیبلیوگرافیک و ارجاعدهی
مرورگر بیبلیوگرافیک (چیست مرورگر بیبلیوگرافیک؟)
مقالات مرتبط (چیست Connected Papers؟)
Litmaps (چیست Litmaps؟)
scite.ai Smart Citations (چیست Smart Citations؟)
**کد، داده، رسانه**
کد، داده و رسانههای مرتبط با این مقاله
alphaXiv (چیست alphaXiv؟)
پیداکنندهی کد CatalyzeX (چیست CatalyzeX؟)
DagsHub (چیست DagsHub؟)
GotitPub (چیست GotitPub؟)
Huggingface (چیست Hugging Face؟)
ScienceCast (چیست ScienceCast؟)
**نمونهها**
نمونهها
Replicate (چیست Replicate؟)
Spaces (چیست Hugging Face Spaces؟)
Spaces (چیست TXYZ.AI؟)
**مقالات مرتبط**
ابزارهای توصیهگر و جستجو
پیوند به تأثیرگذاری
Flower (چیست Flower?)
توصیهگر اصلی
CORE Recommender (چیست CORE؟)
نویسندهها | محل انتشار | نهاد | موضوع | درباره arXivLabs
**arXivLabs: پروژههای آزمایشی با همکاران جامعه**
arXivLabs یک چارچوب است که به همکاران اجازه میدهد ویژگیهای جدید arXiv را مستقیماً روی وبسایت ما توسعه دهند و به اشتراک بگذارند. هرچند افراد و سازمانهایی که با arXivLabs کار میکنند، ارزشهای باز بودن، جامعه، عالی بودن و حریم خصوصی دادههای کاربر را پذیرفته و پایبند شدهاند. arXiv متعهد به این ارزشها است و فقط با شرکایی که به آنها پایبند هستند کار میکند. ایدهای برای پروژهای دارید که ارزشی به جامعهی arXiv اضافه کند؟ بیشتر دربارهی arXivLabs بیاموزید.
کدام نویسندگان این مقاله تأییدکننده هستند؟ | غیرفعالکردن MathJax (چیست MathJax؟)