arXiv:2610.02202ترجمه شده

ScholarCatalyst: یک معیار برای بازیابی مقالاتی که الهام‌بخش پژوهش‌های نوین هستند

Sohyeon Kim، Yoonho Lee، Bo Liu، Dayoon Ko، Rulin Shao، Seungone Kim، Graham Neubig، Pang Wei Koh، Aakanksha Chowdhery، Akari Asai، Omar Khattab، Yejin Choi، Gunhee Kim، Chelsea Finn

چکیده

چه عاملی دانشمندان را بزرگ می‌سازد؟ حتی با پیشرفت سیستم‌های هوش مصنوعی در حل مسائل باز، دانشمندان در شناسایی اینکه کدام ایده‌ی پیشینِ گم‌شده در آرشیوهای روزافزونِ پژوهش برای مسئله‌ی جدیدی مورد نیاز است، همچنان بی‌رقیب‌اند. برای بررسی این مهارت، ما از پژوهشگرانی بهره می‌بریم که از تجربه‌ی مستقیم آگاهند کدام کارهای پیشین پروژه‌های تکمیل‌شده‌ی آن‌ها را پیش برده‌اند، با واسطه‌ی مقالاتی که به عنوان اشاره‌گر به ایده‌های درون آن‌ها عمل می‌کنند. با بهره‌گیری از خط لوله‌ی خودکار ما که مقیاس‌پذیریِ حاشیه‌نویسی توسط نویسندگان را فراهم می‌کند، ScholarCatalyst را با مشارکت ۱۸۴ نویسنده‌ی اصلی ۲۰۷ مقاله‌ی اخیر علوم کامپیوتر می‌سازیم؛ این نویسندگان کاندیداهایی را که پروژه‌ی آن‌ها را پیش برده‌اند یا می‌توانسته‌اند پیش ببرند، به همراه استدلال تفصیلی، برچسب‌گذاری می‌کنند. ما یک وظیفه‌ی بازیابی (retrieval) مبتنی بر قضاوت‌های نویسندگان را معرفی می‌کنیم: با توجه به یک پرسش پژوهشی اولیه، مقالات مربوطه را تنها از ادبیات موجود در زمان آغاز پروژه بازیابی کنید. جستجوی عامل‌محور (agentic search) عملکرد بهتری نسبت به بازیابی توپی (embedding retrieval) ندارد (۰.۴۲ در برابر ۰.۴۸ Recall@20)، با اینکه همان بازیاب را به عنوان ابزار فراخوانی می‌کند. حتی عاملی مبتنی بر Claude Fable 5.1، که ممکن است مقالات تکمیل‌شده را در طول آموزش دیده باشد، تنها به ۰.۵۱ R@20 می‌رسد. این نتایج ضرورتِ روش‌های آموزشی نوینی را برجسته می‌کند که مدل‌ها را با شهود متخصص برای جستجو در مجموعه‌های گسترده مجهز سازد. ما ScholarCatalyst را گامی در راه عامل‌های علمی می‌بینیم که بتوانند یک ایده‌ی ناشین را بگیرند و به پژوهش پیشینِ مورد نیاز آن اشاره کنند.