چکیده
کارتهای مدل، اسنادی ساختاریافته هستند که اطلاعات کلیدی درباره مدلهای یادگیری ماشین را بهطور خلاصه ارائه میکنند تا شفافیت، قابلیت استفاده و پاسخگویی را ارتقا دهند. بااینحال، این کارتها اغلب فاقد ساختاری یکپارچهاند و بسیاری از مدلها اصلاً کارت مدل ندارند؛ امری که مقایسه و تفسیر آنها را دشوار میسازد. در این مقاله، دو مشارکت ارائه میشود. نخست، **MCTidy** را پیشنهاد میکنیم؛ رویکردی مبتنی بر مدلهای زبانی بزرگ (LLM) که کارتهای مدل موجود را در قالب یک الگوی استاندارد بازسازی میکند تا وضوح و قابلیت مقایسهپذیری آنها را بهبود بخشد. دوم، **MCGenie** را معرفی میکنیم؛ سامانهای مبتنی بر LLM که کارتهای مدل را بهطور مستقیم از دادههای مخزن مدل تولید میکند. ما MCTidy را بر روی ۴۸ کارت مدل هاگینگفیس (Hugging Face) اعمال کرده و معیارهای حفظ اطلاعات، انطباق بخشها، توهم (hallucination) و پایداری را ارزیابی میکنیم. یافتههای ما نشان میدهد که این روش از حفظ اطلاعات بالا با حداقل افت متنی، تخصیص دقیق بخشها، توهمات نادر (عمدتاً در بخشهای توصیفی) و پایداری قوی در اجراهای مختلف برخوردار است. ما همچنین MCGenie را با تولید کارتهای مدل برای همان ۴۸ مدل مورد سنجش قرار میدهیم و شباهت معنایی، صحت واقعی و حساسیت به منابع ورودی را ارزیابی میکنیم. کارتهای مدل تولیدشده به شباهت معنایی بالایی دست یافتند (میانگین حدود ۰.۹)؛ بیش از نیمی از آنها کاملاً صحیح بودند و اکثر خطاهای باقیمانده نیز جزئی بودند. کیفیت تولید بهطور قابلتوجهی به در دسترس بودن منابع پشتیبان، بهویژه مقالات مرتبط، وابسته بود. درمجموع، یافتههای ما نشاندهنده پتانسیل روشهای مبتنی بر LLM برای تحقق مستندسازی مقیاسپذیر و استاندارد کارتهای مدل است.
متن کامل
علوم کامپیوتر > مهندسی نرمافزار
arXiv:2608.24807v1 (cs) [ارسال شده در ۲۵ اوت ۲۰۲۶]
**عنوان:** تولید خودکار کارت مدل با استفاده از مدل زبانی بزرگ (LLM)
**نویسندگان:** تجکیا رحمان توما، والری گریوال، کور-پائول بِزِمِر
مشاهده PDF مقاله با عنوان «تولید خودکار کارت مدل با استفاده از یک مدل زبانی بزرگ»، نوشته تجکیا رحمان توما و ۲ نویسنده دیگر
مشاهده PDF | HTML (آزمایشی)
**چکیده:** کارتهای مدل، اسنادی ساختیافته هستند که اطلاعات کلیدی درباره مدلهای یادگیری ماشین را بهمنظور افزایش شفافیت، بهبود قابلیت استفاده و پاسخگویی خلاصه میکنند. بااینحال، این کارتها اغلب از ساختار یکنواختی برخوردار نیستند و بسیاری از مدلها فاقد کارت مدل هستند؛ امری که مقایسه و تفسیر آنها را دشوار میسازد. در این مقاله، دو مشارکت ارائه میشود. نخست، ما MCTidy را پیشنهاد میکنیم؛ رویکردی مبتنی بر مدل زبانی بزرگ که کارتهای مدل موجود را در قالبی استاندارد بازسازی میکند تا وضوح و قابلیت مقایسهپذیری را ارتقا دهد. دوم، ما MCGenie را معرفی میکنیم؛ سیستمی مبتنی بر مدل زبانی بزرگ که کارتهای مدل را مستقیماً از دادههای مخزن مدل تولید میکند. ما MCTidy را بر روی ۴۸ کارت مدل هاگینگ فیس (Hugging Face) اعمال کرده و میزان حفظ اطلاعات، انطباق بخشها، توهم (hallucination) و پایداری را ارزیابی میکنیم. یافتههای ما حاکی از حفظ اطلاعات در سطح بالا با حداقل افت متنی، تخصیص دقیق بخشها، توهمهای اندک که عمدتاً در بخشهای توصیفی رخ میدهند، و پایداری قوی در اجراهای مختلف است. ما MCGenie را با تولید کارت مدل برای همان ۴۸ مدل و ارزیابی شباهت معنایی، صحت واقعی و حساسیت به منابع ورودی ارزیابی میکنیم. کارتهای مدل تولیدشده به شباهت معنایی بالایی دست یافتند (میانگین حدود ۰.۹)؛ بیش از نیمی از آنها کاملاً صحیح بودند و اکثر خطاهای باقیمانده جزئی بودند. کیفیت تولید بهطور چشمگیری به فراهمبودن منابع پشتیبان، بهویژه مقالات مرتبط، وابسته بود. درمجموع، یافتههای ما نشاندهنده پتانسیل روشهای مبتنی بر مدل زبانی بزرگ برای تحقق مستندسازی مقیاسپذیر و استاندارد کارتهای مدل است.
**موضوعات:** مهندسی نرمافزار (cs.SE)؛ هوش مصنوعی (cs.AI)
**نحوه استناد:** arXiv:2608.24807 [cs.SE] (یا arXiv:2608.24807v1 [cs.SE] برای این نسخه)
https://doi.org/10.48550/arXiv.2608.24807
برای اطلاعات بیشتر، DOI صادرشده توسط arXiv از طریق DataCite (در انتظار ثبت)
**تاریخچه ارسال**
از: تجکیا رحمان توما [مشاهده ایمیل]
[v1] سهشنبه، ۲۵ اوت ۲۰۲۶، ۱۶:۴۹:۳۷ UTC (۳۰۷ KB)
**ابزارهای کتابشناختی**
ابزارهای کتابشناختی و استنادی
کاوشگر کتابشناختی | فعالسازی کاوشگر کتابشناختی (کاوشگر کتابشناختی چیست؟)
مقالات مرتبط | فعالسازی مقالات مرتبط (مقالات مرتبط چیست؟)
نقشههای ادبیات | فعالسازی نقشههای ادبیات (نقشههای ادبیات چیست؟)
scite.ai | فعالسازی استنادهای هوشمند scite (استنادهای هوشمند چیست؟)
**کد، داده و رسانه**
کد، داده و رسانه مرتبط با این مقاله
alphaXiv | فعالسازی alphaXiv (alphaXiv چیست؟)
پیوندها به کد | فعالسازی CatalyzeX، یابنده کد مقالات (CatalyzeX چیست؟)
DagsHub | فعالسازی DagsHub (DagsHub چیست؟)
GotitPub | فعالسازی Gotit.pub (Gotit.pub چیست؟)
Huggingface | فعالسازی هاگینگ فیس (Hugging Face چیست؟)
ScienceCast | فعالسازی ScienceCast (ScienceCast چیست؟)
**دموها**
دموها
Replicate | فعالسازی Replicate (Replicate چیست؟)
Spaces | فعالسازی هاگینگ فیس Spaces (Spaces چیست؟)
) فاصلهها تغییر وضعیت TXYZ.AI (TXYZ.AI چیست؟) مقالات مرتبط ابزارهای پیشنهاددهنده و جستجو پیوند به تحلیل استنادی Flower Influence Flower (تحلیل استنادی Flower چیست؟) تغییر وضعیت پیشنهاددهنده اصلی CORE Recommender (CORE چیست؟) نویسنده نشریه مؤسسه موضوع درباره arXivLabs آزمایشگاههای آرکایو (arXivLabs): پروژههای آزمایشی با مشارکت جامعه آزمایشگاههای آرکایو چارچوبی است که به مشارکتکنندگان امکان میدهد تا ویژگیهای جدید آرکایو را مستقیماً در وبسایت ما توسعه داده و به اشتراک بگذارند. هم افراد و هم سازمانهایی که با آزمایشگاههای آرکایو همکاری میکنند، ارزشهای ما مبنی بر شفافیت، جامعهمحوری، تعالی و حفظ حریم خصوصی دادههای کاربران را پذیرفتهاند. آرکایو به این ارزشها متعهد است و تنها با شرکایی همکاری میکند که به آنها پایبند باشند. ایدهای برای پروژهای دارید که ارزش افزودهای برای جامعه آرکایو ایجاد کند؟ درباره آزمایشگاههای آرکایو بیشتر بدانید. کدام نویسندگان این مقاله تأییدکننده هستند؟ | غیرفعالسازی MathJax (MathJax چیست؟)