خواندن همان استفاده کردن نیست: بازیابی، قضاوت، و طراحی گردش‌کارهای پژوهش مالی مبتنی بر هوش مصنوعی

چکیده

مدل‌های زبانی بزرگ (LLM) به‌طور فزاینده‌ای به‌عنوان تحلیلگران هوش مصنوعی برای پردازش گزارش‌های مالی و پشتیبانی از تصمیم‌های سرمایه‌گذاری مبتنی بر هوش مصنوعی به‌کار گرفته می‌شوند. بااین‌حال، این سیستم‌ها معمولاً بر اساس آنچه می‌توانند بازیابی کنند ارزیابی می‌شوند، نه بر اساس تأثیر اطلاعات بازیابی‌شده بر قضاوت‌هایشان. ما در تحلیل مالی مبتنی بر کانتکست یک شکاف بازیابی-یکپارچه‌سازی شناسایی می‌کنیم. با ثابت نگه‌داشتن اطلاعات شرکت مرکزی و تغییر تنها زمینه‌های نامرتبط از ۲,۰۰۰ تا ۱۲۸,۰۰۰ توکن، درمی‌یابیم که تأثیر یک افشای ریسک بر قضاوت‌های سرمایه‌گذاری به سطح نویز تجربی کاهش می‌یابد، حتی در حالی‌که بازیابی مستقیم همچنان دقیق است. این الگو در خانواده‌های مختلف مدل و وظایف قضاوتی تکرار می‌شود و در آزمایش‌هایی که گزارش‌های مالی واقعی از صورت‌های ۱۰-K حذف شده‌اند نیز مشاهده می‌شود. مدل‌های قابل‌ترتیب تأخیر ایجاد می‌کنند، اما شکاف را از بین نمی‌برند. مداخلات حافظه نشان می‌دهند که خلاصه‌های فشرده و جستجوی متن منبع، به‌طور مشترک، افشاها را به قضاوت‌ها منتقل می‌کنند. معماری گردش کار تعیین می‌کند که آیا این انتقال موفقیت‌آمیز است یا خیر: خطوط لوله «بخش‌ها-خلاصه‌ها» اطلاعات مرتبط را حذف می‌کنند، در حالی‌که یک بازنویسی هدفمند و ساختاریافته مجاور تصمیم، تأثیر آن را بازمی‌گرداند. ازاین‌رو، عملکرد تحلیلگر هوش مصنوعی به‌طور مشترک توسط توانایی مدل و معماری گردش کار تعیین می‌شود. ارزیابی‌های مبتنی بر بازیابی می‌توانند سیستم‌هایی را تأیید کنند که قضاوت‌های سرمایه‌گذاری‌شان، اطلاعاتی را که قادر به بازیابی‌شان هستند نادیده می‌گیرند.