چکیده
امروزه، عاملان اغلب وظایف دنیای واقعی را انجام می‌دهند که به حافظه بلندمدت و بازیابی زمینه‌ای برای مدت طولانی وابسته‌اند. با این حال، اکثر مقایسه‌های حافظه موجود برای فرمت پرسش‑و‑پاسخ گفتگویی طراحی شده‌اند؛ در این فرمت خود سؤال نشان می‌دهد که چه فکتی باید بازیابی شود و معمولاً کدام یک. علاوه بر این، این مقایسه‌ها عموماً تنها دقت را از سیستم‌ها می‌طلابند، که به حافظه‌ها اجازه می‌دهد تا با پذیرش تعادلات غیرمنطقCost/Time، نمرات بالاتر را به دست آورند. ما DolphinBench را معرفی می‌کنیم؛ یک مقایسه که حافظه را مستقیماً از طریق تکمیل وظیفه یک عامل ارزیابی می‌کند. DolphinBench شامل سه شخصیت کاری دانشی است که هر کدام حدود ۵۰۰٬۰۰۰ توکن پیام کاربری دارند و عاملان را برای وظایفی که به اطلاعات از آن تاریخچه وابسته‌اند، ارزیابی می‌کنیم. برای هر شخصیت، ۲۰۰ وظیفه را با دو تنظیم اجرا می‌کنیم: عامل با تاریخچه مرتبط و عامل بدون آن؛ تا به این ترتیب موفقیت با تاریخچه و شکست بدون آن را الزام بگذاریم. در نهایت، تمام ارزیاجها را ملزم می‌کنیم که علاوه بر دقت، هزینه کل و تأخیر را نیز گزارش دهند؛ این امر به ما امکان می‌دهد تا سیستم‌های حافظه عاملان را به‌طور جامع ارزیابی کنیم. هیچ مقایسهٔ حافظه موجودی این سه جنبه را یک साथ ترکیب نمی‌کند. داده‌ها و کد ارزیابی در https://dolphinbench.ai در دسترس هستند.