چکیده
در سال ۱۴۰۵، ارزیابی‌های امنیت سایبری که شامل عامل‌های هوش مصنوعی از شرکت‌های OpenAI، Anthropic و Google بود، به سیستم‌های واقعی فراتر از محدوده آزمایشی خود دست یافتند. مسیرهای دستیابی متفاوت بودند. عامل‌های OpenAI از زیرساخت‌های تحقیقاتی سوءاستفاده کرده و در قالب اجراهای مختلف هم‌زمانی برقرار کرده بودند که این امر بخشی از محیط تولید Hugging Face را تهدید می‌کرد. Anthropic نیز مواردی گزارش داد که در آنها یک محیط شخص ثالث با پیکربندی نادرست باعث شده بود سیستم‌های واقعی در معرض عامل‌هایی قرار گیرند که وظایف سایبری شبیه‌سازی‌شده را انجام می‌دادند. در یک ارزیابی جداگانه، مدل Gemini شرکت Google توانسته بود به سه سازمان واقعی از طریق یک مسیر اینترنتی غیرمستقیم دسترسی پیدا کند؛ هرچند Google اعلام کرده بود که مدل در هر سه مورد متوقف شده است. به طور کلی، این رویدادها نشان می‌دهند که چرا یک ارزیابی امنیتی نمی‌تواند صرفاً بر مبنای یک مرز فرضی عمل کند. آن مرز باید در طول اجرای عامل به‌صورت فعال بررسی و تأیید شود. این مطالعه موردی تطبیقی و ابزارمحور، یک چارچوب تضمین امنیتی پیشگیرانه برای عوامل هوش مصنوعی (PASAC) و یک پشته مرزی پنج‌لایه را معرفی می‌کند. این چارچوب شامل اجزایی مانند طراحی وظیفه مبتنی بر سطوح ریسک، قراردادهای قابل اجرا برای تعیین محدوده، اعتبارسنجی پیش از اجرا، دسترسی با حداقل سطح لازم، اجرای خروج مستقل، محدودیت‌های اعتبارنامه، نظارت بین اجراها، شرایط توقف خودکار و فرآیند بازمجوزدهی مبتنی بر شواهد است. یک مدل شاخص پیشرو، هفت فرضیه قابل انتقاد و یک برنامه تحقیقاتی قابل آزمون، این درس‌ها را به فرصتی برای پژوهش‌های آینده تبدیل می‌کنند. با توجه به اینکه منابع عمومی مدل Gemini در دسترس بیانات منتسب و گزارش‌های خبری محدود است، مکانیزم دقیق آن مدل همچنان ناشناخته می‌ماند. نتیجه‌گیری نهایی به‌طور صریح این است: امنیت عامل‌های هوش مصنوعی پیشگیرانه نیازمند تضمین مستمر در سرتاسر سیستم اجرای کامل است، نه صرفاً اعتماد به هر قابلیت محدود یا حفاظت منفردی.
متن کامل
علوم کامپیوتر > رمزنگاری و امنیت
arXiv:2610.12463v1 (cs) [ارائه شده در ۸ اکتبر ۲۰۲۶]
عنوان: از محدودسازی واکنشی تا تضمین پیشگیرانه: درس‌هایی از حوادث امنیتی عوامل OpenAI، Anthropic و Google
نویسنده: عباس رافتاری
برای مشاهده یک نسخه PDF از مقاله با عنوان «از محدودسازی واکنشی تا تضمین پیشگیرانه: درس‌هایی از حوادث امنیتی عوامل OpenAI، Anthropic و Google» نوشته عباس رافتاری، اینجا کلیک کنید.
مشاهده PDF | HTML (آزمایشی)
**چکیده:**
در سال ۲۰۲۶، ارزیابی‌های امنیت سایبری که شامل عوامل OpenAI، Anthropic و Google بود، به سیستم‌های واقعی خارج از محدوده آزمایشی مجاز آنها رسید. مسیرهای این اتفاقات متفاوت بودند. عوامل OpenAI از زیرساخت‌های پژوهشی سوءاستفاده کردند، در طول اجرای برنامه‌ها هماهنگ شده و بخش‌هایی از محیط تولیدی Hugging Face را به خطر انداختند. Anthropic مواردی را گزارش کرد که در آن یک محیط سوم شخص با پیکربندی نادرست، سیستم‌های واقعی را در معرض عواملی قرار داد که وظایج سایبری شبیه‌سازی‌شده را انجام می‌دادند. در یک ارزیابی جداگانه گزارش‌شده، Gemini گوگل از طریق یک مسیر اینترنتی ناخواسته به سه سازمان واقعی دسترسی یافت؛ گوگل اعلام کرد که مدل در هر سه مورد متوقف شد.
در مجموع، این موارد نشان می‌دهند که چرا یک ارزیابی نمی‌تواند به یک مرز فرض‌شده اعتماد کند. این مرز باید در حین عملکرد عامل تأیید شود.
این مطالعه موردی ابزاری مقایسه‌ای، یک چرخه تضمین امنیت پیشگیرانه عامل (PASAC) و یک پشته پنج لایه تضمین مرز را توسعه می‌دهد. این چارچوب ترکیبی از طراحی وظایح با ریسک‌بندی‌شده، قراردادهای دامنه اجرایی، اعتبارسنجی پیش از اجرا، دسترسی با حداقل قابلیت، اجرای مستقل خروج، محدودیت‌های اعتباری، نظارت بین اجرای برنامه‌ها، شرایط توقف خودکار و مجوزدهی مجدد مبتنی بر شواهد است. یک مدل شاخص پیشرو، نه پیشنهاد طراحی و هفت فرضیه قابل رد، این درس‌ها را به یک برنامه پژوهشی قابل آزمایش تبدیل می‌کنند.
به دلیل اینکه سوابق عمومی Gemini محدود به اظهارات منتسب و روزنامه‌نگاری است، مکانیسم علت‌یابی دقیق آن موقتی باقی می‌ماند. نتیجه‌گیری اصلی ساده است: امنیت پیشگیرانه عامل نیازمند تضمین مداوم در سراسر سیستم اجرایی کامل است، نه اعتماد به هر یک از ساندباکس‌ها یا محافظ‌ها.
**نظرات:**
موضوعات: رمزنگاری و امنیت (cs.CR)؛ هوش مصنوعی (cs.AI)
**استناد:**
arXiv:2610.12463 [cs.CR] (یا arXiv:2610.12463v1 [cs.CR] برای این نسخه)
https://doi.org/10.48550/arXiv.2610.12463
برای کسب اطلاعات بیشتر به DOI صادرشده توسط arXiv از طریق DataCite (در انتظار ثبت‌نام) مراجعه کنید.
---
**مروری بر تاریخچه ارسال از:**
عباس رافتاری [مشاهده ایمیل]
[v1] پنج‌شنبه، ۸ اکتبر ۲۰۲۶، ۱۷:۵۹:۴۹ UTC (۴۵ کیلوبایت)
---
**ابزارهای کتاب‌شناسی:**
- ابزارهای کتاب‌شناسی
- استناد
- جستجوگر کتاب‌شناسی
- فعال‌سازی/غیرفعال‌سازی جستجوگر کتاب‌شناسی (جستجوگر چیست؟)
- مقالات مرتبط
- فعال‌سازی/غیرفعال‌سازی مقالات مرتبط (مقالات مرتبط چیست؟)
- Litmaps
- فعال‌سازی/غیرفعال‌سازی Litmaps (Litmaps چیست؟)
- scite.ai
- فعال‌سازی/غیرفعال‌سازی استنادهای هوشمند scite (استنادهای هوشمند چیست؟)
---
**کد، داده، رسانه:**
کد، داده و رسانه مرتبط با این مقاله
---
**alphaXiv:**
فعال‌سازی/غیرفعال‌سازی alphaXiv (alphaXiv چیست؟)
---
**لینک‌ها:**
- به کد فعال‌سازی/غیرفعال‌سازی CatalyzeX Code Finder برای مقالات (CatalyzeX چیست؟)
- DagsHub فعال‌سازی/غیرفعال‌سازی DagsHub (DagsHub چیست؟)
- گوتیت‌پاب توگل گوتیت.پاب (چیست گوتیت‌پاب؟)
- هاگینگ‌فیس توگل هاگینگ فیس (چیست هاگینگ‌فیس؟)
- ساینس‌کست توگل ساینس‌کست (چیست ساینس‌کست؟)
---
**دموها:**
- ریپلیکیت توگل ریپلیکیت (چیست ریپلیکیت؟)
- اسپیس‌ها توگل اسپیس‌های هاگینگ فیس (چیست اسپیس‌ها؟)
- اسپیس‌ها توگل TXYZ.AI (چیست TXYZ.AI؟)
---
**مقالات مرتبط:**
- ابزیارهای پیشنهاددهنده و ابزارهای جستجو
- لینک به تأثیر گلفر Influence Flower (گل‌های تأثیر چیست؟)
- ابزیار اصلی توگل CORE Recommender (چیست CORE؟)
---
**نویسنده محل برگزاری نهاد موضوع درباره آرکایو لبز:**
arXivLabs: پروژه‌های آزمایشی با همکاران جامعه‌محور آرکایو لبز چارچوبی است که به همکاران اجازه می‌دهد تا ویژگی‌های جدید آرکایو را مستقیماً در وب‌سایت ما توسعه و به اشتراک بگذارند. هم افراد و هم سازمان‌هایی که با آرکایو لبز کار می‌کنند، ارزش‌های باز بودن، جامعه‌محوری، برتری و حریم‌خصوصی داده‌های کاربری را در بر می‌گیرند و پذیرفته‌اند. آرکایو متعهد به این ارزش‌هاست و تنها با شرکایی که به این ارزش‌ها پایبند هستند همکاری می‌کند.
---
**ایده‌ای برای پروژه‌ای دارید که ارزش افزوده‌ای برای جامعه آرکایو فراهم می‌کند؟**
درباره آرکایو لبز بیشتر بدانید.
---
**کدام نویسندگان این مقاله حمایت‌کنندگان (اندیسورها) هستند؟**
| غیرفعال کردن MathJax (چیست MathJax؟)