چکیده
این مقاله نقش سنتز نمای جدید (NVS) را در یادگیری نمایش هندسی بررسی می‌کند. در اصل، NVS باید به استدلال درباره ساختار سه‌بعدی صحنه بپردازد و بدین ترتیب امکان نمایش‌های هندسی چندمنظری قابل انتقال را فراهم می‌کند. با این حال، روش‌های مبتنی بر انکودر NVS موجود، نمایش‌های ضعیفی تولید می‌کنند. این امر ناشی از فقدان سیگنال نظارتی نیست، بلکه ریشه در انتخاب‌های معماری نامحسوس دارد: *spatially expressive decoders* که ظرفیت نمایشی انکودر صحنه را فشرده می‌کنند، و *low-level pixel-space targets* که یادگیری ویژگی‌ها را محدود می‌سازند. ما SNAP را معرفی می‌کنیم؛ یک ترانسفورمر کدک-دیکودر خود-نظارتی که از طریق یک دیکودر محلی مشروط به pose و هدف بازسازی فضای latent، هر دو مشکل را برطرف می‌کند. SNAP مستقل از وظیفه است و ما نشان می‌دهیم که با روش‌های مخصوص هدف و تحت‌نظارت هندسی، رقابتی است. SNAP همچنین در پنج وظیفه محلی‌سازی بصری، تخمین pose، تطابق نقطه، تخمین عمق و دستکاری ربات، در مقایسه با نمایش‌های خود-نظارتی، رقابتی عمل می‌کند. به‌طور شگفت‌انگیز، ویژگی‌های ظهوری بدون ناظر (emergent unsupervised features) در patches SNAP، به ویژگی‌های مدل‌های تحت‌نظارت شدید نزدیک می‌شوند، با وجود بودجه محاسباتی و داده‌های کمتر. تحت تغییرات دوربین که در آن‌ها نمایش‌های 2D استاندارد دچار تخریب می‌شوند، SNAP کمتر دچار افت می‌شود؛ این نشان می‌دهد که محدود کردن فعالانه ظرفیت بیان دیکودر، از سرکوب ساختار هندسی قابل انتقال جلوگیری می‌کند.
https://snap-nvs.github.io
متن کامل
عنوان: کمتر دیدر است، بیشتر اینکردر: یادگیری نمایش‌های هندسی از ساخت نو دید جدید
نویسندگان: کیرتی کااشیپ، دنیس آنتونی، اکشای کریشانان، نی‌گی نگو نگوئن، جیمز هولز، شریاس کوسیک، آنیمسه گارگ
دیدن PDF مقاله با عنوان Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis، توسط کیرتی کااشیپ و ۷ نویسنده دیگر
دیدن PDF تجربی
خلاصه: این مقاله نقش ساخت نو دید در یادگیری نمایش‌های هندسی را بررسی می‌کند. از نظر اصلی، ساخت نو دید باید درباره ساختار صحنه سه‌بعدی استدلال کند، که این امر امکان نمایش‌های هندسی چند-دید قابل انتقال را فراهم می‌آورد. با این حال، روش‌های مبتنی بر اینکردر، نمایش‌های ضعیفی تولید می‌کنند. این مسأله ناشی از فقدان سیگنال نظارتی نیست، بلکه ناشی از انتخاب‌های معماری نامرئی است: **دیدرهای بیانگر فضایی** که توانایی نمایشی اینکردر صحنه را تخریب می‌کنند، و **هدف‌های پایه سطح پیکسل** که یادگیری ویژگی‌ها را مانع می‌کنند. ما SNAP، یک ترانسفورمر خودنظارتی اینکردر-دیدر ارائه می‌کنیم که هر دو را از طریق یک دیدر محلی شرط‌دار شده با وضعیت و یک هدف بازسازی در فضای پنهان حل می‌کند. SNAP بی‌طرف از وظیفه است و نشان می‌دهد که با روش‌های مخصوص هندسه با هدف خاص، رقابت‌پذیر است. SNAP همچنین در مقابل نمایش‌های خودنظارتی در پنج وظیفه: تعیین بصری، تخمین وضعیت، هم‌نمایی نقاط، تخمین عمق و دستکاری ربات، به طور رقابتی عمل می‌کند. به شگفتی، ویژگی‌های پچ SNAP دارای عدم حساسیت به زاویه دید ایجاد شده‌اند که به مدل‌های بسیار نظارتی نزدیک می‌شوند، علی‌رغم بودجه کمتر محاسباتی و داده‌ای. در جابجایی‌های دوربین که نمایش‌های استاندارد ۲D فروپاشند، SNAP به طور آرام‌تر کاهش می‌یابد، که نشان می‌دهد محدود کردن بیانگری دیدر فعالانه از سرکوب ساختار هندسی قابل انتقال جلوگیری می‌کند.
توضیحات: موضوعات: بینایی ماشین و تشخیص الگو (cs.CV)، هوش مصنوعی (cs.AI)، رباتیک (cs.RO)
استناد: arXiv:2610.03717 [cs.CV] (یا arXiv:2610.03717v1 [cs.CV] برای نسخه این)
https://doi.org/10.48550/arXiv.2610.03717
فوکوس برای یادگیری بیشتر: این مقاله به بررسی نقش ساخت نو دید در یادگیری نمایش‌های هندسی می‌پردازد. از نظر اصلی، ساخت نو دید باید درباره ساختار صحنه سه‌بعدی استدلال کند، که این امر امکان نمایش‌های هندسی چند-دید قابل انتقال را فراهم می‌آورد. با این حال، روش‌های مبتنی بر اینکردر، نمایش‌های ضعیفی تولید می‌کنند. این مسأله ناشی از فقدان سیگنال نظارتی نیست، بلکه ناشی از انتخاب‌های معماری نامرئی است: **دیدرهای بیانگر فضایی** که توانایی نمایشی اینکردر صحنه را تخریب می‌کنند، و **هدف‌های پایه سطح پیکسل** که یادگیری ویژگی‌ها را مانع می‌کنند. ما SNAP، یک ترانسفورمر خودنظارتی اینکردر-دیدر ارائه می‌کنیم که هر دو را از طریق یک دیدر محلی شرط‌دار شده با وضعیت و یک هدف بازسازی در فضای پنهان حل می‌کند. SNAP بی‌طرف از وظیفه است و نشان می‌دهد که با روش‌های مخصوص هندسه با هدف خاص، رقابت‌پذیر است. SNAP همچنین در مقابل نمایش‌های خودنظارتی در پنج وظیفه: تعیین بصری، تخمین وضعیت، هم‌نمایی نقاط، تخمین عمق و دستکاری ربات، به طور رقابتی عمل می‌کند. به شگفتی، ویژگی‌های پچ SNAP دارای عدم حساسیت به زاویه دید ایجاد شده‌اند که به مدل‌های بسیار نظارتی نزدیک می‌شوند، علی‌رغم بودجه کمتر محاسباتی و داده‌ای. در جابجایی‌های دوربین که نمایش‌های استاندارد ۲D فروپاشند، SNAP به طور آرام‌تر کاهش می‌یابد، که نشان می‌دهد محدود کردن بیانگری دیدر فعالانه از سرکوب ساختار هندسی قابل انتقال جلوگیری می‌کند.