چکیده
مدل‌های موجود ردیابی نقاط با چالش بنیادینی روبرو‌اند: یا تنها قادرند تعداد محدودی از نقاط پرسش را در بازه‌های زمانی طولانی ردیابی کنند، یا تمام نقاط را در کلیپ‌های کوتاه. ما «تِرِک‌اوری‌ثینگ» (TrackEverything) را معرفی می‌کنیم، یک ردیاب سه‌بعدی که با بازنمایی ویدئوها به‌عنوان ردیاب‌های سه‌بعدی پایدار در مختصات جهانی، این دوگانگی را برطرف می‌کند. تِرِک‌اوری‌ثینگ بر پایه این درک که ویدئوها پروژکشن‌های دو‌بعدی از یک جهان سه‌بعدی‌اند، پیچیدگی مدل را از طول ویدئو جدا می‌سازد و در نتیجه می‌تواند با هندسه منحصر‌به‌فرد صحنه فیزیکی مقیاس‌یابی شود. رویکرد ما سه نوآوری کلیدی را تداعی می‌کند: اول، از یک مکانیسم حذف تکرار مبتنی بر واکسلیزاسیون در مرزهای پنجره‌ی لغزنده بهره می‌بریم تا ردیاب‌های هم‌زمان را ادغام کنیم و از انباشت بی‌دلیل مشاهدات تکراری یک سطح واحد جلوگیری نماییم. دوم، ردیابی را به دو مرحله تجزیه می‌کنیم: یک رِفاینر (Refiner) پایانی که مقصد هر نقطه را پیش‌بینی کرده و طبقه‌بندی ثابت/متحرک را انجام می‌دهد، و سپس یک رِفاینر مسیر سبک‌وزن که مسیرهای متراکم را تنها برای نقاط متحرک بازسازی می‌کند. سوم، «۳D WAFT» را پیشنهاد می‌دهیم که حجم‌های همبستگی ۴بعدی پرحجم‌حافظه را با نمونه‌برداری کارآمد ویژگی‌ها در ابرصحنه (Super-scene) جایگزین می‌کند. تا آنجا که ما آگاه هستیم، تِرِک‌اوری‌ثینگ اولین ردیاب سه‌بعدی است که قادر است همۀ نقاط قابل‌مشاهده را در ویدئوهای بیش از ۱۰۰۰ فریم، در حافظه GPU با ظرفیت ۴۰ گیگابایت ردیابی نماید. در TAPVid-3D، تِرِک‌اوری‌ثینگ با بیش از ۲۰٪ بهبود در APD بر روی کلیپ‌های کوتاه، عملکرد بهتری نسبت به همۀ ردیاب‌های سه‌بعدی متراکمِ همه‌فریمِ واژگان‌باز (open-vocabulary) دارد، در حالی که در توالی‌های طولانی همچنان با ردیاب‌های پراکنده‌ی پیشرفته رقابت می‌کند، با وجود اینکه نقاط بسیار بیشتری را ردیابی می‌کند.
متن کامل
علوم کامپیوتر > بینایی ماشین و تشخیص الگو arXiv:2609.30222v1 (cs) [ارائه‌شده در ۲۴ سپتامبر ۲۰۲۶]
عنوان: TrackEverything: ردیابی متراکم درازمدت از طریق حذف تکرارِ نمایش‌های صحنه‌ی سه‌بعدی
نویسندگان: آيوش جین، سری‌هارشا پاروچوری، ایشیتا گوپتا، فان جانگ، تانر اشمیت، یاکوب انگل، کاترینا فراگکیاداکی، آدم دبلیو. هارلی
مشاهده PDF مقاله با عنوان «TrackEverything: ردیابی متراکم درازمدت از طریق حذف تکرارِ نمایش‌های صحنه‌ی سه‌بعدی»، نوشته آيوش جین و ۷ نویسنده دیگر
مشاهده HTML (تجربی)
چکیده:
مدل‌های ردیابی نقطه حاضر با یک مقابله‌ی اساسی روبرو هستند: آنها می‌توانند یا یک مجموعه‌ی پراکنده از نقاط پرس‌وجو را در افق‌های درازمدت ردیابی کنند، یا تمام نقاط را تنها در کلیپ‌های کوتاه ردیابی کنند. ما TrackEverything را معرفی می‌کنیم، یک ردیاب نقطه‌ی سه‌بعدی که این مقابله را با نمایش ویدیوها به‌عنوان مسیرهای پایدار صحنه‌ی سه‌بعدی در مختصات جهان، می‌شکند. با استناد به بینشی که ویدیوها پروژکشن‌های دو‌بعدی یک جهان سه‌بعدی زیرین‌اند، TrackEverything پیچیدگی مدل را از طول ویدیو جدا می‌کند، به‌گونه‌ای که با هندسه فیزیکی منحصر‌به‌فرد صحنه مقیاس‌پذیر شود. رویکرد ما سه نوآوری کلیدی را معرفی می‌کند. اول، از یک مکانیزم حذف تکرار مبتنی بر وکسلی‌سازی در مرزهای پنجره لغزان برای ادغام مسیرهای هم‌مکان استفاده می‌کنیم که از تجمع اضافی مشاهدات مکرر یک سطح جلوگیری می‌کند. دوم، ردیابی را به یک اصلاح‌کننده‌ی نقطه‌پایان که مقصد هر نقطه و طبقه‌بندی استاتیک در برابر دینامیک را پیش‌بینی می‌کند، و یک اصلاح‌کننده‌ی مسیر سبک‌وزن که مسیرهای متراکم را به‌صورت انحصاری برای نقاط دینامیک رمزگشایی می‌کند، تجزیه می‌کنیم. سوم، WAFT سه‌بعدی را پیشنهاد می‌دهیم که حجم‌های همبستگی چهار‌بعدیِ مانع حافظه را با نمونه‌گیری کارآمد ویژگی در ابرِ نقطه‌ی صحنه جایگزین می‌کند. تا حد علم ما، TrackEverything اولین ردیاب سه‌بعدی است که قادر است تمام نقاط قابل مشاهده را در ویدیوهای بیش از ۱۰۰۰ فریم با حافظه GPU کمتر از ۴۰ گیگابایت ردیابی کند. در TAPVid-3D، TrackEverything تمام ردیاب‌های متراکم تمام‌فریم سه‌بعدی متن‌باز را با بیش از ۲۰٪ APD در کلیپ‌های کوتاه پیش می‌گیرد، در حالی که با ردیاب‌های پراکنده پیشرفته در توالی‌های درازمدت رقابتی باقی می‌ماند، با وجود ردیابی تعداد بسیار بیشتری از نقاط.
موضوعات: بینایی ماشین و تشخیص الگو (cs.CV)؛ هوش مصنوعی (cs.AI)؛ رباتیک (cs.RO)
استناد: arXiv:2609.30222 [cs.CV] (یا arXiv:2609.30222v1 [cs.CV] برای این نسخه)
https://doi.org/10.48550/arXiv.2609.30222
تمرکز برای کسب اطلاعات بیشتر
DOI صادرشده arXiv از طریق DataCite (در انتظار ثبت)
تاریخچه ارائه
از: آيوش جین [مشاهده ایمیل]
[v1] پنج‌شنبه، ۲۴ سپتامبر ۲۰۲۶ ۱۷:۴۸:۲۰ UTC (۲۹،۰۶۳ KB)
ابزارهای کتابشناسی
ابزارهای کتابشناسی و استناد
کاوشگر کتابشناسی
تغییر وضعیت کاوشگر کتابشناسی (کاوشگر کتابشناسی چیست؟)
مقالات مرتبط
تغییر وضعیت مقالات مرتبط (مقالات مرتبط چیست؟)
Litmaps
تغییر وضعیت Litmaps (Litmaps چیست؟)
scite.ai
تغییر وضعیت استنادات هوشمند scite (استنادات هوشمند چیست؟)
کد، داده، رسانه
کد، داده و رسانه مرتبط با این مقاله
alphaXiv
تغییر وضعیت alphaXiv (alphaXiv چیست؟)
لینک‌های کد
تغییر وضعیت یابنده کد CatalyzeX برای مقالات (CatalyzeX چیست؟)
تحلیل‌دهنده؟
DagsHub تغییر دهنده DagsHub (DagsHub چیست؟)
GotitPub تغییر دهنده Gotit.pub (GotitPub چیست؟)
Huggingface تغییر دهنده Hugging Face (Hugging Face چیست؟)
ScienceCast تغییر دهنده ScienceCast (ScienceCast چیست؟)
نمونه‌ها
Replicate تغییر دهنده Replicate (Replicate چیست؟)
Spaces تغییر دهنده Hugging Face Spaces (Spaces چیست؟)
Spaces تغییر دهنده TXYZ.AI (TXYZ.AI چیست؟)
پرونده‌های مرتبط
ابزارهای پیشنهادگری و جستجو
پیوند به Flower تأثیرگذاری
Flower تأثیرگذاری (Flowerهای تأثیرگذاری چیستند؟)
پیشنهادگر اصلی تغییر دهنده
پیشنهادگر CORE (CORE چیست؟)
نویسنده مکان مؤلفه موضوع
درباره arXivLabs
arXivLabs: پروژه‌های آزمایشی با همکاران جامعه
arXivLabs یک چارچوب است که به همکاران اجازه می‌دهد ویژگی‌های جدید arXiv را مستقیماً در وب‌سایت ما توسعه دهند و به اشتراک بگذارند. هم افراد و هم سازمان‌هایی که با arXivLabs کار می‌کنند، ارزش‌های ما شفافیت، جامعه، عالی‌بودن و حریم خصوصی داده کاربران را پذیرفته و پذیرش کرده‌اند. arXiv متعهد این ارزش‌ها است و فقط با شرکایی کار می‌کند که از آنها پیروی می‌کنند. ایده‌ای برای یک پروژه دارید که برای جامعه arXiv ارزش افزوده کند؟ بیشتر درباره arXivLabs بیاموزید.
کدام نویسندگان این مقاله تأییدکننده هستند؟ | غیرفعال کردن MathJax (MathJax چیست؟)