مدل‌های زبانی دیفیوژن پیوسته سلسله‌مراتبی

چکیده

مدل‌های زبانی انتشار گسسته، گزینهٔ جذاب جایگزین تولید خودگردان در وظایفی هستند که مستلزم استدلال دوطرفه و رعایت محدودیت‌های کلی هستند. با این حال، این مدل‌ها با یک مشکل ساختاری مشترک مواجه هستند: در زمان رمزگشایی موازی، هر توکن به‌صورت مستقل از توزیع حاشیه‌ای خود نمونه‌برداری می‌شود و وابستگی‌های آماری بین توکن‌های تولید شده را به‌صورت همزمان از بین می‌برد. مدل‌های زبانی انتشار پیوسته با حذف نویز از یک حالت پیوسته مشترک این مشکل را حل می‌کنند، اما حذف‌کننده نویز آن‌ها تنها به آن حالت پیوسته دسترسی دارد و تا زمان نهایی رمزگشایی، هیچ‌گونه پیوندی بین آن و یک پیکربندی معتبر توکنی ایجاد نمی‌کند. برای رفع این مشکل، ما مدل‌های زبانی انتشار پیوسته سلسله‌مراتبی (HC-DLM) را پیشنهاد می‌کنیم که تولید توکن‌های گسسته را با استفاده از یک مسیر پنهان پیوسته در یک فرآیند حذف نویز یکپارچه و یکدست انجام دهند. هدف آموزشی این مدل استخراج یک محدودیت واریانسی بر روی احتمال توکن‌ها. بر خلاف روش‌های اخیر که زمینه پیوسته را به یک زنجیره گسسته مستقل متصل می‌کنند، HC-DLM تنها حالت پنهان قابل پایداری را به عنوان حالت تولیدی در نظر می‌گیرد. توکن‌ها در هر گام از این حالت خوانده می‌شوند و به عنوان اسکلت برای به‌روزرسانی بعدی حالت پنهان بازخورد داده می‌شوند. در وظایفی از جمله استدلال ساختاری (سودوکو)، برنامه‌ریزی ریاضی (کانداون) و مدل‌سازی زبان (LM1B)، HC-DLM در همان اندازه مدل، نسبت به روش‌های گسترش گسسته و پیوسته، عملکرد بهتری در دقت پازل سودوکو و کانداون و در پرپلکسی تولیدی LM1B نشان می‌دهد. صفحه پروژه: https://hc-dlm.github.io/