Оптимальный декодер - температура

arXiv: 2610.15058v1 Аннонс Тип: новое резюме: более крупные бюджеты выборок получают выгоду от повышения температуры отбора проб в МГТ, однако оптимизация температур и причины ее работы остаются малоизвестными. Мы пытаемся ответить на эти вопросы: мы представляем декодирование в качестве пропуска@k$ максимизации с учетом двух ограничений, которые кодируют критическую дешифровку режимами отказа: энтропический пол предотвратит коллапс разнообразия и перекрестный потолок предотвращения неправдоподобности. Мы доказываем, что эта максимизация принимает форму единого правила условного отбора в закрытой форме, \emph {очищенная температура} q·star \propto(p ec_eta V}/bigr) {1/T}$. Здесь наклон происходит от проверяющего потенциального доллара В, который категоризирует вероятность прохождения частичного поколения в конечном счете. Обычный отбор проб температуры, декодирование с использованием метода проверки gride и политика в отношении вознаграждения представляют собой особые случаи. Мы далее показываем, что при естественном правиле масштабирования бюджета разнообразия с размером выборки в $k долл.