Отбор проб в рамках программы " Тяжелый шум &qt; , применяемой государством-загрязнителем к LLM

arXiv: 261 010.12865v1 Аннонс Тип: новое резюме: существующие гарантии конвергенции для нелогического отбора проб со стохастическим уклоном Langevin Monte Carlo (SG-LMC), как правило, предполагают глобальные градиенты липшица и единообразно ограниченные колебания шума. Оба допущения могут не сработать даже при простых пробоотборных проблемах, и их расслабление лучше отражает такие практические виды применения, как байесовская доработка крупных языковых моделей (LMS). Мы ослабляем обе посылки посредством общей сглаживания и предлагаемого нами государственного зависящего от тяжелой кожи оракула с конечными мгновениями в размере 1 долл. США <2 доллара, включая состояние Blum-Gladyshev (BG−0). Мы изучаем эти расслабления по отдельности и совместно, предлагая три метода. При градиентах Lipschitz в глобальном масштабе сильный ЛМС (R-LMC) обрабатывает предлагаемый оракул посредством центрирования и остаточной вырезки. С точными градиентами адаптивная ЛМС (А-ЛМС) контролирует погрешность дискретизации в условиях общей бесперебойности. Жесткая адаптивная ЛМС (RA-LMC) решает оба вопроса, касающиеся релаксации