Компьютерные науки > Машинное обучение [представлено 7 июля 2026 (v1), последний раз пересматривалось 21 октября 2026 года (эта версия, v3)] Название: Treies from Marginals: Autoregresive concerning with pricted apressed View PDF Restrate:Speculative decoding значительно увеличивает интерактивность авторегрессивных языковых моделей путем обмена расчетами на дополнительные символы, созданные в одном переднем пропуске. Факторизированные проекты моделей особенно эффективны, поскольку они предсказывают будущие маргинальные значения параллельно, но их предположение о независимости приводит к резкому снижению показателей принятия по мере роста спекулятивного бюджета. Мы проанализируем это ограничение и представим Уивера, легкого авторегрессивного адаптатора, который строит предложения о деревьях из маргинальных кольцев сверху К факторизированного составителя. Уивер восстанавливает условную зависимость между предложенными символами, избегая при этом полного проекции. Для поддержки быстрой проверки моделей с слоями Gated Delta Net мы выбираем алгоритм бесперебойной проверки деревьев и внедряем оптимизированные ядра CUDA в SGLang. Объединяя эти модели и системы, мы достигаем 4,08-кратного ускорения по сравнению с авторегрессивным декодированием и превосходим высоко оптимизированный исходный уровень DFlash на 16,3%. История представления: Yuma Oda [видение электронной почты] [v1] Tue, 7 Jul 2026 19:48:36 UTC (956 KB) [ v2)] Sun, 12 jul 20 26 19:52:09 UTS (911 KB)] Wed, 21 октября 2026…
Деревья из маргинальных культур: авторегрессивная композиция с факторизированными приводами
arXiv: 2607.06763v3 Annuales Type: заменить перекрестное резюме: Спекулятивное декодирование значительно увеличивает интерактивность авторегрессивных языковых моделей путем обмена расчетами на дополнительные символы, генерируемые в одном переднем проходе. Факторизированные проекты моделей особенно эффективны, поскольку они предсказывают будущие маргинальные значения параллельно, но их предположение о независимости приводит к резкому снижению показателей принятия по мере роста спекулятивного бюджета. Мы проанализируем это ограничение и представим Уивера, легкого авторегрессивного адаптатора, который строит предложения о деревьях из маргинальных кольцев сверху К факторизированного составителя. Уивер восстанавливает условную зависимость между предложенными символами, избегая при этом полного проекции. Для поддержки быстрой проверки моделей с слоями Gated Delta Net мы выбираем алгоритм бесперебойной проверки деревьев и внедряем оптимизированные ядра CUDA в SGLang. Объединяя эти модели и системы, мы достигнем 4.08 ускорения по сравнению с авторегрессивной декорацией