Компьютерная наука > Расчет и язык [представлен 7 октября 2026 года] Название: Linear-Time Complision with State-Space Encoding View PDF HTML (экспериментальное) Резюме: Трансформаторные крупные языковые модели (ТМП) требуют значительных затрат на вычисления и память по мере увеличения размера контекста, стимулируя методы, которые сжимают контекст в более короткое представление до вывода. Существующие методы мягкого быстрого сжатия обычно используют тот же Трансформаторный позвоночник, что и в целевой модели, где производство сжатого представления приводит к значительным накладным расходам запоздалости. Это ограничивает их офлайновой настройкой, где контекст сжимается один раз и затем повторно используется во многих запросах. Мы предлагаем компрессор Боа, онлайновый компрессомер с заглушкой и игрой, построенный на модели "Mamba State-Space Model" (SSM), который кодирует контекст произвольной длины в одном линейном пропуске времени, создавая представление, при котором мы определяем замороженную цель LLM. СШМ обучается путем дистилляции, что соответствует следующей схеме распределения логарифмических материалов от ЛЛС с полным поглощением контекста (в качестве учителя) до того же уровня, который используется для приема сжатого представления (как студент). При равных коэффициентах сжатия Boa соответствует или превышает показатели существующих современных исходных значений компрессии в режиме оффлайн, будучи при этом на порядок более быстрыми по сравнению с трансформаторными…
Контекст линейного времени, компрессия с кодированием государства и космоса
arXiv: 261 030 3006v1 Annuate Type: New Humber: Transformer-mades большой языковой модели (LMS) накладывают существенные расходы на расчеты и память по мере увеличения размеров контекста, стимулируя методы, которые сжимают контекст в более короткое представление до вывода. Существующие методы мягкого быстрого сжатия обычно используют тот же Трансформаторный позвоночник, что и в целевой модели, где производство сжатого представления приводит к значительным накладным расходам запоздалости. Это ограничивает их офлайновой настройкой, где контекст сжимается один раз и затем повторно используется во многих запросах. Мы предлагаем компрессор Боа, онлайновый компрессомер с заглушкой и игрой, построенный на модели "Mamba State-Space Model" (SSM), который кодирует контекст произвольной длины в одном линейном пропуске времени, создавая представление, при котором мы определяем замороженную цель LLM. SSM тренируется путем дистилляции, совпадающей со следующим распределением логарифма от LLM-полного поглощения контекста (в качестве учителя) до того же LLD-поглощения сжатого r