Компьютерные науки > Машинное обучение [представлено 27 октября 2026 года] Название: Balanced State Subsession for Mamba-2 State Compication View PDF HTML (экспериментальный) Резюме: Mamba2 сжимает все контексты в постоянное состояние постоянного размера, которое доминирует в декодировании памяти и пропускной способности. Существующие компрессоры категоризируют значения состояния или координаты состояния сливов, выставляя каждый канал отдельно в местной основе. Мы изучаем подготовленные штаты Мамба-2 и обнаруживаем, что энергия почти 1 ранга, но вывод не читает энергетические направления: энергия концентрируется в направлении с предвзятым наклоном, которое накапливается при повторении, а содержание вывода живёт в низкомерном подпространстве, который не соответствует координатам государства. Даже оценки, полученные с помощью программы вывода, рассчитываются по координатам, поэтому они пропускают направления, определяющие входные-выпускные карты. Таким образом, подавление должно быть нацелено не на индивидуальные координаты, а на подпространство считывания. Мы предлагаем послеучебную трансформацию, которая позволяет сбалансировать транквилизацию при полной контролируемости и консервативности Грамиан и применять вращение точно через переход Мамба-2 к скалярной идентичности. Поскольку полезное ранжирование сильно варьируется по различным слоям, мы далее внедряем HARP, которая распределяет звания на слой из спектра Ханкель и защищает чувствительный к поиску слои, улучшая как…
Сбалансированные государственные подпространства для компрессии в штате Мамба-2
arXiv: 261 0366617v 1 Annulate Type: новый резюме: Mamba-2 сжимает все контексты в фиксированном повторяющемся состоянии, которое доминирует в декодировании памяти и пропускной способности. Существующие компрессоры категоризируют значения состояния или координаты состояния сливов, выставляя каждый канал отдельно в местной основе. Мы изучаем подготовленные штаты Мамба-2 и обнаруживаем, что энергия почти 1 ранга, но выход не читает энергетические направления: энергия концентрируется в направлениях с предвзятым наклоном, накапливаемых при повторении, а содержание вывода живёт в низкомерном подпространстве, которое не соответствует координатам государства. Даже оценки, полученные с помощью программы вывода, рассчитываются по координатам, поэтому они пропускают направления, определяющие входные-выпускные карты. Таким образом, подавление должно быть нацелено не на индивидуальные координаты, а на подпространство считывания. Мы предлагаем метод, который после обучения преобразует сбалансированное уплотнение с полной контролируемостью и консервируемостью Грамиан и применяет ротат