Пусть врата решат:

arXiv: 261 030,35985v 1 Annualce Type: новый резюме: Условные слои памяти, такие как Engram DeepSeek, прикрепляем большие таблицы с гешированным n-граммом к языковой модели и удаляют их из DipSeelk-V4.1-Flash затрат 36,8 PopQA. Низкая квантизация сначала теряет длинные факты, а стандартное средство защиты, давая больше бит частодоступным рядам, обратный огонь: усовершенствование поиска по частоте доступа хуже, чем их случайное уточнение. Мы отследим это до врат, которые чешут каждый из найденных рядов. Погрешность квантизации взвешена его воротами, которая маленькая для частых n-граммов, большая для редких n граммов длинных хвостовых объектов и вычисляется из 1-битного кода. Таким образом, GateRQ хранит каждый ряд как лестницу из 1-битных остаточных кодов, сохраняет уровень 1 в памяти GPU для вычисления ворот и читает более глубокие уровни только для просмотров врат. Без переподготовки GateRQ отрезает память таблицы GPU на 7,8x на DeepSeek-V4.1-Flash, что повышает vLM производительность на 11%-31% по сравнению с таблицами FP8, в то время как l