Реклама

Почему Gated DeltaNet выживает 4-Бит количественно: NVPF4 W4A4 для периодической половины гибридного LLM 27B

#Почему #Gated #DeltaNet #Annualce #Type

arXiv:2609.04098v1 Annualce Type: New Highbrid LMS par medromax внимание с линейными слоями внимания, такими как Gated DeltaNet (GDN), чье регулярное состояние резюмирует контекст в фиксированном размере. Ранние 4-битные квантизации Qwen3.8-27B (48 GDN systems, 16 профилей внимания) оставили блок…