DAMP: смешанная четкая рекуррентно-государственная квантизация
arXiv:2608.27513v1 Анонс Тип: кросс-абстракт: внимание Softmax хранит ключи и векторы значений для каждого предшествующего токена, заставляя память вывода расти с длиной последовательности. Недавние языковые модели, включающие Gated DeltaNet (GDN) или Kimi Delta Attention (KDA), снижают эту…