#DeltaNet

9 статей
ИИ самостоятельно разработал 105 архитектур нейросетей — лучшая почти втрое превзошла прирост Mamba2 iXBT.com
iXBT.com

ИИ самостоятельно разработал 105 архитектур нейросетей — лучшая почти втрое превзошла прирост Mamba2

Система ASI-Arch самостоятельно разработала 105 архитектур нейросетей, показавших лучшие результаты в ходе контролируемых испытаний. Она провела 1773 эксперимента: предлагала изменения в устройстве мо...

iXBT.com
arXiv AI
arXiv AI

Задержка с контролем за моделями языка тест-время

arXiv:2609.32312v1 Annuales Type: новый резюме: модели языка тест-время адаптируют компактную память при обработке последовательности ввода данных. Эта перспектива охватывает нелинейное обучение в быс...

arXiv AI
2
Читать
arXiv Machine Learning
arXiv Machine Learning

Video DeltaNet: " Видео-национальное гибридное внимание к видеозаписи &qt;

arXiv: 2609.20744v1 Annuate Type: New Brieflow: Video Displacement Models неоднократно обрабатывает длинные последовательности спонтанных символов во время денонсации, привлекая внимание к одному из о...

arXiv Machine Learning
1
Читать
arXiv Machine Learning
arXiv Machine Learning

Подземное устройство автоматизации: " Путь для ввода > - это паразитный инструмент государственного отслеживания в линейном RNN

arXiv: 2609.18966v1 Вид уведомления: новое резюме: линейные RNN с переходом от вводимых ресурсов к продукции домохозяйств (DeltaNet/Deltaproduction-class) могут быть наглядно представлены жесткой сист...

arXiv Machine Learning
Читать
arXiv NLP
arXiv NLP

Спектральный Shift: эффективное расширение окна контекста Gated DeltaNet с помощью спектральной репараметризации

arXiv: 2609.14320v1 Annuales Type: New Humber Brieflow. Недавно стали все шире использоваться линейные слои внимания, чтобы заменить мягкие максимальные значения в масштабе для долгоконтекстной модели...

arXiv NLP
Читать
arXiv AI
arXiv AI

Почему Gated DeltaNet выживает 4-Бит количественно: NVPF4 W4A4 для периодической половины гибридного LLM 27B

arXiv:2609.04098v1 Annualce Type: New Highbrid LMS par medromax внимание с линейными слоями внимания, такими как Gated DeltaNet (GDN), чье регулярное состояние резюмирует контекст в фиксированном разм...

arXiv AI
1
Читать
arXiv Machine Learning
arXiv Machine Learning

DASC: сжатие состояния с учетом декай для гибридного линейного обслуживания внимания

arXiv:2608.30386v1 Гибридные архитектуры линейного внимания недавно масштабировались до крупных моделей с открытым весом, предлагая качество, конкурентоспособное с полным вниманием, при этом значитель...

arXiv Machine Learning
2
Читать
arXiv Quantitative Biology
arXiv Quantitative Biology

Внимание как кондиционирование: что предсказывает классическая теория обучения о линейных трансформаторах

arXiv:2508.08289v3 Внимание широко понимается как ассоциативная память, но это описание само по себе не предсказывает, как память будет вести себя. Предсказательные теории существуют, но в литературе ...

arXiv Quantitative Biology
1
Читать
arXiv AI
arXiv AI

TreeWY: спекулятивная проверка Gated DeltaNet Hybrids

arXiv:2608.20961v1 Современные открытые модели являются гибридами: большинство слоев представляют собой слои линейного внимания (Gated DeltaNet, GDN), несущие небольшое повторяющееся состояние фиксиро...

arXiv AI
1
Читать