Компьютерные науки > Машинное обучение [представлено 23 октября 2026 года] Название: LSTM-Style Looped Transformers with Common KV Caches View PDF HTML (экспериментальное) Резюме: Повторяющиеся трансформаторы повторно используются для проведения глубоких вычислений с меньшим количеством параметров. Мы изучаем трансформатор в стиле LSTM, который также делится одним ключом - кэшом стоимости по его повторяющемуся ядру. В ширине 1024 он использует на 40,4% меньше параметров, чем неограниченный контроль при почти совпадающих передних FLOP и сокращает стойкие кэш-партии с 15 до 4. Параллельные учебные принадлежности и материалы с пропуска на стандартное обучение, в то время как продолжение читает записи, полученные рекурсивно при совместном внимании. Мы устраняем это несоответствие путем приведения записей двух пропусков на обучение в соответствие с потерями последовательности в течение последних 10% фиксированного бюджета на подготовку. В трех модельных ширинах на FineWeb это устраняет 81-89% штрафной санкции за непрерывную потерю по сравнению с оценкой полного кеша. Эти усовершенствования повторяют разрозненные документы для двух учебных семян. В рамках четырех ширины и 1,05-4.19B тренировочных знаков потеря стоимости весовой связи является наименьшей при более низких символических бюджетах, что дает возможность использовать периодические расчеты в тех случаях, когда данные и хранение моделей ограничены. Дополнительные ссылки и цитаты... Библиографические и…
LSTM-style transformers с общими KV Caches
arXiv:2610.33360v1 Annuate Type: New Habstractive: Recontravisiont transformers recovery gвесы для проведения глубоких вычислений с меньшими параметрами. Мы изучаем трансформатор в стиле LSTM, который также делится одним ключом - кэшом стоимости по его повторяющемуся ядру. В ширине 1024 он использует на 40,4% меньше параметров, чем неограниченный контроль при почти совпадающих передних FLOP и сокращает стойкие кэш-партии с 15 до 4. Параллельные учебные принадлежности и материалы с пропуска на стандартное обучение, в то время как продолжение читает записи, полученные рекурсивно при совместном внимании. Мы устраняем это несоответствие путем приведения записей двух пропусков на обучение в соответствие с потерями последовательности в течение последних 10% фиксированного бюджета на подготовку. В трех модельных ширинах на FineWeb это устраняет 81-89% штрафной санкции за непрерывную потерю по сравнению с оценкой полного кеша. Эти усовершенствования повторяют разрозненные документы для двух учебных семян. В случае четырех ширин и 1,05-4.19B тренировочных жетонов потеря весовой стоимости является наименьшей при l