StateLoop: Устойчивое состояние для прозрачных трансформаторов

arXiv: 261 030.35544v1 Annuate Type: New Humber: Looped Transformers предлагает параметрно-эффективный подход к языковой модели, неоднократно применяя общий позвонок. Ванильные петли Трансформеры используют каждый выход из позвоночника непосредственно как вход в следующую итерацию. Эти выходы могут содержать информацию, полезную для нескольких итераций позже, но сохранение ее в течение цикла полностью зависит от одного скрытого состояния. Мы представляем StateLoop, который поддерживает одно дополнительное устойчивое состояние за символ для сохранения информации через итерации. При каждой итерации, усвоенные ворота контролируют количество сохраненного предыдущего состояния и объем информации из выходной части позвоночника. Обновленное состояние прогнозируется обратно и добавляется к основному выходному материалу для последующих итераций и окончательного прогнозирования. Эта конструкция снижает чувствительность к Пиле и повышает среднюю точность при восьми нулевых задачах над Ванильей Лупед. Преимущество его заблуждения по сравнению с Ванильей Лупед растет с тренированной глубиной петли,