От цепочки вещей к петле: неавторегрессивная слабая рассудительность через Looped Transformers
arXiv: 261.10.11472v 1 Annualte Type: New Habstrate: Chain-busic (CoT) study часто повышает эффективность языковой модели, предоставляя моделям дополнительные вычисления перед ответом. Тем не менее, эксплицитный coT выражает это вычисление как последовательность авторегрессивных символов. Скрытые рассуждения заменяют эти символы компактными непрерывными состояниями, но большинство методов скрытного саморепрессия сохраняет зависимость между латыночными векторами. Мы представляем LLoCOT: замкнутую латентную систему, которая заменяет слева направо скрытое поколение итеративным уточнением компактного лазерного рабочего пространства. Совместное трансформаторное устройство перезаряжается для небольшого числа усовершенствованных итераций, совместно обновляя латентные слоты на основе быстрого и меняющегося состояния рабочего пространства. С помощью усовершенствованного состояния вероятностная голова предсказывает распределение, из которого скрытые символы отбираются параллельно и используются для создания авторегрессивного декодера для генерации ответов. Обучение осуществляется на постоянной основе