Сеп-связь: сепараторы как естественный компрессионный якорь для имплицитного обоснования

arXiv: 261.20.22924v1 Annuales Type: кросс-бюллетени: Большие языковые модели (LMS) продемонстрировали замечательный успех в сложных рассуждениях через посредство явно выраженной «цепочки вещей» (CT), однако связанные с этим накладные расходы и символические глаголы попрежнему являются существенными препятствиями для эффективности. Хотя имплицитные рассуждения в непрерывных скрытых пространствах являются многообещающей альтернативой, существующие методы, такие как Кокос и CODI, часто основываются на латентных последовательности фиксированных размеров и страдают от коллапса представительства. В этом документе мы предлагаем Sept-Latent, адаптивную имплицитную концептуальную основу, в которой в качестве структурных якорей используются символы сепаратора. Вводя механизм "Внимание-декай", мы заставляем модель агрегировать и сжимать логику рассуждений в этих якорях во время тренировки. Затем мы привязываем прямые и имплицитные пути посредством многоуровневой дистилляции по всем слоям для обеспечения логической согласованности. Очень важно, что Сеп-Латент позволяет динамической глубине рассудка посредством адаптационного прекращения латентного тонкого тонка