Система задерживания моделирования последовательности

arXiv: 2610.12864v1 Annuales Type: New Express: Существующие модели последовательности имеют критическую ограниченность: у них нет четкого и интерпретируемого механизма для временного отзыва контента. LSTMs сжимает все в одно скрытое состояние, тем самым теряя информацию о конкретных прошлых событиях. Трансформеры привлекают все символы без разбора по квадратной стоимости, в то время как государственные космические модели, такие как Mamba, сжимают историю в фиксированное размерное состояние без ясного контент-регламентируемой памяти. Для устранения этого пробела мы внедряем новые рамки, основанные на нелинейных системах задержки во времени, в которых эффективная задержка динамическо оценивается на основе семантического сходства между текущими и историческими вводимыми данными. Наш подход предусматривает три ключевых новшества: i) разная оценка семантического лага, которая вычисляет мягкие веса внимания со стороны контент-понимания по истории, создавая взвешенный исторический контекст и сходство; ii) пространство диагонального состояния с кумулятивным решением в виде закрытой формы, ac