Все, что вам нужно, — это внимание до тех пор, пока вас не удержат.

Компьютерные науки > Машинное обучение [представлено 15 января 2025 (v1), последний пересмотренный вариант 14 сентября 2026 года (эта версия, v2)) Заголовок: Внимание - это все, что нужно до конца сеанса. В первой версии этого документа предлагается "Сохранительный слой", стойкая память, которую трансформатор с вниманием читает и пишет во время использования. Поскольку большая часть того, что может сохранить внедренная модель, производится другими агентами, в этом пересмотренном варианте рассматривается решение проблемы социального обучения: когда полагаться на наблюдаемое поведение, кого учиться и как много независимого соглашения требуется. Мы дадим исправленную спецификацию слоя, которая точно доходит до основания Трансформера, когда его память пуста. Мы извлекаем жизнь памяти из стратегий социального обучения: кодирование с удивлением, наблюдаемые результаты и заработанное доверие; консолидация путем взвешенного кворума отдельных недавних источников, которые также должны перевесить любое соперничающее поведение; а также подтверждение результатов размножения. Мы доказываем, что увеличение кворума снижает риск консолидации скоординированного ложного шаблона экспоненциально и одновременно затягивает реальные шаблоны лишь линейно, а относительная консолидация защищает только в то время как достоверные честные доказательства поступают быстрее состязательных доказательств. В симуляции с мировым дрейфом и тремя атаками на память жизненный цикл достиг точности 0,989 - 0,996,…