Сеть " Калман Дельта: сознание неопределенности

Компьютерные науки > Машинное обучение [представлено 7 сентября 2026 года] Название: Kalman Delta Networks: Associateative Memory View PDF HTML (экспериментальное) Резюме: В моделях пограничного языка все чаще используется внимание для эффективного вывода с помощью длинного текста и постоянного декодирования. Однако его постоянная память в размерах требует принятия решения в режиме онлайн на каждом знаке: что писать и как сильно переписывать существующие ассоциации, прежде чем знать, какая информация потребуется для будущих запросов. Модель " Дельта-правила &qt; учится этой силе на текущем символе, встроенном, но не отслеживает доверие к оценке памяти, что мешает каждой записи адаптироваться к накопившимся уликам. Для того чтобы четко отразить эту неопределенность, мы переформулируем повторяющуюся ассоциативную память как линейную - Гауссианскую модель состояния-пространства, для которой фильтр Калмана является оптимальным рекурсивным оценщиком, и введем новое семейство моделей Kalman Delta Networks (KNS). В рамках KNS переходный процесс распространяет как состояние памяти, так и его неопределенность, позволяя Калману набрать вес каждого остаточного материала за счет накопившихся доказательств и надежности наблюдений. В соответствии с этой формулой обновления в формате Дельта становятся особым случаем, который заменяет собой символическую изотропную суррогатку для предсказания коварианции и не позволяет отслеживать коварство. Однако точное отслеживание сопряжено с…