Компьютерная наука > Расчет и язык [представлен 8 октября 2026 года] Название: Самосохранение в языковых моделях Вид PDF HTML (экспериментальное) Резюме: Постоянное обучение (CL) направлено на адаптацию заранее подготовленных моделей при сохранении прежних возможностей. Однако задачи, поставленные для сохранения, охватывают лишь часть того, что известно модели, в то время как забвение может выходить за их пределы. Недавняя работа показывает, что языковые модели могут дополнить эти ограниченные данные путем получения полезных репроигрываний без доступа к их изначальным учебным данным. В связи с этим возникает вопрос о самосохранении: может ли модель помочь выбрать цели сохранения, которые защищают ее собственные возможности в более широком плане? Для изучения этого вопроса мы организуем описания задач и их примеры в "Целевая банка", чьи записи могут быть отобраны и объединены для того, чтобы направлять повторное поколение с помощью замороженной модели. Непрерывная инструкция по корректировке моделей Qwen различных размеров дает три вывода. Во-первых, новая задача и коэффициент обучения, которые ранее ухудшались, в то же время отслеживая заранее правильные ответы, указывают на потери, которые можно скрыть при средней точности. Во-вторых, генерированная повторная игра уменьшает забвение на задания вне банка. Объединение частичных банков укрепляет эту защиту, улучшая средний уровень удержания ранее правильных ответов в одном только банке по всем проверенным размерам. В-третьих,…
Самосохранение в языковых моделях
arXiv: 2610.1202v1 Annuature Type: New Habstrate: Constinal Learning (CL) стремится адаптировать заранее подготовленные модели при сохранении прежних возможностей. Однако задачи, поставленные для сохранения, охватывают лишь часть того, что известно модели, в то время как забвение может выходить за их пределы. Недавняя работа показывает, что языковые модели могут дополнить эти ограниченные данные путем получения полезных репроигрываний без доступа к их изначальным учебным данным. В связи с этим возникает вопрос о самосохранении: может ли модель помочь выбрать цели сохранения, которые защищают ее собственные возможности в более широком плане? Для изучения этого вопроса мы организуем описания задач и их примеры в "Целевая банка", чьи записи могут быть отобраны и объединены для того, чтобы направлять повторное поколение с помощью замороженной модели. Непрерывная инструкция по корректировке моделей Qwen различных размеров дает три вывода. Во-первых, новая задача и коэффициент обучения, которые ранее ухудшались, в то же время отслеживая заранее правильные ответы, указывают на потери, которые можно скрыть при средней точности. Во-вторых, ге