От отношений с конкретными руководителями к совместным выступлениям: контекстуальная подготовка в языковых моделях

arXiv: 2610.18674v1 Annuales Type: New Humber Abstractive: Большие языковые модели основаны на оперативном контексте для обучения in-context, использования форматов и адаптации к местным доказательствам. Однако эта способность также вызывает обеспокоенность в связи с надежностью: модели могут использовать не имеющие отношения к делу символы из предыдущего контекста при ответе на более поздний вопрос. Предварительная работа определяет это поведение как контекстуальное ограждение и находит головы внимания, чье абляция уменьшает его, утверждая, что эти головы в значительной степени специфичны по задачам или отношениям. Но действительно ли механизмы, лежащие в основе контекстуальной подготовки, изолированы от отношений или же обыски с условиями родства позволяют восстановить повторно используемые компоненты между отношениями? Используя фактическую связь-отводитель-завершение, мы идентифицируем 19 lexical-semantic подтипов, чьи головки внимания уменьшают абляция и проверяем как результирующая голова определяет способность к переносу восстановления между точными отношениями, семантической семьей и смешанным распределением отношений. Перевод одного и того же семейства превышает разный уровень