Компьютерная наука > Расчет и язык [представлен 27 октября 2026 года] Название: Каузальная локализация доказательственных эффектов в Трансформаторах Вид HTML (экспериментальный) Резюме. Мы введем систему агрегирования контролируемых улик (CEA), которая изменяет число и порядок двух символов в иных фиксированных сигналах, а также измерим изменения в предпочтениях замороженного Трансформера между двумя знаками ответа. Предпочтение измеряется по разнице в стоимости, причем отметки не предписывают правильного ответа. Сбалансированная причинно-следственная выборка полезности (ВКУ) определяет компактные наборы головок путем совместной оценки того, насколько абсорбация их выходов устраняет эффект подсчета и как тщательное дробление средних результатов между условиями подсчета возмездия в обоих направлениях. Мы вычисляем условные границы, связывающие атрибуцию головы с эффектом вмешательства и указывая, когда короткий список аккредитования может быть извлечен из конечных образцов. В Pythia-410M абсорбирующие наборы из 1-12 голов, выбранные отдельно для четырех режимов заказа, удаляют 65,5-91,6% от эффекта подсчета. Эти наборы сохраняют свое влияние на сопоставления подсчета, не используемые для отбора. Для проверки актуальности помимо символических вводимых данных мы оцениваем естественную языковую задачу, задающую вопрос о том, какое состояние подкрепляется большим числом отчетов. При отборе восьми голов только при символическом "да/нет", точность снижается на 8,2 процентных пункта…
Причинная локализация доказательственных эффектов в трансформаторах
arXiv: 261 0,36524v 1 Annuation Type: Cross Резюме: Может ли контролируемая символическая информация показать внимание глав, которые влияют на решения модели языка из естественных свидетельств? Мы введем систему агрегирования контролируемых улик (CEA), которая изменяет число и порядок двух символов в иных фиксированных сигналах, а также измерим изменения в предпочтениях замороженного Трансформера между двумя знаками ответа. Предпочтение измеряется по разнице в стоимости, причем отметки не предписывают правильного ответа. Сбалансированная причинно-следственная выборка полезности (ВКУ) определяет компактные наборы головок путем совместной оценки того, насколько абсорбация их выходов устраняет эффект подсчета и как тщательное дробление средних результатов между условиями подсчета возмездия в обоих направлениях. Мы вычисляем условные границы, связывающие атрибуцию головы с эффектом вмешательства и указывая, когда короткий список аккредитования может быть извлечен из конечных образцов. В Pythia-410M комплекты из 1-12 голов, выбранные отдельно для четырех режимов заказов, удаляют 6