Толкование параметров модели языка

arXiv: 2610.20.20748v1 Annualce Type: кросс-бюллетень: Механистическая интерпретируемость имеет целью выяснить, как нейронные сети используют свои параметры для осуществления своих впечатляющих нервных алгоритмов. Несмотря на то, что в ходе предыдущей работы была выявлена существенная структура промежуточных представлений, используемых сетями, был достигнут незначительный прогресс в понимании того, как параметры и нелинейность сетей производят расчеты по этим представлениям. В этой работе мы представляем метод, который приближает нас к этому пониманию путем разбивки параметров языковой модели на подкомпоненты, каждый из которых реализует лишь небольшую часть приобретенного алгоритма модели, одновременно требуя только небольшой доли этих компонентов для учета поведения сети при любом вводе. Этот метод, адверзариальный параметр Декомполяция (DPD), оптимизирует разложение параметров нейронной сети в простые подкомпоненты, которые сохраняют поведение входа и выхода сети даже когда многие субэлементы