Перераспределение в автоматических кодерах Sparse

arXiv:2610.21240v1 Annuales Type: cross Brief: Sparse autoencoders (SAEs) разлагает языковую активацию модели на незначительные функции, однако оперативные преобразования, предназначенные для сохранения лежащего в основе запроса запроса, могут перераспределить деятельность между ними. Изменение характеристик, наблюдаемое на преобразованной оперативной операции, не обязательно должно повториться и даже постоянное изменение не должно влиять на вычисления в процессе перехода. Мы введем балл чувствительности к перераспределению (RSS), который выявляет крупные характеристики реакции, которые повторяются в последовательном направлении, и оцениваем полученные результаты поддержки вариантов, исключенных из отбора. Из 27 предварительно подготовленных SAE, охватывающих восемь языковых моделей, испытанные оперативные преобразования дают воспроизводимый профиль перераспределения на этих исключенных вариантах. Затем мы отделяем периодическое изменение в представительстве от подписанных взносов на считывание документов и отказов в принятии решений. В случае фиксированного линейного считывания точное разложение показывает, каким образом величина реакции, коэффициенты считываемости, регулировку направления и скоба