Компьютерная наука > Машинное обучение [представлено 11 февраля 2026 (v1), последний пересмотренный вариант 14 сентября 2026 года (эта версия, v2)) Название: Routing Abсорбция в Sparse Election: Why Random Gates Are Together to Beat View PDF HTML (экспериментальный) резюме: Ученые ворота могут приблизить мало внимания к замороженным трансформаторам, но при этом они дают ограниченную выгоду от случайных ворот при совместной подготовке с моделью. Мы расследуем эту разницу в контролируемом трансформаторе калибра 31М и относим ее к поглощению трассы: модель представления, которая приспособляется к навязанной маске, уменьшая приростную выгоду от накопленного пути. Это явление характеризуется четырьмя экспериментами. Дифференцируемая мягкая глянцевость приводит к недоразумениям в 48,73 плюс или минус 0,60 с усвоенными воротами и 49,83 +-0,04 с замороженными случайными вратами над тремя семенами. Твердая маскировка верхней части k не обеспечивает градиентного пути к воротам в ходе испытания. Ворота, дистиллированные на совместно приспособленные и плотно подготовленные Q/K/V, достигают высокого уровня F1 против масок оракула, однако использование жесткой маски приводит к сбоям в 601,6 и 48,6 соответственно. В результате подготовки к использованию точастных масок также остается серьезным наказанием за развертывание: густые оценки дают 78,2 недоразумения по сравнению с 37,3 для плотного исходного уровня. Эксперименты на Qwen3-1.7B показывают, что увеличение количества поддающихся…
Рейтинг Абсорбции в Sparse Внимание: почему случайные Гейтс трудно побить
arXiv: 2603.022227v2 Annuate Type: заменить резюме: обобщаемые ворота могут приблизиться к слабому вниманию на замороженных трансформаторах, но в то же время давать ограниченную выгоду от случайных ворот при совместной подготовке с моделью. Мы расследуем эту разницу в контролируемом трансформаторе калибра 31М и относим ее к поглощению трассы: модель представления, которая приспособляется к навязанной маске, уменьшая приростную выгоду от накопленного пути. Это явление характеризуется четырьмя экспериментами. Дифференцируемая мягкая глянцевость приводит к недоразумениям в 48,73 плюс или минус 0,60 с усвоенными воротами и 49,83 +-0,04 с замороженными случайными вратами над тремя семенами. Твердая маскировка верхней части k не обеспечивает градиентного пути к воротам в ходе испытания. Ворота, дистиллированные на совместно адаптированные и плотно подготовленные Q/K/V, достигают высокого уровня F1 против масок оракула, однако использование жесткой маски приводит к сбоям в 601,6 и 48,6 соответственно. В связи со стохастической подготовкой также сохраняется значительное наказание за развертывание: плотная эвалюта