Компьютерные науки > Машинное обучение [представлено 27 октября 2026 года] Название: Mechanistic Disaster Modles of Walth Prunning in Transformer Language Moдели View PDF HTML (экспериментальный) Резюме: Преобразованные языковые модели почти полностью оцениваются по точности и запутанности, что предполагает сохранение внутреннего вычисления. Мы проверяем это предположение с помощью факториального исследования на ГПТ-2, соответствующего двум критериям важности (тяжесть, случайность), двух типов компонентов (уделение внимания, нейроны MLP) и трех уровней спазмов (3%, 50%, 70%). Используя полностью описываемую схему непрямого идентификации объекта (ОИО) как наземную истину, мы измеряем целостность цепи с помощью активационного патрубка, локации пути и прямого атрибуции логита. Мы находим два качественно различимых режима отказа. Вырезка головной части на большой высоте > = ноль: выведенные головы удаляются, и модель падает почти в час. Крупноразмерный нейрон сгибается на 30% инвертирует его: все 26 головок окружности остаются нетронутыми, но имя Mover вкладывает знак, а модель систематически предпочитает неправильное название (17,7% точности). Взаимность определяет ее как менее поврежденную, чем случайная смазка головы (74,6 против 140.1). Воспроизведение Большой Танской схемы показывает, что тип критического компонента зависит от архитектуры цепи. Эти результаты свидетельствуют о том, что в показателях выпуска и структурных проверках могут не учитываться механистические…
Механистическая неисправность Способы скручивания веса в трансформаторных языковых моделях
arXiv:2610.37126v1 Annualce Type: New Humber: Prured Language Models почти полностью оценивается по точности и запутанности, что предполагает сохранение внутреннего вычисления. Мы проверяем это предположение с помощью факториального исследования на ГПТ-2, соответствующего двум критериям важности (тяжесть, случайность), двух типов компонентов (уделение внимания, нейроны MLP) и трех уровней спазмов (3%, 50%, 70%). Используя полностью описываемую схему непрямого идентификации объекта (ОИО) как наземную истину, мы измеряем целостность цепи с помощью активационного патрубка, локации пути и прямого атрибуции логита. Мы находим два качественно различимых режима отказа. Вырезка головной части на большой высоте > = ноль: выведенные головы удаляются, и модель падает почти в час. Крупноразмерный нейрон сгибается на 30% инвертирует его: все 26 головок окружности остаются нетронутыми, но имя Mover вкладывает знак, а модель систематически предпочитает неправильное название (17,7% точности). Неосторожность относит его к меньшей степени da