Языковые модели имеют интерпретируемые механизмы описания

arXiv: 2610.10.12989v1 Аннонс Тип: новое резюме: мы изучаем, содержат ли языковые модели внутренние компоненты, которые способствуют представлению описи, в какой степени текст демонстрирует описательные свойства. Через GPT-2-Mall, Gemma2-2B и Llama-3.1-8B мы выявляем головы внимания, MLP нейроны и узкие автоенкодера, чьи активации коррелируют с нарентностью. Устранение выбранных нейронов и параметров увеличивает следующие потери в прогнозах для высоконаглядного, а не для текстов с низкой нарисованностью и уменьшает степень размножения среди поколений открытого состава. Что касается контрольных показателей ниже по течению, то наибольший эффект имеет завершение работы над историей и ответ на вопросы описательной части, хотя они различаются в зависимости от моделей и языков; результаты конфабуляции и галлюцинации неоднозначны. Эти выводы дают основания полагать, что отдельные наборы описательных компонентов способствуют формированию моделей поведения, в то время как их внутренняя организация, связь с теорией описательной части и более широкий круг вопросов