GLU Сфера охвата: инструмент для анализа нейронов ГЛУ в трансформаторных языковых моделях

arXiv: 2602,23826v2 Annuales Type: заменить резюме: Мы представляем **GLU Contribute**, открытый ресурс для анализа нейронов в трансформаторных языковых моделях (LM), предназначенный для исследователей по вопросам интерпретируемости. Мы сосредоточим внимание на стандартных функциях активации на основе GLU*, таких как SwiGLU, которые используются практически во всех последних открытых весах LM. Это создает новую проблему: недостаточно понимания позитивных активаций. Вместо этого, как врата*, так и активация *in* нейронов могут быть положительными или отрицательными, что приводит к четырем различным сочетаниям знаков (*активации quadrants*), которые в некоторых случаях имеют совершенно разные функциональные возможности (например, поощрение против подавления конкретного набора символов). Поэтому для любого нейрона наш инструмент показывает текстовые примеры каждого из четырех комбинаций знаков и указывает, как часто происходит каждое сочетание. Наш ресурс может привести к новым озарениям: в частности, благодаря анализу всех четырех активируемых квадрантах он способен на поверхности интерпретируемого поведения,