Компьютерные науки > Расчеты и язык [представлен 4 сентября 2026 года] Название: Некоторые токены ведут себя как магнитные сети: Обнаружение лингвистической организации в слоях языковых моделей Вид PDF Резюме: Мы выявляем специальную группу символических векторов внутри больших языковых моделей (LMS), которые мы называем магнитными векторами, организуя окружающие символы либо привлекая их, либо отталкивая. В частности, символы, указывающие на то же самое как и притягивающий магнит, удлиняются; знаки, указываемые таким же образом, что и отталкивающее магнит, сжаты. Так же, как физические магниты вытягивают или отталкивают железные поля вокруг них, эти векторы организуют свое окружение через две противоположные полярности. Кроме того, мы идентифицируем статистически значимую модель лингвистической категории, где функциональные слова последовательно действуют как отталкивающие магниты в ранних слоях, а также обнаруживаем, что магниты постоянно реорганизуют свою полярность уникальным образом глубже в модели. В другом тематическом исследовании мы считаем, что это наблюдение может показать целенаправленную и взвешенную организацию в отношении того, как ОМУ обрабатывает язык. Эта схема соответствует различным архитектурам, размерам и конфигурациям слоя. Это также имеет причинно-следственное значение. Когда LLM откорректирован для выполнения задачи вниз по течению, в качестве магнитов появляются функциональные символы. Например, в ответ на вопрос жетоны ответов становятся…
Некоторые токены ведут себя как Магнеты: открытие лингвистической организации в слоях языковых моделей
arXiv:2600,05743v1 Annualce Type: New Brief: Мы идентифицируем специальную группу символических векторов в больших языковых моделях (LMM), которые мы называем магнитными векторами, организовывая окружающие символы либо привлекая их, либо отталкивая. В частности, символы, указывающие на то же самое как и притягивающий магнит, удлиняются; знаки, указываемые таким же образом, что и отталкивающее магнит, сжаты. Так же, как физические магниты вытягивают или отталкивают железные поля вокруг них, эти векторы организуют свое окружение через две противоположные полярности. Кроме того, мы идентифицируем статистически значимую модель лингвистической категории, где функциональные слова последовательно действуют как отталкивающие магниты в ранних слоях, а также обнаруживаем, что магниты постоянно реорганизуют свою полярность уникальным образом глубже в модели. В другом тематическом исследовании мы считаем, что это наблюдение может показать целенаправленную и взвешенную организацию в отношении того, как ОМУ обрабатывает язык. Эта модель соответствует различным архитектурам, размерам и пластиковым характеристикам LLM