Учиться читать: Неполадить динамику в языковой модели
arXiv:2610.2.1025v1 Вид уведомления: перекрестное резюме: Когда языковая модель приобретает способность? Исследования в области развития обычно отвечают на это, отслеживая когда модели начинают создавать правильный символ. Но это предсказание проходит через незамеченную матрицу, или считывающую запись, которая сама по себе все еще изучается во время предварительной подготовки. Мы показываем, что скрытые состояния модели могут кодировать информацию о задачах до того как она сама выражает ее, так что временные параметры считываются из выходных данных, то что модель кодирует с тем, что выражает их считывание. Для непосредственного отслеживания считываемого сигнала мы введем перекрестное кодирование параметров и траекторий, которое соответствует одному ограниченному словарю для каждого символа на каждом контрольно-пропускном пункте. В отличие от комбинаторов при активации, ему нужны только весы на контрольно-пропускных пунктах. Мы используем его, чтобы найти узкое раннее окно, 0,4-1,1% пути через предварительную подготовку Pythia, в котором реорганизации считывания и категории слов WordNet становятся декодированными из рядов. К тому времени линейные зонды на скрытых состояниях уже расшифровываются
