Предсказуемые средние показатели представленности и переосмысление конкретного контекста

arXiv: 2609.16382v1 Annualce Type: New Humber Abstract: Геометрия представления языковой модели не предопределена; она развивается по мере запуска модели. Верный отчет об этой геометрии должен отражать этот динамичный процесс, и поэтому он не может основываться исключительно на таких независимых от модели статистических данных, как совместное возникновение. Здесь мы введем анализ внимания с подлой точки зрения. Среднее внимание от одного символа к другому определяет ядро, которое переносит слой представления в слоё и может быть итерировано через сеть для моделирования того, как геометрия преобразуется. Мы определим это среднее два способа. Ядро, кондиционированное в целом корпусе, предсказывает средневзвешенную эволюцию геометрии представления. Вместо этого, будучи привязаны к одному контексту, он предсказывает ожидаемую геометрию для такого контекста. Отклонение головы от этого предсказания, его отклонение / mephh_mine-file} изолирует контекстные вычисления, которые пропущены со средним полем. При считывании данных, полученных при условии наличия состава, ядро получает модель открытого хода: f