Обобщающие свойства символического восприятия: роль привязки и словаря

arXiv: 261 030,32788v 1 Annuales Type: кросс-бюллетень: Большие языковые модели обучаются предсказывать символы из конечного словаря, каждый из которых представлен вектором в долларовом объёмном пространстве. Поэтому прогнозирование символов - это проблема классификации, классы которой имеют геометрию, определяемую встроенной системой. Мы изучаем, как эта геометрия влияет на обучение в минимально допустимой модели: линейный прогнозор, который картирует последовательность встроенных символов $N долл. Мы называем это "текститом" - запятая перцептрона. Мы вычисляем его общую ошибку с помощью метода копирования, берём $N\to_infty долл. при фиксированном числе примеров на позицию $#alpha=P/N$ и сохраняем доллары США и размер словаря $D долларов. В качестве первого примера мы рассматриваем непрерывные вложения в сферу, которые изолируют роль привязки. В этом случае натуральная нагрузка составляет $alpha/d долл., а в отношении $>1 долл.