Августинский детский сад: какое острое определение может и не может преподавать модель малого языка
arXiv: 26009.11870v1 Annualte Type: New Habstrate: Language Model обычно начинается с случайных слов, встроенных: что бы ни было "банана" означает, нужно учиться на тренировке Corpора. Я реализую св. Картина Августина о том, что слово учится в смысле "осень" для небольшой модели языка с масками (DeBERTa), обученной 10M словам: перед тренировкой зрительные символы получают встроенные символы из районов изображения, которые они наклеивают; другие жетоны начинают случайные. Визуальная инициализация оставляет измеримый отпечаток, который длится до конца обучения. В то же время эффект остается невидимым в рамках большинства контрольных показателей BALM, которые позволяют выявить абстрактные грамматические знания: визуальная инициализация не влияет на результаты работы. Единственное исключение с нулевым коэффициентом выбросов - это знания об имуществе объекта (COMPS, Misra et al. 2023), в которых посев помогает во всех конфигурациях. Для того, чтобы получить этот результат, я создаю корпоративную версию Визуального и Проперти Свапа (Lin et al. 2026), которая проверяет цвет, материал,