Геометрия обучения: чтение скрипта асимметрии на всех этапах подготовки

arXiv:2605,16600v2 Annuales Type: заменить кросс-бюллетень: Предварительная подготовка и согласование обновляют одни и те же весы трансформатора. Мы задаемся вопросом о том, в каких направлениях каждый этап их изменяет. Остаточный поток дает каждой матрице общую систему координат, в которой изменение веса может быть сопоставлено с основным подпространством активации матрицы и с предсказанием подпространственна неисчерпания. В этом контексте обновление запросов и ключевых матриц обогащается в основном входном подпространстве, тогда как его обновления к выходным матрицам близки к случайному по отношению к подпространственному прогнозированию, а та же подпись появляется на позднем этапе предварительной подготовки и при каждой цели, которую мы применяем к одному контрольно-пропускному пункту, так что она является скорее собственностью тренировочного этапа, чем целью. Грациент линейной карты представляет собой сумму внешних продуктов $\delta_t a_t>top$, и остаточный поток попадает в этот продукт через активацию $a_t долл. для матриц считываемых от него и через верхний уклон