Реклама

Предсказуемость данных формирует рост веса Weibull в трансформаторном обучении

#Предсказуемость #Weibull #Анонс #Абстракт #Весовые

arXiv:2608.23573v1 Анонс Тип: новый Абстракт: Весовые величины обученного трансформатора могут быть суммированы двухпараметрическим распределением Weibull, форма которого $k\approx 1.2$ стабильна по слоям и моделям, поэтому масштаб $\lambda$ несет большинство движений, вызванных обучением. Какое…